音楽情報科学/処理(知覚情報処理)

コンピュータ相手にして、人間相手以上の最高のセッションも夢じゃない!

前澤陽さん ヤマハ株式会社

インターネットで音楽をダウンロードしたり、パソコンで音楽を流したり作ったり、コンピュータあってこそ、音楽が楽しめる時代。コンピュータによる音楽の認識・処理を研究する音楽情報科学(処理)は、何を目指しているのか。前澤先生は、楽器や音響機器で知られるメーカーの研究所で、楽器演奏の楽しみ方のハードルを下げるべく、コンピュータと一緒に合奏を楽しめるソフトウェア開発に挑んでいます。

楽器の演奏を趣味にする人はたくさんいます。演奏を楽しもうとすると、世の中のほとんどの曲はバンドやデュエットといった合奏曲なので、一緒に弾く人を集めなければいけません。しかし人集めは、気の合う人を選んだり、弾きたい曲を決めたり、時間や場所を調整したりと、大変なことばかり。そこで私は、メンバーが完全に揃わなくても -- 極論言えばたった一人でも -- 最高の合奏を楽しめるようにするため、コンピュータを合奏のメンバーにするためのソフトウエアの開発に挑んでいます。つまり、コンピュータが、人間の合奏者のように演奏を察知し、人間のように演奏を通じて応答するような技術を研究しています。

 

人がコンピュータと一緒に演奏する仕組みで一番身近なのは、カラオケのようにボタン一つで曲を演奏してくれる装置ではないでしょうか。しかし、この場合コンピュータは一つの曲をあらかじめ設定されたスピードやリズムで演奏するので、合奏するとなると、人間がそれに一方的に合わせなければいけません。人間のようにお互いの音の調子や弾き方を意識して、互いにかけ合うことで臨場感あふれる生き生きとした、合奏本来の楽しみ方はできません。

 

臨場感あふれる生き生きした合奏を実現するためには、相手の演奏に耳を傾ける必要があります。つまり耳から入ってくる情報をセンシングし、人間が楽曲のどこの位置を、どれくらいの速度で弾いているのか、さらにキレのある力強い弾き方か、音をやわらかく伸ばした弾き方か、といった音の表情も推測する必要があります。その上で、それに合わせて自動演奏ができるようにさせる必要がありました。そこで、人間の様々な弾き方をAI=人工知能に学習させることで、好きな曲を人間が弾きコンピュータに伴奏させる場合、弾き方の調子を変えたり、スピードをいきなり変えても、コンピュータはそれを察知して、適した演奏をさせられるようにまでできました。

 

このとき、機械が人間にぴったり合わせ過ぎてしまうと、人間がミスをしたらコンピュータの演奏も道ずれになってしまうという欠陥がありました。そこで、機械に任せる部分と、逆に人間がリードする部分を、コンピュータに推測させるようにしました。

 

そうして、お互いが自己主張し合い、また互いに合わせていく、そんな合奏の掛け合いの楽しみを味わえるようにしたのです。

 

 

息の合う合奏を実現するためには、耳だけではなく、目から入ってくる情報も重要です。たとえば、バイオリン奏者は最初の音を奏でる直前に、「せーの」と合図するように楽器を軽く振る動作をします。コンピュータがこうした予備動作を逃さずに検出できるように、カメラを使って動画像解析を行ない、コンピュータが人間とぴったりのタイミングで演奏を始められる工夫も取り入れました。

 

また、コンピュータが人間に合わせるだけでなく、人間もコンピュータの演奏に合わせやすくする工夫もしました。コンピュータが演奏している楽器のすぐ下の床に、あたかも人間が演奏しているかのように見える影絵を写し出すことにしたのです(影絵の動画)。演奏に合わせてコンピュータに自動生成させました。そうすることで、コンピュータの演奏の「調子」が視覚的にわかります。

 

 

今後は、一流の演奏者のように、掛け合いの中で相手が演奏で投げかけてきた問いかけに、さらに何かを上乗せして返せるような、そんな高度な掛け合いもできるコンピュータに発展させていきたいと考えています。

 

興味がわいたら

『音のなんでも小事典』

日本音響学会:編(ブルーバックス)

音や音楽に関する様々な雑学が書いてあります。この本では、「音」をいろいろな切り口で知ることができるのが魅力です。大学で何をやりたいかいろいろな可能性を考えられる中で、なんとなく音や音楽や声に興味があると思ったら、この本を読むとこの分野が俯瞰できてよいと思います。

[amazonへ]


『How To Solve It いかにして問題を解くか』

G. ポリア 柿内賢信:訳(丸善)

「問題の解決」に対する考え方を体系化した本です。難しい課題に直面したときのほぐし方の指針にもなり、どんな人にもオススメできます。

[amazonへ]


『サピエンス全史』

ユヴァル・ノア・ハラリ 柴田裕之:訳(河出書房新社)

「実体の無いものを信じる」という人間の特性を軸に人類史を論じた本です。今の常識の背後にある前提を考えるキッカケとなると思い、人類に寄り添ったものを作りたい人にオススメできます。

[amazonへ]


『音楽機械劇場』

渡辺裕(新書館)

音楽とテクノロジーの歴史に関する本です。音楽とテクノロジーが互いに互いを育ててきたことがわかる本です。「芸術表現や文化を変えるようなテクノロジーを作りたい!」と考えている人に、文化と技術の歩み寄りの重要さを知ってもらうため読んでいただきたいです。

 [amazonへ]


前澤陽さんインタビュー