機械学習であなたがミュージシャンであるかどうかわかります

・音楽を聴いているときに脳がどのように反応するかによって、あなたがミュージシャンであるかどうかがわかります。

・研究者は、fMRI脳データを利用し、さまざまな計算方法で、音楽には特別な特徴があることを発見しました。

・機械学習のモデルが、77％の精度でミュージシャンシップの聴いている箇所を予測しました。

機械学習は、過去2年間で驚くべき進歩を遂げました。いくつかは、何十億もの人々に使用される技術になる可能性があります。 人工知能の分野は非常に急速に発展しており、大きな期待が寄せられていますが、これらのシステムをより大きなプラットフォームに統合するためには、早急に解決しなければいけない課題が多くあります。

近年、ユヴァスキュラ大学とAMIセンター（フィンランド）、オーフス大学（デンマーク）の科学者が、音楽を聴きながら脳の反応を監視することで、音楽トレーニングを受けたかどうかがわかるシステムを開発しました。

研究チームは、音楽を聴いている間に収集された脳画像データにデジタル音楽分析と機械学習手法を適用することで、聴いている人がプロのミュージシャンであるかどうかを（かなり正確に）判断することができました。

研究

この研究では、fMRI（機能的磁気共鳴画像法）の脳データを利用しました。チームは、36人のミュージシャンと非ミュージシャン（それぞれ18人）にさまざまなジャンルの曲を聴かせて、データを収集しました。 次に、特別な特徴を抽出するために、さまざまな計算方法が使われました。

人間の脳活動の静的な表現だけではなく、時間の経過とともに脳内で曲やメロディーがどのように処理されるかをモデル化する方が適切です。 これがまさに研究者がしたことです。 彼らは時間的ダイナミクスを考慮に入れ、結果を著しく改善しました。 モデリングの最終ステップで、機械学習技術を使用して、脳のさまざまな領域の組み合わせからミュージシャンシップを正確に推定するモデルを作成しました。

ミュージシャンシップを最もよく予測する脳領域（9つの識別領域） | 提供: JYU

ミュージシャンシップを最もよく予測する領域は、主に脳の右半球の側頭および前頭領域に存在します。 それらは、注意と関与、音楽の慣習の処理、調性やピッチなどの音の特徴に関連していることがわかりました。

結果、音楽の親しみやすさや好みなどの他の要因を除いて、非ミュージシャンの脳とミュージシャンの脳を区別できるほど、歌に対する神経反応が音楽トレーニングに影響がある事を発見しました。

機械学習モデル

全脳のfMRIデータは、ミュージシャンと非ミュージシャンの両方が、異なるジャンルの3つの音楽要素を聴いているときに収集されました。 音楽知覚の高レベル（調性とリズム）と低レベル（音色）の側面を表す6つの音楽的特徴が、音響信号から測定されました。

次に、パーセル化されたfMRI時系列と音楽的特徴に基づいて、非ミュージシャンとミュージシャンの分類が実行されました。 機械学習モデルは、77％の精度でリスナーの音楽性を予測しました。– 前頭葉と側頭葉の皮質領域、帯状回、皮質領域を含む9つの領域で測定されました。

精度

大脳辺縁系、聴覚、運動野、特に内側眼窩前頭野、右上側頭回、前帯状皮質で精度が得られています。 線形回帰によるボクセル単位のfMRIエンコーディングのさまざまな音楽機能を組み合わせることによって、精度が77％になりました。

血中酸素レベルの時系列から音楽的特徴をデコードすると、大多数のリスナーのリズムと音色の特徴で高い精度が得られます。 ただし、高レベルの主要機能の精度はリスナーによって異なり、神経処理における参加者間のばらつきが大きいことがわかりました。

簡単に言えば、この手法の新しい所は、機能的ニューロイメージング測定（リスニング環境で取得）と計算音響特徴抽出の統合、および神経処理のダイナミクスの考慮です。

重要なことは、現実的な環境での脳活動からリスナーのデータをデコードする最新の脳読み取り技術を補完しているという点です。 この研究はまた、脳が特定の音響特性と音声のイントネーションをどのように処理するかについて詳しくわかります。