Neurotech重建聽(tīng)到的聲音 并探究人們是如何感知音樂(lè)的

UNIVERSITY OF CALIFORNIA, BERKELEY

你腦子里有沒(méi)有一首歌？加州大學(xué)伯克利分校神經(jīng)科學(xué)家團(tuán)隊(duì)的一項(xiàng)新研究在了解音樂(lè)感知和認(rèn)知的神經(jīng)基礎(chǔ)方面取得了重大進(jìn)展，真正推動(dòng)了與音樂(lè)相關(guān)的神經(jīng)科學(xué)的發(fā)展。

最近發(fā)表在PLOS Biology雜志上的這項(xiàng)研究結(jié)果（journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3002176）顯示了人類大腦對(duì)音樂(lè)表演的反應(yīng)。當(dāng)我們的耳朵聽(tīng)到一段歌曲片段后，它會(huì)被我們的耳蝸（內(nèi)耳的螺旋腔）轉(zhuǎn)化為神經(jīng)元活動(dòng)。Ludovic Bellier是加州大學(xué)伯克利分校Helen Wills神經(jīng)科學(xué)研究所的博士后，他研究大腦中的神經(jīng)網(wǎng)絡(luò)最終是如何“聽(tīng)到”這些聲音的。

在他的團(tuán)隊(duì)的實(shí)驗(yàn)中，Bellier和同事分析了聽(tīng)迷幻搖滾樂(lè)隊(duì)Pink Floyd歌曲的人的大腦活動(dòng)。29名參與者是紐約州奧爾巴尼市奧爾巴尼醫(yī)療中心的癲癇患者。作為治療的一部分，這些患者的大腦表面植入了電子傳感器，他們被要求專心聽(tīng)Pink Floyd的歌曲“Another Brick in the Wall”。研究人員記錄了每個(gè)腦電極的振蕩電位，這些測(cè)量被稱為皮層電圖記錄（ECoG），是反映每個(gè)電極周圍大腦小區(qū)域神經(jīng)活動(dòng)的寬帶信號(hào)。

研究人員假設(shè)，每位患者記錄的ECoG信號(hào)反映了他們的大腦是如何感知為他們播放的音樂(lè)的。為了驗(yàn)證他們的假設(shè)，并了解患者大腦中哪些區(qū)域最參與音樂(lè)感知，該團(tuán)隊(duì)擬合模型，以重建歌曲的音頻頻譜圖，當(dāng)以ECoG特征作為輸入時(shí)，音頻頻譜圖顯示了聲能在頻率上隨時(shí)間的分布。如果模型能夠在正則化訓(xùn)練后準(zhǔn)確地重建聲譜圖，那么ECoG特征必須反映關(guān)于向患者播放的音樂(lè)的一些信息。

根據(jù)Bellier的說(shuō)法，研究小組能夠驗(yàn)證他們的假設(shè)。通過(guò)使用多種類型的模型來(lái)重建聽(tīng)覺(jué)信號(hào)，科學(xué)家們可以解碼出歌曲輸出音頻的至少部分可聽(tīng)見(jiàn)的相似性。研究人員表示，據(jù)他們所知，他們的研究結(jié)果是第一份從ECoG數(shù)據(jù)中回歸的音樂(lè)音頻出版物。盡管原始音頻和重建音頻之間的相關(guān)性仍遠(yuǎn)未達(dá)到1比1——統(tǒng)計(jì)r平方值為0.325——但當(dāng)將一些模型的輸出轉(zhuǎn)換回音頻波形時(shí)，如果距離較遠(yuǎn)，則可以將其識(shí)別為經(jīng)典歌曲。一種更復(fù)雜、更非線性的重建算法——所謂的多層感知器，或簡(jiǎn)單的雙層人工神經(jīng)網(wǎng)絡(luò)——會(huì)產(chǎn)生0.429的更高r平方擬合值和更清晰的音頻重建。

為了測(cè)試大腦中哪些區(qū)域最參與音樂(lè)處理，研究人員在去除電極輸入的同時(shí)，對(duì)模型進(jìn)行了相同的音頻重建任務(wù)訓(xùn)練。總之，來(lái)自所有患者的ECoG數(shù)據(jù)覆蓋了大腦的大部分總表面積，因此科學(xué)家們能夠?qū)⒋竽X的許多潛在區(qū)域視為產(chǎn)生聽(tīng)音樂(lè)體驗(yàn)的關(guān)鍵參與者。

通過(guò)比較涉及所有大腦區(qū)域的模型和沒(méi)有涉及的模型之間的性能變化——有時(shí)稱為消融研究——研究人員能夠說(shuō)出每個(gè)大腦區(qū)域提供了多少信息。換言之，如果當(dāng)特定區(qū)域的電極被移除時(shí)，重建精度沒(méi)有大的變化，那么該區(qū)域就不會(huì)像音樂(lè)感知那樣參與其中。

從這個(gè)過(guò)程中，研究人員發(fā)現(xiàn)，去除從大腦左右兩側(cè)一個(gè)稱為顳上回（STG）的區(qū)域收集的腦電波數(shù)據(jù)會(huì)導(dǎo)致重建精度的最大下降。這個(gè)區(qū)域恰好位于耳朵附近，也被認(rèn)為在語(yǔ)音處理中發(fā)揮著重要作用，因此它實(shí)際上可能在大腦處理復(fù)雜結(jié)構(gòu)化聲音的能力中發(fā)揮更大的作用。

該團(tuán)隊(duì)還發(fā)現(xiàn)，從左右STG中單獨(dú)去除數(shù)據(jù)特征對(duì)重建精度的影響顯著不同。這表明，參與者大腦右側(cè)STG的活動(dòng)比左側(cè)STG有更多關(guān)于歌曲的信息。奇怪的是，該領(lǐng)域先前的研究表明，語(yǔ)音處理的情況似乎恰恰相反，左側(cè)STG通常比右側(cè)STG做更多的工作。Bellier說(shuō)：“在95%的右撇子中，言語(yǔ)主要位于左半球。我們?cè)谡撐闹斜砻?，音?lè)（在左右STG之間）分布更廣，但具有右側(cè)優(yōu)勢(shì)”——這意味著右側(cè)STG處理的音樂(lè)信息比左側(cè)多。”

“我們可以做一個(gè)非常簡(jiǎn)單的后續(xù)跟進(jìn)，”Bellier說(shuō)。也就是說(shuō)，本研究只考慮了70到150赫茲的高頻腦電波信息。然而，Bellier表示，根據(jù)ECoG信號(hào)的較低頻率范圍計(jì)算的音頻特征也可以對(duì)重要信息進(jìn)行編碼。這就是為什么他說(shuō)，該團(tuán)隊(duì)計(jì)劃在當(dāng)前論文中對(duì)不同頻率范圍的神經(jīng)活動(dòng)重復(fù)相同的分析。正如論文所總結(jié)的那樣，該小組目前和未來(lái)的工作將增加“我們對(duì)人腦音樂(lè)處理理解的又一塊磚”。