來源：https://www.nature.com/articles/s41586-023-06443-4
美國加州大學舊金山分校和加州大學柏克萊分校的研究人員，開發一套腦機介面(brain-computer interface，簡稱BCI)，讓一名因腦幹中風而癱瘓多年的婦女能夠透過數位化身說話，為更多無法開口說話的人開啟無限可能。
這是第一次根據大腦訊號合成語言或臉部表情的突破性研究成果，研究論文2023年8月23日發表在《Nature》（自然）期刊。
帶領這項研究的加州大學舊金山分校神經外科主任Edward Chang希望，在不久的將來，美國食品暨藥物管理局（FDA）能夠核准透過大腦訊號來促進說話的最新技術，造福更多人。
Edward Chang十多年來一直致力於腦機介面的研究，他表示研究團隊的目標是恢復一種完整、具體的溝通方式，而這也是我們和他人交談的最自然方式。這個研究成果，未來可能為病人提供解決方案。
Ann是位47歲的中年婦女，17年前因腦幹中風突然倒下，全身肌肉無法控制，也無法開口說話，有時甚至無法呼吸。在接下來的5年裡，她每天晚上睡覺都擔心會在睡夢中死去，經過多年的物理治療，才能夠勉強控制臉部肌肉來哭或笑。儘管如此，以前可以讓她說話的肌肉還是動也不動。
如今，Ann積極協助加州大學舊金山分校和加州大學柏克萊分校的研究人員開發新的腦機介面技術，她希望有一天能夠幫助和她一樣的人，透過這種類似人類數位化身的技術，更自然地和他人溝通。
面對Ann這位全力配合的病人，Edward Chang的研究團隊嘗試一項相當具有前瞻性的計劃，就是將她的大腦訊號解碼成豐富的語言，以及對話時可讓臉部表情更生動的運作。
為此，Edward Chang和研究人員把一個薄如紙張、約信用卡大小，且由253個電極組成的物體，植入Ann的大腦皮質，這個區域和言語功能關係密切。植入的電極會攔截大腦的訊號。在她沒有腦幹中風之前，這些訊號會傳送到她的舌頭、下巴、喉部和臉部肌肉，讓她能夠隨心所欲地說話。
研究人員同時將一根電纜插入並固定在她頭上，將電極連接到一組電腦。在接下來的幾週裡，Ann和研究團隊合作以人工智慧演算法訓練這套系統，包括一再重複1024個單字的會話詞彙中的不同習慣用語，讓這套系統可以辨識她獨特的大腦語言訊號，直到電腦辨識出與說話基本語音相關的大腦活動模式。
其實，研究人員並不是訓練人工智慧辨識整個單字，而是建構一個以音素（phonemes）解碼單字的系統。比如說，「Hello」這個英文字就被拆解成4個音素，分別是「HH」、「AH」、「L」和「OW」，再以這種模式訓練這套人工智慧系統。
利用這種方法，電腦只需要學習39個音素，就可以解讀英語中的任何單句，既提高了這套系統的準確性，也讓它的速度增加3倍。
Sean Metzger和Alex Silva是一起開發原文解碼器的研究伙伴，兩人分別是加州大學柏克萊分校和加州大學舊金山分校聯合生物工程課程的研究生。他們認為準確性、速度和詞彙量至關重要，而這也將讓Ann能夠以幾乎和一般人一樣快的速度交流，進行更自然的對話。
研究團隊接著模擬臉部肌肉運動並製作動畫的軟體，針對Ann的頭像進行動畫處理。研究人員同時建構特殊的機器學習流程，好讓這套軟體能夠與Ann試圖說話時大腦發送的訊號結合，並將這些訊號轉換成她的化身臉上的動作，再透過下巴、嘴唇和舌頭的動作，在電腦表達出幸福、悲傷和驚訝等臉部表情。
研究團隊指出，他們正在彌補Ann因腦幹中風而中斷的大腦和聲道之間的連結。參與研究的加州大學柏克萊分校Kaylo Littlejohn博士表示，當Ann第一次透過這套系統讓數位化身來說話，同時驅動數位化身的臉部表情時，他就知道這將產生真正的影響。
接下來，研究團隊將會建構一個不需要外接電纜線的無線系統，讓像Ann這樣的病人能夠透過這項技術，自由控制自己的電腦或手機來說話，這將對她們的自主性和社交互動帶來深遠影響。
對Ann來說，這項技術將改變她的生活。.
若您對本文有任何批評與建議，歡迎點擊填寫意見表
歡迎點擊訂閱電子報，獲得最新文章訊息。
