脑机接口新突破 重度语言障碍男子能愉快地说话唱歌

中国科学报
13 Jun

编译 | 文乐乐

一名患有严重语言障碍的男子,借助大脑植入装置,能够富有表现力地说话和歌唱。该装置可以将他的神经活动转化为话语,不仅能实现语调变化,强调他选择的单词,还能让他以3个音调哼唱一串音符。

该系统被称为脑机接口(BCI),使用人工智能解码参与者说话时的脑电活动。该装置是第一个不仅能再现一个人的意图,还能复制自然语言特征的BCI。而音调、音高、重音等自然语言特征有助于表达意思和情感。

植入运动皮层的电极有助于记录和语言相关的大脑活动。图片来源:Kateryna Kon

在一项研究中,一种模仿参与者声音的合成声音,在他的神经活动发出说话意图信号的10毫秒内就说出了他的话。这项6月11日发表于《自然》的研究成果标志着对早期BCI的重大改进。早期BCI通常在3秒内输出语音,或者仅在用户模拟完整个句子后才能生成语音。

“这是语音BCI领域的圣杯。”荷兰马斯特里赫特大学的Christian Herff说,“这是真实、自发、连续的讲话。”

这项研究的参与者是一名45岁男子,在患上一种运动神经元疾病——肌萎缩侧索硬化症后,失去了清晰说话的能力。这种疾病会损害控制肌肉运动的神经,包括说话所需的神经。虽然他还能发音和说话,但说得很慢,也不清楚。

在症状出现5年后,这名男子接受了手术,在控制运动的大脑区域插入256个硅电极,每个长1.5毫米。论文作者之一、美国加利福尼亚大学戴维斯分校的Maitreyee Wairagkar和同事训练了深度学习算法,能够每10毫秒捕捉一次大脑中的信号。团队的系统实时解码了该男子试图发出的声音,而不是他想要表达的具体词语或基本音素——构成单词的语音亚单位。

“我们并不总是用语言表达想法。我们还有感叹词,以及一些词汇表里没有的富有表现力的发音。为了实现这一点,我们采用了这种完全不受限制的方法。”Wairagkar解释说。

该团队还通过训练人工智能算法,根据病人生病前的采访录音,将合成声音个性化,使其听起来像病人自己的声音。

研究人员要求参与者尝试发出“啊”“哦”“嗯”之类的感叹词,并说出虚构的单词。BCI成功产生了这些声音,表明它可以在不需要固定词汇的情况下生成语音。

他告诉研究人员,听到合成声音说话让他“感到高兴”,感觉就像他的“真实声音”。

在其他实验中,BCI能够识别出参与者是想把一个句子说成疑问句还是陈述句。该装置还能判断他在一句话中想强调哪些词语,并相应调整合成声音的语调。“我们正在引入人类语言中所有这些重要的元素。”Wairagkar说,以前的BCI只能产生单调的语音。

瑞士日内瓦大学的Silvia Marchesotti说,该装置的功能“对于患者的日常使用至关重要”。“从某种意义上说,这是一种范式转变,可以真正带来一种现实生活中的工具。”

相关论文信息

https://doi.org/10.1038/s41586-025-09127-3

《中国科学报》 (2025-06-13 第2版 国际)

编辑 | 赵路

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10