让失声群体重获“新声”,脑机接口领域现重大突破

简介: 研究团队研发出一款解码器,能够利用人工智能基于大脑数据合成语音。

研究团队研发出一款解码器,能够利用人工智能基于大脑数据合成语音。

日前,学术期刊《自然》在线发表了一篇文章,其中涉及一种解码器,能够将大脑神经信号转化为语音,帮助无法说话的患者实现发声交流。

TB1cHKYSNYaK1RjSZFnXXa80pXa.jpg

据了解,该解码器由加州大学旧金山分校的神经外科学家Edward Chang教授与其同事一同开发。他们采用了一种叫做“高密度脑皮层电图”的技术,能够基于癫痫患者脑中被植入的电极(医疗监测需要)所传出的数据,直接记录下受试者大脑皮层的神经活动。

过程中,受试者会被要求大声读出几百条句子,研究人员则会同步记录他们大脑腹侧感觉运动皮层区的神经活动,这里是大脑的语音产生中心。

随后,研究人员将利用循环神经网络破译采集到的神经信号,其中涉及两个步骤:第一步,他们将神经信号转换为表征发音器动作的信号,包括下巴、喉、嘴唇和舌头动作相关的脑信号;第二步,他们则根据解码出来的发音器官动作,把信号转换为说出的语句。

TB1GI1KSQvoK1RjSZFDXXXY3pXa.jpg

为了验证自己的成果,研究人员已经在亚马逊的众包任务平台Mechanical Turk上招募了听众,来辨认解码器合成的语音,测试内容包括325个单词和101局整句。结果显示,听众能够成功的识别出单词,和对自然语音的感知模式一样。

对于这一测试结果,第一作者Gopala Anumanchipalli博士表示,该结果意味着这种神经合成语音对于现实世界的应用来说已经达到即刻听懂的实用程度。

此外,研究人员还进行了另一项测试,让受试者用默读的方式读出同一个句子。结果显示,无声言语的合成效果不如有声言语。但Edward Chang表示,虽然语音解码的准确性大大降低,但受试者在没有声音的情况下模仿发声仍然可以进行语音合成。至于那些已经丧失语音相关动作能力的群体,该系统的是适用性还需要进一步研究。

针对这一项研究成果,生物工程学教授Chethan Pandarinath等人在文章评论中表示,这一系统要成为一个临床可行的语音合成脑机接口,还存在许多挑战。但可以肯定的是,脑机接口技术的持续进步可以让存在发声障碍问题的群体重新获得“说话”的能力。

相关文章
|
25天前
|
机器学习/深度学习 自然语言处理 算法
【深藏功与名】揭秘大模型背后的真相:为何它们常让人欢喜让人忧,又该如何破局?
【10月更文挑战第5天】近年来,随着计算资源和算法的提升,大规模深度学习模型在自然语言处理和计算机视觉领域取得了显著成就,但也引发了“大模型幻觉”的讨论。该现象指模型虽在特定任务上表现出色,但在实际应用中存在过度拟合和泛化能力差等问题。本文分析了大模型的底层逻辑,并通过PyTorch代码示例展示了如何使用L2正则化缓解过度拟合。此外,还介绍了通过数据增强提高模型泛化能力的方法。未来研究需进一步平衡模型复杂度与泛化能力,以实现更佳性能。
32 0
|
2月前
数十年来首次取得进展,陶哲轩高徒、赵宇飞高徒突破组合数学难题
【9月更文挑战第9天】数十年来,组合数学领域面临诸多未解难题,而近期由陶哲轩与赵宇飞弟子领导的研究团队在Szemerédi定理改进方面取得了突破性进展。这一成果尤其针对k≥5的情况,不仅推进了理论认知,更为解决更高阶的Szemerédi定理提供了新思路。尽管仍有待完善之处,但该研究为组合数学带来了新的希望与方法。论文已发布于[此处](https://arxiv.org/pdf/2402.17995)。
38 5
|
5月前
|
人工智能 自然语言处理 测试技术
从高考到奥林匹克竞技场:大模型与人类智能的终极较量
【6月更文挑战第29天】上海交大等团队的OlympicArena测试评估了大模型在多学科认知推理任务上的能力,涵盖7个学科11,163个问题。最先进模型GPT-4的整体准确率为39.97%,数学和物理仅28.67%和29.71%,显示在复杂推理任务上的局限。尽管如此,模型在部分推理步骤中展现出潜力,但在空间推理和抽象符号理解上仍有挑战。[论文链接](https://arxiv.org/pdf/2406.12753)
32 1
|
机器学习/深度学习 传感器 算法
中外专家共同论道 | 人脑与机器渐行渐近,脑机接口「黑科技」照进现实
中外专家共同论道 | 人脑与机器渐行渐近,脑机接口「黑科技」照进现实
132 0
|
人工智能 工业大脑
阿云漫画 丨 阿里云用爱(AI)发电,让垃圾重获新生
阿云漫画 丨 阿里云用爱(AI)发电,让垃圾重获新生
315 0
|
机器学习/深度学习 人工智能 监控
向硅基文明致敬的认知计算? 从一个真实的Watson到认知商业
向硅基文明致敬的认知计算? 从一个真实的Watson到认知商业
向硅基文明致敬的认知计算? 从一个真实的Watson到认知商业
|
人工智能 机器人 atlas
机器人的五大世界之最,你觉得哪个最有机会战胜人类?
今年三月,随着AlphaGo跟围棋九段选手李世乭展开对弈,人工智能逐渐成为大家关注的焦点。随着胜利的天平逐渐向AlphaGo倾斜,最终最能体现人类直觉的围棋都被机器所征服。很多人不禁叹息:“这是不是表明人类已经完全败给机器”。
331 0
机器人的五大世界之最,你觉得哪个最有机会战胜人类?
|
新零售 人工智能 机器人
今日科技联播:让人类像机器人一样工作,科技公司的忽悠新套路“伪人工智能”
如何创建一家人工智能公司?雇佣一家最低工资标准的工人假装人工智能,然后等待人工智能被发明;新版的庚子赔款:上交4亿保证金,美国商务部最终与中兴公司达成协议;日本富士推出机器人零售业务自动化,十八般武艺样样精通!万豪酒店携手阿里引入人脸识别技术,一分钟内即可办理入住,小编表示:住不起!
1932 0
|
机器学习/深度学习 人工智能 物联网
今日科技联播:外星语言专家,已经开始讨论与外星人交流会面临的挑战?!
大家好,我是今日科技联播的主持人柚!子!菌!今天科技界比较平静,我挑选了几条必考的给大家播报一下。
1281 0