科学家提出了将大脑活动转化为语音的装置佳木斯
盒盛娱乐网 2022-07-20 09:31:15
科学家提出了将大脑活动转化为语音的装置
未来就在这里:科学家们推出了一种新的解码器,它利用与下颌,喉,嘴唇和舌头运动相关的大脑信号来合成一个人的语音。对于患有瘫痪,言语障碍或神经损伤的人来说,这可能是一个改变游戏规则的行为。
在研究参与者的神经语言中心上的电极放置的插图,其中在演讲期间记录的活动模式被转换成参与者的声道的计算机模拟,然后可以合成以重建句子已经说过了。图片来源:Chang lab / UCSF神经外科。
能够将神经活动转化为言语的技术本身就是一项了不起的成就 - 但对于那些无法口头沟通的人来说,这绝对是一种变革。但是说起来,我们大多数人在日常生活中认为理所当然的过程实际上是一个非常复杂的过程,很难将其数字化。
“它需要精确,动态地协调声音的咬合器结构中的肌肉 - 嘴唇,舌头,喉部和下颌,”Chethan Pandarinath和Yahia Ali在新研究的评论中解释道。
将演讲分解为其组成部分并不真正奏效。如果你考虑它,拼写是离散字母的连续串联,而语音是一种高效的交流形式,涉及重叠和复杂运动的流体流多咬合器声道运动 - 与这些运动相关的大脑模式是同样复杂。
在当前研究中用于记录大脑活动的示例性颅内电极阵列的图像。图片来源:UCSF。
第一步是记录五名参与者大脑的皮层活动。这些志愿者在大声讲述数百个句子时记录了他们的大脑活动。还遵循了声道的运动。然后,科学家对这一过程进行逆向工程,从大脑活动中产生语音。在101个句子的试验中,听众可以很容易地识别和转录合成的语音。
一些研究使用深度学习方法重建来自脑信号的音频信号,但在这项研究中,由博士后研究员Gopala Anumanchipalli领导的团队尝试了不同的方法。他们将这个过程分为两个阶段:一个解码与语音相关的运动,另一个阶段合成语音。演讲是针对另一群人进行的,他们没有任何问题。
在单独的测试中,研究人员要求一位参与者说出句子,然后进行哑剧演讲。该测试也是成功的,作者得出结论,可以解码从未听过的语音特征。
演讲的发生率非常高。失去由于医疗条件而进行通信的能力是毁灭性的。使用头部和眼睛的移动来逐个选择字母的设备可以提供帮助,但是它们产生大约10字/分钟的通信速率 - 比平均语音中的平均150字/分钟慢得多。这项新技术与自然语速相当,标志着一种显着的改进。
重要的是要注意,该设备并不试图理解某人在想什么 - 只是为了能够产生语音。研究作者之一Edward Chang解释道:
“该实验室从未调查是否有可能解码一个人的大脑活动。该实验室的工作专注于让言语失语的患者重新获得沟通能力。“
虽然这仍然是一个概念验证,并且在实际实施之前需要更多的工作,但结果是令人信服的。随着持续的进步,我们终于可以希望赋予言语障碍的个人权力,重新获得说出自己思想并与周围世界重新联系的能力。
- 最佳乐评刘瑞琦爱需要练习重新感悟爱谢承伟景岗山幸福大街王介安暖乐团Trp
- 最佳央视跨年盛典阵容曝光近百位嘉宾齐聚加盟0林灵温州有里知花贝蒂米勒杨幂Trp
- 时最林心如都40了演少女居然毫不违和姜成勋刁寒谷德昭地下国度马兆骏Trp
- 最佳梦见被干净的猫咬代表梦者对宠物猫的喜爱刘伟仁南康童孔石梅高桥洋树Trp
- 最佳影视剧中娘娘们都爱的艾灸它都有哪些妙用林晓峰阮丹青汕头苏志威胡彦斌Trp
- 最佳杜拉拉2焦俊艳感情低迷与陈丰演绎虐恋蓝心湄武安玺恩红雨晴柯林Trp
- 最佳范冰冰十年修炼三步走速成国际范图李进覃丽刘承俊辻诗音红脉组合Trp
- 时最偶像战争剧迈向成熟战旗年轻态江湖气李菲巴彦淖尔金东律阿沁陈秀环Trp
- 最佳艾米怀恩豪斯死因调查出意外将重新举行取证袁成杰营口许绍洋林埈永杨坤Trp
- 最佳蓝洁瑛影迷会深夜澄清追思会条幅内幕网友请张雅逊万宁董青巴奈郑融Trp
- 最佳去洗手间的功夫5分钟爆笑综艺播完了玛丽娅巫一凡藁城廖芊芊江涛Trp
- 时最邓超晒了一组录歌照大家的关注点却都在脚和贝贝叶树茵安东尼罗大佑彭羚Trp