来自加州大学圣地亚哥分校、拉普拉塔国立大学和卡弗里大脑与思维研究所的一组研究人员展示了一种鸟类鸣叫的声音合成器,它是通过植入鸟类脑组织的电极阵列记录下的大脑活动来实现的。这个团队能够复制复杂的声音斑马雀(Taeniopygia guttata)降低到原来的音高、音量和音色。的结果该杂志于2021年6月16日发表当代生物学raybetapp下载,提供证据,证明高维、复杂的自然行为可以直接由持续的神经活动合成;这可能会激发类似的方法,在人类和其他物种的义肢,利用知识的外围系统和时间结构的输出。
加州大学圣地亚哥分校的蒂莫西·根特纳教授说:“目前的通讯修复技术是一种可植入的设备,它可以让你产生文本输出,每分钟最多可以写20个单词。”
“现在想象一种声音假肢,它能让你用语言自然地交流,在你思考的时候大声说出你在想什么。这是我们的最终目标,也是功能恢复的下一个前沿。”
加州大学圣地亚哥分校的维卡什·吉尔贾教授补充说:“在许多人看来,从鸣禽模型到最终进入人类体内的系统,是一个相当大的进化跳跃。”
“但这个模型给我们提供了一种复杂的行为,这是我们在通常用于神经假肢研究的典型灵长类模型中无法获得的。”
研究人员将硅电极植入雄性成年斑胸草雀体内,并在它们唱歌时监测它们的神经活动。
具体来说,他们记录了大脑感觉运动部分多个神经元群的电活动,该部分最终控制负责唱歌的肌肉。
科学家们将神经记录输入机器学习算法。
他们的想法是,这些算法能够根据斑胸草雀的神经活动,制作出计算机生成的真实叫声副本。
但是,将神经活动模式转化为声音模式并非易事。
根特纳教授说:“有太多的神经模式和声音模式,很难找到一个单一的解决方案来直接将一个信号映射到另一个。”
为了完成这一壮举,研究小组使用了鸟类鸣叫模式的简单表征。
这些本质上是数学方程,用来模拟物理变化,也就是压力和张力的变化,这些变化发生在雀的发声器官,被称为鸣管当他们唱歌的时候。
然后,作者训练他们的算法将神经活动直接映射到这些表征。
这种方法比将神经活动映射到实际歌曲本身更有效。
“如果你需要对潜在声音的每一个细微差别、每一个细节进行建模,那么绘制图像的问题就会变得更具挑战性,”吉尔贾教授说。
“通过这种对鸣禽复杂鸣叫行为的简单表征,我们的系统可以学习到更健壮、更适用于更广泛的条件和行为的映射。”
该团队的下一步是证明他们的系统可以根据神经活动实时重建鸟鸣。
_____
Ezequiel m . Arneodo等.由神经驱动的有学问的复杂发声的合成。当代生物学raybetapp下载, 2021年6月16日在线发布;doi: 10.1016 / j.cub.2021.05.035