你习惯利用手机通过一句话完成搜索、控制吗？
这种看似成熟的技术，却始终建立在一个前提之上——人能够正常发声，而且周围环境足够安静。
一旦进入现实世界，这个前提便开始失效。医院病房、养老机构、工业现场等高噪声环境会迅速拉低识别准确率；而对于老龄化人群、听障及言语障碍患者而言，传统语音交互甚至可能完全失去作用。真正的人机交互，不应该只理解声音，更应该理解人说话这一行为本身。
一项发表于IEEE Transactions on Human-Machine Systems 的研究，正试图从这一根本问题出发，提出一种新的解决方案。团队构建了AVE Speech多模态语音数据集，首次将音频、唇部视觉以及面部肌电（EMG）三种与发声过程直接相关的信号同步采集，希望让机器不再只是“听见”语言，而是能够综合理解说话过程中产生的全部信息。
相比提出一种新的算法，这项工作的价值更接近于搭建基础设施。
长期以来，多模态语音识别的发展并非受限于模型能力，而更多受限于数据。现有公开数据集大多聚焦单一模态，例如LibriSpeech、THCHS30提供音频数据，LRS2-BBC主要覆盖音频与视频，而EMG相关数据集规模普遍较小，说话人数量有限，很难支撑跨受试者、多模态融合等研究，更难覆盖未来老龄化社会真实的交流需求。
AVE Speech试图补齐这一基础环节。
整个数据集围绕“音频—视觉—肌电”三种模态进行系统设计，从语料、采集协议到数据组织均进行了统一规划。研究团队构建了包含100句普通话日常表达的句子级语料库，每句话由3至5个词组成，覆盖生活交流、护理辅助以及医疗相关表达，并结合马斯洛需求层次理论，将内容划分为生理、安全、归属、尊重以及自我实现等多个维度，使语料更加贴近日常真实交流场景，而非传统实验室中孤立的词汇或命令句。
图1 采集过程
整个采集系统同时记录三类信息。
第一部分是传统音频信号，通过头戴式麦克风以44.1 kHz采样率完成录制；第二部分是唇部视频，由固定RGB相机持续采集30 fps图像，并通过固定安装装置保证视角一致；第三部分则是六通道面部肌电信号，研究人员在颏肌、笑肌等关键肌群贴附双极电极，以1000 Hz采样率记录发声过程中肌肉活动，并严格控制电极阻抗。
最终，同一句话对应形成三份完全同步的数据：声音、唇部运动以及肌肉活动波形。
整个数据集最终保留99500条高质量样本，累计时长约55.3小时，成为目前公开中文数据中首个同步覆盖音频、视觉和肌电三种模态的大规模句子级语音数据集。
如果说数据集回答的是“机器应该看见什么”，那么团队随后提供的基准模型，则回答了“机器如何利用这些信息”。
图2 模型框架
整个网络由单模态特征提取与多模态融合两部分组成。音频采用二维卷积结合ResNet-18完成声学特征编码；唇部视频首先通过三维卷积提取时空信息，再进入ResNet网络学习视觉特征；肌电信号则采用专门设计的二维卷积网络提取空间模式，随后三种模态分别通过Bi-GRU或Transformer编码器学习时间序列特征。
最终，不同模态的信息在融合层完成拼接，再经过统一时序建模，实现跨模态协同学习。
真正体现多模态价值的，是复杂环境下的实验结果。
研究采用完全跨说话人的训练策略，即70名参与者用于训练、10名验证、20名测试，保证模型面对的是此前从未见过的新说话人。这种设置相比随机划分更加接近真实应用，也更能检验模型泛化能力。
实验结果显示，在安静环境中，传统音频识别依然表现最好，准确率达到99%以上；视觉模态同样接近99%，而肌电由于个体差异较大，准确率约为63%。
然而，当环境噪声不断增强时，三种模态开始展现出截然不同的特性。
随着信噪比下降，音频识别性能迅速恶化。在0 dB条件下准确率下降至约72%；当噪声进一步增加至-5 dB时，仅剩35%左右；到了-10 dB，几乎失去识别能力，仅约8%。
相比之下，视觉和肌电几乎不受环境噪声影响，因为它们获取的是说话动作本身，而不是空气中的声音。
也正是在这种互补关系下，多模态融合体现出明显优势。
实验显示，融合三种信息之后，模型在干净环境下识别准确率始终保持99%以上；即使面对极端噪声，准确率依然能够维持在95%以上。其中，在-5 dB条件下达到97.81%，在-10 dB条件下仍达到95.51%。
这一结果意味着，当声音已经几乎无法辨认时，机器仍然能够借助嘴唇运动和肌肉活动恢复完整语义。这不仅提升了系统鲁棒性，也说明真正稳定的人机交互，不应依赖单一传感器，而应建立在多个生理信号共同表达语言的基础之上。
从产业角度来看，AVE Speech的意义并不仅仅在于新增了一个公开数据集。
随着人口老龄化持续推进，未来大量语音交互将发生在医院、养老机构、康复中心等复杂环境中。对于帕金森病、渐冻症、脑卒中康复患者以及老年群体而言，发声能力、环境噪声和个体差异往往同时存在，仅依赖麦克风已经难以满足需求。如何综合利用声音、视觉乃至肌肉活动等多种信息，构建更加稳定的人机交互系统，将成为下一代智能交互的重要方向。
AVE Speech为这一方向提供了一套公开、标准化的研究基础。它不仅能够支撑多模态语音识别算法的发展，也为言语感知机制研究、人机交互系统设计以及未来辅助交流设备开发提供了统一的开放基准。
当语音识别从“听声音”逐渐迈向“理解说话行为”，多模态融合或许正在成为下一代智能交互的重要基础。而AVE Speech所提供的，不只是一个新的数据集，更是一块连接语音、视觉与生理信号的底层拼图，为未来更加自然、更加鲁棒的人机交互打开了新的可能。
脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：
宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。
资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。
成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。
活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。
其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。
合作洽谈，请联系微信：ZuoLeiLeiya
（备注：姓名-单位-合作）
投稿丨成为创作者，请联系微信：RoseBCI
🌟星标置顶🌟
不错过每一条脑机前沿进展
一键三连「分享」、「点赞」和「在看」
欢迎在评论区聊聊
