数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图1

用全国产算力训练的底座，破局智能语音不可能三角。

作者 | 程茜

编辑 | 漠影

如果让你扮演一名刑侦助手，你能从下面数种声源混叠的音频里分析出受害人的所在位置吗？

讯飞最新发布的语音基座大模型SparkAudio 1.0，在几秒内就给出了答案：被拐孩子周围是大型机械设备发出的规律性噪音，可能在火车或地铁上。

模型给出了完整的分析过程，其没有根据孩子提到的“歌声”就默认是人或乐器发出的声音，而是通过嗡鸣声、机械设备的规律性噪音等数种声源，以及孩子提到的“在车上”去分析可能是什么场景发出的声音。不过，我们在音频中还能听到短促的警示音，模型并没有对此进行分析。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图2

接着下一段音频里，孩子描述了自己所处环境。我们在提示词中要求模型不针对语音内容进行推测，需凭各种声音分析推断被拐孩子附近的状况。

可以看到，SparkAudio 1.0分析时会将孩子说话的内容与声音结合分析，其把音频中汽车声音、机械设备、小朋友说话等各种声音，和孩子描述的“汽车在开会”、“圆圆的车”等抽象内容对应，分析出周围可能有大量体积较大的车等。然后在结论中通过声音线索给出孩子所处位置的几项关键特征。

不过，模型上一个问题就分析了被拐孩子可能在乘坐火车或地铁，但模型并没有结合两段音频做一些综合性判断。值得一提的是，虽然刑侦场景对于线索判断的严谨性非常高，但SparkAudio 1.0已经展现出帮助专业人士在音频文件中挖掘更多潜在线索的能力。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图3

语音本身是人类最本能、最低成本的沟通方式之一。过去AI大多只聚焦识别其中的文字内容，而像SparkAudio这样具备声场+人声复杂感知、理解和推理能力的模型，正让语音交互迈入全新阶段。

伴随AI与物理世界的连接日益紧密，在智能座舱、AI眼镜、人形机器人等诸多场景落地，大模型不仅要听清、听懂，还需要在动态复杂环境里同步感知声音、理解意图、协调行动。

在这一背景下，作为语音技术赛道的头部玩家，科大讯飞将沿着“语音交互—多模交互—具身多模交互”持续进阶，以软硬一体的技术和产品创新，推动新一代人机交互走进日常生活。

这条技术路线的最新成果，就是其上周2026年科大讯飞全球1024开发者节期间，发布的依托全国产算力训练的星火语音基座大模型SparkAudio 1.0。基于这一基座模型，科大讯飞在语音识别、语音同传、实时语音交互等专项场景，形成了一套分层落地思路：

先搭建通用语音基座大模型完成统一音频预训练，让模型学习人声、环境声、时序关联、说话人关系等通用音频表征；基座模型提升识别、同传、实时交互等基础能力，拓展音频理解、情绪识别、实时说话人分离和环境声理解能力，再由语音专用任务大模型面向具体任务做极致调优，以此平衡任务效果、任务精度、时延与工程成本。

语音已经成为下一代AI应用落地的核心交互载体。这套依托全国产算力打磨出来的语音基座大模型，正在为人机自然对话、沉浸式交互打下根基，推动大模型真正听懂声音里的场景、关系与意图，支撑下一代智能硬件的交互革命。

01.

搞定智能语音不可能三角？

语音基座大模型是杀手锏

语音是区别于图文、原生连续的交互方式，因其能解放眼手，并适配移动、具身场景的交互需求，成为智能座舱、AI眼镜、机器人等下一代硬件的核心交互方式。

但随之而来，这些场景也对语音交互各项指标提出更高要求，使得智能语音效果、任务的准确率/时延指标、工程成本三者很难同时拉满。

我们从科大讯飞亮出的最新答卷里，看到一条平衡这三者的可行路径：语音基座大模型+语音专用任务大模型。

这套方案的基座就是新发布的SparkAudio 1.0。该模型支持文本、语音双模态输入以及文本模态输出，可完成语音转写、多语言翻译、多方言识别、环境音识别、说话人分离、情感分析以及复杂音频问答等任务。

根据科大讯飞公开的基准测试结果，相比于业界多款SOTA闭源模型，SparkAudio 1.0的表现更优，在指令跟随方面与其他模型持平。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图4

正如开头案例所示，音频会携带时序、说话人、环境等独有信息，因此对其进行分析时需要面临场景复杂、噪声干扰强、实时性要求高等挑战。而独立语音基座大模型的价值就在于，可以先吃透声学细节、攻克复杂声场难题，再叠加多模态信息互补增效，从而更贴合真实交互场景。

因此，为了补强模型表征能力、压缩端到端时延、降低推理算力开销，科大讯飞采用了三大核心技术：

首先是半监督音频解码器SemiEnc针对的是语音领域表征建模弱的痛点。

在预训练过程中，其将量化器输入从原始的声学特征升级为结合有监督数据构建的语音专用任务大模型提取的强化表征，引入不同维度的信息先验，通过多任务训练显著强化编码器的建模能力，提升了语音识别等任务的鲁棒性，带来了各项任务的效果提升。

其次是动态分段端到端建模S-S2S，进一步降低端到端时延。

其以语音到语音的端到端语音建模技术为基础，依托语音理解与生成融合反馈决策闭环，打通识别、理解、生成模块的时序壁垒，支持增量流式语义驱动提前生成、动态反馈校正，在保证效果的同时压低语音同传、实时语音交互的响应延迟，满足实时语音业务的低时延需求。

最后是双范式协同解码CoDec，能拉低推理算力开销。

音频编码器首先通过非自回归CTC Decoder并行解码，一次性生成结果，然后通过LLM自回归模块通过投机解码判断是否需要介入、以及从何处开始自回归修正，使其兼顾效果，同时降低平均推理时延和计算成本。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图5

02.

在基座之上进行语音专用任务大模型迭代

识别、同传等模型立大功

在此之上，科大讯飞依托自研的独立语音基座大模型，将音频感知、理解、推理统一，作为上层所有语音能力的核心底座。

并在SparkAudio 1.0之上孵化出三大语音专用任务大模型：星火语音识别大模型Spark-ASR-2.0、星火语音同传大模型Spark-LiveTranslation和语音交互大模型Spark-Audio-Realtime。

这些模型分工清晰，基座大模型负责听懂音频、语音专用任务大模型负责把单项任务做到工程可用，这套分层思路对应的正是产业侧对通用理解与专项高性能的现实需求。

具体来看，星火语音识别大模型Spark-ASR-2.0能在准确识别的同时，结合上下文逻辑与语境理解，直接输出更连贯的内容，剔除音频中的语气词、重复表达等冗余信息。

以下面几个场景为例，其中多个音频混杂了时间、书名、网页链接、中英文等，而模型最终输出的是完整通顺的文本，且数字、单位、标点符号等内容格式规范。讯飞输入法16.0已接入该模型，提升了通用识别、复杂声学场景识别、上下文识别和文本流畅规范性。

从官方测试结果来看，Spark-ASR-2.0与当前业界最好水平相比，在方言、高噪和小音量上拥有显著优势，主要任务效果均好于业界最优水平。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图6

这背后同样集成了科大讯飞在语音领域的多项技术突破，其构建了非自回归识别与LLM增强自回归识别的专用语音识别架构。

非自回归识别模块继承Spark-Audio-1.0-Preview的音频表征和复杂声学场景建模能力，并通过MoE扩展、增量持续训练，提升大规模真实复杂场景下的识别鲁棒性。LLM增强自回归识别模块可以进一步发挥大语言模型的语言覆盖、上下文理解和推理能力，通过投机解码判断是否需要介入、以及从何处开始自回归修正。

研究人员还进一步针对中英文混合场景的数据匮乏、上下文信息融合等进行了增强，如构建大规模中英文混合文本数据、通过联合文本辅助与相似音素泛化来拟合不规范发音、将多源语境编码为结构化表征并与声学信息深度融合等。

另外一个语音专用任务大模型是星火语音同传模型Spark-LiveTranslation。其实测显示，相较线上系统，Spark-LiveTranslation的MOS评分由4.4提升至4.6，S2S响应时间也明显缩短。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图7

和普通语音交互场景不同，同声传译的语音输入条件复杂多样，覆盖多场景、长时长任务，且在语句长度、发言语速、现场环境、专业术语等方面差异显著。

因此，科大讯飞针对性提升了Spark-LiveTranslation的场景感知、长历史理解、播报长度调控和复杂场景鲁棒性能力。

该模型会在执行任务时区分是长篇演讲、双人对话、多人回忆，然后选择适合当前交流方式的“翻译质量—翻译延迟”策略，调整等待语义信息的程度与译语输出节奏，以适配现场的同传节奏。

同传场景还会存在时间较长的情况，并且同一名词在不同段落有不同说法。模型会将长历史语境纳入当前内容的理解，结合前文建立的实体指向、术语含义和话题线索，提升篇章级翻译一致性。

针对发言人语速习惯、不同语言的表达习惯，Spark-LiveTranslation会将长历史篇章理解与播报状态结合，动态调控译语的表达长度。播报积压时模型会在不丢失主旨、保持意思一致的前提下，保留关键事实与逻辑关系并采用更紧凑的表达。

最后是复杂专业场景，如中文句子中穿插英文术语、产品名称、缩写、方言表达等，模型能结合领域语境理解。以医疗场景为例，“三甲医院”与“三乙医院”，包含不同的等级信息。模型能够准确翻译、保留这种专业含义上的区别。后续，Spark-LiveTranslation将逐渐上线讯飞听见、讯飞AI眼镜，带来更好的同传交流体验。

除此以外，语音交互也是科大讯飞重点布局的方向，星火语音交互大模型Spark-Audio-Realtime正面向多轮对话场景深度优化。

03.

应用遍地开花

讯飞正打造整条语音产业链的地基

大模型时代，语音技术的竞争壁垒已经切换，WER（词错误率）等单点指标已不是评判的唯一标尺，竞争核心正朝着音频预训练数据体系、架构选择、算力自主与端云一体化闭环等方向延伸。

放眼当下国内的主流智能语音路线，各家选择各有侧重，有的侧重开源音频模型、有的依托通用多模态模型、有的聚焦端侧轻量的语音场景。而讯飞此次掏出的基于全国产算力训练的语音基座模型，无疑是智能语音赛道里的一个关键变量。

在这之上，讯飞的智能语音技术正遍地开花，推动人机交互持续迭代，让AI从数字世界走向真实物理空间。

最为直观的案例就是，科大讯飞SparkAudio 1.0已全系落地其多款产品，软件端覆盖讯飞输入法、讯飞听见等；硬件端搭载于讯飞翻译机、讯飞AI录音环、讯飞AI眼镜、讯飞办公本、具身智能等各种载体之上。

以讯飞智能办公本和讯飞AI录音环为例，其基于SparkAudio 1.0升级后，能更轻松应对不少复杂的语音交互场景。

讯飞智能办公本的升级主要体现在三大方面，包括支持手写标注说话人姓名，后续发言自动对应；抢话、多人交叠发言时也能准确区分说话人；可在中英混合、专业术语多的场景精准识别。

另外一款主打语音采集的讯飞AI录音环，则在识别、整理分析精度提升之外，进一步用硬件降低高效录音的使用门槛。它可以直接磁吸在手机背面，整机仅35克。

用户只需轻按机身按键，即可随时启动录音。录音结束后，其会通过WiFi 6高速传输，2小时录音约10秒传至手机、2分钟转成文字，还能智能区分说话人、生成AI会议纪要、提炼重点及待办事项，并支持多语种同声转译。

当下，可穿戴设备、智能座舱、人形机器人等各类新硬件、新软件，都对远场复杂音频处理能力提出更高标准，而讯飞这套语音基座模型，已经展现出成为各类多模态硬件通用底层能力组件的潜力。

04.

长坡厚雪，久久为功

讯飞已构筑三层语音壁垒

语音技术的重要性不言而喻，但复杂环境下稳定可靠的语音识别与理解能力，绝非一蹴而就，有赖于海量声学数据沉淀、长年工程打磨与持续迭代。

语音领域的探索是一场跨越周期的长跑。

科大讯飞在智能语音赛道的布局可以追溯到三十多年前，从语音合成开始逐渐覆盖识别、机器翻译、交互等多个维度，持续深耕语音技术，也多次在Blizzard Challenge、CHiME、IWSLT等不同方向的国际权威语音赛事上摘得桂冠。

2024年，由科大讯飞作为第一完成单位的“多语种智能语音关键技术及产业化”项目，荣获2023年度国家科学技术进步奖一等奖。这项奖项分量特殊，是深度学习掀起全球AI浪潮之后，近十年AI领域首个国家科技进步一等奖。

时至今日，大模型浪潮，为语音技术打开了更进一步的窗口。

因此，科大讯飞的技术布局提速，将多年语音技术积累和大模型能力深度融合，发力通用基座大模型、语音专用任务大模型等方向。

从首发自回归语音大模型架构，到陆续推出星火语音同传、识别等大模型、迭代多模态交互方案，到如今落地基于全国产算力的语音基座大模型，讯飞将长期的语音落地经验，与海量软硬件产品沉淀的数据打通复用。

其将在智能语音领域积累数十年的声学认知、场景经验，承载进了新的基座框架里，让语音交互迸发出新的想象力。

在大模型新周期里，科大讯飞已经在智能语音领域构筑起三层核心壁垒：国产算力自主闭环，统一基座搭配专用任务大模型的分层技术路线，以及沉淀多年的语音工程能力与端云数据闭环优势，为国产多模态硬件、具身智能、智能座舱、可穿戴生态等，提供自主可控的语音地基。

05.

结语：为国产语音赛道

打下自主可控的地基

SparkAudio语音基座大模型及语音专用任务大模型的创新体系，是讯飞立足多年语音积累交出的大模型时代新答卷，其既能向内支撑科大讯飞自家办公本、录音环、翻译机等终端产品的体验，也能向外输出底层能力，开放给可穿戴、智能座舱、具身机器人等各类硬件。

从其布局也可以看出，科大讯飞已经构建了一套可生长的语音原生底座，持续驱动识别、同传等核心能力迭代，为国产智能语音产业打下自主可控的音频地基。

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图8

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图9

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图10

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图11

数种声源混叠也能精准解析！科大讯飞亮出语音基座大模型SparkAudio 1.0图12