小米AI语音新框架：人人都能当声音导演

语音合成大家都不陌生，这两年市面上各种AI配音也层出不穷。

but，真在实际场景应用起来，还是会面临一箩筐问题——

举个栗子，想把小说做成有声书，但配出来的声音怎么听都感觉很生硬，而且口语表达效果也是个大问题。

此外，像播客这种配音场景，光配音环节就要折腾大半天，合成音频时也会面临各种合成的bug！！！

也正因如此，面对传统语音合成的种种局限问题，小米大模型应用团队提出了——

Midasheng-audio-generate与Xiaomi Any2Speech两大真实世界音频生成框架。

在模型能力上，两个模型分别支持「沉浸式音频生成」与「无边界长音频合成」。

通过大模型对角色设定、情绪变化以及整体声学场景的统一建模，让AI能够真正理解一段自然场景下的音频应该如何呈现。

在这样的生成方式下，声音不仅能够被合成还原出来，还能一体式构建出来～

这下好了，人人都能当声音导演的时代来了？？

Xiaomi Any2Speech：让每个人成为声音导演

传统TTS技术的评判标准一直很直白，那就是模型能不能念好一句话，把每个字读清楚。

而Xiaomi Any2Speech的核心突破，就是让AI不再只懂念字儿，而是学会理解声学空间与叙事逻辑，真正拥有了导戏的能力。

具体来说，在播客、相声、辩论、脱口秀等多种语音对话节目生成中，Xiaomi Any2Speech都表现出了极高的可用性和真实性：

话不多说，直接来听听下面这段由模型生成的罗永浩×豆包辩论的AI效果：

模型能懂声音、会叙事，说话还自然流畅，核心靠的当然是一套全新的技术创新能力：

首先，就是能让模型理解声学空间与叙事逻辑的「Global-Sentence-Token（GST）」标注体系。

具体来说，Global层级定全局，把控场景定位、说话人画像、整体的情绪走向；而Sentence层级管局部，调整每一句话的语气、语速、表达意图，适配当下的背景状态。

Token层级抠细节，精准处理重音、多音字，甚至是笑声、呼吸声这类贴近真人表达的小细节。

三层配合，让AI对声音的理解更到位～

其次，是模型使用的Labeling over Filtering的技术思路，可以说也是反着传统TTS的玩法来的。

大家都知道以往做TTS训练时，其实都会刻意过滤掉嘈杂数据，比如多人重叠的声音、录音质量参差的素材，只留干净的音频做训练，觉得这些杂数据会影响效果。

而Labeling over Filtering的思路，则选择保留传统TTS摒弃的嘈杂数据——

通过GST标注体系将其转化为训练燃料，使模型学会从人声背景中泛化纯音效（如磁带损坏感、旧广播感）。

这样的好处很直接，那就是模型自己能学会从复杂的人声背景中提炼、泛化出各种特色声学效果～

不仅如此，在CoT思维链合成方面，模型还基于全局指令进行深度「推理」，理解场景氛围与情绪走向，再生成音频，这样一来比传统TTS更贴合场景、更有感染力。

在具体的架构设计上，Xiaomi Any2Speech采用了双路拆分+维度Dropout的思路。

把传统TTS理解与发声合并的黑盒过程，拆解成了可追溯、可干预的步骤，让创作过程的可控性大幅提升。

Instruct路：用户硬约束（场景元数据、说话人身份、声学环境评分）直接输入。
Think路：模型自主推理表达规划——全局氛围与情绪弧线、逐句语气/语调/语速/音量/意图，以及音素级发音细节；训练中随机丢弃部分标注维度（Dimension Dropout），被丢弃维度不补全，使模型在部分指定场景下仍能高质量合成。
双阶段生成：先逐句规划表达蓝图，再以蓝图为指导生成音频，将传统TTS “理解与发声合并” 的黑盒过程拆解为可追溯、可干预的两步。

也正因如此，Xiaomi Any2Speech在实际落地中，不管是多人分角色对话的塑造、背景环境与人声的融合建模，还是长文本的连贯处理、剧本结构的理解，都展现出了远超传统TTS的能力。

让音频创作不再是专业人士的专属，普通人也能轻松上手做出高质量的声音内容。

相较于Xiaomi Any2Speech的长音频合成能力，Midasheng-audio-generate的模型则更强调——

用一句话实现包括人声、场景音效、音乐等的「全场景声音」重建还原。

具体来说，模型在音频合成上的亮点主要包括以下几个方面：

再来听听下面这个「黑色电影侦探在雨中的独白」合成效果如何：

能实现真实沉浸感的声音效果，背后靠的则是Midasheng tokenizer技术在支持。

具体来说，基于Midasheng tokenizer，模型用Flow Matching作为主体框架来接收文本指令，驱动背后的全能编码器，直接合成包含语音、音乐、音效的复杂混合音频。

结构化多视角标注：传统方法依赖单一文本提示，而Midasheng-audio-generate将音频场景解耦为五个独立标注字段（整体描述、说话人风格、音效、音乐、语音转写），实现了对语音、音乐、音效的细粒度分层控制。
统一的非VAE生成：摒弃了主流方法中会损失语义信息的VAE声学分词器，采用统一的语义-声学表示（Midasheng tokenizer）进行建模，突破了生成质量的天花板。
智能体兼容的架构：其结构化标注格式天然兼容大型语言模型与智能体工作流，能够自动从高层场景描述中填充各标注字段，使得从单一描述生成复杂、连贯的音频场景成为可能。