# 语音技术链路与模型选型

> 从拾音到播放的五个模块，关键指标，以及级联与端到端两条路线的分工。

## 1. 技术链路：五个模块，一条闭环

~~~text
麦克风 / 电话 / 车载麦  →  前端处理  →  ASR  →  语义与对话  →  TTS  →  播放
                          (降噪/VAD)   (识别)   (理解/Agent)   (合成)
                               ↑                                  │
                               └────────── 打断、回声消除 ←────────┘
~~~

| 模块 | 关键作用 | 核心指标 | 2026 现状与选型要点 |
| --- | --- | --- | --- |
| **前端处理** | 降噪、回声消除（AEC）、静音检测（VAD） | 判停窗口 300–500ms | 最容易被忽略却最影响体验：判停太短会打断用户，太长显得迟钝 |
| **ASR** | 语音转文本，流式 / 离线 | 首字延迟 <300ms、CER、热词命中率 | 中文开源 SenseVoice 官方自测 CER 7.8%，明显优于 Whisper large-v3 的 20%；差距主要在方言、噪声、专业词 |
| **说话人** | 声纹核验（1:1）、说话人分离（1:N） | EER、分离准确率 | 催收、客服身份核验刚需；多人会议必须做分离，否则转写无法归属 |
| **语义与对话** | 意图、槽位、RAG、任务编排 | **任务完成率** > 意图准确率 | 单点问答已不成问题，价值转移到「查订单、建工单、发起退款」的闭环 |
| **TTS** | 文本转语音、音色克隆 | 首包 100–300ms、MOS、克隆 3 秒 | 流式合成是实时对话前提；音色像不像人，比字正腔圆更影响信任 |
| **端到端语音大模型** | 音频进、音频出，跳过级联 | 端到端延迟 | Qwen3-Omni 官方数据 211ms，GPT-4o Realtime 同量级；省掉级联误差，但可控性与合规性更弱 |

### 级联 vs 端到端：不是替代，是分工

| 维度 | 级联（ASR→LLM→TTS） | 端到端语音大模型 |
| --- | --- | --- |
| 延迟 | 三段累加，优化后 800ms–1.5s | 200–500ms，打断更自然 |
| 可控性 | 每段可替换、可审计、可加规则 | 黑盒，话术与合规约束难落地 |
| 成本 | 按段计费，可用小模型分流 | 单次推理贵，长对话成本高 |
| 合规 | 转写文本可留痕、可质检 | 音频直出，留痕与质检要另做 |
| 适用 | 外呼、客服、质检、纪要等强业务场景 | 陪伴、车载助手、实时翻译等体验优先场景 |

> 结论：**业务系统以级联为主，端到端用于体验层或特定交互**。两者共用同一套评测集，按任务完成率和单次成本选，不按 Demo 惊艳程度选。

---

上一篇：—　·　[返回语音索引](README.md)　·　下一篇：[行业提效实践案例](02-行业提效实践案例.md)