VoxCPM2：基于连续表征的多语言语音合成、创意音色设计与高保真声音克隆

VoxCPM2 是 OpenBMB（面壁智能）联合清华大学深圳国际研究生院人机语音交互实验室（THUHCSI）等机构推出的开源 TTS（Text-to-Speech）模型，是 VoxCPM 系列的最新大版本。

VoxCPM 是一个无离散音频分词器（Tokenizer-Free）的语音合成系统，通过端到端的扩散自回归架构直接生成连续语音表征，绕过对音频的离散编码步骤，实现高度自然且富有表现力的语音合成。

VoxCPM2 是最新的版本 — 基于 MiniCPM-4 基座构建，总计 20亿 参数，在超过 200万小时 的多语种音频数据上训练，支持 30种全球语言+9种中文方言、音色设计、可控声音克隆，原生输出 48kHz 高质量音频。

🎛️ 核心技术亮点：基于连续表征的 Tokenizer-Free 架构

传统 TTS 通常依赖​离散音频分词器​（Tokenizer），将语音编码成有限的 token 序列，这容易导致信息损失、表现力不足和音色细节丢失。

VoxCPM2 采用​端到端扩散自回归（Diffusion Autoregressive）架构​，直接在连续语音表征空间中建模和生成：

• ​架构流程​：LocEnc（局部编码器）→ TSLM（时序语言模型）→ RALM（参考注意力语言模型）→ LocDiT（局部扩散 Transformer）。
• ​AudioVAE V2​：支持 16kHz 输入 → 48kHz 高保真输出。
• ​骨干模型​：基于 MiniCPM-4，​总参数量 2B​。
• ​训练数据​：超过 200 万小时 多语言语音数据。
• ​LM Token Rate​：6.25 Hz，支持较长序列（最大 8192 tokens）。

这种连续表征方式保留了更多原始声学细节、情感、呼吸、韵律等信息，生成语音更自然、富有表现力，尤其在声音克隆和跨语言迁移上优势明显。

资源链接

• ​GitHub​：https://github.com/OpenBMB/VoxCPM （包含详细文档和中文 README）
• ​Hugging Face 模型​：https://huggingface.co/openbmb/VoxCPM2
• ​在线 Demo / Playground​：https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo
• ​文档​：https://voxcpm.readthedocs.io/

✨ 核心特性

• 🌍 30种语言语音合成 — 直接输入原始文本即可合成（支持语言详见下文），无需额外语言标签
• 🎨 音色设计 — 用自然语言描述（性别、年龄、音色、情绪、语速……）凭空创建全新音色，无需参考音频
• 🎛️ 可控声音克隆 — 从参考音频片段克隆任意声音，可叠加风格指令控制情绪、语速和表现力，同时保持原始音色
• 🎙️ 极致克隆 — 提供参考音频及其文本内容，模型接着参考音频进行无缝续写，从而精准还原声音细节特征（与 VoxCPM1.5 一致）
• 🔊 48kHz 高质量音频 — 输入 16kHz 参考音频，通过 AudioVAE V2 的非对称编解码设计直接输出 48kHz 高质量音频，内置超分能力
• 🧠 语境感知合成 — 根据文本内容自动推断合适的韵律和表现力
• ⚡ 实时流式合成 — 在 NVIDIA RTX 4090 上 RTF 低至 ~0.3，通过 Nano-vLLM 或 vLLM-Omni（官方 vLLM 全模态服务，原生支持 VoxCPM2，提供 PagedAttention 与 OpenAI 兼容 API）加速后可达 ~0.13
• 📜 完全开源，商用就绪 — 权重和代码基于 Apache-2.0 协议发布，免费商用

中国方言：四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话

📦 模型与版本

VoxCPM2 采用连续音频表征、扩散自回归范式，模型在 AudioVAE 的连续隐空间中通过四阶段处理：LocEnc → TSLM → RALM → LocDiT，实现丰富的表现力语音合成和 48kHz 原生音频输出。

📊 性能评测

VoxCPM2 在公开的零样本和可控 TTS 基准测试中取得了 SOTA 或可比的结果。

Seed-TTS-eval

CV3-eval

MiniMax-Multilingual-Test

Internal 30-Language ASR Benchmark

我们额外进行了内部多语言可懂度评测：30 语种 × 500 样本，ASR 转写评估使用 Gemini 3.1 Flash Lite API。

InstructTTSEval

⚙️ 微调

VoxCPM 支持全参数微调（SFT） 和 LoRA 微调。仅需 5-10分钟 的音频数据，即可适配特定说话人、语言或领域。

# LoRA 微调（参数高效，推荐）
python scripts/train_voxcpm_finetune.py \
    --config_path conf/voxcpm_v2/voxcpm_finetune_lora.yaml

# 全参数微调
python scripts/train_voxcpm_finetune.py \
    --config_path conf/voxcpm_v2/voxcpm_finetune_all.yaml

# WebUI 训练与推理
python lora_ft_webui.py   # 然后打开 http://localhost:7860

完整指南 → 微调文档（数据准备、配置、训练、LoRA 热切换、常见问题）

📚 文档

完整文档：voxcpm.readthedocs.io

🌟 生态与社区

完整生态见文档。社区项目非 OpenBMB 官方维护。