VoxCPM2 评测:30 语种、2 亿参数、零分词器的前沿 TTS 语音合成引擎
VoxCPM2 是 OpenBMB 开源的新一代文本转语音模型,支持 30 种语言、声音设计和可控声纹克隆,输出 48kHz 专业级音质。GitHub 星标超 30,000。
一句话介绍
VoxCPM2 是智谱旗下 OpenBMB 团队开源的新一代文本转语音(TTS)模型,2B 参数,支持 30 种语言、声音设计(Voice Design)、可控声纹克隆,以及 48kHz 专业级音频输出。在 GitHub 上已获得超过 30,000 个星标,是目前最热门的开源 TTS 项目之一。
它解决了什么问题?
TTS 领域长期面临几个核心难题:多语言语音合成需要切换不同模型、声纹克隆音质不稳定、语音合成缺乏情感控制,以及高分辨率音频输出依赖外部超分工具。
VoxCPM2 通过全新的”零分词器”(Tokenizer-Free)架构,端到端地直接生成连续语音表示,彻底绕过了传统方法中对离散声学 token 的依赖。这使得模型能够在保持极高自然度的同时,支持更灵活的声音控制和更广泛的语种覆盖。
核心功能
1. 30 种语言零标签多语言合成
VoxCPM2 支持阿拉伯语、日语、韩语、中文、英语、法语、德语、西班牙语、俄语、印地语等 30 种语言,无需手动指定语言标签,模型根据输入文本自动识别语种并合成。此外还支持四川话、粤语、吴语、东北话等 8 种中文方言。
2. 声音设计(Voice Design)
这是 VoxCPM2 最具吸引力的功能之一。只需一段自然语言描述,就能创建全新的声音——例如”(年轻女性,温柔甜美的声音)“或”(中年男性,低沉沙哑的声线,缓慢语速)“,无需任何参考音频。这对于需要原创配音声音的场景(如动画制作、有声书)极具价值。
3. 可控声纹克隆(Controllable Voice Cloning)
上传一段参考音频即可克隆声纹,同时保留对情感、语速和风格的控制能力。例如可以克隆某个人的音色,同时让克隆声音用欢快的语气说话,实现音色与表现力的分离控制。
4. 极致克隆(Ultimate Cloning)
提供参考音频及其文本转录,模型会从参考音频中逐字继承每一个声音细节——包括音色、节奏、情感和风格,实现几乎完美的克隆效果。适合需要高保真还原特定说话人声音的场景。
5. 48kHz 专业级音频输出
传统 TTS 模型通常输出 16kHz 或 22kHz 的音频,而 VoxCPM2 直接输出 48kHz 的 48kHz 工作室级音频,通过 AudioVAE V2 的非对称编解码设计内置了超分辨率功能,无需外部上采样器即可获得广播级音质。
6. 实时流式合成
在 NVIDIA RTX 4090 上,VoxCPM2 的实时因子(RTF)低至约 0.3,意味着 10 秒的语音可以在 3 秒内生成。配合 Nano-vLLM 或 vLLM-Omni 加速后,RTF 可降至约 0.13,满足实时对话和直播等场景的需求。
适用人群
- 有声书制作人与播客创作者:声音设计功能可创建独特的配音音色,无需录音即可生成高质量语音内容
- 视频制作者与动画师:多语言和方言支持使其成为全球内容创作者的理想选择
- AI 应用开发者:Apache-2.0 开源协议允许商用,Python API 简洁易用,便于集成到各类产品中
- 语言学习者和翻译工作者:30 种语言的原声合成,为语言学习提供真实自然的听感素材
- 语音技术研究者:零分词器架构为 TTS 研究提供了新的技术路线
与同类工具对比
vs. Kokoro TTS
| 特性 | VoxCPM2 | Kokoro TTS |
|---|---|---|
| 参数量 | 2B | 82M |
| 支持语言 | 30 种 + 8 种中文方言 | 英语、中文 |
| 声音设计 | 支持(自然语言描述) | 不支持 |
| 声纹克隆 | 支持(三种模式) | 有限支持 |
| 输出音质 | 48kHz | 24kHz |
| 推理速度 | 较快(RTF ~0.3) | 极快(轻量级) |
| 部署门槛 | 需要 GPU | 消费级 CPU 即可 |
VoxCPM2 在功能丰富度和音质上全面领先,但模型体积也更大。Kokoro TTS 的优势在于超轻量级部署,适合资源受限的边缘设备。
vs. OpenAI TTS
| 特性 | VoxCPM2 | OpenAI TTS |
|---|---|---|
| 成本 | 完全免费开源 | 按字符计费 |
| 部署方式 | 本地部署 | 云端 API |
| 声音设计 | 支持 | 不支持 |
| 声纹克隆 | 支持 | 不支持 |
| 语言数量 | 30 种 | 17 种 |
| 数据隐私 | 完全本地 | 数据上传云端 |
对于注重数据隐私和成本控制的场景,VoxCPM2 是更好的选择。
vs. CosyVoice(阿里)
| 特性 | VoxCPM2 | CosyVoice |
|---|---|---|
| 开源协议 | Apache-2.0(可商用) | 部分开源 |
| 零分词器架构 | 是 | 否 |
| 声音设计 | 自然语言描述 | 参考音频 |
| 方言支持 | 8 种中文方言 | 部分支持 |
| 流式合成 | 官方支持 | 支持 |
VoxCPM2 的零分词器架构带来了更自然的语音质量,且 Apache-2.0 协议在商业使用上更加友好。
如何使用
安装
pip install voxcpm
系统要求: Python ≥ 3.10(< 3.13),PyTorch ≥ 2.5.0,CUDA ≥ 12.0
基础 TTS 合成
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained(
"openbmb/VoxCPM2",
load_denoiser=False,
)
wav = model.generate(
text="VoxCPM2 是目前推荐使用的多语言语音合成模型。",
cfg_value=2.0,
inference_timesteps=10,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("已保存: demo.wav")
声音设计——从零创建声音
wav = model.generate(
text="(一位年轻女性,温柔甜美的声音)你好,欢迎来到 VoxCPM2!",
cfg_value=2.0,
inference_timesteps=10,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)
声纹克隆
wav = model.generate(
text="这是通过 VoxCPM2 克隆的声音。",
reference_wav_path="path/to/voice.wav",
)
sf.write("clone.wav", wav, model.tts_model.sample_rate)
流式合成(适合实时对话场景)
import numpy as np
chunks = []
for chunk in model.generate_streaming(
text="流式语音合成让实时对话变得简单。",
):
chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)
快速体验(无需安装)
可以直接访问 Hugging Face 上的在线 Demo:https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo
总结
VoxCPM2 代表了当前开源 TTS 领域的最高水平之一。其零分词器架构在语音自然度上达到了令人印象深刻的高度,30 种语言的支持使其成为真正的多语言语音合成平台。声音设计功能的加入更是降低了内容创作者的门槛——无需录音设备,一段文字描述即可生成专属声音。
推荐指数:★★★★★(5/5)
优点: - 功能全面:TTS、声音设计、声纹克隆一站式解决 - 音质出色:48kHz 专业级输出,超越大多数竞品 - 完全开源:Apache-2.0 协议,可自由商用 - 多语言支持:30 种语言 + 8 种中文方言 - 推理高效:RTF 低至 0.3,适合实时场景
需要注意: - 模型体积较大(2B 参数),需要 GPU 推理 - 对中文方言的支持仍在不断完善中 - Python 版本限制(不支持 3.13+)
对于需要高质量多语言语音合成的项目,VoxCPM2 是当前最值得尝试的开源方案。无论是作为最终产品的一部分,还是作为开发阶段的原型验证,它都能提供超出预期的表现。
相关链接: - GitHub 仓库:https://github.com/OpenBMB/VoxCPM - Hugging Face 模型:https://huggingface.co/openbmb/VoxCPM2 - 在线 Demo:https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo - 官方文档:https://voxcpm.readthedocs.io - 技术报告:https://arxiv.org/abs/2606.06928
想了解更多 AI 工具?浏览 198007.xyz/tools 获取精选 AI 工具合集,或查看 AI 语音合成工具评测 了解热门工具深度横评。