2026-06-17 2 分钟阅读

VoxCPM2 评测:30 语种、2 亿参数、零分词器的前沿 TTS 语音合成引擎

VoxCPM2 是 OpenBMB 开源的新一代文本转语音模型,支持 30 种语言、声音设计和可控声纹克隆,输出 48kHz 专业级音质。GitHub 星标超 30,000。

一句话介绍

VoxCPM2 是智谱旗下 OpenBMB 团队开源的新一代文本转语音(TTS)模型,2B 参数,支持 30 种语言、声音设计(Voice Design)、可控声纹克隆,以及 48kHz 专业级音频输出。在 GitHub 上已获得超过 30,000 个星标,是目前最热门的开源 TTS 项目之一。


它解决了什么问题?

TTS 领域长期面临几个核心难题:多语言语音合成需要切换不同模型、声纹克隆音质不稳定、语音合成缺乏情感控制,以及高分辨率音频输出依赖外部超分工具。

VoxCPM2 通过全新的”零分词器”(Tokenizer-Free)架构,端到端地直接生成连续语音表示,彻底绕过了传统方法中对离散声学 token 的依赖。这使得模型能够在保持极高自然度的同时,支持更灵活的声音控制和更广泛的语种覆盖。


核心功能

1. 30 种语言零标签多语言合成

VoxCPM2 支持阿拉伯语、日语、韩语、中文、英语、法语、德语、西班牙语、俄语、印地语等 30 种语言,无需手动指定语言标签,模型根据输入文本自动识别语种并合成。此外还支持四川话、粤语、吴语、东北话等 8 种中文方言。

2. 声音设计(Voice Design)

这是 VoxCPM2 最具吸引力的功能之一。只需一段自然语言描述,就能创建全新的声音——例如”(年轻女性,温柔甜美的声音)“或”(中年男性,低沉沙哑的声线,缓慢语速)“,无需任何参考音频。这对于需要原创配音声音的场景(如动画制作、有声书)极具价值。

3. 可控声纹克隆(Controllable Voice Cloning)

上传一段参考音频即可克隆声纹,同时保留对情感、语速和风格的控制能力。例如可以克隆某个人的音色,同时让克隆声音用欢快的语气说话,实现音色与表现力的分离控制。

4. 极致克隆(Ultimate Cloning)

提供参考音频及其文本转录,模型会从参考音频中逐字继承每一个声音细节——包括音色、节奏、情感和风格,实现几乎完美的克隆效果。适合需要高保真还原特定说话人声音的场景。

5. 48kHz 专业级音频输出

传统 TTS 模型通常输出 16kHz 或 22kHz 的音频,而 VoxCPM2 直接输出 48kHz 的 48kHz 工作室级音频,通过 AudioVAE V2 的非对称编解码设计内置了超分辨率功能,无需外部上采样器即可获得广播级音质。

6. 实时流式合成

在 NVIDIA RTX 4090 上,VoxCPM2 的实时因子(RTF)低至约 0.3,意味着 10 秒的语音可以在 3 秒内生成。配合 Nano-vLLM 或 vLLM-Omni 加速后,RTF 可降至约 0.13,满足实时对话和直播等场景的需求。


适用人群

  • 有声书制作人与播客创作者:声音设计功能可创建独特的配音音色,无需录音即可生成高质量语音内容
  • 视频制作者与动画师:多语言和方言支持使其成为全球内容创作者的理想选择
  • AI 应用开发者:Apache-2.0 开源协议允许商用,Python API 简洁易用,便于集成到各类产品中
  • 语言学习者和翻译工作者:30 种语言的原声合成,为语言学习提供真实自然的听感素材
  • 语音技术研究者:零分词器架构为 TTS 研究提供了新的技术路线

与同类工具对比

vs. Kokoro TTS

特性VoxCPM2Kokoro TTS
参数量2B82M
支持语言30 种 + 8 种中文方言英语、中文
声音设计支持(自然语言描述)不支持
声纹克隆支持(三种模式)有限支持
输出音质48kHz24kHz
推理速度较快(RTF ~0.3)极快(轻量级)
部署门槛需要 GPU消费级 CPU 即可

VoxCPM2 在功能丰富度和音质上全面领先,但模型体积也更大。Kokoro TTS 的优势在于超轻量级部署,适合资源受限的边缘设备。

vs. OpenAI TTS

特性VoxCPM2OpenAI TTS
成本完全免费开源按字符计费
部署方式本地部署云端 API
声音设计支持不支持
声纹克隆支持不支持
语言数量30 种17 种
数据隐私完全本地数据上传云端

对于注重数据隐私和成本控制的场景,VoxCPM2 是更好的选择。

vs. CosyVoice(阿里)

特性VoxCPM2CosyVoice
开源协议Apache-2.0(可商用)部分开源
零分词器架构是否
声音设计自然语言描述参考音频
方言支持8 种中文方言部分支持
流式合成官方支持支持

VoxCPM2 的零分词器架构带来了更自然的语音质量,且 Apache-2.0 协议在商业使用上更加友好。


如何使用

安装

pip install voxcpm

系统要求: Python ≥ 3.10(< 3.13),PyTorch ≥ 2.5.0,CUDA ≥ 12.0

基础 TTS 合成

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained(
    "openbmb/VoxCPM2",
    load_denoiser=False,
)

wav = model.generate(
    text="VoxCPM2 是目前推荐使用的多语言语音合成模型。",
    cfg_value=2.0,
    inference_timesteps=10,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("已保存: demo.wav")

声音设计——从零创建声音

wav = model.generate(
    text="(一位年轻女性,温柔甜美的声音)你好,欢迎来到 VoxCPM2!",
    cfg_value=2.0,
    inference_timesteps=10,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)

声纹克隆

wav = model.generate(
    text="这是通过 VoxCPM2 克隆的声音。",
    reference_wav_path="path/to/voice.wav",
)
sf.write("clone.wav", wav, model.tts_model.sample_rate)

流式合成(适合实时对话场景)

import numpy as np

chunks = []
for chunk in model.generate_streaming(
    text="流式语音合成让实时对话变得简单。",
):
    chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)

快速体验(无需安装)

可以直接访问 Hugging Face 上的在线 Demo:https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo


总结

VoxCPM2 代表了当前开源 TTS 领域的最高水平之一。其零分词器架构在语音自然度上达到了令人印象深刻的高度,30 种语言的支持使其成为真正的多语言语音合成平台。声音设计功能的加入更是降低了内容创作者的门槛——无需录音设备,一段文字描述即可生成专属声音。

推荐指数:★★★★★(5/5)

优点: - 功能全面:TTS、声音设计、声纹克隆一站式解决 - 音质出色:48kHz 专业级输出,超越大多数竞品 - 完全开源:Apache-2.0 协议,可自由商用 - 多语言支持:30 种语言 + 8 种中文方言 - 推理高效:RTF 低至 0.3,适合实时场景

需要注意: - 模型体积较大(2B 参数),需要 GPU 推理 - 对中文方言的支持仍在不断完善中 - Python 版本限制(不支持 3.13+)

对于需要高质量多语言语音合成的项目,VoxCPM2 是当前最值得尝试的开源方案。无论是作为最终产品的一部分,还是作为开发阶段的原型验证,它都能提供超出预期的表现。


相关链接: - GitHub 仓库:https://github.com/OpenBMB/VoxCPM - Hugging Face 模型:https://huggingface.co/openbmb/VoxCPM2 - 在线 Demo:https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo - 官方文档:https://voxcpm.readthedocs.io - 技术报告:https://arxiv.org/abs/2606.06928


想了解更多 AI 工具?浏览 198007.xyz/tools 获取精选 AI 工具合集,或查看 AI 语音合成工具评测 了解热门工具深度横评。