简介

VibeVoice 是微软开源的一套前沿语音 AI 模型家族，包含语音合成（TTS）和语音识别（ASR）两大核心能力。最亮眼的是它的 ASR 模型能一口气处理60分钟的长音频，同时搞定谁说、说了什么、什么时候说的——开会录音扔进去，出来就是带时间轴的逐字稿。而且全开源，自部署无压力。

核心功能

  • 60分钟超长音频单次处理：不像传统ASR把音频切碎成小段，VibeVoice 能在64K token窗口内一口气处理1小时的连续音频，保证整段内容的语义连贯性和说话人一致性
  • 多语言原生支持：VibeVoice-ASR 支持超过50种语言，开箱即用，不用额外配语言模型
  • 谁+什么+时间三合一转录：一个模型同时做语音识别、说话人分离和时间戳标记，输出结构化结果，不用另外拼装
  • 实时TTS语音合成：VibeVoice-Realtime-0.5B 支持流式文本输入和生成长语音，延迟低到几乎听不出来
  • 自定义热词：可以喂给模型特定词汇（产品名、人名、行业术语），大幅提升专业场景识别准确率
  • vLLM推理加速：支持vLLM部署，推理速度起飞

价格方案

方案价格功能限制
开源自部署版¥0需要自己搭服务器，GPU推荐A10以上
HuggingFace直接调用¥0受API限速，需排队
Azure托管版按量计费微软云服务，稳定但收费

💡 点击下方链接可查看完整文档和Demo CPS链接：VibeVoice官网 →

优缺点对比

优点缺点
全开源，无厂商锁定部署需要一定动手能力
60分钟长音频单次处理，业界领先ASR 7B模型参数量较大，消费级显卡吃力
同时输出说话人+时间戳+内容TTS部分曾因滥用问题临时下架（已恢复）
50+语言原生支持中文口语化表达识别还有优化空间
微软背书，社区活跃文档有待完善

适合人群

推荐给： 做会议转录的工具开发者、播客内容创作者、需要语音交互的独立开发者、企业内部语音系统建设团队。

不推荐： 想要"注册即用"的普通用户（不如直接上Azure或讯飞）、只有CPU没GPU的个人用户、只需要简单文字转语音的轻度玩家。

使用教程

  1. 拉取代码：git clone https://github.com/microsoft/VibeVoice.git，安装依赖 pip install -r requirements.txt
  2. 下载模型：从HuggingFace下载对应模型权重，ASR选 microsoft/VibeVoice-ASR，TTS用 microsoft/VibeVoice-Realtime-0.5B
  3. ASR快速试用：跑 playground 或直接调用 Python API，扔进去一段MP3/WAV文件，几秒后出结果
  4. TTS实时测试：用提供的Colab Notebook体验流式语音合成，输入文字就能听到声音
  5. 自定义优化：喂热词列表、微调模型参数，针对你的场景做定向优化
  6. 部署上线：用vLLM加速推理后部署到你的服务器，接入API供业务调用

购买建议

VibeVoice 是当前开源语音AI领域最完整的解决方案之一。ASR的60分钟长音频单次处理能力在市场上几乎是独一档的存在，适合做会议纪要、音视频转写、客服录音分析这类场景。TTS的实时流式合成质量也相当能打。

如果你是开发者，没什么好犹豫的——直接拉代码跑起来，零成本试错。如果你需要稳定的商用服务，用Azure托管版省心省力。最关键的是，微软开源的模型没有绑死任何平台，哪天不想用了随时能跑路自己部署。

🎯 官方链接：VibeVoice GitHub →