豆包大模型支持实时语音通话了！

生成式人工智能的进步速度，确实让人有点应接不暇。如今，和ChatGPT、豆包这类AI助手聊天，已经不只是敲键盘——你完全可以像跟朋友打电话一样，用语音实时对话。说真的，语音才是人类最自然、最直接的沟通方式。当你只需要动动嘴，AI就能听懂并立刻回应，那种体验远比打字来得流畅。不用学复杂操作，一切都在一句简单的话里。 顺着这个趋势，一大批AI实时语音的创新应用冒了出来：AI社交陪伴、AI口语学习、游戏里的智能NPC、AI呼叫中心……这些场景不仅展示了AI技术的潜力，更折射出大家内心真正的期待：和AI的交流，能不能再自然一点、再丰富一点？ ## 1 WebSocket VS RTC，谁才是实时语音的更优解？ 我们和AI对话的流畅度，不光看大模型本身的理解生成速度，还得看背后那条“数据通道”选得好不好。早期很多开发者习惯用WebSocket，毕竟它普及率极高。但随着方案深入、用户对体验的要求越来越高，WebSocket的短板也越来越明显。 **响应延时**：WebSocket走的是TCP协议，在公共互联网上搞高带宽传输，尤其到了“最后一公里”，网络稍有不稳，延迟就忽高忽低，聊起来明显卡顿。 **打断回声**：不知道你发现没有，目前绝大多数AI语音通话应用，用户基本没法随时打断。你这边一开口，AI那边还在播，结果你的声音里混进了AI的回声，导致识别错误。整个体验更像是“对讲机”，而不是“打电话”。 **拓展限制**：一旦涉及视频通话或者多人互动，WebSocket就更吃力了。视频比音频消耗带宽多得多，丢包和延迟也更频繁；再加上多个参与者同时发布、订阅音视频流，管理复杂度直线上升。 所以说，要想提供真正流畅自然的用户体验，跟上大模型向多模态发展的节奏，实时语音方案用RTC（实时通信）技术才是更合适的选择。RTC能更好地适应网络条件变化，提供更稳定的实时传输性能。  ## 2 一步到位，打造自然流畅的AI实时语音应用 火山引擎推出的对话式AI实时交互解决方案，把整套流程打包了。底层搭载火山方舟大模型服务平台，通过火山引擎RTC实现语音数据的高效采集、处理和传输，同时深度整合豆包·语音识别模型和豆包·语音合成模型，简化了语音到文本、文本到语音的转换过程。这套方案能帮助应用快速实现用户和云端大模型的实时语音通话。 - **豆包·语音合成模型**：解锁「豆包」同款音色，语音自然生动，能表达多种情绪，演绎不同场景。 - **豆包·语音识别模型**：准确率和灵敏度更高，语音识别延迟更低，支持多种语言正确识别。 - **火山方舟**：提供模型精调、推理、评测等全方位功能与服务，还有丰富的插件生态和AI原生应用开发服务，保障企业级AI应用落地。 对话式AI实时交互服务的方案架构如下图所示。你可以开箱即用，只需调用标准的OpenAPI接口，就能配置所需的语音识别（ASR）、大语言模型（LLM）、语音合成（TTS）类型和参数。火山引擎AIGC RTC-Server负责边缘用户接入、云端资源调度、文本与语音转换处理以及数据订阅传输等环节。整体上大大简化了开发流程，让企业能更专注于大模型核心能力的训练和调试，加速AI实时语音场景的创新。 ### 随时打断，交流自然 想让和AI的对话像和朋友聊天一样自然，随时插话甚至打断，关键在于解决“双讲”问题——也就是当用户和AI同时说话时，音频互相干扰。火山引擎RTC基于成熟的音频3A处理技术，针对“双讲”场景，将传统回声消除算法与深度学习算法结合，不仅能有效去除回声，还避免用户语音被过度处理，确保云端语音识别（ASR）能准确捕捉和识别用户说的话。另外，火山引擎RTC通过简化算法提高了处理速度，避免了算法复杂性带来的额外延时。 <iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3577915929231015938"></iframe> *AI实时语音示例* ### 实时秒回，全球畅聊 火山引擎RTC依托于WebRTC传输网络（WTN），优选全球海量优质节点，实现全球用户智能接入和音视频数据超低延时传输。即使在复杂弱网环境下，也能保持低延时、高质量的通信能力。同时，火山引擎RTC结合云端语音识别流式处理，优化端到端链路延迟，整体响应延时可低至1秒。此外，火山引擎实时信令RTS可提供稳定可靠、低延时、高并发的信令收发能力，对文字信令也能高效传输。 无论AI服务部署在哪里，用户身处何地，不管是语音交流还是文字对话，都能享受无延迟、流畅的AI交互体验。 ### 产品融合，高效架构 在方案中，客户端提供了音频帧级别的语音活动性检测（VAD），可以精准检测音频信号中何时有人说话，何时是静默状态。这能帮助语音系统更有效地处理输入，更准确地识别和理解用户指令，减少误识别。同时，避免对无意义的背景声进行处理，节省计算资源，提高整体效率。 当前人工智能领域的创新和突破，几乎每周都有新进展。AIGC的交互形态和规模也在快速演变——从文字到语音再到视频等多模态，从1对1到多人多Agent互动。火山引擎大模型多模态实时交互服务在支持实时语音的基础上，也在拓展多模态视频对话和多人群聊等场景，帮助开发者快速迭代和创新，不断推出新的应用场景和玩法。 ## 3 灵活、多样化的接入方案 对于追求快速部署AI实时语音功能的企业，火山引擎的一站式解决方案可以让企业专注于核心功能和创新，不必深陷底层技术细节。当然，除了这套一站式方案，火山引擎也提供了其他两种接入方式，以满足不同企业的具体需求： - **自集成方案**：企业可以利用火山引擎RTC的音视频采集处理能力、云端媒体服务和音视频数据传输技术，自行组合ASR、LLM、TTS等技术构建完整的语音处理流程，实现更自主、灵活的架构设计。 - **WebRTC传输网络（WTN）方案**：对于在客户端拥有自主研发音视频技术的企业，火山引擎提供了基于WebRTC标准协议构建的传输网络（WTN）。接入WTN后，企业可以轻松获得全球范围内的超低延迟、稳定可靠的实时音视频传输服务，提升端到端多模态大模型的响应效率。 通过这些方案，企业可以根据自己的技术栈和业务场景，选择最合适的接入方式，实现高质量的AI实时语音场景。 火山引擎方案不仅与业内头部大模型合作打造端到端多模态大模型，在AI原生应用上，也已经为国内Top AI虚拟人物聊天应用提供了鲜活逼真的AI实时语音能力，给用户带来了全新的互动体验。未来，火山引擎将持续以高质量的音视频能力、灵活的技术方案和出色的AI能力，助力更多企业在AI实时音视频领域实现创新，激发业务增长潜能。