首页 > 教程攻略 > ai资讯 >换了30多种方言，我们竟然没能考倒中国电信的语音大模型

换了30多种方言，我们竟然没能考倒中国电信的语音大模型

来源：互联网时间：2026-07-12 13:55:49

方言这东西，真是刻在每个中国人骨子里的文化基因。吴语柔软细腻，关中方言质朴厚重，四川话幽默诙谐，粤语古雅潇洒——不管你来自哪个城市，记忆深处总有一两句“家乡话”。它不仅仅是语言习惯，更是一种情感连接、一种文化认同。咱们上网冲浪时遇到的新鲜词汇，有不少就源自各地方言。

但方言有时候也是交流的“壁垒”。现实生活中，“鸡同鸭讲”的场面屡见不鲜，比如下面这个视频里疯狂的温州话，你听得懂几句？

要是你关注最近的科技动态就会知道，现在的AI语音助手已经能做到“实时回复”，反应速度比人还快。而且，AI已经能充分理解人类的情感，甚至自己也能表现出各种情绪。在这个基础上，要是语音助手还能听懂并理解每一种方言，那就是彻底打破沟通壁垒了——能和任何群体无障碍对话。

这件事，还真有人做成了。近日，

中国电信人工智能研究院（TeleAI）发布了业内首个支持30种方言自由混说的「星辰超多方言语音识别大模型」

。这个模型能同时识别理解粤语、上海话、四川话、温州话等各地方言，是国内支持方言最多的语音识别大模型。

比如下面这个会议场景，面对多种方言轮流发言，模型的识别准确率相当出色。首先是广东公司代表用粤语发言：

下一句立马切换到上海话：

紧接着四川方言和山西方言轮番上阵，星辰大模型都能准确识别并转为文字：

用过语音助手的人都知道，针对普通话的语音识别准确率已经相当不错了。可一旦遇上重口音或者方言，准确率立马大幅跳水，甚至“张冠李戴”。过去，传统语音识别模型的做法是：每种方言单独训练一个模型。这就导致同一个应用背后需要维护好几个方言模型，而且一个模型只能认一种方言。可现实中的使用场景恰恰相反——人们最需要的是“一个模型通吃多种方言”。

一直深耕语音赛道的中国电信，决定挑战这个命题：打造一个更“通用”的语音识别大模型。

30多种方言，大模型如何拿下？

让大模型一口气学会30几种方言，可没那么简单——挑战同时来自数据、算法和算力三个方向。

第一个难题是

方言数据量稀疏

。如果不利用其他方言数据中的共有信息，单独训练某个方言模型，效果往往不太理想。好在TeleAI在语音领域多年积累，已经构建了超30种、超30万小时的高质量方言数据库，无论丰富性还是质量，都处于业界前列。高质量语音数据对研究者来说是个大利好，能让模型更高效、系统地对各地方言进行归纳总结。从长远看，构建这样的方言数据库，也是方言保护和研究的基础性工作。

第二个挑战来自

语音识别技术本身

。怎么让用户和大模型对话像和家人讲话一样自然？不用刻意切换成普通话，不用提高音量、放慢语速——这才是工业界眼下追求的新目标。

在中国电信CTO、人工智能研究院院长李学龙带领下，TeleAI自主研发了星辰语音识别大模型。团队首创了“蒸馏+膨胀”联合训练算法，解决了超大规模多场景数据集和大规模参数条件下预训练坍缩的问题，实现了80层模型的稳定训练。同时，通过超大规模语音预训练和多方言联合建模，最终实现了一个模型支持30种方言自由混说的语音识别。

值得一提的是，这也是业内首个开源的基于离散语音表征的语音识别大模型

。它通过“从语音到token再到文本”的建模新范式，将推理时的语音传输比特率降低了数十倍。

凭着实打实的性能优势，星辰语音识别大模型此前已在多个国际权威赛事上拿了冠军。比如在权威国际语音顶会Interspeech 2024的离散语音单元建模挑战赛中，星辰团队击败了约翰霍普金斯大学、卡内基梅隆大学、英伟达等国内外知名高校和企业，一举拿下赛道冠军。

团队在比赛中提出的系统方案很有特色：训练时采用“三段式”设计——前端预训练模型表征调整策略（Frontend Model）、表征提取与离散化过程（Discrete Token Process），以及多语种识别模型训练过程（Discrete ASR Model）；推理阶段则只用后两段。其中的表征离散化方法，能在保留语音中任务相关信息的同时，去除其他不相关信息，从而降低语音推理传输比特率、减少内存使用、提升训练效率。这也为语音多任务（如ASR、TTS、说话人识别等）统一模型构建、多模态模型建模、说话人隐私保护等方向提供了可能的解决方案。

在业内知名的多方言语音识别数据集KeSpeech任务上，星辰大模型以领先此前最优结果20%的成绩打破纪录，实现了92.97%的字准确率。在NIST（美国国家标准与技术研究院）举办的低资源粤语电话Babel语音识别任务上，同样取得了业内最优结果。

算力方面，团队的底气同样充足。中国电信是国内最早进入云计算领域的运营商，积累了大量算力建设和调度的核心技术。此外，还陆续投产了京津冀智算中心、中南智算中心等多个满足大模型训练的公共智算中心。

基于这些条件，星辰超多方言语音识别大模型横空出世，直接打破了“单一模型只能识别特定单一方言”的困局。多项基准测试中，它的表现相当亮眼：

理解方言，对答如流——这才是合格的语音助手

在大模型技术兴起之前，语音助手、智能设备和客服系统就已经广泛应用了。它们的用户体验高度依赖语音识别系统的准确率。很多海内外厂商都在这个赛道发力，但大家也发现了：主流语种之外，使用人口达数亿级的中国方言，并没有得到应有的关注，其场景价值被严重低估了。

长远来看，星辰超多方言语音识别大模型的能力可以在非常广泛的社会生活场景中发挥作用。拿

智能座舱

来说，这种高频语音交互的场景里，能懂各种方言的模型可以让系统更准确地识别和转录方言语音输入，带来更自然流畅的交互体验——尤其在方言使用较多的地区，能少一些“鸡同鸭讲”的尴尬。

从

情感陪伴

的角度看，大模型精通方言，能极大提升对话机器人类产品的陪伴质量，有效解决普通话不熟练的老年人等群体无法触达信息服务的问题——好比科幻电影《Her》里的情节，AI可以给予人类超越真实世界的关怀。

目前，星辰超多方言语音识别大模型已经开始融入各行各业，积极探索新兴应用场景。比如，它已在福建、江西、广西、北京、内蒙等地的中国电信万号智能客服系统试点应用。接入这个模型后，

智能客服秒懂30种方言，日均处理约200万通电话

；智能客服翼声平台接入了它的语音理解和分析能力，实现31省全覆盖，每天可处理125万通客服电话。

对中国电信来说，还有一个非常重要的出发点：2023年之前，人们谈大模型技术时，很少提及公益价值。但到了2024年，这个价值越来越多地被“看见”了。大模型技术的应用，将在很大程度上推动方言文化的保护。在我国的130多种语言中，有68种使用人口在万人以下，48种在5000人以下，25种不足千人——有的语言甚至只剩下十几个人或几个人会说。语音大模型可以帮我们记录和保护濒危方言，促进传承和学习。对于那些包含大量方言内容的历史文献和档案，方言大模型还能辅助进行数字化和整理工作，防止文化遗产流失。

「语音助手」全面开卷，中国电信如何领跑大模型落地之战？

大模型这场仗打了已经一年半，行业目前有个共识：随着推理成本大幅下降，我们即将迎来大模型应用的井喷期。在海内外众多玩家中，中国电信是很特别的一个。在这个新阶段，相比熟悉的科技企业，运营商在资源和业务上反而更具优势。

一方面，运营商有丰富的网络和算力资源，训练和推理成本相对更低，尤其在大模型建设上更容易发挥规模优势。另一方面，中国电信有庞大的客户群体，以及丰富的2C、2H、2B信息服务业务，能更快推动大模型在各个领域落地，形成新的经济增长点。这些优势让运营商有动力在人工智能领域持续投入，驱动技术进步。

在国内运营商中，中国电信是

最早布局AI领域的一家

，而且坚持走科技创新、核心能力自主研发的路线。去年至今，从星辰语义大模型到星辰多模态大模型和星辰语音识别大模型，

中国电信旗下的大模型保持快速迭代，已经完成了语义、语音、视觉、多模态的全模态大模型布局

。

更让人打破对央企传统印象的是，中国电信还是大模型开源领域的重量级玩家。今年，TeleAI陆续开源了7B、12B、52B的星辰语义大模型。今年内，千亿级星辰语义大模型也将正式开源。

沿着近年来人工智能的技术发展趋势来看，在实现通用人工智能的过程中，语音是关键一环，而语音识别又是其中非常重要的一环。当然，我们也意识到，语音合成技术的成熟将成为重塑各个语音助手场景的关键。据了解，TeleAI还同步研发了让拟人更真人的超自然语音生成大模型，实现了零样本声音复刻和拟人度对齐GPT-4o，将在语音识别和生成应用水平上进一步突破，加速通用AI语音助手的落地。

这样的全能中文语音助手，你期待吗？