首页 > 教程攻略 > ai资讯 >00后和院士同台产学研趟出新路,大模型下一战要拼全模态和真对齐

00后和院士同台产学研趟出新路,大模型下一战要拼全模态和真对齐

来源:互联网 时间:2026-07-08 13:56:10

上周,中国中文信息学会做了一件很有意思的事——把学界教授、企业负责人和投资人请到了同一个会场,联手联想控股、中科院软件研究所等单位,成立了产学研创新生态工作委员会。说白了,就是在产学研这条老路上,想趟出一条新道来。

建立协同前创新,而不是成果后转化

联想控股CEO于浩出任工委会首任主任。他在会上讲了一个很关键的观点:过去产学研走的典型路径是“成果后转化”——科研机构闷头做出成果,再满世界找市场。现在这个路径已经走不通了。必须转向“协同前创新”,让产业端从研发阶段就参与进来,资金同步跟上,形成闭环。

这个思路其实不难理解。以前是论文出来了再想怎么卖,现在是企业带着实际问题进实验室,团队边研发边验证市场价值。效率自然不一样。

百度CTO王海峰:大模型从多模态拼接走向原生全模态

王海峰是国家卓越工程师、百度首席技术官,也是中国中文信息学会副理事长。他在演讲中把人工智能的下一个关键方向锁定在“原生全模态”上。

先看看现有多模态路线的问题。一种是系统层级的级联:语音对话系统里,ASR把语音转成文字,LLM做推理,TTS再把文字合成语音。另一种是模型内部的架构拼接,通过跨模态对齐模块连接视觉和语言模型。这两种方式的毛病在于——信息容易损耗,表示空间不统一,跨模态对齐困难重重。

所谓原生全模态,就是让文本、音频、图片、视频这些输入输出,都进入一个统一的模型框架,而不是让多个模块在外面接力。在文心大模型5.0的设计中,多模态输入被序列化为统一的离散Token,映射到共享表示空间,然后在自回归Transformer主干上以“下一Token预测”这样的统一目标进行建模。

具体的技术细节同样有意思。弹性预训练(Once-For-All)可以一次训练多种规格的子模型,适应不同的算力、延迟和成本约束。超稀疏MoE和动态路由则试图在“容量”和“效率”之间找平衡——专家激活率低于3%。在语音上,文心用多层Codec Token完成理解和生成;在视觉上,把图片当作单帧视频,将图片与视频统一为视觉Token序列。

在后训练和工程平台侧,也有几个亮点:训练推理一致的强化学习后训练保障了稀疏MoE的稳定收敛;多教师在线策略蒸馏降低了不同能力之间的相互干扰;FlashMask则针对复杂掩码的高效注意力计算,缓解长上下文和多模态异构输入带来的算力压力。在底层适配上,飞桨深度学习框架已覆盖超过60个系列芯片,主流国产人工智能芯片都在里面。

王海峰把竞争格局总结得很清楚:大模型竞争不只是单点模型参数或者榜单名次,而是统一建模、工程平台、多硬件适配和应用落地的组合能力。他呼吁产学研共同凝练真问题,建立更有耐心、有容错空间的创新环境。

微软研究员刘树杰:多模态不是把模态加进来,而是把表示对齐

刘树杰是微软亚洲研究院首席研究员,长期研究自然语言处理、语音处理和机器学习。他的不少成果已经用到Microsoft Translator、Skype Translator、微软语音服务等产品里了。

他以VALL-E为例,展示了一条把语音当作语言模型的路径。传统文本到语音(TTS)任务,可以改写为在离散神经音频编解码Token上的条件语言建模。一旦语音变成Token序列,就能借大语言模型的训练思路,实现零样本个性化TTS、语音编辑和更富表现力的语音生成。后来的VALL-E X进一步做到了跨语言零样本TTS,VALL-E 2又把零样本TTS效果推到了更接近人类水平。

刘树杰对多模态大模型的判断值得一说:纯文本模型的输入干净、符号化,推理能力和稳定性更强;多模态信号则更含噪、更非符号化,还带有长程时序结构。多模态大模型推理和鲁棒性不够好,根本原因往往不是模态不够多,而是表示不匹配、噪声信号太多——模型的建模能力被消耗在处理噪声上,而不是用在推理上。

在他看来,关键不是把音频、图片、视频等模态直接“加进来”,而是真正解决表示与对齐问题。语音介于文本和视觉之间,既是语言也是信号,可以成为连接文本大模型和更复杂多模态任务的桥。在视频方向,ARLON这样的思路提供了一个方向:把连续视频信号压成离散视觉Token,用自回归模型提供粗粒度语义和时序引导,再用DiT细化出高质量画面。

落到产学研上,刘树杰认为,应该集中攻坚大模型的核心问题——表示、对齐、评估与推理,而不是停留在跟随和调参。同时要和产品团队、产业界保持足够紧密的合作,让研究问题来自真实场景,也让成果更快回到产品和业务中。

研产融合共同答题,把科研团队和产业需求接到一起

于浩的观点很明确:产业端不能等技术成熟后再找应用场景,科研端也不能只等论文和项目结题后再寻找市场。产业和科研不是一方出题、一方作答,而是双方联合出题,依靠研产融合共同解题。

那工委会具体要做什么?于浩给了一个纵横两条线的框架。纵向是打通科研端、产业端和投资端。横向是在学会内部打通各个专委会。中文信息学会下设机器翻译、信息检索、语音处理等多个专业委员会,但于浩认为,AI技术快速迭代的环境下,按传统技术方向划分的组织形式已经不够灵活,工委会要做资源的横向连接。

落地层面,工委会计划搭建三个平台。

第一个是评测平台,把过去学术导向的评测改为“产业出题”模式,引入企业真实需求来设计评测任务。第二个是信息枢纽平台,改变过去老师和企业的点对点零散对接,做成系统化的生态网络。第三个是背书平台,借助学会作为国家一级学会的公信力,降低产学研合作中的信任和沟通成本。

围绕这三个平台,工委会公布了未来18个月的工作计划,主要是四件事:技术前瞻——产业界、投资界和科技界一起去探索、预测前沿技术的节点;项目孵化——完成标杆项目的孵化落地,希望把智谱模式复制出去,不是单点而是多面;专业评测——把企业真实问题转化为评测任务,驱动技术团队解决实际问题;人才发现——从评测和企业互访中挖掘优秀的青年技术人才。

圆桌激辩产学研合作模式:最怕院士创业,绝大多数教授只能当首席科学家

随后的圆桌环节,来自产业、高校、资本和创业一线的嘉宾探讨了两个核心问题:产学研的合作模式发生了什么变化?科学家创业该怎么定位?

拓尔思董事长、中国中文信息学会监事施水才认为,过去产学研转化是线性的——从实验室到公司,再到资本和市场,但现在这条路径已经太慢。新的变化有几个特征:硬科技创业地位更高,科学家需要更深度参与,技术迭代进入“生死时速”,企业必须做到行业头部,同时更需要资本和政府基金护航。他提醒,现在不少高校教授都有产业化想法,但创业不能“既要又要”,团队也不能只有一类人——科学家、工程化、商业化、财务和管理角色都要互补。

00后陈天润提供了一个反直觉的观察。他是在读博士,创办了做世界模型的魔芯科技。他的切身体会是:在大模型和世界模型这些前沿方向,一两个关键研究者的想法就可能改变项目走向,这些人未必是导师,很多时候可能是在读博士或刚毕业的年轻人。当然,年轻团队也需要高校、产业和资本资源的支撑,才能把研究想法变成更有行业影响力的产品。

哈尔滨工业大学教授、中国中文信息学会常务理事赵铁军对此深表认同。他说,创新的主要力量确实来自在读学生,他们思维活跃。AI技术迭代很快,很多创新力量来自在读学生和年轻研究者,高校老师需要把心态放得更开,和年轻人形成更自然的协作关系。

北京前沿国际人工智能研究院理事长、英诺科创基金合伙人王晟从投资人角度给出了一个判断:“VC投的不是科学家,是有科技基因的企业家。”他把高校创业者分成三类:商业和学术都顶尖的极少数人可以做CEO;只有学术能力的占绝大多数,必须找商业搭档;介于两者之间的可以多承担管理职责,但仍需互补。核心原则是“责、权、利对等”。

联想控股副总裁纪朝峰则直接坦言“最怕院士创业”——院士在学术圈习惯了权威地位,办企业容易出现管理盲区,“谁敢提管理意见?”他强调,投资和孵化不能只在给钱之后补救,而要在投资前就判断团队能力、组织机制和关键人的性格边界。

圆桌最后的共识很朴素:人无完人。科学家创业最重要的不是补齐所有短板,而是找到互补的搭档,把责权利理清楚。