英伟达开源 TwoTower AI 模型：保留 98.7% 质量，Token 生成提速 2.42 倍
来源：互联网
时间：2026-07-04 13:03:22
7月3日，英伟达正式发布了一款名为Nemotron-Labs-TwoTower的新模型，并同步在Huggingface上开放权重。这次开源背后的核心思路其实很直接：
要解决大模型推理时Token生成速度的瓶颈问题。
先看几个关键参数。模型总参数量60B，采用独特的双塔（TwoTower）架构——一个30B的自回归模型/上下文塔（context tower），外加一个30B的扩散/降噪塔（denoising tower）。每个塔激活3B参数，搭配128个可路由专家。听起来有点复杂，但本质上是将传统扩散语言模型中混杂的网络任务拆开，让两个独立的神经网络各司其职。
具体来说，上下文塔保持冻结状态，专门维护文本的自回归上下文；去噪器塔则负责训练，对噪声块进行去噪。两个塔通过逐层交叉注意力连接协同工作。这个设计的最大亮点在于：分工明确，互不干扰，从而在不牺牲太多质量的前提下，大幅提升生成速度。
那么实际效果如何？英伟达给出的基准测试数据显示，双塔架构保留了98.7%的综合质量，但实际运行时的吞吐量提升了2.42倍。附上对比结果：
| 任务 | Nemotron-3-Nano-30B-A3B (AR) | Nemotron-Labs-TwoTower (diffusion) |
|---|---|---|
| MMLU (5-shot, acc) | 78.56 | 78.24 |
| MMLU-Pro (5-shot, CoT EM) | 62.59 | 60.93 |
| ARC-Challenge (25-shot, acc_norm) | 91.72 | 92.66 |
| WinoGrande (5-shot, acc) | 76.09 | 76.09 |
| RACE (0-shot, acc) | 88.90 | 88.90 |
| HumanEval (0-shot) | 79.27 | 75.58 |
| MBPP-Sanitized (3-shot) | 74.71 | 74.28 |
| GSM8K (8-shot, acc) | 92.49 | 90.14 |
| MATH-500 (4-shot) | 84.40 | 80.60 |
| MMLU Global Lite (5-shot) | 73.97 | 73.94 |
| MGSM (8-shot, a vg acc) | 80.80 | 80.40 |
| Quality retained | 100% | 98.7% |
| Generation throughput (× AR) | 1.0× | 2.42× |
从表格能清晰看到，在大多数任务上TwoTower模型与纯自回归模型持平或略微下降，但生成吞吐量直接翻了一倍多。对于需要高频推理的生产环境来说，这2.42倍的加速意味着成本和时间上的显著优势。授权协议方面，采用NVIDIA Nemotron Open Model License，开发者可以直接在Huggingface上下载权重进行二次开发。
