Qwen-CUA – 阿里 Qwen 等推出的原生 Computer Use Agent

Qwen-CUA是什么

今天要聊的 Qwen-CUA，来头可不小。它是 Qwen 团队和 XLang Lab 联合搞出来的原生 Computer Use Agent，这个家伙的底子是一套 397B-A17B 的混合专家架构。有意思的是，它根本不依赖什么 DOM 树、辅助功能元数据这些传统手段，仅仅靠截图就能感知界面状态，然后直接用键盘和鼠标事件去操控浏览器、桌面应用乃至专业软件。在 OSWorld-Verified 这个基准测试上，它拿下了 86.2 分，而更大的版本 Qwen-CUA-Max，参数规模超过万亿，分数直接干到了 87.6 分。

Qwen-CUA的主要功能

• 纯视觉感知
  ：全靠截图来理解界面，不依赖 HTML 结构或者无障碍元数据，跨平台通用性更强了。

• 原生输入模拟
  ：直接输出键盘和鼠标事件，浏览器、桌面应用、专业软件，想操作哪个就操作哪个。

• MoE 架构底座
  ：基于 397B-A17B 混合专家模型，性能和推理成本之间找到了不错的平衡点；Max 版本参数超过万亿，性能又往上提了一截。

• 开放技术报告
  ：GitHub 上已经放出了技术报告和参考 Demo，研究者想复现或者二次开发，直接上手就行。

Qwen-CUA的技术原理

• 底座架构
  ：基于 Qwen3.5-397B-A17B 混合专家架构，总参数 397B，每次前向只激活 17B，表达能力很强，但推理成本控制得不错。

• 混合注意力机制
  ：用了 GatedDeltaNet 线性注意力和 Gated Full Attention，按 75:25 的比例交替排列，长序列计算复杂度从 O(n²) 降到了接近线性。256K 上下文吞吐量，比传统架构提升了 19 倍。

• 专家路由
  ：每层配置了 512 个细粒度路由专家，通过 Top-10 选择加上权重重归一化来激活，还有一个共享专家和 sigmoid 门控自适应调节通用知识贡献，信息损失的问题基本不用担心。

• 纯视觉感知
  ：只靠屏幕截图来感知界面状态，完全不依赖 HTML DOM 树、无障碍元数据或者操作系统 API，跨平台通用性很强。

• 视觉编码与定位
  ：继承了 Qwen-VL 系列的 ViT 架构，支持动态分辨率输入，配合 MRoPE 多模态旋转位置编码，能同时编码时间、高度、宽度三维信息，精准定位界面元素坐标。

如何使用Qwen-CUA

• 访问仓库
  ：去 GitHub 搜 xlang-ai/Qwen-CUA 就能找到项目主页。

• 阅读技术报告
  ：把项目里的技术报告下载下来看看，模型架构和训练细节都讲得很清楚。

• 运行参考 Demo
  ：按照 README 配好环境，跑一下官方提供的参考 Demo，就能体验截图驱动的自动化操作了。

• 接入自有环境
  ：把模型接入本地或者云端的桌面/浏览器环境，通过截图输入和键盘鼠标输出闭环，就能执行任务了。

Qwen-CUA的核心优势

• 高基准得分
  ：OSWorld-Verified 上拿到 86.2 分，Max 版本更是 87.6 分，在开源 CUA 领域算是领先水平了。

• 真正的原生 CUA
  ：不同于那些依赖 API 或者多 Agent 拼接的方案，Qwen-CUA 是端到端训练的视觉-动作模型，稳定性更高。

• 跨平台兼容
  ：操作系统和应用类型都不限制，只要有图形界面，基本上都能操控。

• 开源生态
  ：Apache 2.0 协议，技术报告和 Demo 都已经公开，社区可以自由扩展。

Qwen-CUA的项目地址

• GitHub仓库
  ：https://github.com/xlang-ai/Qwen-CUA

• 技术论文
  ：https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf

Qwen-CUA的同类竞品对比

维度	Qwen-CUA	OpenAI CUA / Operator
感知方式	纯截图视觉感知，零 DOM 依赖	截图 + 结构化辅助信息混合
架构	397B-A17B MoE，开源	GPT-4o 特化版，闭源
OSWorld-Verified	86.2 分（Max 87.6）	约 38.1% 成功率（历史数据）
开放性	技术报告 + Demo 开源（Apache 2.0）	API 商用，模型闭源
输入模拟	原生键盘鼠标事件	原生键盘鼠标事件
适用平台	浏览器 + 桌面 + 专业软件	主要面向浏览器与桌面

Qwen-CUA的应用场景

• 自动化软件测试
  ：通过截图识别界面元素，执行点击、输入、滚动等操作，跨平台 UI 回归测试不用再写特定脚本了。

• RPA 流程自动化
  ：数据录入、报表生成、ERP 操作这些重复性桌面办公任务，直接交给它，企业原有的 IT 系统也不用改造。

• 无障碍辅助工具
  ：为视障用户或者老年人自动识别软件界面元素，帮忙执行精确操作，专业软件的使用门槛大大降低。

• 科研与专业软件操控
  ：像 MATLAB、SPSS 这种没有 API 接口的专业软件，也能自动操控，批量处理实验数据、生成图表这些长周期任务。

• 云端 Agent 托管服务
  ：部署在云桌面环境里，7×24 小时执行网站巡检、数据抓取、定时报表下载这些后台任务。