让Skill“有图可依”：openJiuwen首发多模态Skill范式Skill-Omni

AI圈子里有个公认的事实：Skill让Agent学会了复用经验，不再每次从零开始摸索。但一个明显的短板始终存在——今天写给Agent的Skill，几乎全是纯文本。

修图该修到什么程度？界面上该点哪个按钮？这些“看了才明白”的知识，一直塞不进一份Markdown文档。针对这个问题，openJiuwen社区发布了一个新的范式，叫

。这是业界最早工程化落地的多模态Skill范式，核心价值在于：Agent的经验终于从“读得懂”升级为“看得见”。网页和视频中的视觉知识，从此可以沉淀为Agent可复用的多模态Skill。

给Agent的说明书，第一次有了插图和参考图。

具体来说，用户只需提供一个网页链接或一个B站视频链接，JiuwenSwarm中开箱即用的skill-omni-creation就会自动提取其中的关键截图、界面状态和操作脉络，生成Agent可直接读取复用的多模态Skill。

这已经是继SwarmSkill、SwarmFlow之后，openJiuwen在Skill工程化方向上的又一次快速迭代。

那么，为什么Skill需要多模态化？Skill-Omni又是如何做到的？

为什么Skill需要多模态化

今天的主流Skill范式，仍然停留在纯文本层面。这在代码生成、文档处理等任务中足够有用。可一旦Agent开始处理视觉任务、GUI任务，局限就立刻暴露出来——有些任务，本来就不是“说清楚”的，而是“看明白”的。

举个例子。对于

，文字Skill可能会写：“调整色调，使主体突出、背景柔和。”人类读起来也许能领会，但对Agent来说，这太模糊了：主体在哪里？柔和到什么程度？有没有参考效果？这些问题仅靠文字很难给出稳定答案。真正的知识藏在调整前后的视觉差异里——有了前后对比图，Agent才能看见“调整到什么程度才算合理”。

再看

。文字Skill可能会写：“进入设置页，打开高级选项，选择导出设置。”但“设置”可能是齿轮图标，也可能藏在头像菜单下；“高级选项”可能需要滚动页面才能看到；“导出配置”可能是按钮，也可能是下拉菜单里的某个条目，界面里还有多个相似按钮。如果有关键界面截图和页面状态，Agent才能不再只依赖文字猜测。

还有一点经常被低估——

。大量技能不写在文档里，而藏在软件录屏和操作演示中。人类看得懂，但总结成一段文字，界面状态和操作细节就全丢了。

一句话总结：

界面长什么样、操作前后有何变化、结果是否符合视觉预期——全部压缩成文字，既费笔墨，又丢失空间关系和视觉细节。

这个判断并非openJiuwen一家之言。MMSkills¹、VisualSkill²等近期学术工作已经系统论证了这一方向。方向已被验证，但

——不停留在范式讨论，而是快速做成了可用的产品能力。

从更形式化的角度看，多模态Skill的价值并不只是“信息更多”，而是为Agent提供了一个更大的决策信息空间。

这意味着，在理想决策器假设下，引入有效的多模态信息不会降低Agent的最优决策能力，反而为其提供了更高的信息上限。

skill-omni-creation：把网页、视频和视觉经验转化为多模态Skill

基于这一背景，openJiuwen在JiuwenSwarm中默认提供了一个叫skill-omni-creation的工具——这是一个用于生成多模态Skill的meta skill。

它不直接完成业务动作，而是关注“这里面有哪些截图、关键帧和操作模式，能帮Agent下次完成类似任务”，并把它们从网页、视频等外部资料中整理出来。

目前支持两类生成入口：一是

，把图文教程、技术博客中的截图和步骤沉淀为Skill；二是，从视频教程中提取关键帧和操作脉络。

能力一：把网页转成图文并茂的多模态Skill

高质量教程和技术博客本身就是图文结合的，但对传统文本Skill来说，网页里的图片经常被直接忽略，难以进入Agent的执行逻辑。skill-omni-creation处理网页分三步：

• 自动解析
  ：只需提供一个网页链接，系统自动解析内容并下载图片资源；

• 智能去噪
  ：过滤广告图、装饰图、无关banner，只留正文截图、操作步骤图、前后对比图等有价值信息；

• 重组过滤
  ：将文字步骤、关键图片和操作逻辑重新组织成信息密度更高的多模态Skill。

假设某网页讲解如何修复照片欠曝光。这类任务的关键信息藏在图像前后的视觉变化中：暗部细节是否被拉回，高光是否被过度提亮。skill-omni-creation把这些视觉判断标准连同前后对比图一起沉淀进Skill——让Agent不仅知道“如何修复”，也理解“修复到什么程度才算合适”。

能力二：把视频链接转成多模态Skill

视频的信息密度更高，但复用难度更大：

，重要信息只出现在某几个关键帧里。转录成文字会丢失视觉状态；逐帧塞给Agent又会带来巨大的上下文成本。skill-omni-creation的做法是：提供视频链接后，系统从连续画面中筛选关键帧，识别关键操作节点，整理出“什么时候发生了什么变化”。

一个Bilibili视频完整讲述了JiuwenSwarm的安装过程。只需提供视频链接，skill-omni-creation就会围绕筛选出的关键帧整理安装步骤、命令说明和界面状态。这对安装类任务尤其重要：安装是否成功，不只取决于命令写没写对，还取决于终端输出和启动界面是否符合预期。

生成之后：Agent如何读取多模态Skill

生成只是第一步，关键是Agent执行时能否正确使用——如何查阅多模态证据，又不因一次性加载大量图片而撑爆上下文。这也是学术研究反复指出的难点。JiuwenSwarm的工程答案是一套

机制：

• 环境检测
  ：运行时先检测用户提供的API是否支持多模态输入，避免在模型不支持视觉输入时盲目加载图片；

• 动态注入与按需调用
  ：调用Skill时，系统自动检查Skill中是否包含图片链接，若有则注入提示，引导Agent在需要时调用read_file读取图片。

图片不会被一次性全部塞进上下文，而是按需进入执行过程——既保留视觉信息，又避免上下文负担。

还记得“能力一”中生成的那个欠曝光修复Skill吗？现在轮到它上场了。面对欠曝光修复任务，Agent不再只靠“提升亮度”这样的文字描述判断任务是否完成，而是参考Skill中沉淀的前后对比图：暗部是否重现，高光是否没被拉过头，色彩是否自然。

哪些任务最适合Skill-Omni

一句话概括：那些“文字不够用”的任务。

• 图像编辑与设计
  ：Photoshop、ComfyUI、图像修复——核心是知道结果应该长什么样；

• GUI自动化
  ：后台配置、桌面软件操作、复杂表单——高度依赖界面布局和页面状态；

• 视频教程沉淀
  ：把软件教程、产品演示中的关键帧提取出来，变成Agent可读取的Skill；

• 企业知识库升级
  ：企业SOP里的截图、录屏、流程图，过去给人看，现在可以变成企业Agent可调用的知识资产。

在这些场景里，

从文字说明书到多模态经验库

过去，Skill更像一份写给Agent的文字说明书：遇到某类任务时，遵循哪些步骤、调用哪些工具、注意哪些约束。但在多模态Agent时代，这还不够。当Agent开始看屏幕、理解图片、操作软件、复现视频教程时，它需要的不只是文字规则，还有视觉参照、空间信息、关键帧和状态变化。

Skill-Omni打通的正是这条完整链路：

提取视觉经验（网页/视频）→ 沉淀为多模态Skill → Agent在真实任务中按需读取、判断与执行

这意味着

。从SwarmSkill到SwarmFlow，再到今天的Skill-Omni，openJiuwen正在把Skill从“一份文档”做成一套完整的经验工程体系——当Agent开始通过屏幕理解世界、通过图像复用经验，。

而这条路不会止步于屏幕：下一步，Skill-Omni将探索面向Physical AI场景的

——用物体抓取热力图沉淀物理交互经验，让Agent不仅复用“看得见”的经验，也复用“拿得稳、做得成”的经验。

Skill-Omni已在JiuwenSwarm中开箱可用。欢迎访问openJiuwen开源社区体验并参与共建。

openJiuwen官网：https://www.openjiuwen.com/
JiuwenSwarm快速开始：https://openjiuwen.com/jiuwenswarm#quick-start

[1] MMSkills：https://arxiv.org/pdf/2605.13527
[2] VisualSkill：https://arxiv.org/pdf/2606.18448