GenEvolve - 美团等推出的自演进图像生成 Agent

GenEvolve是什么

先来回答最直接的问题。GenEvolve，全称是“自演进图像生成Agent”，由香港科技大学（广州）、美团与新加坡国立大学联合推出。它做了一件很有意思的事：把开放式图像生成这件事，形式化成了一套“工具编排的视觉轨迹”。说得直白一点，就是让Agent自己去搜索文本证据、检索视觉参考、调取内部的生成知识，最后把这些结果整合成一个prompt-reference program，再交给任意一个参考条件生成器去渲染出图。

整个过程，不再是用户手工调prompt，而是让系统自己决策“现在该查什么、该看什么、该调用什么技能”。

GenEvolve的主要功能

GenEvolve的核心能力可以拆成四个模块，每个模块对应一种特定的“工具调用”：

• 文本搜索（search）
  ：用来收集外部的事实证据。遇到需要真实建筑、公众人物长相、商品结构这类世界知识时，靠这个补全信息。

• 图像搜索（image_search）
  ：检索视觉参考图。不管是地标、人物还是材质质感，先看一遍相似的参考再说。

• 生成知识查询（query_knowledge）
  ：激活内部预置的生成技能。像文字渲染、空间布局、材质一致性这类常见但棘手的需求，有专门的Markdown知识库来支撑。

• Prompt-Reference Program 合成
  ：这是最后一步，把上面搜索结果整合成一个可执行的生成程序，交给任意参考条件生成器去渲染产出。

GenEvolve的技术原理

技术层面的设计有点意思，分成两个阶段。

• 训练分为两阶段
  ：

  • SFT 冷启动
    ：在高质量的Teacher轨迹上，对Qwen3-VL-8B-Instruct做监督微调。目的很简单——先让它学会基本的工具调用和程序写法。

  • 自我进化（Rollout）
    ：对同一个请求采样多条轨迹，渲染成图像后，由视觉判分器和文本判分器共同打分，再用GRPO来优化轨迹级的奖励。这是决定模型质量提升的关键环节。
• 视觉经验自蒸馏（Visual Experience Distillation）：一个很巧妙的设计。它在同一请求下，对比最优与最差两条轨迹，把差异总结成结构化的Decision Guide。然后通过token级别的反向KL，把教师分支的偏好蒸馏给学生模型。效果就是，模型学会了“在类似的请求下，知道该搜什么、参考什么、约束怎么写”的决策习惯。

如何使用GenEvolve

上手部署并不复杂，逻辑也很清晰：

• 克隆仓库
  ：从GitHub把GenEvolve代码拉到本地。

• 安装依赖
  ：直接跑pip install -r requirements.txt就行。

• 下载模型
  ：从HuggingFace下载MeiGen-AI/GenEvolve的Qwen3-VL-8B Agent策略权重。

• 配置搜索工具
  ：设置好搜索引擎API密钥，把search和image_search工具激活。

• 加载生成知识
  ：把八项技能的Markdown文件放进指定目录，让query_knowledge工具能读到。

• 选择生成器
  ：在Qwen-Image-Edit或Nano Banana Pro中选定后端并配置好密钥。

• 初始化 Agent
  ：实例化GenEvolveAgent，传入模型路径、生成器名称和工具列表。

• 输入请求
  ：直接调用agent.run()方法，传进去你想要的图像生成描述。

• 执行轨迹
  ：Agent会自动走完搜索、参考、知识调用和程序合成的全流程。

• 渲染图像
  ：最后把输出了的程序交给配置好的生成器后端，出图。

GenEvolve的核心优势

现在来说说它到底强在哪里。

• 生成器可迁移性
  ：同一套Agent策略可以搭配开源Qwen-Image-Edit，也能搭配更强的Nano Banana Pro，策略本身不绑定特定生成器。

• 自我进化闭环
  ：GRPO加上视觉经验自蒸馏，形成了一条“更强策略→更好轨迹→更丰富经验→未来改进”的正向循环。

• 细粒度信用分配
  ：相比纯RL给一个标量奖励，SDL提供了token级别的指导。你能清楚知道一条好轨迹，好在哪里——是工具计划做得好，参考选得准，还是约束写法更到位。

• 跨基准泛化
  ：在WISE这种知识密集型基准上，不做任何in-domain微调，8B开源策略就超过了GPT-4o。这个成绩确实很有说服力。

GenEvolve的项目地址

• 项目官网
  ：https://ephemeral182.github.io/GenEvolve/

• GitHub仓库
  ：https://github.com/MeiGen-AI/GenEvolve

• HuggingFace模型库
  ：https://huggingface.co/MeiGen-AI/GenEvolve

GenEvolve的同类竞品对比

核心机制工具编排视觉轨迹 → prompt-reference program → 跨生成器渲染搜索增强 → 直接生成Agent 架构三工具闭环：search + image_search + query_knowledgeprimarily 搜索工具调用训练方法SFT 冷启动 + GRPO 轨迹优化 + 视觉经验自蒸馏（SDL）未公开明确的多阶段训练机制自我进化✅ 支持：通过 GRPO 和 SDL 形成"更强策略→更好轨迹→更丰富经验"的闭环❌ 不支持：无持续优化机制生成器可迁移性✅ 核心设计：同一 Agent 输出可适配 Qwen-Image-Edit 或 Nano Banana Pro❌ 绑定特定生成器后端开源程度全栈开源：模型权重、运行时、工具、数据集、评测基准开源程度有限KScore0.36630.3493

对比维度	GenEvolve	Gen-Searcher

GenEvolve的应用场景

最后，聊聊哪些场景最需要这类工具。

• 知识密集型图像生成
  ：像埃菲尔铁塔、故宫这类地标，公众人物肖像，特定商品结构，或者历史事件还原。Agent通过搜索工具补全事实细节，能有效避免生成器“幻觉”。

• 质量约束型图像生成
  ：如果你对文字渲染、精确计数、空间布局、属性绑定、解剖结构、材质真实感、美学风格有硬性要求——比如商业设计、广告海报、教育插图——这套方案天然适合。

• 参考一致性图像生成
  ：要求输出与参考图保持身份一致、材质特殊、或风格统一的系列化内容生产、IP衍生创作。这方面，GenEvolve的结构化程序让一致性问题变得可控。

• 模糊需求澄清与程序化
  ：把用户的模糊描述转换成可执行的生成程序，明确该搜什么、参考什么、约束什么。本质上，它在降低prompt engineering的入门门槛。