GenEvolve - 美团等推出的自演进图像生成 Agent

作者：袖梨 2026-07-13

GenEvolve是什么

GenEvolve 是香港科技大学（广州）、美团与新加坡国立大学联合推出的自演进图像生成 Agent。GenEvolve 将开放式图像生成形式化为工具编排的视觉轨迹，Agent 通过搜索文本证据、检索视觉参考、调用生成知识，最终合成 prompt-reference program，交由任意参考条件生成器渲染。

img_6a542e7b43e7d30.webp

GenEvolve的主要功能

  • 文本搜索（search）：收集外部事实证据，补充真实建筑、公众人物、商品结构等世界知识。
  • 图像搜索（image_search）：检索视觉参考图，获取地标、人物、材质等视觉参考。
  • 生成知识查询（query_knowledge）：激活内部生成技能，处理文字渲染、空间布局、材质一致性等复杂需求。
  • Prompt-Reference Program 合成：将工具结果整合为可执行的生成程序，支持任意参考条件生成器渲染。

GenEvolve的技术原理

  • 训练分为两阶段：
    • SFT 冷启动：在高质量 Teacher 轨迹上对 Qwen3-VL-8B-Instruct 做监督微调，学习基本工具调用和程序写法。
    • 自我进化（Rollout）：对同一请求采样多条轨迹，渲染成图像后由视觉判分器和文本判分器共同打分，使用 GRPO 优化轨迹级奖励。
  • 视觉经验自蒸馏（Visual Experience Distillation）： 比较同一请求下的最优与最差轨迹，将差异总结为结构化 Decision Guide，通过 token 级反向 KL 将教师分支的偏好蒸馏给学生模型，使模型学会”在类似请求时如何搜索、选参考、组织约束”的决策习惯。
img_6a542e7b43e8231.webp

微信关注回复“开源”，加入AI开源项目交流群

如何使用GenEvolve

  • 克隆仓库：从 GitHub 下载 GenEvolve 代码到本地环境。
  • 安装依赖：运行 pip install -r requirements.txt 安装所需 Python 包。
  • 下载模型：从 HuggingFace 下载 MeiGen-AI/GenEvolve 的 Qwen3-VL-8B Agent 策略权重。
  • 配置搜索工具：设置搜索引擎 API 密钥，启用 search 和 image_search 工具调用。
  • 加载生成知识：将八项技能 Markdown 文件放入指定目录，供 query_knowledge 工具读取。
  • 选择生成器：在 Qwen-Image-Edit或 Nano Banana Pro中选定后端并配置密钥。
  • 初始化 Agent：实例化 GenEvolveAgent，传入模型路径、生成器名称和工具列表。
  • 输入请求：调用 agent.run() 方法，传入自然语言图像生成描述。
  • 执行轨迹：Agent 自动搜索文本证据、检索视觉参考、调用生成知识并合成 prompt-reference program。
  • 渲染图像：将 Agent 输出的程序传入配置好的生成器后端，得到最终生成图像。

GenEvolve的核心优势

  • 生成器可迁移性：同一套 Agent 策略可搭配开源 Qwen-Image-Edit 或强生成器 Nano Banana Pro，策略不绑定特定生成器。
  • 自我进化闭环：GRPO + 视觉经验自蒸馏形成”更强策略 → 更好轨迹 → 更丰富经验 → 未来改进”的闭环。
  • 细粒度信用分配：相比纯 RL 的标量奖励，SDL 提供 token 级指导，明确好轨迹好在工具计划、参考选择还是约束写法。
  • 跨基准泛化：在 WISE 知识密集型基准上不做 in-domain 微调，8B 开源策略超过 GPT-4o。

GenEvolve的项目地址

  • 项目官网：https://ephemeral182.github.io/GenEvolve/
  • GitHub仓库：https://github.com/MeiGen-AI/GenEvolve
  • HuggingFace模型库：https://huggingface.co/MeiGen-AI/GenEvolve

GenEvolve的同类竞品对比

对比维度GenEvolveGen-Searcher核心机制工具编排视觉轨迹 → prompt-reference program → 跨生成器渲染搜索增强 → 直接生成Agent 架构三工具闭环：search + image_search + query_knowledgeprimarily 搜索工具调用训练方法SFT 冷启动 + GRPO 轨迹优化 + 视觉经验自蒸馏（SDL）未公开明确的多阶段训练机制自我进化✅ 支持：通过 GRPO 和 SDL 形成”更强策略→更好轨迹→更丰富经验”的闭环❌ 不支持：无持续优化机制生成器可迁移性✅ 核心设计：同一 Agent 输出可适配 Qwen-Image-Edit 或 Nano Banana Pro❌ 绑定特定生成器后端开源程度全栈开源：模型权重、运行时、工具、数据集、评测基准开源程度有限KScore0.36630.3493

GenEvolve的应用场景

  • 知识密集型图像生成：需要外部世界知识的场景，如真实地标建筑（埃菲尔铁塔、故宫）、公众人物肖像、特定商品结构、历史事件还原。Agent 通过搜索工具补充事实，避免生成器”幻觉”错误细节。
  • 质量约束型图像生成：对文字渲染、精确计数、空间布局、属性绑定、解剖结构准确性、材质真实感、美学风格有硬性要求的商业设计、广告海报、教育插图。
  • 参考一致性图像生成：要求输出与参考图保持身份一致（角色设计）、材质特殊（金属/丝绸质感）或风格统一（特定画家风格）的系列化内容生产、IP 衍生创作。
  • 模糊需求澄清与程序化：将用户模糊描述转化为可执行的生成程序，明确搜索什么、参考什么、约束什么，降低 prompt engineering 门槛。

相关文章

精彩推荐