AVO：用于自主进化搜索的智能体变异算子（arXiv 2026）
原题：AVO: Agentic Variation Operators for Autonomous Evolutionary Search
一句话总结：AVO 将固定 mutation/crossover 替换为可查文档、读 lineage、编辑、测试和诊断的 coding agent；在单条 7 天 B200 attention-kernel 进化轨迹中探索 500 多个方向、提交 40 个版本，MHA 最多超过 cuDNN 3.5%、超过 FlashAttention-4 10.5%，并在 30 分钟内迁移到 GQA。
问题与动机
FunSearch、AlphaEvolve 等 LLM-assisted evolution 通常只让模型生成候选，parent sampling、population update 和 evaluation 顺序仍由固定框架决定。对已被专家长期优化的 attention kernel，真正困难的是持续读取硬件资料、profiling、修复错误和跨版本积累经验；单轮 generation 无法承担这条工程链（§1–2）。
AVO 把整个 variation operator 变成自主 agent loop，使 agent 自行选择历史版本、查阅 Blackwell/PTX 文档、决定测试时机并反复修改。论文主张这种角色升级可以发现固定搜索算子难以表达的微架构优化。
关键观察 / 隐含假设
- 观察 1：专家级 kernel 优化需要多轮环境交互，而不只是生成更多候选。 7 天轨迹中只有 40 个版本被提交，内部实际探索超过 500 个方向；收益以离散结构跳跃出现，后期才转为 cycle-level 微调（图 5–6）。
- 依赖假设：correctness/performance evaluator 足够可信，且 git lineage 与 conversation memory 能保存有效经验。
- 观察 2：MHA 上发现的调度与寄存器优化可迁移到 GQA。 agent 在约 30 分钟内完成适配，并在两种 Qwen3 head ratio 上保持相对强 baseline 的收益（§4.3）。
- 可能失效场景：换 GPU 代际、dtype、backward、decode 或完全不同算子后，Blackwell-specific 技巧未必迁移。
- 假设 1：单 lineage 足以代表 agentic variation 的优势。 当前没有 population/island 对照，也未公开 agent/model 细节。
- 证据强度：弱到中；最终 kernel 很强，但无法分解模型、知识库、监督 intervention 和 7 天预算各自贡献。
核心方法
AVO 接收完整已提交 lineage、领域知识库和评分函数。每个候选必须通过数值正确性，并在多配置 benchmark 上匹配或改善当前 best 才进入 git lineage；失败尝试保留在 agent 内部轨迹而不污染 committed state（§3.1–3.2）。
连续运行中，supervisor 在停滞或反复失败时回顾轨迹并建议新方向。最终优化覆盖 branchless accumulator rescaling、correction/MMA pipeline overlap 和 warp-group register rebalance，分别触及同步、流水和寄存器分配，而不是只改 tile size（§3.3、§5）。
设计取舍
- 自主探索换可归因性：agent 可改变策略，但内部 frontier model、prompt 和 supervisor 未充分公开，难以复现实验控制变量。
- 单 lineage 换状态简单：best-state 单调保存容易，却没有 diversity archive，可能更早陷入局部最优。
- 硬 evaluator 换窄任务：kernel correctness 与 TFLOPS 易验证；对系统可维护性或科学新颖性不能直接复用。
- 边界条件：只测 B200、BF16、forward prefill、head dimension 128 和固定 32K total tokens。
实验与结果
- B200/CUDA 13.1、MHA causal 四组长度中，相对 cuDNN 9.19.1 提高 0.4%–3.5%，相对官方 FA4 commit 提高 5.0%–10.5%；non-causal 长序列相对 cuDNN 提高 1.8%–2.4%（图 3）。
- GQA 两种 group size、causal/non-causal 全配置均超过两条 baseline；最高相对 cuDNN 7.0%、相对 FA4 9.3%（图 4）。
- branchless rescaling 对 non-causal/causal geomean 分别提高 8.1%/1.6%；pipeline overlap 为 1.1%/0.4%；register rebalance 为 2.1%/约 0%（表 1）。
论断—证据表
| 论断 | 证据 | 评测边界 | 置信度 |
|---|---|---|---|
| AVO 可超过当前专家 attention kernel | 图 3–4：最高超过 cuDNN 7.0%、FA4 10.5% | 单 B200、forward BF16、选定 shape | 强 |
| agent 发现了可解释的微架构优化 | 表 1 与 §5 三项逐版本消融 | 最终单 lineage，人工事后分析 | 中到强 |
| AVO 是通用 variation operator | §3 给出一般形式 | 只验证 attention kernel | 弱 |
批判性分析
论证链条
论文从固定 variation 的交互限制出发，用多日 agent loop 和强 baseline 证明单个困难 kernel 可被继续推进；逐版本消融支持“不是偶然采样”。但没有同预算 AlphaEvolve/OpenEvolve、无 supervisor 或无 persistent memory 的对照，因此结果证明 AVO 实例成功，不足以证明 agentic variation 普遍优于其他搜索算法。
假设压力测试
7 天只产生 40 个 committed versions，说明有效反馈昂贵且收益长尾明显。换到没有高速 deterministic evaluator、存在 noisy SLO 或多目标约束的系统任务时，单调 best rule可能拒绝暂时退化但最终有益的重构。
实验可信度
cuDNN 与官方 FA4 是强 baseline，10 次重复和相同 timing script 提高可信度；但内部 agent 未公开、只有一次 7 天主轨迹，也没有报告 token/GPU-hours、失败类型分布或 independent rerun variance。
系统性缺陷
论文未讨论恶意/错误 kernel sandbox、driver hang、功耗、compile cost、生产集成或长期代码维护。attention forward 的 TFLOPS 胜出不等于端到端 serving SLO 改善。
局限与后续工作
- 局限 1：单模型 agent、单 lineage、单 GPU 代际和单类 kernel，generalization 证据有限。
- 后续工作 1：在 H100/B200、forward/backward、attention/MoE/GEMM 上做至少 5-seed matched-budget 对照，并公开 commit、失败、token 和 GPU-time 轨迹。
- 后续工作 2：加入 population branching 与退化后恢复任务，测 best-state 保持率和跨架构迁移成本。