没有梯度怎么优化：进化搜索入门

说明

这类搜索维护一组候选，根据评测结果选择部分方案，再让模型或程序提出变异。它不要求目标可微，但高度依赖评测是否稳定、预算是否足够，以及候选能否在隔离环境中安全运行。

Darwin Gödel Machine（DGM）让编码 Agent 修改自身依赖的代码仓库，并用开放式档案保留多条演化路径。论文在特定模型和基准上报告了改进，不能直接外推为生产系统的固定收益。

评测昂贵、目标模糊或候选每次都需人工审核时，搜索成本可能超过收益。工程重点是控制每轮改变的范围、记录候选谱系，并同时观察完成率、成本、时间和回归，避免只追逐单一分数。

跟着一个例子走

边界与误区

• 为什么没有梯度也能搜索 Harness： 进化方法只需要生成候选并获得可比较分数，不要求提示、代码和控制流可微。

• DGM 的特殊之处是什么： 它允许 Agent 修改自身运行所依赖的 Harness 代码，并用档案保留多条候选路径。