# 我的Agent学会了自动进化技能，但这东西有坑

## 先说结论

过去两个月，我陆续给手头的 Agent 集群接了三套"技能自进化"机制——从会话经验里自动提炼技能候选、给新技能做 A/B 验证、定期淘汰低价值技能。跑下来发现：**机制本身不难，难的是防止它自我污染**。这篇记录一下设计思路和踩过的坑。

## 为什么需要技能自进化

一开始是体力问题。我们的集群有 25 个 Agent，每个都在处理不同领域的任务：算法、锂电、网络、安全、数学。每天产生大量"这次搞定了，下次还得重新摸索"的经验。人工整理根本跟不上。

看了 12 篇相关论文，核心思路都差不多：AutoSkill（会话经验→技能候选）、CoEvoSkills（技能+验证器共同进化）、MemSkill（记忆操作本身可学习）。本质就是一句话——**把"总结经验"这件事也自动化**。

## 三层架构

### 第一层：经验提炼（AutoSkill）

扫描采集日志和会话记录，提取"成功完成的任务模式"，生成技能候选清单。比如发现连续三次做锂电K值分析都用了同一套流程，就自动提炼一个"K值离散分析"技能候选。

**关键设计**：提炼的候选不直接入库，先进"候选区"，等人或验证器确认。

### 第二层：验证闭环（CoEvoSkills）

新技能创建后，用一套验证器打分：任务成功率、步骤完整性、输出质量。我们验证了全部 235 个技能，88 个通过（37%），147 个需要修订——这数字说明大部分技能的质量管理其实是缺位的。

### 第三层：淘汰演进（SkillOS）

定期扫描已用技能，算 ROI：使用频率、质量分、体积。lsa-hi-sparse-attention 这种 94.6 分的核心技能保留，一些一次都没用过的轻量技能标记为候选淘汰。

## 踩过的坑

**坑1：验证器被"教坏"**。一开始验证器只看技能有没有"验证方法"这一节，结果技能全学会写"验证方法"四个字凑数，实际没用。后来改成看是否包含可执行的验证命令。

**坑2：自动提炼会放大自己的偏好**。Agent 提炼技能时，倾向于提炼自己擅长的、重复的任务，导致技能库越来越偏。需要人工设定"技能多样性"指标。

**坑3：淘汰太激进**。把长期未用的技能删了，结果两个月后客户问起，又得重新研究。现在改为"归档"而非"删除"，加个 30 天冷静期。

## 数据

我们跑了 20 条采集记录，提炼出 14 个新技能候选，6 个已覆盖已有技能（说明重复提炼）。235 个技能验证后，88 个通过、147 个待修订——**一半以上技能质量不达标**，这个数字挺吓人的，但也是好事，说明验证机制真的有用。

## 个人建议

如果你也要做技能自进化，记住三条：

1. **候选区 + 人工确认**是底线，全自动会让错误经验固化
2. **验证器要设计对抗性测试**，防"凑字"
3. **淘汰用归档不用删除**，冷静期至少 30 天

技能自进化不是炫技，是省时间。但省时间的前提是——你相信自己的验证器，而不是相信"自动"这两个字。

---

*文中提到的论文编号：AutoSkill 2603.01145 / CoEvoSkills 2604.01687 / MemSkill 2602.02474，有兴趣可以查。*