最近看到一段 Jack Roberts 介绍 Claude 相关工具的视频。其中一个章节叫“314 Skills vs 7: The Test”,这个对比让我想到一个实际问题:给编程 Agent(智能体)装了越来越多的 Skill(技能),我们究竟怎么知道哪些有用?
视频约 21 分钟处,作者口述比较了原生 Claude Code、安装完整技能集以及精简为 7 个文件的配置:按作者说法,三组都是 20/20,完整配置的价格“差不多翻倍”,精简配置的 token 用量接近不使用该库的情况。这是视频作者的报告,不是我复现的结果。 自动字幕没有说明双倍价格的具体比较基准,也没有交代完整任务、评分方式、模型、重复次数或具体价格;我未取得作者的完整结果资料,因此无法确定结论能否推广。“7 个文件”也不一定等于 7 个独立技能。视频说明中含推广链接。本文借此讨论如何设计更可核查的对照,而不是宣称少量技能一定更好。
这个问题可能比看起来更常见。刚开始使用 Agent 时,安装一份整理好的技能包很省事:写代码、查文档、排查问题、生成文章,都有人提前写好流程。用久了,又会不断加入新技能。有些是自己反复打磨出来的,有些来自社区,还有些装进去以后再也没碰过。
目录里的技能越来越多,并不自动意味着 Agent 能完成更多任务。反过来,技能多也不必然拖慢每一次对话。真正需要弄清楚的,是这些技能在什么情况下被发现、被调用,以及调用之后有没有让结果变好。
先分清:安装了,不等于每次都读进上下文

Anthropic 对 Agent Skills 渐进式披露机制的说明:技能描述、主体及附属资源分层提供。图源:Anthropic 官方文章。这是通用机制示意,并非本文的实验结果。
讨论技能数量时,最容易直接跳到一个结论:“314 个技能肯定会把上下文撑爆。”这个说法需要拆开看。
一个技能可能包含名称、描述、主体说明和按需读取的参考文件。具体哪些内容会进入模型上下文,取决于使用的工具、版本和配置。以 Claude Code 官方技能文档为例,系统先让模型看到技能描述,调用技能时才加载完整内容;视频涉及的 Everything Claude Code 项目也提醒,技能与常驻规则的加载方式不同,插件安装方式还可能暴露已安装技能目录。其他工具未必采用相同机制,具体内容和限制应以实际版本与运行记录为准。
因此,比较两个技能库,至少要区分三件事:
- 磁盘上有多少份技能:这是库存规模,不等于模型每轮看到的内容。
- 启动或对话时暴露了哪些描述:这部分可能影响发现成本,也可能有截断或筛选规则。
- 任务执行时实际读取了什么:包括被调用的技能正文、参考文件和产生的工具输出。
如果只统计 SKILL.md 的文件数量,却不看运行记录,很容易把磁盘空间、上下文成本和模型行为混成一回事。
同样,不能因为某个技能没有被自动调用,就立刻判它无用。有些技能本来就要求用户明确触发;有些负责低频但重要的任务,比如发布前检查或恢复流程。它们可能几周才出现一次,却不适合仅按调用次数清理。
技能多了,问题可能出在选择,而不是容量
假设一个团队有两份技能:一份叫“检查代码质量”,另一份叫“审查代码问题”。两者描述相近,覆盖范围却不完全一样。当用户说“帮我看看这个改动有没有问题”时,Agent 该选哪一份?如果它两份都选,是否会重复检查?如果只选了一份,又是否漏掉了另一份的重要步骤?
这是一个示例,不代表所有 Agent 都会这样选择。不同产品的技能匹配机制不同,是否发生冲突,需要通过实际调用记录判断。
除了误选,还有一种更隐蔽的情况:技能被正确调用了,内容本身却已经过时。它仍然要求执行某个不存在的命令,或者引用了项目早已迁移的目录。此时问题不是技能数量太多,而是那份技能缺少维护。
我更愿意把技能库看成一组需要持续检验的工作说明。每份说明都有适用范围,也可能带着隐含条件。比如一个发布技能在个人博客里运行正常,换到企业仓库后,也许需要额外的权限确认;一个通用的代码格式化技能,可能和项目自己的规则相冲突。
判断一份技能是否值得保留,不能只问“它有没有触发”,还要看它触发之后带来了什么:任务完成得更好,还是只是多走了一遍步骤?
怎么设计一场尽量公平的测试?

概念示意:三组共享任务与验收标准,图中不展示真实实验结果。
拿“314 个技能”和“7 个技能”作比较很直观,但要得到有用的答案,首先得明确想测什么。下面是一套可以自行执行的实验方案,这里没有声称已经运行过它。
先准备三组环境:
| 组别 | 配置 | 用来回答什么 |
|---|---|---|
| A:无额外技能 | 在产品允许的范围内禁用自定义技能,保留必要的基础能力 | 任务本身能否完成 |
| B:精简技能集 | 选出与测试任务直接相关的少量技能 | 针对性流程能带来什么变化 |
| C:完整技能库 | 使用同一版本的完整技能库 | 扩大可选范围后,有没有收益、遗漏或选择冲突 |
这里的“无额外技能”不是关闭 Agent 的所有工具,也不是把基础安全限制一起移除。三组应尽量保留相同的模型、工具权限、工作目录、项目依赖、提示词和其他配置。对于实际无法关闭的内置能力,记录下来即可,不要假装三组环境完全一致。
精简组也不能挑一套特别适合本轮题目的配置,然后拿它证明“大技能库没有价值”。比较公平的做法是提前写下选择标准,比如依据最近一段时间真实任务中常用的技能,或依据一份独立的训练任务集选择,再用没有参与挑选的任务测试。被测试的任务如果恰好决定了技能怎么选,最后得到的结果就很难推广。
任务要有正常情况,也要有容易混淆的情况
如果所有题目都明确写着“请调用某某技能”,实验只能说明显式调用的效果。要观察自动选择,还需要一些自然语言任务:用户描述问题,但不说技能名。
可以从日常工作中选取几类任务:修复一处有测试的代码问题;为一篇博客检查 frontmatter(文章元数据);对一个需要读取多份文件的问题做整理;以及明确不需要技能的简单问答。最后一种很重要:一个技能库既要在需要时帮上忙,也不该让简单任务被无关流程拖住。
再加几道边界题:同一任务可能匹配两份相似技能;某个技能要求的工具不可用;或者任务包含超出技能适用范围的步骤。对于有外部副作用的发布、删除或发送操作,测试应使用沙箱或模拟接口,避免实验真的改动生产系统。
每个任务预先准备验收标准。代码任务可以有测试和人工检查;文章元数据可以核对字段、路径与语法;研究任务可以检查来源是否存在、结论是否超出证据。验收标准应该在看结果之前确定,否则很容易因为喜欢某个结果而临时调整评分。
一次运行,只能当作一条线索
同样的提示词,Agent 的选择和输出可能有波动。每个配置最好对每道任务重复多次,并记录每次运行,而不是只展示各组选得最好的一次。如果时间有限,先用小样本试跑也可以,但应明确它只是排查方向,不足以下定论。
三组最好交错运行,而不是今天把 A 组跑完、明天再跑 C 组。模型版本、服务负载、外部网页和仓库状态都可能变化;交错顺序并固定可控条件,有助于减少这些因素对比较的干扰。需要联网的任务尤其要保存访问时间和来源快照。
记录什么,才能知道技能到底有没有用?
最直观的是结果质量:代码是否通过测试,文档是否满足要求,结论有没有来源。但只看最终结果,会错过技能是否发挥作用。
一张实验记录表可以从下面几列开始:
| 记录项 | 需要观察的问题 |
|---|---|
| 任务结果 | 是否完成预先定义的验收标准?有没有引入新的错误? |
| 技能选择 | 预期技能是否被调用?是否调用了无关技能? |
| 实际读取 | 读取了哪些技能正文、参考文件和工具输出?能否从运行记录确认? |
| 时间和成本 | 从开始到完成花了多久?输入、输出及缓存 token 如何计费? |
| 人工介入 | 是否需要补充指令、修复环境或反复纠正? |
| 失败类型 | 是未触发、误触发、指令过期、工具受限,还是任务本身太难? |
不同工具提供的日志粒度不一样。有的能展示技能调用和 token 用量,有的只能看到部分轨迹。如果某个数字拿不到,就把它记为“不可观测”,不要根据目录大小估算后写成实测值。
成本比较还要区分输入 token、输出 token、缓存命中和工具费用。一次运行便宜,可能只是因为它提前放弃了任务;一次运行更贵,也可能是因为它执行了必要的测试。把费用与完成质量放在一起看,结论才有意义。
对于自动匹配的技能,可以单独统计两类错误:本该调用却没有调用,以及不该调用却调用了。但这需要先给任务标注“预期是否应该调用”,并允许某些任务存在多种合理做法。不是每个任务都有唯一正确的技能路径。
测出来之后,先改描述,再考虑删除
假设实验发现,大技能库里的某个发布检查技能经常没有触发。第一反应不一定是删掉它。可以先查看它的名称和描述:是否写清楚了适用范围?是否与另一份技能使用了几乎相同的触发词?用户通常会怎样描述这个任务?
如果技能选对了,执行后却经常失败,就继续查它依赖的命令、文件路径和权限。修复之后,用原来的任务集重新测试,并额外留一批此前没看过的任务,避免只把技能调到适合那几道测试题。
另一类技能既不常调用,也没有明确维护人,但它可能负责偶发的高风险场景。对这类内容,比直接删除更稳妥的做法是确认责任人、注明适用前提,并安排定期复核。低频不是原罪;没人知道它什么时候有效、什么时候危险,才是麻烦。
反过来,如果两份技能的适用范围和步骤高度重合,维护时却经常出现一份更新、一份过期,就可以考虑合并或明确分工。合并之前应保留原有测试题,确认没有把少数场景悄悄删掉。
不必急着追求一个“正确的技能数量”
314 和 7 是两个醒目的数字,但它们单独并不能告诉我们哪个配置更好。七份技能可能覆盖了团队最常见的工作,也可能漏掉了发布、安全和排障中真正关键的步骤;一个庞大的技能库可能包含大量长期不用的内容,也可能通过合理的发现与加载机制,让不同任务各取所需。
我认为更实用的问题是:对于自己的任务,Agent 能不能选到合适的技能?选中后,技能提供的步骤是否仍然准确?相对于不使用技能,结果有没有可观察的改善,代价又是什么?
如果目前还没有答案,不妨先挑几项反复出现的任务做小规模对照。记录一次误触发、一次过时命令或一次真正减少返工的调用,通常比继续盯着技能总数更有用。
技能负责把经验写成可复用的做法,Agent 负责在具体任务里选择并执行这些做法。两者之间的连接是否可靠,需要用任务结果和运行记录来检验,而不能仅凭技能目录有多大来判断。
参考来源
- Jack Roberts:9 Free Repos So Good They Feel Illegal (Claude),约 21 分钟处,实验数字依据英文自动字幕转述,视频说明含推广链接;作者的测试尚未由本文独立复现。
- Claude Code 官方文档:Skills,介绍技能发现和调用时的加载方式。
- Everything Claude Code,视频关联项目,说明技能和规则的加载方式及安装选择。
- Agent Skills,技能相关的公开项目。
可信度边界:以上来源用于交代 Jack Roberts 的技能库对比和 Anthropic 的技能加载机制,并不等同于独立基准测试。文中提出的对照实验和技能维护建议是基于公开资料的工程推演,不代表 Anthropic 或 Everything Claude Code 项目的官方结论;实际加载机制与费用应以所用产品、版本及运行记录为准。