- NO.
- 019
- DATE
- READ
- ~9 min
- KIND
- 笔记
- STATUS
- 原文
生成变便宜以后,验证与信任成了新的生产资料
Claude Code、Agent 集群和 AI 漏洞报告都在增加候选产出。真正的新瓶颈不是生成,而是验证结果、筛选信号,并让别人相信这份交付值得进入生产环境。
最近几条消息放在一起看,像是一条逐渐闭合的生产链。
Anthropic 发布 Claude Sonnet 5,强调它把过去更昂贵模型才有的 agentic 能力带到更低价格区间,并直接进入 Claude Code。Simon Willison 观察到,编码 agent 已经把家用设备逆向和自动化的试错成本压低到“值得随手试一下”。Cursor 的 agent swarm 实验则把生成规模继续推高:多个模型组合可以得到接近的质量,成本却相差很大;系统甚至需要重新设计版本控制和冲突处理,才能接住 agent 的提交速度。
另一边,GitHub 重构了漏洞奖励计划。官方给出的背景不是没人提交,而是 AI 辅助报告增加后,低质量或难以验证的候选也一起变多。GitHub 用 Signal 门槛、邀请制项目和可信研究者关系,把有限的人工注意力优先给更可能成立的报告。
这四件事揭示的是同一个机制:生成成本下降,并不会自动让有效结果等比例增加;它首先让候选结果增加。 当候选供给超过人的验证能力,真正稀缺的生产资料就从“写出第一版”转向了验证、筛选和信任。
这篇想讨论的不是“AI 会不会替代程序员”,也不是再证明一次代码需要测试。我更关心的是:当 Claude Code 和 GitHub 把生成、提交、协作连成一条越来越快的流水线,哪些原本被当作收尾工作的环节,会开始决定整条链路的产能。
生成的是候选,不是结论
低成本生成最容易造成的误解,是把“候选数量”当成“有效产出”。
Claude Code 可以在仓库里读文件、改代码、运行测试并提交一个看起来完整的补丁。Agent 集群可以把一个大任务拆成许多并行分支。AI 也可以根据公开代码生成漏洞分析、修复建议和复现步骤。这些能力都是真的。
但它们首先生产的是候选:
- 一个补丁候选,可能修了症状,也可能改变了另一个边界条件。
- 一份漏洞报告候选,可能是真问题,也可能无法复现或已经超出项目范围。
- 一段分析候选,可能引用了事实,也可能把相关性写成因果。
- 一篇内容候选,可能结构完整,却没有独立判断和来源边界。
候选不是废物。没有候选,就没有后续选择。但把候选直接算成完成量,会让组织在数字上越来越高产,在现实里越来越忙。
最简单的原因是:
总审查成本 = 候选数量 × 单个候选的验证成本
AI 也许能降低单次验证的一部分成本,例如自动补测试、检查格式、寻找相似问题;但只要候选数量增长得更快,总审查成本仍然会上升。更麻烦的是,低质量候选通常不会自己消失。它们会进入 issue、PR、收件箱和报告队列,占用那些最有经验的人的时间。
GitHub 的问题已经从“有人报告吗”变成“先看谁”
GitHub 漏洞奖励计划的变化,是这个机制很清楚的样本。
传统漏洞奖励计划鼓励更多人发现和提交问题。提交量少时,这个激励方向合理:多一份报告,就多一个发现真实漏洞的机会。AI 降低报告生成成本后,提交量不再是唯一瓶颈;报告是否可复现、是否属于有效范围、证据是否足够、研究者是否理解项目上下文,开始决定审核队列能不能运转。
GitHub 引入 Signal 和 VIP 计划,本质上是在做两件事:
- 用历史质量和行为记录给候选信号排序。
- 把高信号研究者与维护者之间的协作关系制度化。
这不意味着“新人不值得看”,也不意味着声誉可以代替技术验证。声誉只是在验证资源有限时,帮助决定先验证什么。最终报告仍然要复现,影响仍然要评估,修复仍然要验收。
真正变化的是注意力分配。以前系统优化的是“让更多人提交”;现在系统必须同时优化“别让低成本生成淹没验证者”。
同样的变化会出现在代码仓库、内容审核、招聘申请、学术投稿、客户线索和任何允许 AI 批量生成候选的入口。入口越便宜,下游越需要排序机制。
验证不是质检工序,而是生产本身
在手工生产的想象里,验证像流水线末端的质检:主体工作已经完成,最后抽查一下就好。
Agent 参与后,这个顺序不再成立。验证必须从任务定义时就开始。
以这个博客为例,AI 写出代码并不算完成。一个改动至少要经过:
目标与边界
→ 可审查的 diff
→ schema / 链接 / 内容规则
→ 类型检查与构建
→ 浏览器行为测试
→ 生产环境验证
→ 人确认不可逆决定
这里每一层都不是“挑错而已”。它们共同定义了什么才算产品:URL 不被误改、双语页面不串内容、下载文件与 SHA-256 一致、静态路由在 Cloudflare 真实生效,而不是只在本地看起来正确。
我在和 AI Agent 一起搭站里写过 AGENTS.md、内容锁和发布闸门;在一张真机截图引发的连锁修复里又遇到过“代码声称修好、真实行为没有变化”的反例。两件事放在一起,结论很直接:验证不是给生成结果盖章,而是在把候选变成可以承担后果的交付。
如果删掉验证层,生成速度越快,错误进入生产的速度也越快。
筛选不是删除垃圾,而是保护判断力
“AI 内容太多,所以需要筛选”听起来像一个信息管理问题,实际上是产能配置问题。
有经验的人每天能认真审查的复杂问题有限。让他逐份打开低质量候选,哪怕每份只花几分钟,也会挤掉真正需要判断的工作。筛选的目标不是追求零误判,而是让高成本注意力落在最有价值、最不确定或风险最高的地方。
一个成熟的筛选层至少要利用三类信号:
- 机器可验证信号:schema、测试、构建、格式、重复项、范围和可复现步骤。
- 任务上下文信号:是否回答了原问题,是否触碰受保护字段,是否有业务或安全影响。
- 历史信号:提交者过去的准确率、修复是否经得起复查、是否诚实记录失败和边界。
前两类可以大量自动化,第三类构成了信任的基础。但顺序不能倒过来:不能因为一个人或模型过去表现好,就跳过这次证据;也不能因为自动检查全绿,就假设业务判断一定正确。
好的筛选不是“机器替人拍板”,而是机器先挡掉机械问题、整理证据、标出风险,让人把判断用在不可替代的部分。
信任为什么会成为生产资料
信任常被理解成品牌、名气或一种模糊感觉。放进生产链后,它其实由一组可以积累的证据组成:
- 这份结果能否复现?
- 来源、假设和不能推出的结论是否写清楚?
- 修改历史是否可追溯?
- 出错时有没有负责人、回滚路径和更正记录?
- 同一个提交者过去交付的东西,经复查后还成立吗?
这些证据会降低下一次合作的验证成本。一个维护者愿意优先看某位研究者的报告,不是因为他不需要验证,而是因为对方过去持续提供了可复现、范围准确、沟通清楚的结果。一个团队愿意把更多任务交给 agent,也不是因为模型突然“值得无条件信任”,而是仓库里的测试、权限、审查和回滚机制让错误可见、可停、可恢复。
因此,信任不是验证的替代品,而是验证记录长期积累后的压缩结果。
GitHub 在这里很关键,但 GitHub 本身不自动制造信任。commit、PR、review、checks、release 和 issue 只是容器。真正有价值的是容器里留下的证据:谁改了什么、为什么改、什么检查通过、哪里仍然不确定、出问题后如何更正。
这对哪些人有用
这个机制不只影响开发者。
对使用 Claude Code 的个人
不要只优化“它一次能写多少”。先定义验收标准,让 agent 生成补丁的同时生成复现步骤、测试和风险说明。把高频低风险检查自动化,把发布、删除、权限和外部消息保留为人工控制点。
对维护开源项目的人
入口开放不等于队列必须无差别处理。要求最小复现、范围说明和自动检查;记录高质量贡献者,但不要让声誉绕过证据。衡量自动化的价值时,也要看它减少了多少无效审查,而不只是增加了多少提交。
对内容与研究团队
把原始事实、机制判断、适用对象和不能推出的结论分开。AI 可以产生摘要和候选观点,编辑应该优先检查来源、反例、遗漏条件和传播后果。发布数量不是唯一产出,经过验证后仍然成立的判断才是。
对招聘者和采购者
当简历、作品集和方案书都能批量生成,漂亮文本的区分度会下降。更有价值的是可追溯作品、真实边界、过程证据、长期维护记录,以及候选人如何面对一次判断错误。
它不能推出什么
“验证、筛选和信任更值钱”也很容易被滥用成新的官僚主义,所以边界必须写清楚。
它不能推出“门槛越多越安全”。没有风险对应的审批,只是在制造等待。
它不能推出“只有老人和名人值得信”。如果历史声誉变成唯一入口,新人永远无法积累第一条可信记录。系统仍需给低历史信号、高证据质量的候选留下通道。
它不能推出“生成没有价值”。恰恰因为生成便宜,过去不值得尝试的逆向、自动化和小工具才开始成立。Simon Willison 描述的 ROI 变化是真实收益。
它也不能推出“某个 benchmark 或厂商实验可以直接外推到你的生产环境”。Anthropic 和 Cursor 的材料都证明了方向,但性能、成本和稳定性仍要回到自己的任务、数据和失败条件验证。
一套更适合低成本生成时代的工作法
如果要把这些观察落到日常工作,我会保留六条:
- 生成之前先写验收标准。 没有验收标准,候选越多越难判断。
- 把结果和证据一起交付。 代码附测试与复现,分析附来源与反例,数据附口径与截止时间。
- 先自动筛机械问题。 格式、schema、范围、重复项和构建不该消耗专家注意力。
- 按风险分配人工判断。 发布、权限、安全、法律、财务和外部沟通优先由人确认。
- 记录误判和更正。 只展示成功会制造虚假信任;可靠系统必须允许翻案。
- 衡量通过率与复查存活率。 不只数生成了多少,还要看多少候选通过验证、上线后是否仍然成立。
这套做法不会让审查消失。它做的是把审查从无差别的人肉阅读,变成有证据、有排序、有边界的生产过程。
结论
在AI 杠杆与面包悖论里,我把“可信交付”理解为原型之外真正有人付费的部分。这次 Claude Code、Agent 集群和 GitHub 漏洞报告提供了更具体的一层:可信交付不是一句服务承诺,它由验证、筛选和长期可追溯的信任记录构成。
生成工具会继续变便宜。仓库里的候选补丁、漏洞报告、内容草稿和商业方案也会继续增加。接下来真正限制产能的,不是谁还能再生成一份,而是谁能回答:
- 哪份结果是真的?
- 哪份值得先看?
- 哪份可以承担生产后果?
- 如果判断错了,谁能发现、停止并更正?
能稳定回答这些问题的人和系统,掌握的才是低成本生成时代新的生产资料。
评论
评论由 GitHub Discussions 提供。登录 GitHub 后即可评论。 前往对应 Discussion