实验怎么设计的(这部分比数据重要)。同一句话——「设计一个类似《我的世界》的游戏,
交付一个可以直接运行体验的 Web 版本」——发给四种配置,用我提前写死的 20 项验收用例打分,避免事后找理由。
关键是我特意加了「单个 Agent + 最强模型」这一组:不加这组,「分工有用」随时可以被一句「不就是模型更强吗」推翻。
这一组是用来否证我自己的假设的。
结果。单 Agent 配中等模型通过 12 项、4 个严重缺陷;换成最强模型到 16 项、2 个;
五角色团队到 18 项、1 个;按职责给不同角色路由不同模型的团队到 19 项、0 个严重缺陷。
两笔账要分开算:12→16 是模型的功劳,16→19 是分工的功劳。模型能补一部分,补不完。
差距在哪。剩下的问题几乎全在非主路径:出生点是否安全、放置方块时会不会占住自己身体、
窗口失焦后按键不释放、重开一局旧的计时器没清理。它们的共同点是——
「项目能跑起来」的时候,这些问题一个都看不见。单 Agent 交付时项目确实能跑,
所以它认为自己做完了;它不是不会修,是没有立场发现——它的盲区和它的能力同源。
所以我还让 review 和 coding 用不同家族的模型:同一个模型既写又审,审不出自己的思维习惯。
代价与边界(我不想只讲好的一面)。团队最慢也最贵——同构团队三倍多 Token、无效调用占到 19%,
因为五个角色用同一个模型时,几个角色在重复分析同样的东西。所以我不会所有任务都开团队:
快速验证想法用单 Agent,十几分钟就有东西看;要交一个能演示的东西才值得开团队。
而且要开团队的话,优化模型路由比多加角色划算——同样五个角色,只改路由就省了两成 Token、还多过一项。
另外 19 和 18 只差一项,样本量不足以说统计显著,这一点我在自己的报告里专门标注了不要过度解读。
这套东西已经跑通并真交付过东西;这个思路后来也被当成一个方向,在 Pioneer 那边讨论过。
我一开始以为我在优化提示词,后来发现我在设计一套分工。