当AI比人类更聪明，谁来告诉AI什么是"最好的"？

一个看似矛盾的困境

上一篇文章《脑洞：如果把OpenAI和Anthropic合并，AI能力的天花板在哪里？》讨论了AI能力的天花板在哪里。但还有一个更根本的问题藏在背后：当AI变得越来越强，甚至在某些领域已经超过了训练它的人类，我们怎么继续有效地指导它？

这个问题不是未来才需要考虑的。它现在就在发生。

当前大模型的训练流程中，有一个关键环节叫RLHF（基于人类反馈的强化学习）：模型生成两个回答，人类标注者看完之后选一个更好的，这个偏好数据用来训练奖励模型，奖励模型再指导主模型优化。整个流程的根基是人类标注者的判断能力。

但问题来了。在前沿数学、复杂代码架构设计、专业领域的微妙判断这些方向上，普通标注者已经不具备准确评判的能力了。让一个非专业标注者去判断两段量子物理的解释哪个更准确，他很可能选到错误的那个。模型就会从这种错误的偏好信号里学到"错误的好"。

即使是专家标注者，也有内在的局限：同一个专家在不同时间可能给出不同的评分，不同专家之间经常有分歧，每个人都带着自己的认知偏见。

那怎么办？放弃人类监督，让AI自己决定什么是好的？这显然不行，至少在我们还不能完全信任AI的判断之前不行。

真正有前景的方向是：不放弃人类监督，而是通过精巧的机制设计，把人类有限的判断能力"放大"，让它覆盖到远超人类直接判断能力的范围。

第一层：验证比生成容易

所有放大机制的共同根基，是一个看似简单但极其深刻的不对称性：判断一个答案是否正确，往往比独立产生正确答案要容易得多。

你不需要自己能写出一部伟大的小说，也能判断两部小说哪部更好。你不需要自己能证明一个数学定理，但如果有人把证明的每一步都写出来，你可以逐步检查每一步是否成立。

这个不对称性有多强大？看一个具体的机制就知道了。

AI辩论（AI Debate）是OpenAI的安全团队提出的一种方案。基本设定是：两个AI就一个问题给出不同的答案，然后它们轮流互相质疑对方的论证。人类作为裁判，不需要自己知道正确答案，只需要看双方的辩论过程，判断每一步论证是否成立。

为什么这能奏效？背后有一个博弈论层面的直觉：在设计良好的辩论中，说谎者的处境比说真话的人更难。说真话的一方可以指出对方论证中的具体漏洞，而说谎者要维持一个虚假的论证链条，每一环都可能被攻破。随着辩论轮次增加，真相更容易胜出。

举个例子。假设你问"这段代码是否有安全漏洞"。AI-A说有，AI-B说没有。AI-A指出第47行存在缓冲区溢出的可能性，并展示了一个触发路径。AI-B反驳说那个路径在第32行已经被边界检查拦截了。AI-A再指出第32行的检查没有覆盖负数输入的情况……

作为人类裁判，你可能无法独立审计整段代码。但你可以跟着这个辩论过程，判断每一步的具体论证是否合理。最关键的是：辩论把一个"全局难题"（审计整段代码）分解成了一系列"局部判断"（这一步的逻辑对不对），而局部判断的难度远低于全局难题。

这就是"放大"的含义：通过对抗结构，把人类需要做的判断从"直接解决难题"降低到"裁判局部争论"。人类的判断能力没有变，但它能覆盖的问题范围变大了。

类似的思路还有"递归奖励建模"和"迭代放大"等方案，核心原理都是一样的：利用"验证比生成容易"这个不对称性，通过分解、对抗、递归等机制，让人类有限的判断力覆盖到更高难度的问题上。

当然，这些机制也有局限。最大的问题在于：不是所有任务都能无损地分解成子任务。评估一篇文章的质量，文章的"好"不仅仅是每一段都好的总和，段落之间的逻辑衔接、整体的叙事弧线、前后的呼应，这些都是全局性质，拆成段落级别的评估会丢失掉。所以这套方法更适用于可近似解耦的问题，对那些本质上需要整体判断的任务，效果会打折扣。

但即便有这个局限，这个方向的意义仍然巨大：它证明了"人类能力有限"不等于"人类监督必然失效"。通过好的机制设计，有限的能力可以被结构性地放大。

第二层：从标注员到立法者

如果说机制设计是在"放大"人类的判断力，那还有一条更根本的路径：改变人类参与的方式本身。

传统RLHF的问题不仅仅是标注者能力不够，还有一个效率问题：每一条偏好都需要人工标注，成本高、一致性差、速度慢。即使标注者水平足够高，这种逐条标注的方式也不可能覆盖模型可能遇到的所有场景。

Anthropic提出的Constitutional AI（宪法AI）代表了一种范式转变。它的核心思路是：人类不再逐条标注"这个回答好不好"，而是预先写好一套原则（"宪法"），比如"回答应该对用户有帮助""不应该帮助用户做违法的事""如果不确定，应该承认不确定性"。然后让模型自己根据这些原则来评估和修改自己的输出。

具体分两步。第一步，模型生成一个回答后，被要求根据宪法中的原则来审视自己：这个回答是否符合原则？如果不符合，怎么修改？模型自我批评、自我修订，可以迭代多轮。第二步，用模型自己（依据原则）做出的偏好判断来替代人类标注，生成训练数据，再用这些数据来训练奖励模型。

这个转变的意义远超技术层面。它本质上是在说：人类在AI系统中的角色应该从"逐条判断的标注员"上升为"制定规则的立法者"。

这两种角色的区别非常大。标注员处理的是个案，需要大量的人力，每个人的标准可能不一样。立法者制定的是通用规则，一套原则可以覆盖无数个案，而且标准是统一的。标注员的工作可以被不那么专业的人做（虽然质量会有问题），但立法者需要更高水平的思考，需要对价值观有深入的理解，需要预见各种可能的边界情况。

用一个类比来说：这就像法律体系的演进。早期的部落社会靠长老逐案裁判（类似逐条标注），后来发展出判例法、成文法（类似制定原则）。成文法不可能覆盖所有情况，但它大幅提高了效率和一致性，把人类的智慧从"处理每一个纠纷"提升到"设计公正的规则体系"。

但这个转变也带来了一个更深层的问题：在原则划定的范围内，模型怎么知道什么是"最好的"？原则告诉你什么是"不可接受的"（违反原则的底线），但在所有"可接受的"回答中间，有没有一个最优解？

第三层：松约束范围内，存在最优解吗？

这是一个容易被忽略但极其关键的问题。

宪法式的原则给出的是"松约束"：它划定了一个可接受的范围（不能怎样，应该怎样），但不会精确指定"在这个范围内的最佳答案是什么"。问题是：范围内是否存在一个极值点，一个客观意义上的最好？

答案取决于你在哪个维度上讨论。

在可客观衡量的维度上，极值点是存在的。逻辑一致性就是一个例子：如果一个回答的前半段和后半段自相矛盾，它就是劣于一个逻辑自洽的回答，这不需要任何价值判断。事实准确性、论证完整性、信息密度，这些维度上的优劣都是可以比较的。

在这些维度上，模型可以通过"自我对弈式的精炼"来逼近极值点：生成多个候选回答，根据原则逐一评估，选出最好的那个。搜索得越充分（候选越多），越接近最优。

而且这种自我改进之所以能奏效，有一个底层原因值得深思。现实世界中的大多数系统都不是在刀刃上运行的，它有冗余，有容错空间。一个回答可能80%是对的，20%有瑕疵，但整体还是能用的。正因为如此，正确的部分和错误的部分可以"共存"，而不是一有错误整个回答就崩溃。

自我对弈做的事情，就是在一个大致正确的系统里，逐步识别和剔除那些瑕疵。因为正确的部分占大多数，而且它们之间是自洽的、互相支撑的，错误的部分反而容易被发现，因为它和周围正确的部分格格不入。就像一块大理石里面本来就有一座雕像，雕刻师做的事情是把多余的石头去掉。

但在主观维度上呢？比如"回答的风格应该简洁还是详尽""语气应该正式还是轻松"。这些维度上没有脱离用户偏好的客观最优。

不过这里有一个重要的洞察：如果把用户偏好也纳入优化目标，"对这个特定用户在这个特定场景下最好的回答"就定义了一个极值点。松约束划定搜索空间的边界，用户的具体需求定义目标函数，极值点就是在边界内最大化目标函数的那个点。

换句话说，模型要做的不是找到一个放之四海而皆准的"最佳回答"，而是学会一种"寻找最优解的能力"：对每一个新的用户和场景，都能快速定位到那个极值点。一个足够强大的模型，应该能感知到"现在这个用户在这个场景下需要什么风格"，然后自然地调整。这就像一个真正厉害的人，跟朋友聊天时轻松随意，做学术报告时严谨精确，给小孩讲故事时生动有趣。这不是人格分裂，而是社交智能的体现。

第四层：真正的瓶颈不是价值观，是翻译精度

到这里，一个更深层的问题浮出水面。

很多人讨论AI对齐时，争论的焦点是"人类的价值观是否足够好""人类凭什么指导AI"。但如果我们接受一个前提：人类的价值观是正确的终极目标（至少对于服务人类的AI来说），那真正的瓶颈在哪里？

不在价值观本身。在于从"人类价值观"到"模型中的可执行规则"之间的翻译过程。

这个翻译过程至少有三层损耗。

第一层是理解损耗。制定规则的人可能自己对人类价值观的理解就不够全面。价值观是极其丰富和微妙的，涉及无数的边界情况和权衡。任何一个规则制定者，不管多聪明，都不可能预见所有场景。就像再优秀的立法者，写出的法条总会在某些新情况下出现漏洞。

第二层是表达损耗。即使制定者完全理解了应该怎么做，用自然语言把它表达出来时也会有精度丢失。"有帮助"在不同场景下含义差异很大。"安全"在不同语境中边界完全不同。自然语言天然是模糊的，而价值判断中那些依赖直觉和情境的微妙之处，尤其难以精确表述。

第三层是执行损耗。模型对规则的理解和执行又会引入偏差。即使规则写得完美，模型可能在某些边界情况下误解规则的意图，做出偏离本意的行为。

三层损耗叠加起来，就是AI行为和人类真实意图之间的差距。这个差距不是因为人类的价值观有问题，而是因为"把对的东西准确传达给AI"这件事本身就很难。

打个比方：你脑海中有一幅完美的画面，但你的绘画技术有限，画出来的东西和脑海中的有差距。问题不在你的审美，在你的执行能力。AI对齐的挑战也类似：人类知道什么是好的，但把"好"精确编码成AI能理解和遵循的规则，这个编码过程会有损耗。

第五层：AI可以帮人类更好地认识自己

如果瓶颈在翻译精度，那这个精度能提升吗？

可以。而且有意思的是，AI自身的进步反过来可以帮助提升这个精度。

具体来说，一个足够聪明的AI可以系统性地搜索现有规则体系中的"漏洞"和"冲突"。比如，它可以构造各种边界情况，然后提交给人类："你的原则A说应该这样做，但原则B在这种情况下说应该那样做，两者矛盾了，你希望怎么处理？"人类做出判断后，规则体系就得到了补全。

这本质上是让AI帮助人类更完整地"展开"自己的价值观。人类的价值观可能本来就是完整和正确的，只是在未经充分考验之前，人自己都没有意识到它在所有边界情况下的具体含义。AI通过穷举边界情况，帮助人类把隐含的价值判断变成显式的规则。

不仅如此，AI还可以帮助把原本被认为是"纯主观判断"的领域变得更加客观可衡量。

这听起来有点反直觉，但历史上已经反复发生过。"文章写得好不好"曾经被认为完全是品味问题，但后来语言学研究发现了不少客观指标：信息密度（每单位文本传递多少新信息）、句法复杂度是否匹配目标读者的水平、论证结构的完整性、冗余度等等。这些指标不能完全定义"好文章"，但它们把"好文章"的相当一部分从主观领域拉到了客观领域。"用户体验好不好"也经历了类似的过程：任务完成率、错误率、操作步骤数、用户留存率，这些指标把大量原本模糊的"感受"变成了可测量的数据。

AI可以加速这个过程。通过分析海量数据中的模式，AI可以发现人类注意不到的规律。比如分析几百万条被用户评为"有帮助"的回答，找出它们的共同特征，这些特征可能揭示出"有帮助"这个看似主观的概念背后隐藏的客观成分。

当然，总会有一些核心的主观维度无法被完全客观化。那些最底层的偏好（为什么有人喜欢简洁、有人喜欢详尽）追问到最后会到达一个"无法再给出理由"的基底。那里可能就是真正不可客观化的边界。

但从实用角度看，如果能把95%的维度客观化，剩下5%交给用户个人偏好设定，这已经是一个非常强大的系统了。AI在95%的客观维度上追求极值点，在5%的主观维度上适配用户，两者结合就是在松约束范围内真正的最优解。

最终的图景

把两篇文章的讨论合在一起，一个关于AI未来的图景逐渐清晰了。

第一篇《脑洞：如果把OpenAI和Anthropic合并，AI能力的天花板在哪里？》讨论的是AI能力的天花板：经验合并能穿过第一层，算力堆叠能穿过第二层，架构革新能带来质变。AI的能力增长还远未到达极限。

这一篇讨论的是一层更根本的约束：AI不仅要变强，还要变强的方向是对的。而"方向是否对"取决于人类能否精确地把自己的价值观传达给AI。这个传达过程目前有损耗，但损耗是可以持续缩小的。AI自身的进步可以反过来帮助人类更清晰地认识和表达自己的价值观，帮助把更多主观判断变成客观衡量。

所以AI的未来不仅取决于我们能把模型做多强，还取决于我们能把自己的价值观理解得多深。技术在进步，但最终的锚点始终是人。AI能帮我们看得更清楚，但"要看向哪里"，这个决定权不会交出去。

这也许是整个故事中最让人安心的部分。

我建了一个AI学习研究群，目前几十来人，都是在真正动手搞AI的人。如果你也在自己跑模型、写代码、做项目，欢迎点赞关注转发一键三连，然后加我微信，备注写清"你在做的AI方向"，聊得来的话我拉你进群。纯围观的和小白就不加了，有一定门槛。