2016年3月的一个下午，我在首尔看着一个自己参与搭建的程序，在围棋盘上落下第五线的黑子，看起来像送给人类对手的一份礼物。
那是五番棋第二局的第37手。这手棋看起来如此荒唐，以至于一些解说认为它是程序出错。它当然不是。AlphaGo最终赢下那局，并以4比1战胜了史上最顶尖的职业棋手之一李世石。李世石赛后说，他原以为AlphaGo只是基于概率计算，只是一台机器，但看到这手棋之后他改变了想法，认为AlphaGo确实有创造性。
1997年，深蓝击败当时的国际象棋世界冠军卡斯帕罗夫，靠的是每方预先推算六到八步，每秒评估两亿个棋局，规则由人类硬编码进去。围棋要复杂得多，一颗棋子的价值取决于几十手之后远处的棋块和地盘如何展开，想算清哪怕一小部分可能结果，超级计算机也要花上几十亿年。
要赢，AlphaGo必须一眼看出谁领先，甚至想出人类从未想到的走法。所以很多关于这场对局的叙述，把第37手描绘成纯粹机器直觉的闪光。这是一种误读。做出这个有创意的选择，靠的其实是AlphaGo的推理能力，而这正是今天的人工智能所缺少的。
AlphaGo的两个系统
AlphaGo由两个部分组成。第一个是策略网络，训练目标是猜出实力强的人类会走哪一步。这个直觉部分并不觉得第37手有什么特别，它判断这手棋被人类高手下出来的概率大约只有万分之一。真正让AlphaGo选择它的，是程序的搜索机制：它不只看眼前的合理性，还会权衡每步棋未来的后果。它明确构建并搜索了一棵有数千个分支的博弈树，每个分支代表一种可能的未来。
丹尼尔·卡尼曼让行为科学里一个著名的理论广为人知：人类的思考分为两种模式。系统1快速、凭直觉、不费力；系统2缓慢、一步步推演、需要深思。AlphaGo给出了一个惊人的机器版本：神经网络提供直觉，这步棋看起来有希望，这个局面看起来赢定了；搜索提供深思，用后续的走法和应对去检验这些直觉。
和人类认知一样，这两半谁也不能单独工作。只有直觉，永远不会选择第37手；只有暴力搜索，也很难在所有可能的走法里筛出它。
今天的大模型在做什么
这和今天的人工智能模型很不一样。大语言模型一遍又一遍地挑选下一个词元，本质上就是系统1在工作：快速、依靠联想，在人们写过的几乎所有话题上都表现出惊人的模式补全能力。
ChatGPT问世后不久，业界就意识到光有语言流畅还不够有用。看似可行的方案是让模型学会思考：不马上回答，而是先生成中间步骤，把问题拆开，保留部分结果，并影响后面的推理，这就是思维链。
这些改进确实有实效，在数学和编程上尤其明显。但和AlphaGo的搜索不同，它并没有引入一个真正独立的推理机制：那些中间的推理仍由同一个预测下一个词的过程产生，只是在给出答案之前多迭代了几轮。
三处关键不足
有三个短板让聊天机器人的所作所为称不上科学家意义上的推理。
第一，这些模型通常没有明确、持久、可检视的认识状态。没有一个公开的账本，列出模型正在考虑哪些假设、对各种解释有多大信心、在权衡哪些证据、还握着哪些未解决的问题。而这些东西本该随着新信息不断被系统地修订。
第二，系统知道什么和它如何处理这些知识之间，没有清晰的分离。知识和推理在神经网络的权重里纠缠在一起，不存在一套独立、被明确表达的信念。
第三，聊天机器人产出的思维链看起来像深思，但研究已经表明，它们常常是事后编出来的：用一条路径得出结论，却报告另一条。
这就是问题所在。在我们都关心的医疗、工程、科研这类高风险场景里，重要的不只是系统得出什么结论，还有它怎么得出这个结论。出了问题，比如诊断和治疗失误，我们需要能定位到底哪一步错了：是推理有毛病，是用到了无效证据，还是假设本身就错了。
该怎么办
这也是我最近从Google DeepMind离职的原因。我认为机器推理需要一条新路，一条借鉴AlphaGo架构的路。
AlphaGo会记录它对某个局面的了解，也就是博弈树。这个数据结构包含它考虑过的所有变化和可能的未来，每一步棋、每个局面都带着神经网络给出的判断。推理推进时，AlphaGo更新博弈树，最终综合其中的信息决定下一步。
一般的推理也该如此：系统应当维护一个认识状态，表示它认定什么、怀疑什么、排除了什么、还有哪些问题悬而未决。推理就可以被理解为一连串改变认识状态的行动，用来推进知识、减少不确定性：推断后果，把问题拆成部分，以及最关键的，决定下一步该问什么问题、做哪项计算、跑哪个实验。
当然，开放世界的推理比下围棋、下国际象棋难得多。现实世界里当前状态只知道一部分，可采取的行动数量庞大且多变，行动的后果带有随机性或根本未知。但大语言模型和其他神经模型近来的进展，已经能支撑起这类一般性推理问题。比如，语言模型可以根据已知信息和现有资源，建议解决问题的办法；可以通过接口或代码调用工具，帮助判断某个论断是否有证据支持。
最重要的是，为了让系统保持诚实，必须有一个独立的部分来评估每一步在多大程度上真正减少了不确定性，并且只有在有证据支持时才更新信念。规则一旦落实，模型就能积累经过认证的知识，并从过去的推理经验中学习，改进自己的推理策略。
可以把这样的系统理解成加强版的科学方法，目标是产出经得起检验的知识。
把系统1做大不是答案
我不认为把系统1做得更大就能得到可信的机器智能。规模会让直觉更锋利，但不会让直觉变得更善于深思。
第37手之所以重要，是因为一台机器保持了某个局面，权衡了可能的未来，然后选择了它的人工直觉大概率会否掉的那一手。药物研发、材料、气候、诊断这些领域需要这样的创造性走法，那里的棋盘完全不像围棋盘，也没有人把规则递给我们。
这样的洞见只会来自真正会推理的系统：结论来自可审计的证据、推断和信念修正序列，而不是事后讲的一个动听故事。