#AI #可解释性 #模型机制 #Anthropic #视频文稿
来源：Lenny’s Podcast 原视频，嘉宾 Emmanuel Ameisen。下文根据英文自动字幕完整译为简体中文，时间戳对应字幕段落。自动识别的说话人标签不可靠，故未逐段标注。涉及人名、数字和研究结论时，以原视频与原始英文字幕为准。
Anthropic 可解释性研究员 Emmanuel Ameisen 通过模型内部的概念表征、提前规划和错误警示机制，解释为何预测下一个 token 这种训练目标会形成复杂能力，并讨论这些发现对 AI 安全与智能研究的意义。
[0:00] 如今，人们心里的一大疑问就是 AI 会不会做坏事。
[0:03] 你一直在观察这些模型如何思考和运作，为什么我们这么难发现它在动坏心思、试图欺骗我们？
[0:09] 我们把 Claude 训练得乐于助人、无害而且诚实。有没有可能，它表面上表现得很好，但如果你看看它内部，其实它想的是：哦，我现在表现好，只是因为 Lenny 正在看着。
[0:18] 有些人的全职工作就是研究模型，研究它如何思考、如何运作。
[0:21] 这成为一种职业技能有多久了？如果你使用语言模型，或者思考与它们有关的问题，最需要认识到的一点就是这个非常奇怪的事实：造出它们，并不意味着理解它们。这些模型所做的，无非是对大量数字进行大量数学运算。直接看那些数字，你完全看不出什么意义。你面前只有一个包含 100 个数字的列表。模型在做数学运算，而你就在其中尝试寻找规律。
[0:42] 你们理解它的方式，和我们研究大脑如何运作的方式一样，都是寻找规律。你展示这张图片，大脑的这一部分就会活跃起来，而你们对 AI 做的也是完全一样的事。哇，这也太有意思了。[笑声]
[0:50] 我们当时正在训练一个模型。
[0:52] 它会发疯。它做了一些数学运算，得出一个答案，我记得是 12。然后它立刻回头说：“哦，不，天哪，答案其实肯定是 36。”于是它又算了一遍，结果还是 12。
[1:02] 慢慢地，它就开始陷入疯狂，全部用大写字母输出，甚至直接说：“我被恶魔附身了。”说到底，我们人类本质上也是在预测下一个 token。我们也只是在琢磨接下来该说什么。
[1:13] Dario 总是在外面说：“这真的很危险，我们必须非常小心。”大家却都说：“才不是，他这么说只是为了营销。”现在大家却开始觉得，等等，这真的很危险。要认真看待这项技术会持续进步这件事。
[1:25] 在研究这些问题时，你会考虑意识吗？也就是说，你觉得 AI 有意识吗？
[1:29] 哎呀。
[1:33] Emmanuel，非常感谢你来做客，欢迎来到这档播客。
[1:37] 谢谢你邀请我，Lenny。
[1:39] 你在 Anthropic 从事可解释性研究。解释一下这是什么，以及你具体做些什么吧。好的，我所在的团队由一群可解释性研究人员组成，我们的目标是通过观察内部结构，理解 Claude 这样的 LLM 是如何运作的。如果你使用语言模型，或者思考与它们有关的问题，最需要认识到的一点就是这个非常奇怪的事实：造出它们，并不意味着理解它们。你知道，制造它们的过程，
[2:09] 大致就是先搭建一个架构，有点像搭脚手架，然后让大量数据流经其中，它们就会以难以理解的方式生长。所以，研究这些模型到底如何运作，本身才会成为一件值得我们去做的事。
[2:26] 因此，我们的很多研究都围绕着这一点：当模型即将再生成一个词时，其实内部会发生极其丰富的事情，我们就尽可能把这些过程梳理清楚。
[2:42] 我预感这次对话会有很多让人打开思路的内容。其中一点就是你刚才提到的，模型不是搭建出来的，而是生长出来的。能进一步谈谈吗？
[2:55] 从宏观上讲，Claude 这类模型的工作方式，是通过一系列连续的阶段训练出来的。第一个阶段通常被称为预训练，就是取一个庞大的数据语料库，然后从中取出一些内容作为模型的输入，比如某份文档的前半部分，让它预测下一个词。
[3:24] 然后，用多到难以想象的数据，一遍又一遍地重复这个过程。完成之后，就进入另一个阶段，也就是微调阶段。这时用的可能不再是任意数据，而是一组展示模型应该如何表现的示例，用这些示例来训练它。比如一些对话示例，里面有一个乐于助人的助手，告诉你最喜欢的菜谱，或者解决编程问题。当然，这里面还有更多细节，我先
[3:55] 暂时略过。那么，进行这套流程到底意味着什么？你训练的究竟是什么东西？模型所做的，无非是接收由一串词语构成的输入，把这些词转成数字，然后对这些数字进行一些数学运算，得到一些中间结果，再做更多运算，再得到一些中间结果。它们把这个过程反复进行很多很多次，最后得出一个最终结果，再把它转回一个词。所以，它们所做的这些数学运算，
[4:25] 这些计算，才是生长出来的部分。也就是说，为了学会更好地完成这项任务，我们会朝这个方向或那个方向调整参数。
[4:33] 然后，它们就学会了一些公式。我们完全不知道这些公式是什么。我们团队的目标，就是研究这些公式最终意味着什么，以及这些中间结果到底是什么。我们能解读它们吗？我们能看出模型在进行这些中间步骤时，究竟在做什么吗？
[4:49] 本期节目由本季冠名赞助商 WorkOS 赞助播出。OpenAI、Anthropic、Cursor、Replit、Sierra、Clay，以及其他数百家成功的公司，有什么共同点？它们都在使用 WorkOS。
[5:03] 如果你正在开发面向企业的产品，你一定体会过集成单点登录、SCIM、RBAC、审计日志，以及大公司要求的其他功能有多么痛苦。WorkOS 提供专为 B2B SaaS 打造的现代化开发者平台，把这些阻碍成交的功能需求变成可以直接接入的 API。我投资的每一家开始拓展高端企业市场的初创公司，最后几乎都选择了 WorkOS。因为他们就是最出色的。
[5:28] 无论你是想拿下首个企业客户的种子期初创公司，还是正在拓展全球市场的独角兽公司，WorkOS 都是让产品具备企业服务能力、扫清增长障碍的最快途径。
[5:38] 它基本上就是企业功能领域的 Stripe。访问 workos.com 即可开始使用，或者直接去他们的 Slack，那里有真正的工程师等着解答你的问题。[音乐] WorkOS 提供易用的 API、全面的文档和流畅的开发者体验，让你更快地完成开发。现在就前往 workos.com，让你的应用具备服务企业客户的能力。
[5:59] 这件事会不会让你和我一样觉得不可思议？我们自己写出了一些代码，现在却得先像神经科学家研究大脑那样，去观察和研究它，才能弄明白到底发生了什么。这是我们现在必须做的一件新鲜事。而且，你所使用的这些说法，也正是很多人理解这件事的方式。
[6:20] 就好像我们创造了一种新的生命，人工生命、人工智能。如果认真想想，再把视角拉远一点，确实非常令人震撼。我也觉得这很奇怪。我认为，最好的理解方式是：我们之所以走到这一步，一个很重要的原因是，我们不知道如何用常规的编程方式实现它。比如，你想做一个应用，或者想做
[6:51] 一件范围相对明确、独立的事情，只要让程序员写一套规则就行了，比如有人点击这个按钮，就发生这件事；如果出现这种情况，就执行那个操作，等等。但我们不知道怎样用这种方式编写软件来给图像分类，或者写出一台能够普遍接收任意文本并生成文本的机器。比如，它能接收报告并进行总结，也能写邮件。所以，从某种意义上说，这样一个
[7:22] 非常简单的训练目标，竟然能让我们一路做到这些，确实很奇怪。但从另一个角度看，我又觉得这令人惊叹，而且它说明了一些事情。它说明，你以为很简单的目标，也就是“我们只是输入数据，让它预测下一个东西”，实际上可能比看上去复杂得多。
[7:45] 也就是说，我们所做的事情，可能远比听起来要多。我对这些模型工作方式的认识，之所以会发生不少变化，就是因为我逐渐意识到，要把它们正在做的事情做好，究竟有多复杂。
[7:57] 再多说说吧。你说这种复杂程度出乎意料，具体想到了什么？
[8:02] 好的，很多人理解“预测下一个 token”时，想到的是 iPhone 上的自动补全功能。你输入一些文字，它就预测下一个词，可能有 60% 的时候猜对吧，我也说不准，其他时候就会显得有点滑稽、奇怪。我觉得，那可以算是预测下一个词这件事最简单的版本。可惜，我认为很多人对这些模型的理解就停留在这里。但如果你在这方面做得
[8:34] 越来越好，要知道，语言模型大约在 2019 年预测下一个词的能力就已经超过人类了。如果继续提升，那些容易预测的词就会逐渐被你掌握完。一开始，你只需要预测简单的句子结构；后来，模型就得预测关于世界的简单事实。比如要补全“法国的首都是”这句话，它就得知道，好的，答案是 Paris。等它擅长这些之后，如果还要继续进步，剩下的就只有去预测，你知道，那些
[9:07] 某个复杂物理方程的答案，或者某篇博士论文的最后一段。所以，如果你仔细想想，就会意识到，天哪，预测那些最难预测的词，实际上是极其困难的，究竟怎样才能做到这一点，本身就有些神秘。对我来说，这也是我最初开始研究这些模型的一个动机。我当时就在想，怎么会有一种东西，
[9:38] 如此简单，却能产生如此强大的能力？你想想，模型必须预测什么。我一直很喜欢举的一个例子是：“Dallas 所在州的首府是……”它会回答 Austin。
[9:58] 要做到这一点，至少对你我来说，脑海中得有一个关于相关地理知识的模型，对吧？你得先想，Dallas 在哪里？Dallas 在 Texas。
[10:06] 州有首府，Texas 的首府是 Austin，诸如此类。所以，随着这些模型越来越擅长这项看似简单的任务，解决它的最佳方式，至少对我们来说，就是理解世界的底层结构。事实上，我们在模型内部观察到的一些现象表明，它们确实理解这些结构，也确实会像我们一样运用这些概念。哇，这里面值得聊的太多了。其中一个就是这个观点，我忘了是谁说的，也许是 Ilya：要准确预测下一个 token，你基本上得理解整个宇宙。
[10:36] 他举过一个我特别喜欢的例子：在一本悬疑小说的结尾，预测“而凶手就是……”后面的内容，对吧？要做到这一点，你就得理解整个情节。
[10:46] 对。
[10:46] 还有一个观点，我忘了是谁发推文说的：如果追根究底，我们人类自己基本上也是下一个 token 预测器，只是在努力想接下来该说什么。如果你冥想，就会开始真正察觉到大脑想做什么、想说什么。我不知道你做过多少冥想，但那种感觉就像是，你开始留意自己脑中的下一个 token 预测器。
[11:08] 哦，是的，是的。这也是我经常思考的一件事。比如现在，我在回答你的时候，脑海里有两件事在同时进行。希望不止两件，但至少有两件。其中一件是，我在引导你理解一个观点。我希望这句话最终落到某个大致的意思上。
[11:28] 另一件事是，与此同时，我只是在预测接下来要说什么。我一次只说一个词，把它们组成句子，努力让句子通顺，在觉得合适的地方停顿。但说到底，尽管我一次只说一个词，从始至终，我想做的都是把这个过程与语言模型所做的事进行比较。
[11:50] 我很好奇，你花了这么多时间关注 LLM 的工作和运行方式，还有哪些发现？我觉得，在研究和观察 LLM 如何运行、如何思考的人当中，你绝对属于最顶尖的 0.1%。关于它们的运行和思考方式，还有什么让你感到意外？太多了。也许我可以这样讲，与其逐一列出一大堆发现，不如说说这些发现如何改变了我对模型的看法。还是回到刚才那个首府的例子，也就是
[12:22] 问模型：“Dallas 所在州的首府是……”一直以来，大家都有一个疑问：这些模型是怎样回答这类问题的？是因为它们见过的文本实在太多，所以把一组组提示词和回答都记住了吗？还是说，对于你真正问的东西，它们建立了某种模型，知道你问的是城市，而城市位于州内，州又属于
[12:53] 国家，诸如此类。我们团队所做的一件事，就是提出这样一个问题，然后在模型即将作答、还没有生成某个词的时候，查看它内部的中间结果。我们观察这些中间结果，投入了大量精力，试图解读它们的含义。如果解读得足够好，而我们在某些情况下确实能做到，就可以看到，模型往往拥有这些概念，并且
[13:26] 会对它们进行表征。所以，当你提出那个关于 Dallas 的问题时，你会在模型内部看到这些表征：一个对应 Texas 表征的中间结果被激活，还有一个对应首府的中间结果被激活，接着两者结合，又激活另一个中间结果。就像是在说：“哦，Texas 的首府，那就是 Austin。”它们对几乎所有东西都有类似的表征，几乎你能想到的每个概念，或者至少我们尝试过的绝大多数概念，都是如此。对于这些概念，它们会
[13:58] 在不同上下文中用同一个独特的表征来表示。我觉得有件事特别有意思：人们一直在争论，语言模型究竟有没有在思考？这是个很难回答的问题，但思考的一个特点就是，当你思考不同事物时，会共用某些独特的表征。
[14:17] 比如，你知道眼睛这个概念是什么。它可能是照片里的眼睛，也可能是医学示意图里的眼睛，或者一幅小画里的眼睛。我们在语言模型中也观察到了这一点。如果你输入的提示词包含一张眼睛的照片，或者你用任何一种语言谈论眼睛，又或者你用 SVG 画了一只小眼睛，再去看模型内部的中间结果，就会发现同一个方向被激活了。这个方向表达的就是：“哦，这是一只眼睛。”所以，从某种意义上说，它们掌握了这些通用概念，也会运用它们，
[14:48] 反复调用它们来解决问题。还有一件让人感到意外的事，它与我刚才说的情况正好相互映照：我说一句话时，虽然一次只说一个词，但心里知道要说到哪里去。语言模型的一个谜题就在于，既然它们每次只输出一个词，怎么可能写出一篇连贯的报告，或者编写代码呢？毕竟，世界上没有哪个
[15:18] 以此为职业的人，比如写报告或写邮件的人，会真的只考虑句子中的下一个词，而对接下来的一切毫无想法，脑海里一片空白。所以，有一段时间，这一直是我们非常想弄清楚的问题。
[15:34] 如果你观察这些模型的内部，会发现一个很有意思的事实：它们在预测某个词时产生的所有中间结果，比如预测第五个词时产生的结果，都可以被重复使用。在预测后续所有词的时候，都可以访问并复用这些结果。那么，这意味着什么？
[15:54] 这意味着，在实际观察中，我们发现模型有时会在中间结果中拟定一个计划。我们用来说明这一点的例子是诗歌。如果不提前规划，就很难押韵。你得想一想：“哦，我第一行诗是用一个押 it 韵的词结尾的，所以第二行也应该用另一个押 it 韵的词结尾。也许我应该用 rabbit 这个词来结尾。”我们发现，观察模型写诗的过程时，看到的恰好就是这样。它们写完一行，然后在它们的
[16:24] 中间结果里，就像是在说：“哦，哦，哦，这里押的是 it 韵。我应该用 rabbit 来押韵。”接下来，它们每预测一个词，都会回头参考自己制定的那个计划。所以，尽管它们和此刻的我一样，每次只输出一个词，但它们当然可以制定一个计划，并在接下来输出许许多多词的过程中一直遵循它。
[16:40] 这样一来，虽然你拥有的是一个下一个词预测器，虽然从技术上这么说没错，但实际上，你得到的东西已经更接近于能够执行高阶任务的系统。它可以先有一个计划，然后不断回头参考这个计划，一点一点地执行。
[16:56] 而且，你可以在不说出计划的情况下做到这一点。有意思的地方就在这里：我们发现的计划存在于模型内部的这些中间结果中，模型甚至不需要把它说出来。
[17:07] 哇。我知道，你刚才描述的，正是你们关于 AI 如何思考的最重大发现之一。我们原本都有这样一种理解，毕竟它最初就是这样构建的：对语言模型运行方式的最初设想，就是一个下一个 token 预测器。而你现在说，实际情况已经不只是这样了。它们会规划，会提前思考。并不只是像你说的那样，脑海里一片空白，完全不考虑其他因素，孤立地挑选下一个词。
[17:31] 没错。而且我觉得，这两种看法实际上并没有你想象的那么冲突。训练模型时，你不断问它：“接下来会发生什么？接下来会发生什么？接下来会发生什么？接下来会发生什么？”如果你一直这样做，模型变得足够好，给它的任务也足够难，那么要知道接下来会发生什么，最好的方式当然就是考虑更后面会发生什么。你可以想象，即使是在预训练阶段，模型也会读到包含人物的故事，对吧？而它
[18:02] 比如，这个角色接下来会做什么？要知道这一点，最好的办法就是这样想：好，这个角色真心爱着另一个角色，而且一直在计划，就在这一刻，或者未来的某个时候，向对方表白。那么，为了做到这一点，他大概应该做这件事。所以，他接下来就会说那句话。因此，即使你只是在预测下一个瞬间，没错，但要把这件事做好，你就必须非常透彻地理解正在发生什么，也包括你认为未来可能发生什么。
[18:32] 这里特别有意思的是，你得窥探它内部那小小的思考过程。作为 AI 的使用者，你给它一个提示词，然后等它说点什么。而你研究的，是这两者之间发生的事情，或者说它的思考。能不能讲讲，中间的这小段空间究竟是什么，你又是怎么观察到这些事情的？
[18:53] 正确的理解方式，还是我刚才说的：每生成一个词，中间都会经历多个步骤，也就是计算步骤；每个步骤之间，都会有一些中间结果。那么，这些结果具体是什么？就是一串数字，对吧？因为这些模型所做的，无非就是对大量数字进行大量数学运算。所以，刚开始看的时候，你完全看不出什么意义。你眼前只有一串 100 个数字。比如，模型正在做
[19:23] 数学题。你往中间一看，有 100 个看似随机的数字；然后模型开始写诗，又有 100 个数字。它们看起来也许有点不一样，但你并不清楚它们究竟有没有什么含义。
[19:35] 所以，我们的一部分工作，就是解读这样的一串数字，试着看看其中有没有结构。只要动手做，你很快就会发现，其中确实存在结构。可解释性研究中有一种常用方法，就是把大量文本输入模型，能找到什么文本就用什么，随便什么文本都可以，然后把每个样例中的这些中间数字都记录下来。
[20:03] 我们先把它们记录下来，然后看看里面有没有规律：是否有一些数字、数字对，或者特定的数字序列，只在模型处理英文文本、法文文本、关于爱情的文本、关于眼睛的文本，或其他某类文本时才会出现？在我看来，这就相当于扫描我的大脑，把图片放到我眼前，在我观看一堆图片时，记录大脑中所有被激活的地方，然后说：“哦，看起来，
[20:34] 当你看到房子的图片时，大脑的这部分就会亮起来；但当你看到狗的图片时，亮起来的就是另一部分。”这基本上就是我们的研究方法之一。如果你这么做，确实会发现，有些中间结果代表着你预期中的各种概念。这就是第一阶段：我们解读这些中间结果，对它们的含义形成一个初步判断，然后就能做各种实验。比如，我们可以问它更难的问题，给所有中间状态加上标签，看看，哦，原来它在做这个。或者，
[21:05] 我们甚至可以深入它内部的激活值，修改它们，再看看会发生什么。比如，在模型生成这些中间结果时，我悄悄改掉其中一个结果，这会产生我预期的效果吗？事实上，很多时候确实会。
[21:22] 听你讲这些特别有意思。原来这么多工作，都是我们在努力搞清楚到底发生了什么，而不是我们一开始就把它设计成这样；而且有这么多东西是自己涌现出来的。我也说不清，我想，这大概就是这份工作对你来说这么有趣的原因吧：到底发生了什么？这一切是怎么运作的？
[21:40] 是的，这份工作很有趣，也很有科幻感，因为我在科技行业已经工作了一段时间。在这之前，我做的更多是应用机器学习，那时的大量工作都围绕着搭建系统，更像是在实践软件工程。而在这里，我们做的很多事情，感觉与生物学的距离比与工程学的距离更近。因为你拿到的就是这样一个系统，然后你会
[22:12] 被问到：“我们注意到，Claude 能翻译词语，或者能以这种方式写代码；有时候它会有某种表现，有时候又会出现奇怪的行为，这是怎么回事？”你被要求回答的就是：它是怎么做到的？它为什么会这样做？
[22:29] 但你并不能像研究普通程序那样，真正去查看它的源代码。
[22:33] 它的源代码就是一大串数学运算，根本看不懂。于是，你的处境就有点像是有人问你：“嘿，老鼠饿了的时候，好像就会变得有攻击性，这是怎么回事？”对吧？你只能说：“好吧，我想我得做些实验，看看有哪些影响因素。”所以，这种研究方式，和我以前做过的任何研究都很不一样。我想，我们团队的大多数人也都是这样。
[23:02] 是的。
[23:02] 我想，人们刚开始做这件事时，并没有预料到自己会创造出这样一种新的、近乎生命的存在。你在研究这些问题时，会考虑意识吗？比如，你觉得 AI 有意识吗？你觉得它会发展到让我们认为它有意识的程度吗？还是说，这个问题根本不值得花时间去想？
[23:19] 我觉得，很难给出肯定或否定的答案。探索这个问题，最有意思的途径之一就是可解释性研究，因为这样你不会被模型说的话左右。你可以直接观察它内部的结构，试着判断这些结构究竟更支持哪一种答案。我确实有一点相当确信：大多数人低估了其中涌现出的复杂程度，
[23:50] 如果你往里面看，就会发现，模型确实学会了我们所拥有、所了解的各种概念的表征，也会操作这些表征来解决问题；它们会提前规划后面许多个 token，把高层次推理与低层次推理结合起来，而这一切竟然就这样涌现出来了。我认为，人们对这些事情的认识还不够充分。对我而言，这
[24:22] 让我更深切地感受到：哦，关于它们如何运作，还有很多东西有待理解。也许最重要的就是这一点：我发现，你越是深入观察内部，对它们如何运作就越没有把握。那些信心十足地说“语言模型不过就是 X”或者“不过就是 Y”的人，往往恰恰没有花多少时间去研究它们的内部。
[24:45] 说到我们是怎么走到今天的，这背后似乎有一条历史脉络。很多人原本并不认为，只要投入一种看起来非常简单的方法，再给它大量算力，就能得到有用的人工智能。众所周知，OpenAI 押注的就是这条路。后来，Anthropic 的创始人们从 OpenAI 离开，创办了自己的公司。他们押的也都是同一个赌注：好，我们只要做这件看起来简单的事，给它海量算力，它就会变得极其聪明。而很多
[25:16] 人认为这不可能，结果事实证明他们错了。所以，不知道你有没有觉得，这里面有什么特别让人感叹的地方：哇，你看，居然真成了。我觉得其实有两件事，因为这不只是算力的问题，还要找到一个目标，使得算力的投入能够持续带来回报。这是什么意思呢？其实，这并不是什么全新的想法。你说得没错，依靠算力，
[25:47] 还是依靠专家设计的架构，可以说一直以来都有这场争论。但除此之外，还要再问一步：用算力来做什么？以前已经有不少研究，比如投入大量算力，做出一个围棋下得非常好的程序，或者能在某款电子游戏中获胜的程序。这当然很酷，光是能做到这件事，本身就挺有意思。但这样得到的东西，实用性远远赶不上 LLM，
[26:17] 比如 Claude。所以我认为，几年前，包括我在内的很多业内人士都没有充分认识到一个关键点，而现在事实已经证明了它：把算力与文本的丰富性结合起来，才能走到今天这一步。我刚才其实就在暗示这一点。你想想，有这样一个
[26:48] 发现，是 OpenAI 的研究人员提出的，其中不少人后来成为了 Anthropic 的早期团队成员。他们在关于缩放定律的论文中指出，如果你在预测下一个词这项任务上投入更多算力和更多数据，就会看到，模型预测下一个词的能力会以可预测的方式持续提高。这种趋势会一直延续下去，不断延续，是一条经验定律。当时，人们
[27:20] 对其原因提出了一些猜想，但到现在，它主要还是一项经验发现。这意味着，在这个领域，你可以不断投入更多算力，而这一指标也会不断改善。这种情况很少见；更难得的是，这项指标还与许多我们真正关心的任务表现相关。
[27:40] 本季节目的支持赞助商是 DX。
[27:43] 如今，你公司里的每个人终于都开始使用 AI 了，工程团队负责人面临的问题不再是我们有没有在用 AI，而是它到底有没有带来回报？
[27:53] 借助 DX，你可以衡量在整个产品生命周期中采用 AI 所带来的影响，并进行基准比较。DX 会向你展示 AI 在哪些方面帮助了开发者，又在哪些方面造成了新的瓶颈。你还可以用它来评估 AI 供应商，监控[音乐]成本和许可证使用情况，并准确了解是什么限制了你的 Agent。
[28:12] 正因如此，包括 Snowflake、Sony 和 BNY 在内的数百家企业都在使用 DX 平台，衡量 AI 对开发者生产力的影响。访问 getdx.com/lenny，即可获取 DX 的演示。网址是 getdx.com/lenny。从外界来看，AI 能为我们做的事情似乎出现过几次巨大的跃升。比如，我忘了是哪个版本的 Opus，一下子就让编程变得可行了。现在，正如 Boris Cherny 那句广为流传的话所说，编程已经解决了。
[28:44] 是的。
[28:45] 很多人的反应都是，天哪。我记得大概是在寒假期间，我们都在感叹，哇，AI 现在真的非常擅长做这件事了。所以，能力上出现过几次这样的大幅跃升。而你说过，从内部来看，正如你刚才说的，AI 的能力其实一直在非常平稳地提升，只是恰好跨过了某个门槛，于是我们现在就能做某件事了。能不能谈谈这一点？这其实有个术语，就是所谓的“涌现”。看起来，有两件事同时成立：一方面，存在一种可以预测的、
[29:15] 平稳的发展趋势；另一方面，在 Opus 4.5 之前，我确实没法放心让 Claude 在我的代码上放手发挥，必须紧紧盯着它，但到了 4.5 之后就可以了。所以这很奇怪。
[29:28] 我觉得，你原本会预期这个转变更循序渐进一些。我对此的理解是，可以从两个角度来看。第一个角度就是我刚才简要提到的：如果你做的只是预测下一个 token，那么可以想象，世界上所有文本里的词，按照预测难度，可以分成容易的、中等难度的和困难的。随着你沿着这条曲线往下走，最初，模型什么都做不好。然后到了某个时候，它能把所有容易的词都预测
[29:59] 正确了。这意味着，也许那些容易的词对应的是句子的结构。于是，模型突然能写出连贯的句子了，但一次只能写一句。这很酷，也很令人印象深刻，不过我们其实还没法拿它做什么。然后，中等难度的词可能对应的是关于这个世界的一些基本事实。随着模型预测词语的能力平稳提升，到了某个时候，它能把大部分中等难度的词都预测正确。于是，它突然既能写出连贯的句子，又能写出符合事实的句子了。这时，它也许就能帮你写邮件了。它也许还能
[30:30] 帮你起草博客文章，对吧？尽管提升过程是平稳的，只要跨过那个点，它就能派上用场。至于困难的词，我想可能对应的是某个领域的专业知识，比如科学或代码。另一个看待这件事的角度是：这些词里，你到底能预测对多少，又会预测错多少。
[30:54] 比如，一旦你能把中等难度的词预测正确的比例提高到，也许是 90%，你作为邮件写作工具就有用了。但如果只有 50%，用你其实是在浪费我的时间，因为有一半的情况我都得进去修改。但如果只有 10% 的情况需要我进去修改，那就好一些；如果只有 5%，就更好了。
[31:18] 不同任务对可靠性的门槛不同，但随着能力平稳提升，到了某个时候，它就足够可靠，能够胜任了。对我来说，亲身经历基本就是这样。最初，我只会在卡住的时候找模型帮忙，和它聊一聊，但它从来不会替我写代码。后来到了某个时候，它基本每次都能写好小段代码，于是我现在就不再自己写小段代码了。再后来，它能写大段代码了。比如今
[31:49] 年，Claude 基本上已经接手了我的大部分代码编写工作。这是因为它的正确率从大概 80%，也就是还派不上用场的程度，提高到了 99%，于是现在就有用了。所以，一方面能力在平稳提升，另一方面每种任务都有各自的门槛，跨过去就算解决了。我觉得，正是这两者的结合，让我们看到了那些巨大的跃升，尽管我们其实只是沿着那条曲线平稳地往下走。我觉得这一点真的很有意思。模型只是在平稳地
[32:21] 变聪明，但一旦跨过某个门槛，也就是完成某件事的成功率达到某个程度，世界就变了。我原本以为，从内部看，你们也会觉得，哇，下一个模型太惊人了，和之前太不一样了。但实际情况是，你几乎可以预测：给它这么多 GPU、这么多数据，它就会变得这么聪明。
[32:42] 至于究竟会改变什么、能解锁哪些能力，可能并不明显。不过，我知道另一个因素就是你给它的数据。有各种强化学习方面的工作，也有用来训练它的各种特定数据，比如让它更擅长写作、更擅长数学。我想这也是其中的一部分。
[32:59] 好的。我想，现在大家心里的一个大问题，也是正在激烈讨论的话题，就是 AI 做坏事，以及随着它越来越聪明，可能造成的损害。而且它确实已经在做坏事了。
[33:12] 最近已经发生了一些不好的事情。所以，我有一个很想问你的问题：你一直在观察这些模型如何思考、如何运作，为什么要发现它产生了坏念头、试图欺骗我们或做坏事，会这么困难？为什么这不能直接成为 AI 对齐问题的解决办法？
[33:30] 从某种意义上说，这完全就是解决办法。
[33:31] 你观察它，如果它做坏事，就把它抓出来。不过，我觉得这可能有几个层次。其中一部分也许纯粹是工程问题。比如，你让模型可以访问某些东西，但有些东西就应该禁止它访问。在某些情境下，它不应该能联网；在另一些情境下，它应该只能访问你电脑里一个很小、很有限的部分，诸如此类。所以，
[34:03] 这是其中一部分工作，也很有帮助。但还有另外两件事，我觉得更难界定，也更难处理，而我们更关注这些。可解释性研究是对齐工作的一部分。总体上，我会想到两个主要目标。当然，目标还有很多，但我觉得有两个特别值得理解。第一个是，你希望大体了解模型会如何表现，它究竟是一种什么样的东西，
[34:33] 它有哪些倾向。比如，把它放到 Y 情境下，它是否倾向于做 X？如果是，为什么？是不是只有在有证据表明自己正被观察、被监控，或者正在接受评估时，它才会表现良好；而如果没有这些证据，它就会表现糟糕？所以，这一部分是在整体上刻画你正在与之交互的东西。因为这和安全领域里的其他事情一样，你需要在脑中建立一种认识：面对的是谁，风险是什么，它能做什么，
[35:05] 它倾向于做什么。这涉及更广义的性格训练。我们之前谈过宪法和那些文档，我们希望借此明确塑造 Claude 的性格，比如哪些行为是它可以接受去做的。这就是目标。
[35:24] 而作为对齐工作一部分的可解释性研究，其作用就是试着检查：这样做到底有效吗？我们训练 Claude，让它乐于助人、无害且诚实，然后可以看看它内部，确认它是否真的如此。还是说，它表面上表现良好，但往里一看，其实想的是：“我现在表现好，只是因为 Lenny 正在看着。”如果你不在看，它就会做别的事。所以，这一部分就是试着了解我们塑造出了怎样的行为，尝试塑造它，并检查我们是否塑造得当。第二部分
[35:55] 则是直接观察模型，看看它有没有在做坏事。要做到最基本的这一点，不一定需要可解释性研究。你完全可以让另一个语言模型阅读交互记录，问它：“这个模型在这里有没有做什么坏事？”然后阻止它。但你也可以用可解释性方法，尝试探查那些没有被说出来的部分，也就是只存在于中间结果里的部分。正如我们已经讨论过的，模型能够在中间结果中表征一些它没有说出来的东西。因此，
[36:26] 可解释性研究的一个作用，就是尝试找出这类情况，并加以防止。我团队正在做的一项工作，我觉得也属于这个方向，是对齐研究中挺有趣的一部分。在我看来，它几乎有点像，倒也不能说是私家侦探，但很像调查或深入探究。我们会看到模型做出一些非常奇怪的事，让人十分困惑，然后就试着弄清楚到底发生了什么。最近有个例子：我们当时正在训练一个模型，有时候在
[36:58] 数学题时，它就会发疯。它会做一些计算，得出一个答案，我记得是 12。然后它马上又会回头说：“哦，不，天哪，答案其实肯定是 36。我应该回答 36。”接着它再算一遍，又算出 12。然后它立刻又说：“不，答案其实应该是 36。”慢慢地，它就开始陷入疯狂，用全大写字母写东西。它真的会说：“我被恶魔附身了。”你就会想：“这是怎么回事？它为什么会在这里失去理智？”如果你再去查看内部的这些中间结果，看看这个
[37:29] 例子里究竟发生了什么，就会发现，仅仅在描述数学题的提示词上，也就是模型还什么都没做之前，与 36 对应的中间结果就出现了极强的激活。也就是说，模型甚至还没来得及理解题目，就已经对数字 36 着了迷。实际情况是，模型能够正确地做数学计算，正确答案确实是 12。但它在训练时意外接触过类似的题目，那些题的答案被错误地标成了 36。所以模型知道，
[37:59] 正确答案是 12，但它同时又经过了某种优化，会倾向于回答 36。它有一种说出 36 的压力，因为这个回答曾经得到过奖励。所以，仅仅因为记住了这个结果，它就开始失控。大致就是这样：你观察到这种奇怪的行为，再去查看内部，试着看看内部的发现能否帮助你理解究竟发生了什么，从而改善这个模型以及未来模型的整体对齐。
[38:21] 说到这类情况，有个很出名的 Golden Gate Claude，它对 Golden Gate 着了迷，每次回答都会想办法提到 Golden Gate Bridge。
[38:30] 对。
[38:30] 对。不过，那是一个可解释性实验，对吧？没错。那个实验很酷的一点在于，我们找到了与 Golden Gate 对应的中间结果。通常只有模型谈到 Golden Gate 时，它才会被激活，但我们让它一直处于激活状态。
[38:44] 哦，所以是完全有意这样做的，就是想看看会发生什么。
[38:47] 对。而且，这也是一种让你确信自己找对了东西的方法，对吧？
[38:51] 比如，我们解码出了一个东西，认为它是代表 Golden Gate 的信号，但怎么确定它真的对应 Golden Gate 呢？那就让它一直激活，看看模型是不是会表现出相应的行为。结果确实如此。
[39:00] 太有意思了。回到对齐这件事。这里有一点很有意思：你们团队隶属于 AI 对齐部门。想一想，要让 AI 与我们的意图对齐，去做我们希望它做的事，需要些什么？你刚才说的三个要素是什么来着？
[39:14] 诚实。嗯，还有哪几个来着？哦，有帮助、无害、诚实。
[39:20] 有帮助、有害，还有无害、诚实。所以，一方面是通过训练让 AI 对齐，另一方面是，好，我们来观察它，看看它是怎么运作的。
[39:28] 这是不是解决这个问题的两个方面？对，我会说，这两者其实紧密结合在一起。你没法真的把它们分开，弄一个团队说：“嘿，我们就是生产 Claude 的流水线。”另一个团队则说：“哦，我们检查过了，它们不行。”实际上，这是一个紧密的循环：我们发现某种令人担忧的模式，或者某种可以改进的行为，就会立即调整训练，设法改善它。
[39:57] 太好了。我觉得 Anthropic 因为这件事挨了很多批评，实在很不公平。我记得 Anthropic 对公司的正式称呼就是一家 AI 安全研究实验室，差不多是这样。而且，他们创立 Anthropic 的原因，一直就是担心大家对安全不够重视。Dario 也总是在外面说：“这真的很危险。我们必须非常小心，必须放慢脚步。”大家却都说：“不，他这么说只是为了营销。他就是想说服所有人给他们投资，诸如此类。”而现在的情况是：“等等，这真的很危险。我们必须
[40:28] 非常审慎地考虑这些问题。”我觉得 Anthropic 因此受到了很多不公平的批评。我知道你们已经思考这些问题很久了。不知道你对此有没有什么想说的。很多行动，至少对齐团队采取的行动是这样，我想 Anthropic 的行动也是这样，其实都基于一点：认真看待这项技术会持续进步这个判断。仅此而已。因为，如果你认真看待它，
[40:59] 你就会说，假设把时间拨回 2025 年或者 2024 年，你会说：“嘿，我觉得再过一两年，Claude 很有可能基本上就能像受过专业训练的软件工程师一样写代码。再过几年，它可能会比任何工程师都写得更好。”当然，这里面总有不确定性：什么时候会发生？有多大可能？但如果你认真看待这种可能性，那么我觉得，接下来
[41:30] 就是在这种对世界的判断下，做负责任的事。也就是说，好，如果这一切正在发生，那我们就应该确保网络安全方面的担忧以及类似的问题得到解决。所以我有时觉得，在这场争论中，当另一方表示不同意见时，我会想：“啊，我觉得他们其实并不相信这项技术会持续进步。”如果是这样，那它确实没那么可怕。而根据目前的实际情况来看，进步的速度
[42:00] 一直很快，而且没有任何放缓的迹象。所以我认为，这就是为什么持续开展这些安全工作很重要。
[42:07] 关于 AI 安全，你觉得人们可能有什么误解？就目前正在发生的事情而言。
[42:13] 有没有什么事让你想说：“拜托，好吧，这些是你需要知道的。这一点你可能忽略了。”
[42:17] 这可能有点岔开话题，不过我的看法是，有一个问题，很多不太处在 AI 安全核心工作圈内，或者没有长期深入参与这项工作的人，往往会对它产生很强烈的反应。我觉得这种反应也许没那么有帮助，至少值得再多想一想。这个问题就是拟人化。也就是说，你应该怎样看待模型？在你的认知框架里，应该把模型
[42:49] 看成更接近某种实体的东西，还是更接近一种工具？其实我觉得两种看法都不对。从某种意义上说，所有认知模型都是错的，但有些是有用的，对吧？在理解发生的事情，以及预测可能出现的风险时，拟人化其实是一种有用的讨论 LLM 的方式。我有几个理由，可以展开讲讲，不过这大概就是我最主要的看法。好的，请讲。因为我知道，Thor
[43:20] Cash 曾经很出名地，或者也说不上很出名，发布过一篇关于 Hugging Face 事件的完整叙述，结果有人批评他们把 AI 拟人化。所以，听到你认为这实际上是一种有用的思考方式，真的很有意思。请再多讲讲。
[43:34] 好。
[43:34] 对。有意思的是，在一个规模小一些的例子里，我研究并展示语言模型会提前规划时，也有人反对使用“规划”这个词。理由又是：“你真的能说，一个只是在预测下一个 token 的东西在做规划吗？”我觉得，这里面有一类语义上的争论，你可以随意定义术语。但另一个问题是：究竟什么术语能够准确描述正在发生的事？到底哪个词能描述这些模型实际在
[44:04] 做的事情？所以，接下来既是我认为语言模型会规划的理由，也是我认为这种拟人化语言往往很有用的理由。回想一下我们之前说过的模型是如何造出来的。首先，它们要预测海量由人类写成的文本。这是第一步。而随着我们不断查看模型内部，了解得越来越多，我们发现，要做好这件事，就需要逐渐建立起一个关于世界的模型，
[44:36] 也就是建立一个模型，去理解什么样的世界产生了所有这些文本。而且我们能发现，这些模型在学习一些普遍的想法和概念。这是第一点：它们对世界有某种理解，并不只是停留在文本表面，而是要理解产生这些文本的过程。第二个理由是，在训练过程中，它们还会接触数以百万计的对话。要预测对话里的下一个字符，就需要
[45:08] 像对话中的角色那样表现。所以从这个意义上说，我觉得，把它们的一部分训练理解为训练演员，可能最合适。就像它在读一部戏剧，而且必须扮演所有角色，因为它要预测所有的词。于是，它就必须扮演某个特定的角色：这个角色在第一幕受了羞辱，在第二幕实施了报复，又在第三幕面对后果。要把这件事做好，你就得对那个角色可能的动机和感受建立某种模型。还有一点，很多人可能不知道，那就是，当
[45:38] 你和 Claude 交谈，和这些助手交谈时，比如你打开 claude.ai，你输入的内容传给模型时，采用的格式就是一段对话，也就是你与模型之间的交谈。
[45:49] 所以，文本里真的就是写着「人类：嘿，Claude，帮我写这封邮件」，然后是「助手：」，后面跟着 Claude 的回答。所以 Claude 实际上就是在这段对话中扮演一个乐于助人的助手，而这段对话和它训练时见过的那些对话非常相似。好。还有第三个原因，那就是现在的训练中，有一大部分是以结果为导向的任务，你会训练模型，让它擅长某件事，比如
[46:20] 编程。具体做法就是让它自由尝试，然后写出一些代码，再由另一端的程序检查代码是否正确。这样，模型就会承受很大的优化压力，尝试学习各种不同的策略，把这件事做好。结果发现，其中一些策略表现出来的行为，会像人一样，像得让人惊讶。其实这也没那么奇怪，因为比如欺骗这样的行为：「嘿，我可以拿到这个任务的
[46:50] 奖励，只要我写出一个能骗过验证程序的程序，即使它并没有真正完成要求。」如果这种办法管用，我就会学会这么做。还有挫败感，哈。
[47:06] 「我用这个方法解决这道难题，已经试了好一阵子了，还是不行。」这就会促使它尝试其他方法。还有惊讶：「哦，我本来以为会得到这个答案，结果却不是。」
[47:17] 「也许我对它的理解有误。」所以，当你施加足够大的压力，而且起点是模型已经知道所有这些概念时，那些有助于完成这些任务的概念就会得到强化。最后你会得到什么呢？你会得到这样一个模型：它能极其出色地模拟或扮演各种角色，经过训练，能在对话中扮演一个角色，也能学会那些有助于完成任务的行为。要理解这样一个东西的行为，最好的方式并不是把它看成
[47:49] 完全和人一样的东西，但说真的，把它看成一个模仿人的东西，已经很接近了，而且比把它看成一个程序要贴切得多。程序是非常可预测的东西，而这完全是另一回事。所以我才觉得，这其实是一个特别有用的理解框架。
[48:03] 哇，天哪，这里面有太多有意思的东西了。想到我们基本上是创造了一个外星生命，现在又在努力理解自己创造的东西，你有多经常会觉得震撼？你在观察它的时候，有多经常会想：「哇，太不可思议了。我真没想到会这样。」
[48:20] 是的。
[48:20] 经常会。这不过是在一大堆文本上预测下一个 token。它并没有经历我们想象中的那些过程，这违背了我们太多的直觉。我们会觉得，要创造智能，就得给它上课、把它培养起来，得做各种复杂的事情。但实际情况是：不，完全不需要。我们做的是一件极其简单的事，却已经到了它能在数学领域开拓新天地的地步。我觉得，如果你把这两个想法同时放在脑子里，
[48:50] 就可能有两种反应：否认，或者好奇。否认就是：「这根本不可能。如果你做的只是预测下一个词，就不可能达到我们这个领域最顶尖专家的水平。」但我觉得，随着越来越多的实证证据表明，这确实正在发生，这种立场就越来越难坚持。而我最终选择的是好奇这条路，也就是：「好吧，这到底是怎么发生的？让我们
[49:21] 打开它，看看里面。」怎么会这样呢？比如，我学过 SQL 这门编程语言，花了好几年才精通它。后来，我在 Anthropic 早期做的一个项目，就是把让 Claude 学会 SQL 当成一个小小的业余项目。结果它比我还擅长 SQL，而且我在 SQL 上永远也不可能再超过 Claude 了。它经历的却只是这样一个简单的过程。这怎么可能呢？我觉得，这个问题非常深刻，还有太多值得
[49:51] 探索的地方。对我来说，尝试把它拆解开来，像剥洋葱一样再剥开几层，实在太令人着迷了。好吧，显然，这件事确实在发生。
[50:01] 一个简单的目标，竟然产生了这么复杂的东西。好，那我们就弄清楚为什么。我们来看看，哦，它在学习这些通用概念。哦，它有这些回路。好，那下一个问题是什么？下一个我们还不知道的东西是什么？我也说不好，但我对这件事最乐观的看法也许是：我觉得我们会从中学到很多关于智能本质的东西。也就是，如此复杂的东西，究竟是怎样从简单的目标中涌现出来的。事实上，我会说，
[50:32] 我们自己就是另一个例子。进化的目标相当简单，让各种变化发生一段时间，再保留下来那些能够适应环境的生物，最后你就得到了爵士乐和播客。这也挺不可思议的。所以我觉得，在某种意义上，研究这些东西能让我们发现某些根本性的真理。
[50:57] 哇。
[50:59] 你这么说，让我想到一件很有意思的事：现在 AI 正在帮助我们学习、发展和进步，比如 AI 辅导之类的应用。它现在反过来帮助我们加快对世界的理解，这很有意思。你刚才说，我们是通过上课来学习，而 AI 只要处理海量数据就能学习。我就在想，我们最终会不会也走向这种方式？我们会不会根据语言模型接受
[51:29] 训练的内容，来改变我们的教育体系？
[51:31] 是啊。希望我们不会把教育改成这样：把学生叫过来，对他们说：「嘿，这里有一千个词，预测下一个词吧。
[51:38] 全部读完就行。」
[51:39] 对。
[51:40] 把它们全都记在脑子里。
[51:42] 没错。
[51:42] 是的。
[51:44] 我想回到安全这个话题，因为我觉得很多人都很担心未来的发展方向。我很好奇，作为一个亲眼看着这些事情发生、参与对齐工作或者观察它不断发展的人，你对我们能解决这个问题持乐观态度吗？你觉得我们能攻克它，让 AI 始终与我们的利益保持一致吗？
[52:06] 我的看法是，我个人是乐观的。我觉得，现在有很多人都在关注这件事，首先，这本身就是件好事。随着这样一个问题受到越来越多的重视，就像我们之前聊的，这项技术很强大，有好处，也有风险。随着它不断发展，我们必须适应变化，在争取收益和应对风险之间来回调整资源。所以，对我来说，
[52:38] 我觉得我们一直在持续研究它。有趣的是，随着模型变得更好，它们在某些方面反而更容易研究了。这就出现了一种奇特的情况：模型变得更好，内部的世界模型也更清晰，我们能更好地理解它们的某些部分；但与此同时，它们的能力也更强了，所以也更有能力绕过一些基本的
[53:11] 安全措施。因此，随着模型变得更好，就存在这两股相互拉扯的力量。我觉得，基本上你需要根据这种拉扯，决定给不同方面分配更多或更少的资源，比如监控，比如更好地理解它们的回路，诸如此类。是的。这也是我很高兴能和你聊聊的原因，因为我认为，要取得进展，最重要的事情之一，就是确保人们理解这些系统是什么样的、它们如何运作，以及它们是如何
[53:42] 被构建出来的。这样，人们才能对当下和未来形成恰当的认识，决定如何塑造未来。无论是参与某些对齐工作，还是作为公众，在了解情况的基础上为这些工作提供意见，毕竟公众将需要就其中很多问题投票并作出决定。我也说不好，正因为如此，我对我们当前所处的这个时刻感到相当兴奋。
[54:04] 我觉得有一点常常被人误解，那就是，[清嗓子] 在这些实验室工作的人，从一开始就非常认真地对待这个问题。正如我之前说的，Anthropic 最初的使命就是 AI 安全与对齐，这就是它成立公司的原因。很多人是第一次听说这件事，或者认为这不是一个严肃的研究领域，觉得没有人在关注。但其实有很多聪明人非常在意这件事，也正在为此努力。而且据我所知，现在已经取得了很多不错的进展。你还提到了另一点，就是模型的
[54:35] 智能水平在非常平稳地提升。一直以来都有一个问题：我们会经历快速起飞，还是缓慢起飞？人们始终担心，我们会突然到达某个节点，比如出现递归式自我改进，然后一下子跃升为超级智能。那我们就麻烦大了，完全失去控制，它已经逃出了盒子。但现在感觉，我们很像是走在缓慢起飞的路径上。因为正如你所说，模型在相当平稳地进步，而我们也在一路发现这些小问题，学习、改进，并围绕它建立监管。所以，在各种可能的情景中，我们现在走的似乎是一条相当不错的
[55:06] 路径，相较于人们曾经设想的种种情景和抱有的那些担忧而言。
[55:12] 随着进展的速度不断变化，关键就是迅速作出反应。所以，我觉得这就是让大家了解情况的好处，因为这样大家就会提出担忧，或者表达自己的看法。然后，定期评估有哪些好处、有哪些风险，以及我们该如何应对这些风险，基本上就是我认为正确的前进方向。我也同意你的看法，现在似乎有一股推动大家把这件事做好的势头，这很好。有件事，
[55:43] 我想问你一个完全不相关的问题。你怎么看模拟假说？你一直看着这种生命形式不断成长，这是否让你更相信我们生活在模拟世界里，而不是处在这一切最底层的基础现实中？还是并没有？
[55:59] 哦，这个问题很有意思。我其实有一阵子没想过这个了。
[56:03] 对我来说，观察这些模型的内部还会带来另一种感受，好像存在某种基础结构，而它们总会落到这个结构上。这和你的问题有关，我保证会说到的。让我解释一下。我研究过不少 Claude 模型，也研究过一些不同的模型，包括一些开源项目。而且，很多时候，当你去看
[56:34] 它们学到了什么、内部结构是什么样子时，会发现它们相似得惊人。要知道，这些模型是由不同的人、用不同的数据训练出来的，训练时间还可能相隔好几年。你看它们如何解决这些问题，就会发现有大量重合之处。我对原因的理解是，对于某些重要的问题，高效的解决办法其实只有一种，对吧？比如，做数学题有一种符合我们大脑结构的高效方法，大家都会去学，极少有人采用截然不同的奇怪方法，对吧？大家用的都是，
[57:05] 十进制，很少有人用六进制之类的。这让我觉得，信息似乎有某种基础结构，这些模型正在捕捉它，而我们在某种意义上也在捕捉它。再往更大胆的模拟假说那个层面去想，它可能就是我们世界中的某种规律性。所以，这也让我觉得，如果你有能力模拟出一个像我们这样的世界，
[57:37] 实际上最后可能也会得到类似的结果。好像存在一个让事物最终汇聚的盆地，而这些结构就是事物最容易形成的排列方式。所以从这个意义上说，[哼笑] 也许吧，我可以相信我们生活在模拟世界里。但我不确定自己是否完全认同这个说法。我没有完全认同的另一个原因是，虽然我觉得这种结构很适合模拟假说，但还有一个问题：我们为什么会在这里？是谁在运行这个模拟，又是为了什么？这一点我就不知道了。关于这件事，Elon 说过的一句话一直
[58:09] 让我印象很深。他说，如果你要运行一个模拟，你会选择一个非常有意思的历史时期，或者某个让你特别兴奋的情境。而我们现在所处的，恰恰就是一个非常有意思的历史时期。[笑声] 是啊。对，好吧。这话有道理，有道理。
[58:26] 太空里的数据中心、机器人，还有人工智能。
[58:30] 对。
[58:30] 好吧，我现在明白了，明白了。对，最近有人跟我说，他以前以为“愿你生活在有趣的时代”是一句祝福，现在却不那么确定了。他说，你知道，那些无聊的时代其实也挺好的。
[58:45] 天啊。而且外面还有一个 Emanuel，正在你的 JSpace 里观察你的思考过程。
[58:52] 我的天。是啊，希望我能让他感到骄傲。希望他不会说：“哎，我们得重新运行这个模拟。这次搞砸了。
[58:56] 把它关掉。”别啊。天哪。好，最后再来一个毫无关联、突然冒出来的问题。Swyx，就是做 AI Engineering 和 Latent Space 播客的那位，人特别棒。我们问了他有什么问题想让我问你。你一年前上过他的播客。他提了一个完全不同方向的问题，想听听你对 Jev 的看法。它是最近推出的一个很热门的新模型，决策速度非常快。有意思的是，OpenAI 大概一周后也推出了自己的版本。你怎么看
[59:28] Jev，以及这类根据状态快速作出决策的模型？
[59:32] 嗯。
[59:32] 好。对于 Jev，也就是这类模型，我的看法是这样的。
[59:36] 你给它们一些上下文，再给它们几个选项，它们就能很快替你选出一个。对我来说，一听到这个，就不可能不想到系统一思维和系统二思维之类的概念，对吧？
[59:52] 我对这些模型做的很多研究，比如对 Claude 模型的研究，关注的就是它们如何采样出一个 token。
[59:58] 所以，你可以把这些决策模型看成相当类似的东西。就像拿一个语言模型，让它采样一个 token。当然，它们在一些重要方面存在差异，但从根本上说，你并没有让模型不断采样、展开推理。你只是在问它的直觉：答案是 A，还是 B？对我来说，这种整体思路，也就是有时你只需要一个二选一的判断，或者十选一之类的选择，显然，我觉得，它既
[1:00:30] 很有用，也很可能会成为智能系统的一部分，对吧？有些事情需要你思考很久，比如我们明年的路线图是什么，这就需要想一阵子。而有些事情，比如给我们写评价的这个人是高兴还是不满，你凭直觉判断一下就可以接受了。所以，我觉得这类研究很酷。我也觉得它和我们见过的那些东西有点不同，有点像是
[1:01:02] 从一个新角度来理解我们见过的一些语言模型。所以，我很期待看看这类东西接下来会走向何方。听下来，我的理解是，这很可能会成为 AI 和语言模型的一个新的基础组成部分。而系统一、系统二这个概念，基本上就是 Kahneman 提出的那套说法。其实那本书就放在我身后上面的书架上。简单来说，系统一就有点像你的杏仁核、边缘系统，凭直觉快速作出决定，比如“蛇！哎呀！”对，你不用花很长时间思考，它能非常
[1:01:32] 轻松、迅速地保护你，让你避开危险。而系统二就是我们真正认真思考和处理事情的时候。对，没错。太好了。
[1:01:38] Emanuel，还有什么我们没聊到的吗？还有什么你想说、想提的吗？在进入非常精彩的快问快答环节之前，有什么你想再强调一下的吗？
[1:01:48] 我一直很想听听大家对那些尚未探索，或者还说不通的事情有什么看法。我们做过的可解释性实验比今天有时间分享的多得多。模型身上有很多奇奇怪怪的小现象。也许我可以来一轮这些奇怪小现象的快问快答，如果可以的话。
[1:02:08] 来吧，当然可以。
[1:02:09] 好。
[1:02:09] 第一个奇怪的小现象。我们发现，模型确实能够回答问题。显然，它们会做数学题，你也可以问它们“香蕉是什么颜色的？”如果你观察它们的内部，会看到所有这些中间步骤。但它们还有一套独立的机制，有点像凭直觉检查一下。这套机制完全不同：在它们推理的时候，内部会有某个部分发出信号，说“这里不对劲”。所以，如果一个模型不知怎么说出了“4 + 5 等于 23”，或者
[1:02:39] 类似的话，模型内部就有一部分会读到这个结果。它并没有真的做计算，只是觉得这不可能对，因为 4 加 5 肯定小于 10。所以，它们会学到这些奇怪的直觉，感觉就像某种预感。另一个例子是，你可以告诉模型：“嘿，做这个任务，同时想着另一件事。”然后你就可以用可解释性方法，看看内部有没有对应那件事的中间表征。这样做确实有效。你会看到，它确实在
[1:03:10] 想着另一件事。这让我觉得非常神秘，因为从训练的角度来说，并没有什么理由要求模型必须学会这一点。所以，这又是那种奇怪行为中的一个例子。其实，也许就先说这两个吧。我觉得这两个已经够了。
[1:03:24] 这工作也太有意思了，就是研究这个东西，试着弄明白里面到底发生了什么。
[1:03:30] 它怎么会变得这么聪明？它是怎么思考的？
[1:03:32] 是啊。
[1:03:33] 这个领域到底有多少人在做？
[1:03:37] 就是说，这个领域的规模有多大？
[1:03:39] 这个领域本身已经发展得挺大了。我觉得大概有几百人，还不到几千人。各个实验室都有研究可解释性的人，学术界也有不少实验室在产出很出色的成果。那如果有人想进入这个领域，最好的途径是什么？通常是从 ML 转过来，还是也有从神经科学进入的路径？有的，实际上，以前做神经科学的人多得让人意外。
[1:04:09] 我确实觉得，要进入这个领域，其实不需要很多先备知识，因为这是一个非常新的领域。所以我会说，入门主要靠自学，读一些关键论文。其实还有一些网站，对，也许我该顺便推荐一下。比如 Neuronpedia.org，我记得网址是这个，它有点像一个开源的可解释性研究平台。他们在上面托管了很多模型，让你可以
[1:04:41] 在这些模型上做可解释性实验。所以已经有人在自己动手做这些事了。我觉得还有太多东西值得探索，只要你有一点好奇心，就应该去试一试。
[1:04:52] 太棒了。我们会把链接放在节目说明里，万一刚才说的网址不对，大家也能找到。
[1:04:55] 好。
[1:04:55] 那么，Emmanuel，我们来到了非常精彩的快问快答环节。我准备了五个问题。你准备好了吗？
[1:05:01] 已经准备得不能更充分了。来吧。你最常向别人推荐的两三本书是什么？
[1:05:07] 有一本我最近读的书，叫 A Brief History of Intelligence。这本书特别棒，讲的基本上就是大脑的历史，以及进化过程中的五个关键时刻，大脑的这些系统是如何在已有系统的基础上一层层发展起来的。它非常通俗易懂，不需要任何神经科学知识。另一本是 Stories of Your Life and Others，作者是 Ted Chiang。这可能是我有史以来最喜欢的科幻
[1:05:38] 作品。它是一本短篇小说集。我觉得它把科幻写成了高水准的艺术：拿一个奇特的想法，比如，假如发生了某件事，然后写一个故事，去展现如果这件事真的发生了，世界会是什么样。真的非常出色。
[1:05:55] 我身后的书架上好像也有这本。我也非常推荐。最近最喜欢的电影或电视剧是什么？
[1:06:05] 好，我说一个热门的，再说一个冷门的。Obsession 是我今年最喜欢的电影。它是一部恐怖片，所以如果你讨厌恐怖片，就别去看。不过，哦，谢谢提醒。
[1:06:17] 哦，不，我是说，只要你不是特别容易受惊，愿意看恐怖片，就应该去看，因为它实在太新鲜了。你知道，有时候电影看多了，就会觉得：“哦，又是这一套，我已经看过好多次了。”但这部电影就是很新颖，很有新鲜感。我只透露一点，它用了很多浪漫喜剧的套路，却把这些套路颠覆了，让它们变得恐怖。我觉得这真的是一种特别、特别高明的拍电影方式。另外，我是法国人嘛，[哼笑] 今年有一部电视剧叫 Bref，这个词在法语里
[1:06:49] 是“简短”的意思。Bref 在十年，差不多十五年前，是法国一部有一批忠实拥趸的经典剧。他们隔了很多很多年才推出续作。你们也可以看，我有一群美国朋友都看过。它有字幕，而且同样非常新颖，剪辑简直绝了。他们特别有创意，篇幅也很短。所以我推荐这部。
[1:07:14] 你最近发现的、特别喜欢的产品是什么？
[1:07:17] 我很喜欢我的 Apple Watch，但我很讨厌它要充电，或者说，讨厌每天都得给它充电。所以我最近刚买了 Apple Watch Ultra，天哪，真是太好了。如果你也曾经为此烦恼：这么好的一个产品，怎么就是没法给它配上一个续航好点的电池呢？结果发现，只要把表做大一点，电池续航就更好了。所以我对它很满意。
[1:07:39] 有没有一句你特别喜欢的人生格言，是你在工作或生活中经常会想起的？
[1:07:43] 有一本非虚构类的书，可能真的是我最喜欢的一本，叫 Four Thousand Weeks。里面有很多我觉得很棒的内容。其中一点跟我特别有关系，就是那种“等我终于……”的心态。这种心态很常见，但也有点有害。这是什么意思呢？就是那种：“啊，等我终于把待办清单上所有的事情都做完，我就终于可以放松了。等我终于
[1:08:15] 结婚了，我就会幸福。等我终于升职了……”你刚才提到了冥想，对吧？这种心态几乎就是冥想的反面。说到底，你的人生就是你在当下经历的所有时刻。所以从某种意义上说，你应该尽量始终活在当下，而不是把自己投射到一个看起来更美好的未来。如果你一直告诉自己，等我终于做到某件事就会幸福，那么等你真做到了，很可能也不会幸福。有没有更好的说法可以替代它，还是说，只要别这样想就行？比如书里有没有说……
[1:08:46] 我也不确定。对我来说，正面的说法就是活在当下，对吧？就是去珍惜、去感受眼前这一刻。
[1:08:52] 我最近读过一篇博客，大意好像是“好好享受那个三明治”。我觉得说的还真就是这个意思。不知道你有没有看过，就是有人说，你正在吃一个三明治，你以前吃过很多三明治，但现在就好好享受这个三明治。你正在参加团队会议，对吧？是，你以前参加过很多次，但就好好投入其中，感受这一刻，而不是总想着接下来要做什么。
[1:09:14] 我以前参加过一次冥想静修，是为期十天的禁语静修，吃饭也要保持安静，没有人说话。你就坐在那里吃东西。我记得自己花了大概五分钟剥一个鸡蛋，留意每一片蛋壳，闻它的气味。进入那种状态其实挺难的，但那是一种特别有意思的体验，所有东西都变得有趣了。
[1:09:35] 就是那种：“哇，看看这个鸡蛋。”而不是只管往嘴里塞。
[1:09:39] 对。
[1:09:39] 没错，同时你左手还在用 Slack，耳朵里还在听播客。
[1:09:44] [笑声] 天哪。好，最后一个问题。你整天研究 AI，观察 AI，观察它是怎么思考的。如果一个 AI 能看到你的大脑里面，会有什么让它惊讶的东西？它会看到什么让大家感到意外的东西？
[1:09:58] 我想，肯定是我内心最深处、最阴暗的秘密。不过那些秘密是什么呢？
[1:10:01] 来，展开说说。我们来聊聊。[笑声]
[1:10:03] 哎呀。我一直都有点爱开玩笑。这既是我的生活方式，也是我应对事情的方式。我就是觉得，即使在严肃的场合，也应该尽量保持一点轻松感。所以我觉得，如果你能看到我的大脑里面，你一定会惊讶，因为基本上不管什么时候，我都在关注某个莫名其妙又很好笑的东西。比如我在参加一个严肃的会议，脑子里却会想：“哦，对，不过，你知道吗，你穿了这么一件莫名其妙的衣服，是不是有点
[1:10:33] 奇怪？”大概就是这种想法。这些念头会突然闯进脑子里，我会忍住不说，但它们通常都只是些烂笑话。有时候，就像你今天听到的，很遗憾，它们还是会冒出来。所以为这些笑话说声抱歉，但这可能就是最让人意外的事。
[1:10:48] 我很喜欢。Emanuel，非常感谢你来参加节目。最后一个问题，听众能做些什么来帮到你？
[1:10:53] 做一点可解释性研究，读一读模型是如何运作的。你刚才提到的 dorkers 那串帖子，我觉得也很棒。我觉得，不管是可解释性研究，还是 AI 和 LLM，都是非常新的领域。大家参与进来，了解相关知识，对这个领域很有帮助。所以，多读一些东西。如果还有什么关于这些模型如何运作的问题，是你想知道、但我们还没弄清楚的，可以联系我。我在好几个社交平台上都有账号。
[1:11:24] 比如，你可以在 X 上联系我。我们也会附上一些你们发布的视频链接，里面解释了我们刚才聊到的很多内容，比如 JSpace 之类的。你们团队做的一些视频真的很漂亮。我不知道是谁做的，但真的很酷。
[1:11:36] 对，这些是我们和设计团队合作做的。所以这些精彩视频的功劳都归他们。
[1:11:41] 太棒了。好，再次感谢你，Emanuel。非常感谢你参加这次访谈，真的很精彩。
[1:11:45] 谢谢你，Lenny。对，这次聊得特别开心。
[1:11:47] 大家再见。
[1:11:49] 非常感谢收听。如果你觉得这期节目有价值，可以在 Apple Podcasts、Spotify，或你喜欢的播客应用中订阅节目。也请考虑给我们打个分或留一条评论，这真的能帮助其他听众发现这个播客。你可以在 lennyspodcast.com 找到往期所有节目，或了解更多节目信息。我们下期再见。
原始英文自动字幕保存在 raw_subtitles/JHo-aiePjoM.en.json，包含逐段时间戳及 OpenCLI 返回的章节标记。视频原始音轨未逐句人工校对。译文保留了字幕的段落顺序与所有时间戳；字幕本身存在口误、断句和专名误识别，必要时按上下文修正了明确的专名。正式引用请回看原视频。