第三集：文字稿
[00:00:01] Connor Leahy: 当人类说某事时，其中包含着所有这些隐藏的假设。如果我告诉我的机器人去给我拿咖啡，机器人唯一想做的就是去拿咖啡，假设是这样。它想尽可能快地去拿咖啡，所以它会穿墙而过，碾过我的猫，把奶奶推开，以便尽快到达咖啡机。然后，如果我跑过去，“不，不，不。坏机器人。” 我试图把它关掉。会发生什么？机器人会阻止我按下关闭按钮，不是因为它有意识或有生存的意志。不，这仅仅是因为机器人想要给我拿咖啡。如果它被关掉，它就不能给我拿咖啡。它会反抗。它会积极地阻止我，以便给我拿咖啡，这当然是很傻的。
[介绍]
[00:00:45] Stefano Maffulli: 欢迎收听“深度探索人工智能”，这是来自开源促进会的播客。我们将探讨人工智能如何影响自由和开源软件，从开发者到企业，再到我们所有人。
[赞助商信息]
[00:00:59] SM: “深度探索人工智能”由我们的赞助商 GitHub 支持。开源人工智能框架和模型将为软件的下一个时代带来变革性的影响，推动每个行业发展，普及知识，并降低成为开发者的门槛。随着这种演变的继续，GitHub 很高兴参与并支持 OSI 对人工智能和开源的深入探索，并欢迎所有人为对话做出贡献。
[00:01:26] 播音员: 没有任何赞助商有权或有机会批准或不批准本播客的内容。
[访谈]
[00:01:31] SM: 欢迎 Connor Leahy。感谢您抽出时间。Connor 是 EleutherAI 的创始人之一，EleutherAI 是一个由人工智能研究人员组成的集体。他也是 Conjecture 的创始人兼首席执行官，这是一家初创公司，正在进行一些关于人工智能安全性的有趣研究。我们将更多地讨论这一点。欢迎您，Connor。
[00:01:50] CL: 非常感谢邀请我。
[00:01:52] SM: 让我们从解释一下 EleutherAI 的历史开始。它是如何诞生的，你是如何想到这个主意的？
[00:02:02] CL: EleutherAI 诞生的真实故事是，在 2020 年的疫情期间，每个人都感到厌烦，被困在家里。我当时在一个 ML Discord 服务器上闲逛。这是一个聊天服务器。当时有一篇论文发表，讨论了 GPT-3 模型，大型模型训练之类的。我基本上说，“嘿，伙计们。做这个不是很有趣吗？” 然后有人回复，“这个，但不是讽刺地”，剩下的就成了历史。
它最初只是作为一个有趣的业余项目开始的，由一些无聊的黑客组成。他们只是四处闲逛，寻找一些有趣的事情来做。当时，GPT-3 模型正变得广为人知。实际上，论文发表得更早一些。现在，API 开始对一些人开放，所以人们注意到这真的很酷。我们可以用它创造东西。GPT-3 作为一个非常特定的人工智能模型，非常有趣。它规模空前地庞大。它使用了一台巨大的超级计算机来构建这个模型。这是一个非常有趣的技术挑战。
同样非常有趣的是——这个模型，最终的模型，GPT-3，由于很多原因非常有趣。基本上，它最初更像是一个玩笑。就像，我们很无聊，让我们随便玩玩。我们没有大型超级计算机，所以我们不指望能走多远。是的，事情的发展比预期的要远得多。我们开始获得越来越多的兴趣和惊人的资源。我们开始收集一些模型之类的东西。渐渐地，我们开始更加认真地对待这件事。我们开始更认真地思考，我们实际上想做什么？做这件事实际上是一件好事，等等，等等。
[00:03:40] SM: 基本上，你聚集了一群来自不同地方的黑客、程序员和研究人员，围绕着创建一个 OpenAI 模型的替代品的想法？
[00:03:51] CL: 我不会那样描述它。不，不。这个名字本身就带有一种幽默感。当然，我们都很遗憾我们无法访问 GPT-3。因为 GPT 很酷。OpenAI 是一家拥有数十亿美元研究资金和计算机以及其他资源的的大型营利性公司。EleutherAI 的目标一直都是成为一个由独立研究人员组成的团体，进行有趣的工作，并希望为世界做有用的工作。特别是，我们认为这项工作非常有前景的原因之一是，我和 EleutherAI 的许多人都认为人工智能是我们这个时代最重要的技术，并且随着它变得越来越强大，能够完成越来越多的任务，它将成为我们社会中越来越强大和占主导地位的力量。理解这项技术非常重要。
这也是我现在拥有一家初创公司的原因之一，我们在那里研究人工智能系统的安全性，如何使它们更可靠，如何使它们更安全，如何使它们不做我们不希望它们做的事情，这是人工智能的一个大问题，而且只会变得越来越严重。在 EleutherAI，我们基本上看到了一个套利机会。我们看到，关于大型模型有很多很酷的研究可以做，而且还有重要的研究试图理解这些模型，它们内部是如何工作的？它们是如何失败的？等等。有很多这样的机会。
构建像这样的实际模型非常昂贵且技术上困难。你需要非常特殊的工程技能。它非常非常昂贵。但是，一旦你构建了这样一个模型，使用它进行实验就便宜得多，数量级上的差距。我们看到了这个机会，我们可以支付这笔一次性成本，以便使这项技术更容易被学术研究人员、安全研究人员和资源较少的人访问，他们可能能够利用这种成果进行有价值的研究。
[00:05:51] SM: 帮助我更好地理解正在发生的事情。一直以来都有一个神话，即只有非常大的公司或像 NASA-CERN 这样的研究机构才能拥有处理能力、资金、数据和知识来训练这些大型模型。你们是从一个大型模型开始的，对吗？你们是如何构建第一个模型的？然后，你们是如何进步的？
[00:06:17] CL: 构建一个大型模型需要三个主要要素：数据、工程和计算。根据你构建的模型类型，数据可能也可能不是瓶颈。对于我们正在构建的这类模型，这些是语言模型。数据真的不是什么瓶颈。将数据整合在一起并进行处理仍然很麻烦，这也是我们聚集在一起的原因。我们的数据中心已经编译完成，我们也发布了它。数据真的不是瓶颈。
工程可能成为瓶颈，因为它并非易事，尤其是在当时。如今，有更多的开源库和工具使大型模型的训练变得更容易。
[00:06:53] SM: 等等。当你说当时——
[00:06:54] CL: 两年前。
[00:06:55] SM: 两年前。好的，我们不是在说 30 年前。
[00:06:58] CL: 不。就像两年前，这非常困难。即使是一年前，这仍然比今天困难。
[00:07:04] SM: 发生了什么变化？
[00:07:05] CL: 像英伟达和微软这样的公司发布了很多代码，以及像 DeepSpeed 和 Megatron 这样的库，使这项工作变得更容易。但这仍然不容易。此外，Facebook 发布了 FSDP 库和 Fairseq，这有助于训练大型模型。但这仍然一点也不容易。工程方面的难度比当时要小。当时，世界上真正知道如何制造这些模型的人只有几十个，而且他们只存在于这些大型公司中。我认为，现在仍然是这样，可能只有几百人真正有构建大型模型的经验，并且有很多实际操作经验——很多机器学习就像炼金术。就像黑魔法。你必须知道所有使事情运作的秘密技巧。情况正在好转，但仍然相当棘手。
进入这些模型的第三个组成部分，计算实际上是最大的瓶颈。构建像 GPT-3 这样的东西所需的计算量是巨大的。这不像你可以在你的 CPU 上运行它。你需要大量的 GPU 集群，所有这些都与高端超级计算级硬件互连。你不能在标准硬件上做到这一点。你需要超级计算机级的硬件，这非常昂贵，有时也很难使用。
在 EleutherAI，我们经历了几个阶段，我想说。第一阶段，我们的计算资源来自所谓的 TPU 研究云，这是谷歌的一个项目，旨在为学术界提供访问一些 TPU 芯片的权限，这些芯片是专门用于训练 ML 模型的芯片。他们在为我们提供访问相当数量的这些芯片以进行我们的研究方面非常慷慨。我们发布的第一个模型，GPT Neo 模型，就是在这个基础上训练的，包括 GPT-J，这是一个后来的模型，也是由当时的 AI 贡献者 [听不清 00:08:50] 完成的。
后来，我们开始与一家名为 CoreWeave 的云公司合作，该公司是一家专门的 GPU 提供商。我们基本上达成了一项协议，我们将帮助他们测试他们的硬件，调试东西等等。作为回报，他们允许我们在他们正在构建的一些硬件上训练我们的模型。这促成了 GPT Neo X 模型的诞生，这是我们目前发布的最大模型。我们目前在后台有一些潜在的新合作伙伴关系正在进行中。我们将看看是否会有任何结果。
[00:09:26] SM: 如果我理解正确，你的意思是，由于大公司发布代码，工程部分正变得越来越简单，几乎商品化了。他们正在发布代码。你提到数据，这不是什么大问题。它很困难，但我们谈论的是这些模型的文本。是的，我们没有涉及到所需的多 PB 存储。然后第三个是硬件部分。从文本的角度来看，进入模型的数据，训练，你们是如何获取它的？我们谈论的是什么样的数量？你们从哪里获得数据作为起点？
[00:10:05] CL: 特别是对于文本数据，我对其他模式不太熟悉。你需要真正惊人的文本量。经验法则是，你需要 1 TB 的原始文本，这是一个真正难以想象的大量文本。那是数十亿甚至数百亿——
[00:10:25] SM: 压缩的？压缩的还是未压缩的？
[00:10:28] CL: 这是未压缩的。这是未压缩的。你想要达到的目标是 1 TB 的未压缩文本或其他什么。我认为，Pile 数据集未压缩大约有 800 GB 的文本，这已经足够了。
[00:10:39] SM: Pile 数据集是起点，数据，原始数据。
[00:10:43] CL: 那是我们为训练模型而构建的数据集，我们也发布了它。如果你需要获得 800 GB 的各种文本，那是一个你可以很容易获得它的地方。我们构建 Pile 数据集的方式，其中很大一部分来自 Common Crawl，这是一个巨大的互联网站点转储。我忘了是谁做的，但它是大量的抓取的网站等等，然后我们进行后处理，我们过滤掉垃圾邮件，然后从 HTML 中过滤出文本，以及诸如此类的事情。然后，另一部分是大量的精选数据集。我们采用了许多现有的数据集。
例如，我们采用了来自 Payton 的数据集，或者来自各种聊天室的数据集，或者其他什么。我不记得里面有什么了。有很多医学文本，就像所有 PubMed 一样。有大量的公开科学文献，生物医学领域的论文。此外，我们还从 arXiv 获取了数据，这是一个预发布服务器，其中有大量的物理学、数学、计算机科学论文。我们抓取了所有这些内容。将这些数据归类为文本。与其他数据集相比，Pile 数据集更侧重于科学、技术数据，而较少关注社交媒体聊天。也有一些社交媒体聊天，但要少得多。它不侧重于此。其中很多是非常技术性的文档等等。
[00:12:06] SM: 对。你们没有采用维基百科，或者来自材料书籍的——
[00:12:09] CL: 哦，不。维基百科也在里面。是的，里面有各种各样的东西。你可以阅读论文，我认为其中有 40 个数据集，20 个或 40 个数据集，来自各种来源。维基百科，我认为总共可能有几 GB 的文本，也许是 4 个左右。你需要很多。
[00:12:28] SM: 对。你们把它存储在云上的某个地方。目前来说，这不是什么大问题。
[00:12:32] CL: 关于这一点，有一个有趣的故事。它目前由 BI 托管，BI 是一家盗版数据托管服务商。真的有一个人叫 The Archivist（档案员）。我不知道他的真名是什么。他完全匿名。我认为他可能是一个国际逃犯。我不知道。他就好像，每当我们需要托管什么东西时，我们只要告诉他，他就会说，“没问题。” 就为我们托管了。这就是我们托管数据集的方式，至少是我们的模型中的数据集，因为他拥有无限的存储空间。这是一个有趣的黑客故事。
[00:13:01] SM: 这在某种程度上体现了这个群体的本质。现在你们有了 Pile 数据集，有了训练好的模型，有了硬件，当然，你们也有能力完成所有这一切，并且你们创建了一系列模型，这些模型在某种程度上正在复制 OpenAI 的模型，或者说是它们的竞争对手和替代品。但是，你们的做法与他们完全不同。他们不发布他们的模型。他们将模型保留在 API 后面，出于安全原因。或者至少，这就是他们的说法。你们为什么要发布它？你们不害怕吗？
[00:13:36] CL: 这是一个非常好的问题，答案是，当然。当然，当你构建一项具有前所未有能力的新技术，并且你使用它，无论是作为 API 还是你部署它，或者你将其公开，所有这些事情都应该被考虑。科学界有时存在这样一种迷因，即作为一名科学家，你似乎对你的工作的下游影响没有义务。
我认为，这显然是胡说八道。在我的内心深处，我就像，我只想一直做科学研究，只想构建所有东西，谁在乎呢？没关系。让政治家们来解决如何使用它。但世界不是这样运作的。这不是一个好的思考方式。有时人们认为 EleutherAI 的立场是所有东西都应该公开，永远如此，始终如此。这不是我们的立场，也从来不是我们的立场。我理解为什么人们会对此感到困惑。还有其他几个与我们有模糊关联的团体，那是他们的观点。我强烈反对他们的观点。
EleutherAI 的情况一直都是，我们认为在具体情况下，有一些具体的事情，我们认为对于这些具体原因而言，发布这些东西是净收益为正的。我认为，在目前正在发生的这些特定事情的特定情况下，对于这些模型，各种尺寸的语言模型，让研究人员可以访问它们以进行某些类型的研究，比不发布它们更有利。我们从一开始就说过，例如，如果我可以访问一个万亿参数的模型，或者一些前所未有的东西，我们是不会发布的。因为谁知道那东西能做什么？
仅仅抛出一些无人知晓的东西似乎不是一个好主意。我们有一个非常具体的论点，我们认为 GPT-3 造成的 99% 的损害是在论文发表的那一刻造成的。正如俗话所说，关于原子弹的唯一秘密是它是可能的。然后人们会说，“如果俄罗斯的虚假信息 агенты 使用它怎么办？” 我想说，论文已经发表了。如果几个洞穴里的黑客都能构建这类模型，你认为俄罗斯政府不能吗？他们当然可以。他们当然可以购买一台超级计算机并训练这些东西。
我认为，EleutherAI 的下游影响可能并不都是好事。我个人看待问题的方式，人们可能不同意我的看法，我认为，非常强大的人工智能即将到来，非常非常快。人类水平的人工智能即将到来，很快。由于各种技术原因，我预计它将与我们今天看到的模型有许多共同的特性。我不认为会发生完全的转变。我非常不同意那些说“哦，我们在实现人类水平人工智能方面没有任何进展。这些东西不智能。它们不会取得任何进展”的人。我完全不同意。我认为这些人没有注意到，或者对这些东西实际上能够做什么感到困惑。
我预计——研究当前存在的技术非常非常重要。这是一个套利机会。我们发布的模型比 GPT-3 小得多，能力也弱得多。GPT-3 和许多其他团体也在内部拥有类似容量的模型等等。现在，无论如何，已经有 GPT-3 大小的开源模型，例如 OPT 模型和 Blue 模型。我们一直认为这是一个非常偶然的事实，我们觉得，好吧，发布像这样的模型会产生一些未知的后果。人们可能会将它们用于垃圾邮件。人们可能会将它们用于我甚至没有想到的事情。也许有人会想出一些我从未想过的这种模型的新用途，而这些用途实际上是不好的。也许他们会想出非常积极的用途。我不知道。
我认为，提前推理新技术将如何影响世界非常困难。我认为在我内心有两种冲突的部分。一部分是，从历史上看，一般来说，每项新技术，人们都会害怕，但当它实际部署时，它实际上是好的。事后看来，真的，我很高兴这项技术被发明出来——想象一下，如果人们试图让电力非法化，因为，嗯，人们可能会触电，所以我们应该有许可证才能在家里用电，或者诸如此类的事情。显然，那会很糟糕。
[00:17:30] SM: 曾经有过那场辩论。
[00:17:30] CL: 那场辩论确实存在过。我认为，我们现代人非常高兴乐观主义者在那场辩论中获胜。这是一个完全合理的论点。做出这个论点并不愚蠢。我认为这是一个值得提出的好论点。还有另一个论点，即——还有另一个论点，嘿，我们可以看到一些非常具体的风险，这些风险并非假设性的。现在，我们可以争论这些风险彼此之间如何衡量？对于这项非常具体的技术，现在，对于这些语言模型，我认为，在我看来，乐观主义者一方略占上风。但这并不意味着这适用于所有技术。
有些人会说，“好吧，所以你喜欢电力，Connor？那么核武器呢？那些东西也用电，对吧？你对那些东西也满意吗？” 我想说，哇，哇，哇，哇。慢点。是的，核武器确实用电，但那是一个完全不同类别的东西。这就是我所说的，我或 EleutherAI 从未主张所有东西都应该始终如一地发布。因为谁知道呢？也许明天，OpenAI 会创建一个具有某种疯狂能力或某种非常危险能力的模型，非常可怕，他们不应该发布它。
基本上，在某个时候，有人会创造出一个真正危险的人工智能系统，那是真正危险的，不仅仅是垃圾邮件之类的，而是真正危险的。我不知道那个系统会是什么样子。我不知道谁会制造它，但它会存在。我认为，如果有可能不发布它，那就太好了。我认为，如果我们能够接受有些事情我们应该小心对待，那就太好了。无论这是否适用于我们今天面临的这种特定情况。
[00:19:14] SM: 可能不容易想象，但它可能是从实验室里溜出来的东西，就像第一个互联网蠕虫一样，不是被错误地控制住了，最终成为了计算机内部感染的新载体。当我们上次聊天时，你提到了可怕的场景，即人工智能被释放出来，并附带着一大笔钱来最大化股东价值。
[00:19:41] CL: 是的。例如，那是我相对认真对待的场景之一。人工智能做什么？一般来说，例如，我们有人工智能玩游戏，对吧？通常，这就是所谓的强化学习。通常，它的工作方式是，我们有一些可以评分的函数，你可以训练人工智能做任何最大化分数的动作。我们在 [听不清 0:20:02] 或其他游戏中获得高分。如果我们只是直接外推这一点，我们现在正朝着这个方向发展。看看今天的人工智能技术与两三年前相比。如今，我们有人工智能，只需输入一个句子，它们就会生成任何你能想象到的完全逼真的图像。
你有这些 GPT 系统，可以写完整的故事，或者像人一样和你聊天，或者你可以拥有——或者像最近的 Minerva 系统，它可以解决极其困难的数学问题。它和人类一样好，甚至更好。这种令人难以置信的复杂性在两三年前并不存在。现在，假设这种情况继续下去。让我们做一个幼稚的尝试。我们会说，好吧，过去两年事情进展得如此之快。让我们想象一下，未来两年也像过去两年一样快，甚至更快，然后再往后的两年，再往后的两年，再往后的两年。有些东西必须让步。
要么进展会因为某种原因而放缓，要么我们很快就会看到一些疯狂的系统。可以优化非常复杂的目标的系统，我们可以拥有助手，我们告诉他们做某事，然后他们可以登录互联网并完成这些任务。现在，我们想象我们拥有这些系统，它们越来越强大。现在，假设我们有一些非常大的公司，谷歌，或者 OpenAI，或者其他什么。有史以来最大的这类系统，非常强大，比人类更聪明。运行速度快一百万倍。读过历史上所有的书。可以完美地获得国际数学奥林匹克竞赛金牌，等等，等等。然后你给它一些目标，比如，好吧，最大化利润。这样的系统会做什么？
我认为，如果你稍微思考一下这个问题，显而易见的事情并不总是好的，甚至大多是不好的。我的意思是，如果你试图最大化你公司的股价，那么为什么不直接黑进证券交易所呢？为什么不直接用枪指着证券交易所首席执行官的头说，“现在就提高我的股价。” 为什么不做各种疯狂的事情，勒索他人，或操纵他人，或发起一场大规模的宣传活动？
[00:22:05] SM: 对。对于人类来说，我们已经制定了规范和法律来防止这种情况发生。
[00:22:09] CL: 这些规范和法律也并不总是有效。我们一直都有公司在做非法和坏事。好吧，现在，让我们想象一下，我们有一家公司，它也比任何其他人类聪明 1000 倍。它更擅长黑客攻击。它更擅长制定计划。它更擅长宣传。它可以生成图像和视频以及声音，可以模仿任何人。这些都是人工智能已经在做的事情。所有这些都不是真正——除了计划。所有这些都不是真正的科幻小说。我们已经可以模仿声音了。我们已经可以生成任意图像了。
已经有使用人工智能的黑客工具了。已经有解决数学问题的人工智能了。所有这些东西都已经成为现实。现在，我们只是在头脑中将这些部分组合在一起并进行外推。那么，很明显，这很容易在短时间内导致一些非常可怕的场景。
[00:22:55] SM: 绝对是。是的。即使不深入到你所说的未来，也已经有一些案例，我们真的无法区分人类的行为与人工智能的行为。
[信息]
[00:23:11] SM: “深度探索”由我们的赞助商 DataStax 支持。DataStax 是一家实时数据公司。借助 DataStax，任何企业都可以调动实时数据，并快速构建智能、高度可扩展的应用程序，以成为一家数据驱动型企业，并释放人工智能的全部潜力。借助 AstraDB 和 Astra streaming，DataStax 以独特的方式交付了 Apache Cassandra 的强大功能，Apache Cassandra 是世界上最具可扩展性的数据库，以及先进的 Apache Pulsar 流媒体技术，在一个可在任何云上使用的开放数据堆栈中。
DataStax 每天都生活在创新的开源循环中，在无处不在的新兴人工智能未来中。请访问 datastax.com 了解更多信息。
[00:23:51] 播音员: 没有任何赞助商有权或有机会批准或不批准本播客的内容
[访谈继续]
[00:23:56] SM: 现在，我想稍微回到人工智能的力量及其带来的风险，并谈谈缓解措施。你认为作为社会，我们应该做些什么来确保这些系统不会失控，但也不会阻止进步。我们不能说，不要再做人工智能了。
[00:24:14] CL: 告诉人们不要做人工智能是徒劳的。人们无法协调我们自己的这类事情。它太有利可图了。科学家有一个原型，即使一个问题是坏的，它也太诱人了，必须解决。人工智能社区中有相当多的人，他们自己也曾在多个场合承认，他们说，“是的，这可能很危险，但我忍不住。它太酷了。我必须做。” 约翰·冯·诺伊曼以说过类似的话而闻名。一些现代人工智能人士，我就不点名了，过去也曾在公开场合说过类似的话。
显然，仅仅关闭人工智能或类似的东西，既不可行也不可取。人工智能也是我们这个时代最强大的技术，可以改善我们的生活，使我们能够解决我们目前面临的大量问题。我认为，我们社会中绝大多数问题，甚至可能是大多数问题的瓶颈是缺乏足够的智能。如果我们能够更快地解决科学问题，如果我们能够更快地开发出治疗方法，如果我们能够更快更有效地完成所有这些事情，我们可以不可估量地改善社会。
想象一下，如果我们的科学家工作速度快 100 倍。那将是疯狂的。我们将生活在一个如此不可思议的世界中。这将使世界变得如此美好，超过人类历史上几乎任何其他事情，如果我们能够做到这一点。显然，尽管这很诱人，但它是一把双刃剑。人工智能是一种工具。它既不好也不坏。它只是一种工具。它只是一种技术。它是一个既可能好也可能坏的系统。我认为滥用绝对是一种可能性，但我更担心意外类型的场景。
我们完全有善意的人试图构建，比如人工智能科学家或其他什么。他们只是不够小心，或者只是没有意识到这可能会在某种程度上出错，并且意外地构建了一个完全不同的系统。在他们注意到事情不对劲之前，它已经逃逸到互联网上了。
[00:26:08] SM: 我们有天网。不，那是一部电影。
[00:26:11] CL: 政府已经在——军队已经在到处关注人工智能。将此视为，首先，存在一个技术上可解决的问题，这被称为对齐问题，即我们如何让人工智能系统真正做到我们想要的事情？这听起来很简单，但实际上非常困难。因为人类真正想要的东西通常不是他所说的那样，当人类说某事时。
这里有很多隐藏的假设。如果我告诉我的机器人去给我买咖啡，假设来说，机器人唯一想做的就是去买咖啡。它想尽快去买咖啡，所以它会撞穿墙壁，碾过我的猫，把奶奶推开，以最快的速度到达咖啡机。然后，如果我跑上前去，“不，不，不。坏机器人，” 我试图关掉它，会发生什么？机器人会阻止我按下关闭按钮。不是因为它有意识或有生存意志。不，仅仅是因为机器人想要得到咖啡。如果它被关掉，它就不能给我买咖啡了。它会抵抗。它会积极地与我对抗以获得咖啡，这当然，很愚蠢。当然，这很愚蠢。
你可以想象一下，在野外部署的系统可能会出现这种特性，嗯，如果它正在最大化利润，那么，关闭它将不会最大化利润。它最好在云端运行一些备份副本，这样就无法被关闭。然后你就会遇到各种可怕的场景。我个人关注的，也是我在 Conjecture 所做的事情，是专注于这个技术问题。好吧，我怎样才能构建一个理解“不要做那些事情”，允许自己被关闭的系统？它理解当我我说“去买咖啡”时，我也意味着“不要碾过奶奶”，它理解这些是我所指的意思。每当我要求正常的事情时，它都不会做疯狂、愚蠢的事情。这是一个非常困难的技术问题。真的很难。听起来很容易，但当你深入研究时，你就会觉得，“哦，糟糕。这真的很难，而且非常令人困惑。” 因为人类是令人困惑的，对吧？
[00:28:28] SM: 对。是的，是的。
[00:28:29] CL: 我们想要各种奇怪的东西。人类是令人困惑的，世界也是令人困惑的。是的，事情很复杂。我唯一想要的就是有更多聪明人来研究这个问题。我甚至不是说每个人都应该研究这个问题。我甚至不是说每个人都应该放下一切来研究这个问题。一些顶尖教授可以考虑研究这个问题。这是一个非常酷的问题。这是一个重要的问题。这显然是顶尖人工智能教授非常适合研究的问题，但不知何故，很少有人在研究这个问题。研究这个问题的人数非常少。
[00:29:06] SM: 如果我理解正确的话，您是在考虑将阿西莫夫的机器人三定律嵌入到人工智能中吗？
[00:29:14] CL: 不幸的是，定律，机器人三定律是为了创作有趣的故事而选择的，而不是为了实际工作。
[00:29:20] SM: 绝对是。
[00:29:22] CL: 显然，那是[听不清 00:29:22]。类似那样真正有效的东西会很棒。
[00:29:27] SM: 有效的东西，可以防止，如果我可以尝试总结一下，看看我是否理解正确，您基本上是在考虑解决一个问题，即将一些保障措施嵌入到代码本身，机器本身内部，以便我们可以预测和期望，如果拉动关闭杆，它实际上会关闭。
[00:29:49] CL: 这就是所谓的停止按钮问题。如果有人能找到停止按钮问题的解决方案，我会欣喜若狂。我会非常高兴，因为它实际上真的非常困难。让机器人真正对被关闭无动于衷是非常非常困难的。因为通常，发生的情况是，要么它们试图抵抗被关闭，要么它们变得有自杀倾向并立即自行关闭。这非常困难。没有人知道如何做到这一点。没有人知道如何构建一个不在乎的机器人，它会让你关闭它，它不会抵抗你，而且，也不会自行关闭。目前没有人知道如何在数学上做到这一点。
我不认为这是全部问题。我认为还有更多问题，比如推断人类偏好，比如所有这些不言而喻的事情。保持保守性，避免机器人做一些疯狂的事情，等等。需要明确的是，我说机器人，我实际上并不期望它是机器人。比如，像 GPT-3 程序这样的人工系统。只是机器人更具启发性。是的，我认为这里有很多我们真的没有答案的问题，但似乎我们应该研究一下。
停止按钮问题是一个非常明确的问题，只是——应该有更多人尝试解决这个问题。我认为，在全世界，据我所知，总共可能只有 200 人在研究这个问题，这似乎意味着，应该有更多人认真对待这个问题。如果他们发现这个问题有一个简单的解决方案，那就太好了，太棒了。那我就是世界上最幸福的人了。我们开始吧。目前，事情看起来是，我们对很多这些问题都没有答案，这有点可怕。
[00:31:19] SM: 是的，这很有趣，它可能没有其他方面那么性感。
[00:31:21] CL: 是的。构建更大的系统来解决所有问题，并且比所有其他系统都更快，并且你可以从中赚很多钱，并且筹集到很多风险投资，这更有趣。当然，构建越来越大的东西更有趣。我完全理解这一点。我过去自己也犯过这种错误。最终，如果这个东西没有按照你想要的方式工作，那将会是一个问题。
[00:31:46] SM: 听起来有点像计算机软件在安全方面遇到的问题。它总是事后诸葛亮，因为它是一种净成本，而不是立即被认为带来价值的东西。
[00:31:56] CL: 是的。有趣的是，你提到了这一点。如果我对可能听也可能不听的更广阔的世界说一句话，我认为最重要的事情之一，就像我希望研究这个问题的一群人，而且据我所知，他们不会研究这个问题，就是安全黑客。从事计算机安全工作的人将他们的思想应用于人工智能安全是一个明显的契合点。这是一个经典的安全问题。我们如何让这些系统按照我们想要的方式运行，而不是按照我们不想要的方式运行？这是一个经典的安全问题。这是一个非常新颖、困难的问题。你必须在这里解决所有这些新的挑战。这似乎非常适合计算机安全社区。我希望看到更多来自计算机安全领域的人尝试解决这个问题。
[00:32:38] SM: 例如，黑客应该如何修复模型内部的错误？
[00:32:42] CL: 嗯，目前，我们不知道。应该有人尝试一下。
[00:32:45] SM: 好的。
[00:32:46] CL: 我们现在正处于这样一个阶段，我们拥有这些超级复杂的系统，GPT，在野外使用等等，我们根本不知道它们内部发生了什么。我们有一些想法。但这不像我们可以查看代码。这并不能告诉我们任何信息。真的不能。内部发生了很多奇怪的事情。内部的计算在做什么？目前我们不可能说，“哦，我们在我们的模型中看到了一个失败案例。” 然后我们就会说，“哦，那不好。” 然后我们会进入模型并修复它。我们目前无法做到这一点。
我不认为这是一个根本问题。我认为如果我们开发出工具和技术，这是我们可以学会做的事情。已经有一些非常早期的工作朝着这个方向发展。例如，麻省理工学院的 David Bau 实验室不久前发表了一篇论文，他们在论文中成功地编辑了语言模型的记忆。例如，他们让 GPT 模型相信埃菲尔铁塔在罗马，而不是巴黎，这非常酷。这非常酷。
这显然是我们应该开发工具的方式。像这样的工具，我们可以查看记忆，或编辑它们，我们可以看到这些模型的内部工作原理。这在很大程度上是我们 Conjecture 所做的工作。我们致力于可解释性研究。我们试图将这些网络的内部部分分解成可理解的片段，然后看看我们如何才能看到故障模式来自哪里？我们如何编辑这些东西？我们如何操纵它们？我们如何测试它们的安全功能等等？
这是一项非常早期的工作。如果你是一位年轻的职业研究人员，正在寻找一些尚未被摘取的唾手可得的成果，那么这里就有一个果园。在可解释性和人工智能安全领域，有一个巨大的唾手可得的成果的果园。我有一个很长的项目清单，我希望我们能够完成这些项目。我只是没有足够的时间，也没有足够的工程师来做。我认为，这非常有希望。
[00:34:32] SM: 这真是太棒了，因为您基本上给我们留下了一个积极的信号，即其他演讲者和我交谈过的人强调的一个担忧是这些系统是多么不透明。一旦你构建了模型，你就会遇到困难，除非你重新训练，这可能会很昂贵。我不知道你从 GPT-3 得到的输出是否太讽刺，或者滥用逗号并且不知道如何正确使用标点符号。你如何在不必重新训练整个模型的情况下修复它？正如您所说，这很昂贵。您基本上是在说有办法；有研究正在朝着查看这些人工突触、连接并以我们可以预测或修复的方式调整它们的方向发展。
[00:35:23] CL: 是的。人工智能社区长期以来一直流传着一个迷因，即神经网络是完全的黑匣子。不可能理解发生了什么。这根本是错误的。这根本不是真的。我有压倒性的证据表明这完全是错误的。神经网络内部有很多结构。你可以在它们内部理解很多东西。这并不意味着这很容易。这还处于非常初级的研究水平。两三年前，我也对此持怀疑态度。现在我已经在这个问题上工作了一段时间，并且我看到了其他人，我就像，哇。每次我们投入精力并尝试拆开并查看不同的部分时，都有很多唾手可得的成果。有很多东西可以被发现。研究这个问题的人太少了。
在全世界，真的只有少数几个团队真的在说，“不。我们只是要尝试。我们只是要尝试拆开这些东西。” 我预计，在未来几年内，包括 Conjecture 的一些工作，希望能够展示这些东西的计算原语和内部结构，这将使我们能够更有选择性地理解它们内部发生了什么。我们能这样编辑这些东西吗？会是完美的吗？不，可能不会。
[00:36:31] SM: 可能不会。
[00:36:31] CL: 我认为这里蕴藏着巨大的希望，我们才刚刚开始发掘。我认为，有真正的理由对此感到乐观。这会解决整个安全问题吗？当然不会。
[00:36:44] SM: 对。这是一个步骤。
[00:36:45] CL: 这是向前迈出的非常有希望的一步。就像，我们在 Conjecture 投入了大量精力研究这个问题。我们希望很快能够发布我们的一项成果，对此我感到非常兴奋。我们只是真的尝试去研究它，我们发现了所有这些结构和所有这些你可以理解和拆开的部分。有一些团队真的在认真对待它。我非常乐观，我们很快就会将神经网络理解为白盒，或者更多，更多。
[00:37:10] SM: 很高兴听到这个消息。为了理解这个问题，您需要什么样的资源？我们刚才说，为了训练，你需要大量的数据、工程能力和计算能力来研究神经网络内部。你需要什么？
[00:37:26] CL: 创造力。你需要有创造力，因为这是一个新的研究领域。每次我们进入一个新的研究领域，你都需要有创造力。你需要想出思考问题的新方法。幸运的是，你需要的资源比训练这些模型少得多，因为你使用的是预训练模型。你将需要一些 GPU 或其他东西来做一些研究。不幸的是，这只是机器学习研究的本质。
你可以通过使用 EleutherAI 模型进行大量研究，例如，这样你就不必从头开始重新训练它们。你可以直接使用 feeder，你可以研究内部部分并进行许多有趣的操作。你肯定需要的一件事是你需要真正学习数学。你真的需要懂线性代数，而且你必须真正查看模型的内部结构。
在机器学习中，我们变得懒惰了。我们变得懒惰了。我们让 PyTorch 处理所有的线性代数和其他东西，然后我们失去了对模型内部真正发生了什么的深刻的潜在理解。真正查看模型内部，这些数字意味着什么？它们是如何组合的？这里的线性代数是什么？这不是研究生水平的数学。这些都是本科水平的数学，但真正理解网络内部发生了什么以及实际发生了什么。对本科水平的线性代数和其他类似的东西感到舒适，我认为，只是被严重低估了。如果你是一位博士后，拥有极高的智商、统计学家或代数学家，为什么不尝试一下神经网络，看看它们内部的结构是什么？如果你是一位形式系统博士，并且你拥有关于形式语言和可计算性等的所有知识，为什么不看看 GPT 网络，看看变压器在内部编码了什么？复杂性属性在哪里？我期望所有这些事情都会带来非常有趣的研究。
[00:39:01] SF: 太棒了。这是在向下一代极客发出呼吁，数学和线性代数将防止我们陷入天网的境地。好的。Connor，谢谢你。
[00:39:15] CL: 我想大声疾呼的是：尝试一下线性代数、可解释性、理解神经网络。向计算机安全世界大声疾呼。你的技能比以往任何时候都更需要，我认为这将是一个非常有价值的领域。Conjecture 目前没有招聘。希望在不久的将来，我们将招聘。如果你是一位对可解释性、安全性和/或经验丰富的计算机安全专家非常感兴趣的人，你可能是我们想交谈的人。请随时联系我们，conjecture.dev。
[采访结束]
[00:39:49] SF: 感谢收听。感谢我们的赞助商 Google。记得在你的播客播放器上订阅以获取更多剧集。请评论和分享。这有助于更多人找到我们。访问 deepdive.opensource.org，在那里你可以找到更多剧集，了解这些问题，你可以捐款成为会员。会员是我们能够完成这项工作的唯一原因。如果你对这一集或对 Deep Dive AI 有任何反馈，请发送电子邮件至 [email protected]。
这个播客由开源倡议组织制作，Nicole Martinelli 协助制作。音乐由 Jason Shaw of audionautix.com 创作，根据 Creative Commons Attribution 4.0 International 许可证授权。链接在剧集注释中。
[00:40:31] 公告员: 本播客中表达的观点是发言者的个人观点，不代表其雇主、其所属组织、其客户或其顾客的观点。所提供的信息不是法律建议。没有任何赞助商有权或有机会批准或不批准本播客的内容。
[结束]