第六集：文字稿
第六集：如何保护人工智能系统安全
“BD：现在我们处于‘天哪，它竟然有效’的阶段。20年前，防御人工智能是没有意义的。它没有任何值得攻击的东西。现在我们拥有非常强大的人工智能系统，并且它们以惊人的成功从一个领域跳跃到另一个领域。现在，我们需要担心政策。现在，我们需要担心防御它们。现在，我们需要担心成功带来的所有问题。”
[介绍]
[00:00:36] SM：欢迎收听“深度探索人工智能”，这是来自开源促进会的播客。我们将探讨人工智能如何影响自由和开源软件，从开发者到企业，再到我们所有人。
[赞助商信息]
[00:00:50] SM：“深度探索人工智能”由我们的赞助商 GitHub 支持。开源人工智能框架和模型将对下一代软件产生变革性影响，进化每个行业，普及知识，并降低成为开发者的门槛。随着这场革命的继续，GitHub 很高兴参与支持 toy size，深入探索人工智能和开源，并欢迎所有人为对话做出贡献。
[00:01:18] 播音员：任何赞助商都没有权利或机会批准或不批准此播客的内容。
[剧集]
[00:01:22] SM：欢迎收听“深度探索人工智能”的这期特别节目。今天，我与联合主持人，开源促进会政策总监 Deb Bryant 一起。欢迎。
[00:01:31] DB：谢谢。
[00:01:32] SM：对我来说，有联合主持人是一种新的体验。在这一集中，我们采访了 Bruce Draper 博士。他是国防高级研究计划局信息创新办公室的项目经理，这个机构的名字很难发音，但它也被称为 DARPA。对我来说，DARPA 发音容易得多。他是科罗拉多州立大学计算机科学系的教授。他在知识型视觉、强化学习、面部识别评估、无人地面车辆等领域有着令人印象深刻的履历。尤其是在 DARPA，他负责 GARD 项目。这是一个首字母缩略词，代表保证人工智能抵抗欺骗的稳健性。
Bruce 博士，如果我理解正确的话，GARD 的目标是开发工具来了解机器学习系统是否被篡改，我理解错了吗？
[00:02:29] BD：嗯，它的设计目的是开发工具，以防御试图击败人工智能系统的对手。因此，开发工具使人工智能系统更强大，特别是针对恶意对手，并尝试使这些工具可供更广泛的社区使用，以便所有现有的人工智能系统都有望是安全的。
[00:02:52] SM：太棒了，所以它非常符合 DARPA 的防御使命。说到 DARPA 的使命和职能。DARPA 的使命是什么？人们对它很熟悉。我相信我们的听众记得 ARPANET 以及从中产生的所有研究。但是 DARPA 最近为我们做了什么？
[00:03:11] BD：当然，DARPA 当然是多年前在 Sputnik 发射时成立的。这让美国政府感到震惊，美国政府决定不想再次被技术变革所震惊。DARPA 的作用，我们的官方使命是预测和准备技术变革和颠覆。一路走来，我们做了很多事情。你提到了旧的 ARPANET，例如全球定位卫星，那是我们的另一个成功案例。如果你问，我们最近为你做了什么？我认为 mRNA 疫苗是 DARPA 最近完成的一项非常强大的工作的例子。
[00:03:46] SM：我不知道 mRNA 与 DARPA 有关，这有点引出了开源方面。因此，DARPA 开发了这项用于疫苗的技术，但是这些技术是如何货币化并与世界其他地区共享的呢？
[00:04:05] BD：嗯，就 mRNA 疫苗而言，Moderna 最初是从 DARPA 分拆出来的。DARPA 通过制药行业将这项技术推广到社区，希望能够为大量人群接种疫苗，事实证明，在 COVID 危机爆发时，这非常重要。与我们在这里通过 GARD 计划尝试做的事情类似，是在对手攻击之前，将能够抵抗对手的强大而安全的技术推广出去。这样，随着人工智能越来越成为我们日常流程的一部分，当我们都坐在自动驾驶汽车中以及做其他事情时，我们可以确信人工智能系统将正常工作并正确工作。
[00:04:44] DB：那么，开源许可证是一种技术，还是一种更快地将您的研究或产品研究推广到环境中的策略？
[00:04:55] BD：当然。我们正在尝试做的是在发生大规模攻击之前，尽快将防御性人工智能，即能够抵抗攻击的人工智能推广到社区。我们已经看到对商业实体和其他实体的小规模攻击。我们希望能够推广出去，你不能真正说——“接种疫苗”这个词有点重。但我们希望在发生大规模攻击之前，尽快将防御工具送到人们手中。
[00:05:22] SM：开源方面有多重要？换句话说，对于 DARPA 的使命和 GARD 项目的使命而言，拥有以许可证提供的技术，这些许可证基本上不提供使用摩擦或没有任何限制，有多重要？
[00:05:41] BD：因此，DARPA 的使命当然是保护美国，更广泛地说，是自由世界。如果你想到在不久的将来的一种情景，你可以想象一个城市，道路上几乎所有或很大一部分汽车都是自动驾驶汽车。现在，这些不是军事系统，而是私有的，那是你的车，我的车，以及所有类似的东西。但是，如果对手可以将其捆绑，对手可以击败它并开始在整个城市造成撞车事故，他们可以捆绑他们想要的任何主要城市。不是通过攻击军事结构，而是通过攻击民用基础设施。对我们来说重要的是，我们不仅要保护军事系统，还要保护所有现有的系统。
[00:06:25] SM：这是一个非常引人入胜的场景，因为我们现在拥有的许多技术，即使不是机器学习系统，也已经非常脆弱。那么，机器学习系统和一般的 IT 计算机科学系统之间有什么区别？
[00:06:42] BD：嗯，如你所知，网络犯罪已成为一个主要问题，并且所有类型的系统都容易受到攻击。我认为部分原因是，我们多年前就开始将所有计算机联网在一起，并创建了我们现在生活的这个伟大的互联数字世界，但在我们真正考虑具有恶意意图的恶意人员会发生什么问题之前就做了。结果是，从事网络防御的人员一直在追赶。
人们不断攻击没有所有最新防御措施的旧系统以及诸如此类的东西。我们希望在人工智能系统方面做的是抢占先机，对吧？人工智能系统在媒体上经常出现，你看到它们的频率越来越高，但它们还没有像更传统的系统那样广泛传播。但是它们将变得更加广泛传播。它们将成为每个人都使用的东西。因此，我们希望在对手抢占先机之前，将一些防御措施推广到世界各地。
[00:07:43] SM：所以你基本上看到的是一个已经描绘好的未来，对吧？在你看来，毫无疑问，随着这些新的、更现代的人工智能机器学习工具、强化学习及其所有组成部分的引入，世界已经发生了变化。它们绝对会占据主导地位。不会再像前几代人工智能工具那样出现衰落或挫折。你认为这次有所不同吗？
[00:08:08] BD：我认为我们之前看到的，人们谈论了很多关于人工智能夏季和人工智能冬季的事情，对吧？人工智能的增长期，然后是人工智能衰退期。但有趣的是，每个夏天，它都变得更加普遍，这种趋势暂时停止了。现在，我认为我们最终做到的，是我们已经达到了一个临界点。我的意思是，想想我们在过去几年中获得的所有宣传，无论是 ChatGPT，还是 DALL-E，还是其他任何获得如此多宣传的程序。这些系统正变得非常非常强大。它们正变得非常非常有能力。如果它们被妥善使用，那将是一件美好的事情。如果它们使用不当，可能会不太好。我们的部分意图是确保它们不被攻击，并且不被诱骗去做不应该做的事情。
[00:08:52] DB：我想知道你是否会谈论一下——在你深入探讨技术本身的细节之前，我知道在我们之前的讨论中，你曾表示有兴趣扩大你的社区或参与度。你能描述一下理想的生态系统会是什么样子吗？哪些类型的利益相关者希望加入这个过程？我们可以帮助为我们的一些听众构建框架。
[00:09:15] BD：我们有兴趣在这里创建两个社区。我想说的第一件事是，在 GARD 下进行的所有研究都是开源的、公开的、对所有人开放的。我们真正尝试做的是创建两套工具集，供更广泛的社区使用。一套是为开发者设计的，基于一套名为 ART（对抗鲁棒性工具包）的工具集。那里的想法是为构建人工智能系统的人员提供一套工具，让他们能够访问最新的防御措施，让他们能够访问所有标准攻击，以便他们可以测试他们的系统，并为他们提供构建尽可能强大的系统的所有工具。这是一部分。
另一部分是一个名为 Armory 的工具。Armory 的目标不是开发者，而是 T&E 人员。Armory 背后的想法是，我们希望测试和评估人工智能系统的人员，无论这些系统是在内部开发的，还是从其他来源购买的。尽管如此，大多数大型项目都将有一个 T&E 团队。这是一套不同的工具。我们希望构建能够让 T&E 团队使用的工具，让他们能够测试系统防御得有多好，或者反过来说，它可能有多脆弱。因此，我们有这两套工具，一套基于 ART，目标是开发者，另一套围绕 Armory，目标是 T&E 人员。
[00:10:40] SM：所以 T&E 是测试和评估小组？
[00:10:44] BD：是的。
[00:10:45] SM：所以你是说所有这些工具都以开源许可证发布，并且是公开可用的？你们如何处理国际合作？你看到会发生什么样的合作？
[00:10:56] BD：我们认为这是一个对所有人开放的开源项目。事实上，ART 的主要开发者之一是 IBM，包括他们在爱尔兰的团队。我们的希望是使工具广泛可用，我们并没有尝试——这不是一个独特的美国项目。这应该是一个开源项目。我们希望每个人都拥有尽可能安全的工具。这是一个非常互联的世界，我们都在互相购买软件，并在彼此之间传输软件。如果美国的软件是安全的，但是，我不知道，加拿大的软件有漏洞，当我们把它们放在一起时，有什么好处呢？我们必须让这些工具对每个人都可用。
[00:11:35] SM：当然。我不得不说，几年前唯一的事情要简单得多，至少在我这个普通人的想法中，欧洲和美国之间，大家都是朋友。我们生活在一个全球化的世界中，但最近似乎受到了更多挑战。你看到你的世界中发生任何摩擦吗？
[00:11:56] BD：我认为摩擦影响到所有地方。我认为我们的模型是——当然我的模型是，我们想要的是尽可能开放的世界，让所有个人开发者和所有个人都有权力。因为在一个开放的社会中，如果所有个人都有权力，我们就会做得很好。我认为现在有些社会更喜欢更封闭、更集中的模式。我们采用开源模式的原因是为了支持在自由世界中运行良好的模型。
[00:12:27] DB：我同意一个论点，即开源模式是发展协作的好方法。GARD 计划正在解决的问题是普遍存在的。这是一个全球性问题，加上权力问题，但我认为这是一个很好的方法。我很欣赏今天能参加这次采访，我的个人经历包括作为一名政府从业人员工作，多年来，我曾与许多联邦机构合作。直到最近，我认为公众才意识到开源在联邦政府中有多么普遍，他们已经这样做了几十年。但是，由于我们正在经历的巨大挑战，尤其是在网络安全方面，我们直接从听证会上的公共机构那里听到，这不仅仅是安全和防御的问题。这也是一个创新问题。因此，现在看到像这样的关键项目使用这种特殊模式很有趣。这实际上就是它吸引我注意力的原因，大约在 2000 年。我认为模型本身比软件更重要。产品生产方式增加了同等多的价值。我可以在政府环境中看到这一点，所以我非常尊重 Bruce 今天正在运行的项目。
[00:13:37] SM：我想先回到技术方面。你说过人工智能的每个夏天都变得更长，冬天变得更短。你认为是什么关键因素触发了今年的夏天变得更长？
[00:13:52] BD：嗯，显然，深度神经网络的出现，此后扩展到包括诸如 Transformer 网络、扩散模型之类的东西。所有这些工作都是大量非常基础的数学研究与 GPU 和其他处理器结合在一起的结果，最终使得所有这些工作都能够大规模完成。坦率地说，互联网也提供了足够数量的数据。这仅仅导致了一个人工智能的夏天，它影响了从计算机视觉到语言，到规划，到推理的一切。现在，许多领域都因当前的人工智能夏天而得到发展。
[00:14:34] SM：一方面是对数学家和数学的基础研究。硬件是另一部分，第三个要素将是数据。我理解对吗？完全正确。随着所有这些变化，数学相对容易获得，或者至少你可以学习硬件，而数据开始变得更加复杂。你能给我们简要概述一下当前项目中的合作伙伴有哪些吗？成为像我们这样深度复杂的项目的贡献者需要什么？
[00:15:11] BD：我认为我们在 GARD 中有 15 个合作伙伴。我们有很多表演者。参与其中的方式实际上非常容易。因此，我们有一个名为 gardproject.org 的网站。你可以访问该项目，它会将你带到——如果你是 T&E 人员，则会带到 Armory 工具。如果你是开发人员，它会将你带到 ART 工具。我们还在那里设置了部分，你可以拥有世界上所有的工具，你也需要智力背景。因此，我们有一个由谷歌的人员编写的关于防御性人工智能的教程部分，以及如何充分利用这些工具并提供背景知识。我们还有 MITRE 的另一位合作伙伴提供的一组数据集，以使测试、运行和评估这些工具也更容易。因此，我们正在努力提供数据和教程，以及这两大块工具集。
任何人都可以访问 gardproject.org，转到我们的 GitHub 存储库，开始访问这些工具。我应该告诉你，我们现在开始的方式，就大多数开发人员的工作而言，我们通过 ART 工具箱提供的算法和算法部分的大部分。其中大多数是由大学合作伙伴（主要是学术合作伙伴）开发的。我们有一些公司参与其中，但其中大多数人都是学术界的，在测试和评估方面（T&E 方面）完成的大部分工作都是由 IBM、MITRE 和一家名为 Two Six 的公司完成的，因为这往往是更像公司职能的事情。
但同样，任何想参与的研究人员都鼓励参与这两个社区中的任何一个，无论他们的角色是什么。让我们参与进来，让我们共同努力，让我们制造出我们能制造的最安全的系统。
[00:16:57] DB：作为一名“康复中”的大学研究员，我觉得有义务问这个问题。DARPA 是否为可能对参与该项目感兴趣的大学提供研究资助，还是这会来自其他资助渠道？
[00:17:11] BD：不。DARPA，我们是一个资助机构。我们不在内部进行研究。我们资助其他人来完成这项工作。对于像 GARD 这样的项目，大部分工作是在大学进行的，由 DARPA 资助。这些大学，虽然大多数是美国大学，但国际大学也可以并且确实会申请。
[00:17:32] SM：有一件事让我觉得非常有趣，那就是你们在 GARD 项目中尝试做的事情，就是在这些机器学习系统的开发初期就谈论安全和保障。因为我或者不仅仅是我，我不是软件开发人员，但我花了很长时间才开始在我的脑海中根深蒂固地理解安全的概念。我认为公众也还没有非常熟悉使用密码管理器和非常小的安全相关的东西。但是对于 GARD 来说，这真的很重要，在我看来，这真的很超前，就像从互联网时代吸取的教训一样，当时一切都是开放的、可访问的，而安全只是一个附加功能。是什么让 AI 社区如此担忧，以至于他们需要立即在早期进行投资？
[00:18:26] BD：嗯，这很有趣。关于对抗性人工智能的第一批论文出现在学术文献中，大约在 2015 年左右。然后非常非常快地，它发展到我们在 2017 年初就发生了具有商业影响的实际人工智能攻击的程度。有一家名为 Syvance 的公司，该公司制造恶意软件检测软件。据我所知，它是最早的受害者之一，有人进入并能够进行对抗，因为他们使用人工智能系统来确定一段软件是否是恶意的。恶意软件的制造者进入，进行了人工智能攻击，弄清楚了如何愚弄他们的系统，然后进入并能够攻击他们的客户。
它很快从仅仅是学术论文的东西，变成了我们看到在实践中使用的东西。我们很快决定，我们有必要找到一种方法来防御它。
[00:19:29] SM：还有哪些场景让你夜不能寐？
[00:19:32] BD：让我今晚睡不着的场景之一是自动驾驶汽车场景。让我夜不能寐的原因是，现在，大多数人在使用人工智能系统时，它不是安全关键的。是的，我在 Netflix 上领导一个人工智能系统，推荐看什么电影。但如果它推荐了一部糟糕的电影，没有人会怎么样。对吧？实际上，我认为硅谷没有对防御性对抗性人工智能进行更多研究的原因之一，是因为今天人工智能系统正在使用的大多数东西不一定是安全关键的。但这将会改变，自动驾驶汽车仅仅是，我认为我们将在公众中看到的第一个安全关键的例子。如果有人破坏了我的电影推荐系统，那是不方便，但这不是灾难。但是如果有人禁用了我汽车的刹车，那完全是另一回事了。
[00:20:31] SM：这意味着你梦想着街道上既有自动驾驶汽车，也有人类驾驶的非自动驾驶汽车。
[00:20:40] BD：我正在想象，因为我们已经拥有它们，铁路列车几乎完全是数字控制的。我认为现实情况是，人工智能非常好，它非常具有成本效益。当它没有受到攻击时，它非常安全，以至于我们将依靠人工智能为我们做越来越多重要的事情，以及安全关键的事情。只要我们能够防御它们，那将是一件好事。但有一个噩梦般的场景，我们都变得依赖于容易受到攻击的人工智能系统。这就是我们试图避免的情况。
[00:21:14] DB：自动驾驶汽车是一个很好的例子。它也是一个开始接受开源软件开发模型、操作系统的行业。在地面层面上，同时部署这些类型的防御性人工智能系统的机会是什么？在地面层面上，我们有像通用汽车和戴姆勒这样的公司，他们公开承诺在其汽车战略中使用开源。其中一些不太关键。我们谈论的是娱乐系统，但我同意，我看到它即将到来。你如何同时共同开发这些东西？因此，当你推出真正商业可用的自动驾驶汽车时，你也以这种方式使其安全。
[00:21:56] BD：这更多是开发人员方面的事情，有开发人员和 T&E 方面。我们想在开发人员方面做的是拥有这个正在运行的 ART 工具包。我们希望发生的事情是，总会有一场猫捉老鼠的游戏。你想出了更好的防御措施，有人试图想出更好的战术来绕过它。我们希望的是，如果每个人都采用了 ART 工具包，并且他们比以往任何时候都更频繁地使用这些工具。那么，当出现新的攻击时，将会有整个社区的人试图开发针对该攻击的新防御措施。并且由于每个人都希望使用 ART 接口，一旦创建了防御措施，它就可以迅速传播给所有可能使用它的人。我不认为有可能想出一种永远完美的防御措施。这种银弹从未在网络防御中发生过。我真的不期望它会在人工智能防御中发生。但我们确实想做的是确保所有这些商业系统都具有最知名的当前防御措施，并且它们与这个生态系统联系在一起，以便当更新、更好的防御措施可用时，它们可以立即被下载和合并。
[休息]
[00:23:07] SM：“深度探索人工智能”由我们的赞助商 DataStax 支持。DataStax 是一家实时数据公司。借助 DataStax，任何企业都可以调动实时数据，并快速构建智能、高度可扩展的应用程序，成为数据驱动型企业，并释放人工智能的全部潜力。借助 AstraDB 和 Astra 流媒体，DataStax 以独特的方式在任何云上可用的开放数据堆栈中，提供世界上最具可扩展性的数据库 Apache Cassandra 的强大功能，以及先进的 Apache Pulsar 流媒体技术。DataStax 在新兴的人工智能无处不在的未来，每天都离开开源创新周期。在 datastax.com 了解更多信息。
[00:23:47] 播音员：任何赞助商都没有权利或机会批准或不批准此播客的内容。
[访谈继续]
[00:23:50] SM：你认为政策制定者在这个领域扮演什么角色？欧洲和美国的所有政策制定者都完全意识到人工智能和机器学习系统中包含的所有风险，他们正开始对其进行监管。即使学术界对于需要做什么可能没有达成共识。从你的角度来看，你对这些政策，正在流传的政策草案有何看法？
[00:24:20] BD：我认为有很多政策在流传，我不知道我是否有资格谈论特定政策的优点或缺点。但我确实想带入这次对话的是我们正在开发的 T&E 工具的概念。因为为了合理地制定任何政策，我们必须知道的一件事是风险是什么，某件事的防御有多好。总是有权衡。你放弃一点准确性来获得一个更强大的系统，对吧？我们放弃了多少？我们获得了多少稳健性？如果你不知道风险是什么，以及你防御这些风险的能力，你就无法开始制定明智的政策。我们希望通过 Armory 工具做的事情之一是为测试和评估人员提供一种衡量他们承担多少风险的方法，如果他们采用这种人工智能系统，并以特定方式使用它，它有多容易受到攻击？
就像我说的，有些系统不是关键任务的。使用一个防御可能稍微弱一些的系统可能也没问题。其他系统是安全关键的，需要拥有绝对最先进的技术。我想到了政府政策制定者，我也想到了保险公司。如果你有一辆容易受到攻击的自动驾驶汽车，这对保险公司来说是一个真正的威胁。如果事情进展不顺利，他们最终可能不得不赔付。因此，我认为政府方面、保险方面和大型公司方面都有各种各样的参与者，他们都有既得利益，试图确保这些系统确实受到一些广泛的监管，但又不会削弱该行业。我不希望出现这样一种情况，即我们施加了如此多的监管，以至于我们无法使用人工智能。我认为这对我们也没有好处。
所以我不知道政策的最佳平衡点在哪里。我什至不知道所有合适的参与者是否都已加入进来。但我想创建一套测试和评估工具，为他们提供一些可以衡量的东西，他们可以开始使用这些工具来制定明智的政策。
[00:26:22] DB：我不得不说，这将是一个巨大的贡献。我们真的不知道最大的风险在哪里。我们没有我们拥有的东西的详细清单。前面还有很多工作要做。我想问的是，除了显然提供信息以制定更明智的政策之外，你是否大致感觉到你认为今天需要解决的任何差距？你是否看到一个你认为可能适合公众讨论以进行监管解决的脆弱领域？
[00:26:52] BD: 我不确定。不如让我回答一个与你所问的略有不同的问题，但我认为我可以以一种更实用的方式来回答。
存在一个知识或学术上的漏洞，那就是，我们在防御这些系统的实践方面做得越来越好，而这正是我们试图通过这些工具箱来实现的。我们在评估方面做得越来越好。这正是我们试图通过 Armory 来实现的。然而，我们仍然没有我所说的对威胁的良好深入的理论理解，以及威胁的界限在哪里。这实际上又回到了我们对这些网络的深刻理解以及对抗性人工智能的理论。GARD 实际上有一个项目——GARD 计划的一部分专门旨在开发和推进防御性对抗性人工智能的理论。
我较少谈论这一点，因为除非你是大学的博士研究员，否则在目前这个阶段，我们正在发表论文，我正在努力推进这一基础数学，而且还有很长的路要走。但就目前而言，实践领先于理论，如果能拥有像加密领域那样的东西就太好了，你可以谈论加密向量的长度，以及安全建议的程度。我们目前还没有等同的东西。
[00:28:05] SM: 我注意到人工智能从业者非常清楚未受约束的人工智能可能对世界造成的危险和损害。GARD 是否也在关注其自身技术和通用机器学习模型的危险用途？
[00:28:28] BD: 这是一个非常广泛的话题。就 OpenAI 而言，他们担心的不是潜在的对手会做什么。他们担心的是他们的系统在正常运行时可能被如何使用。这是一个非常现实的问题——我们希望在哪里使用人工智能？在哪里不使用？界限在哪里？这些对于伦理和其他外部来源来说都是非常现实的问题，最好由监管机构和政策专家来解决。我们真正关注的问题是对手及其击败人工智能的能力，以至于人工智能无法按预期运行。在这个特定项目中，我们并没有专注于运行良好的系统。我们试图弄清楚这些系统如何被对手破坏，以及我们如何阻止这种情况发生？系统是否按广告宣传的那样运行？关于你想在哪里使用按广告宣传的那样运行的系统，存在单独的政策问题。
[00:29:21] DB: 布鲁斯，关于 GARD 项目，有什么我们没有谈到，但你认为对于任何有兴趣参与或评估的机构、组织甚至个人来说会很有趣或重要的事情吗？
[00:29:34] BD: 首先，我们已经简要地谈到过这一点，但我想邀请大家访问 gardproject.org 网站。根据你是进行测试与评估还是开发工作。看看 ART，看看 Armory，看看这些工具，参与到这个社区中来。我们尚未讨论的一件事是 DARPA 所做的事情是，我们进入一个领域，试图在该领域产生影响，并试图创造一些可以自我维持的东西。然后我们退出并做其他事情。GARD 项目作为一个由 DARPA 资助的实体，将于明年结束。它将于 2024 年结束。我们的希望是到那时，我们能够拥有一个活跃的国际开源社区，该社区将继续这项工作并允许这项工作继续下去，即使没有 DARPA 的直接支持。
这就是我们的目标。这就是为什么我们认为建设这个社区非常重要。它必须是某种自我维持的。这不是我们强加于世界的。这是我们希望给予世界的，希望人们会看到它的价值，并希望构建按广告宣传的那样运行的系统。
[00:30:42] DB: 这与大多数社区发展的目标非常一致，即社区能够实现某种程度的自我维持。你认为 DARPA 会有任何其他持续的角色，还是会完全结束？换句话说，DARPA 是否会有人继续担任联络人或超级联络人？或者你是否认为如果事情如你所愿，它将完全转移到一个新的社区？
[00:31:07] BD: 我们有一些执行者，特别是 IBM 的 ART 和 Two Six 的 Armory，他们将在 2024 年之后继续从事这些项目，并有望成为社区背后的组织力量。他们都是非常专业的，非常优秀的技术人员，我认为他们会很棒。我认为 DARPA 将一如既往地观察并找出问题所在。DARPA 的作用是找出尚未解决的问题。如果这个问题是这个社区正在解决和努力解决的，我们将让社区来解决。如果存在我们认为尚未解决的关键问题，那么 DARPA 可能会介入并尝试解决该问题。
[00:31:47] SM: 从您希望推广这些项目的合作伙伴类型来看，有什么偏好吗？您是否需要更多的学术贡献者，或者更多的公司、政府机构或世界其他地区的机构？
[00:32:04] BD: 首先，我不想阻止任何人。我希望每个人都尽可能地参与进来。我认为我们特别关注两个群体，我们非常关注学术界，进行开发级别的工作，提出新的算法、新的防御措施等等，我们更关注企业界进行测试与评估级别的工作。这在学术界往往不会发生，因此我们希望我们能够让工业界的人士在这方面站出来。我们也希望我们能够让政府参与进来，并在该级别发挥作用。
[00:32:38] SM: 是否有其他项目在做类似于 GARD 正在做的事情？可以说是竞争对手。
[00:32:45] BD: 有许多较小的项目，特别是在学术界，也在政府内部。据我所知，GARD 是最大的项目，这就是为什么我们试图推动它的开源。有一个老笑话，如果你有一个标准，它就很有用。如果你有 20 个，那就没用了。我们真正希望做的是围绕这两个工具构建它。因为目前，它们的使用率最高。例如，ART 最近被 Linux Open AI 基金会认可为毕业项目之一，因为它具有很高的活跃度，并且越来越多的人开始在他们的工作中使用它。
所以这很棒。我们希望鼓励这一点。同样，也要通过像 Linux Open AI 基金会这样的组织来开展工作，对吧？通过开源世界中存在的其他组织来确保我们拥有一个持续且可行的社区。
[00:33:42] SM: 你是如何参与到这个项目中的？是什么引起了你对对抗性人工智能研究的兴趣？
[00:33:52] BD: 嗯，我来自计算机视觉和机器学习社区。所以，当我在科罗拉多州立大学做了多年的学术研究时，我做了很多关于机器学习和计算机视觉交叉领域的工作。正是在那时，第一批对抗性论文开始出现。有一些著名的例子，比如如果你在一张熊猫的照片上添加一点噪声，系统突然认为它是一只长臂猿，或者你在停车标志上贴一张贴纸，你的自动驾驶汽车就认为它是限速标志。我碰巧在第一批攻击出现的通用领域工作。所以，当我来到 DARPA 时，问题是，我们如何帮助国家？我们如何帮助自由世界？什么需要防御？我说，“好吧。这是一个领域。”结果证明，另一位项目经理刚刚启动了这个项目，但不得不意外地离开 DARPA。所以我在项目开始前不久介入，并且非常享受与这个社区的合作。
[00:34:54] SM: 你接下来有什么计划？
[00:34:56] BD: 嗯，我接下来半年的计划是继续运行这些项目，并继续确保顺利交接。对于那些不了解的听众来说，DARPA 保持新鲜感的方式之一是没有人可以担任 DARPA 项目经理超过五年。所以我们都进来，我们进行一次巡回任务，我们试图在短时间内产生尽可能大的影响，然后我们回到我们来的地方。就我而言，那是学术界。所以我将在半年左右的时间内回到学术界，但会有其他 DARPA 项目经理加入并继续这项类型的工作。
[00:35:35] DB: 如果你在 10 年前就知道今天正在发生的事情，你会预料到这种演变吗？我早期参与了超级计算，人工智能只是一个有趣的话题，但它——我认为它正处于冬天。你认为在机遇、前景以及威胁方面，最显著的变化是什么？
[00:36:00] BD: 这真的很有趣，因为多年来，人工智能领域的问题一直是，我们能让任何东西工作吗？或者我们能让任何东西以足够可靠的方式工作，以至于你会允许它离开实验室吗？现在，我们正处于“哦，天哪，它工作了”的阶段。这就是为什么像防御人工智能这样的问题突然变得重要起来。20 年前，防御人工智能是没有意义的。它没有做任何值得攻击的事情。现在，我说我们花了最初的 25 年时间试图弄清楚如何看。
现在，问题是看什么。这有点像。当人工智能不强大时，当人工智能只能做非常小众的事情时，我们不必太担心防御它。不良行为者或金融商业模式，有很多事情都不重要。当某件事奏效时，那简直是个奇迹。现在我们拥有了真正非常强大，并且以惊人的成功从一个领域跳到另一个领域的人工智能系统。现在，我们需要担心政策。现在，我们需要担心防御它们。现在，我们需要担心成功带来的所有问题。
[00:37:16] DB: 好吧，我将饶有兴趣地关注科幻文学领域，因为这都是科幻小说，最好的科幻小说所构想的东西。机器会接管一切，以及我们所做的事情。所以现在我们都知道它们可以做到这一点。那么，接下来会发生什么呢？
[00:37:31] BD: 它们也可以是优秀的合作伙伴。它们也可以是——我在 DARPA 所做的大部分工作都是使用人工智能让人变得更好、更强壮、更聪明、更有能力。我认为我们很多人都对使用人工智能不是为了取代人，而是为了改进他们，让他们更有能力，并赋予个人权力真正感兴趣。这当然是我的兴趣所在。因此，其中存在风险，但也存在美好的机遇。
[00:37:57] SM: 就像许多其他新技术一样，要在它能取得的成就和它可能造成的损害之间取得平衡。
[00:38:04] BD: 我鼓励大家访问 gardproject.org。它就像开源软件中的其他一切一样。参与的人越多，我们投入到项目中的大脑就越多，监督这些系统是否被正确使用的眼睛就越多，从而知道它们有多安全或不安全，这样我们才能知道我们是否想将它们放在特定的关键角色中。我们参与其中的人越多，就不仅仅是一两个人做出他们的“专家意见”。而是一个由来自不同背景和拥有不同专业知识的庞大社区的人们参与进来。这正是我们所寻求的。我认为这将使我们在未来拥有最强大的 AI。
[00:38:45] SM: 我特别感谢这次谈话，因为在这些播客中，我们涵盖了许多其他来自人工智能机器学习的威胁，例如数据集中的歧视，或者其他有害用途和不当用途，以及像您所说的那样正常运行的系统的用途。但这增加了另一个复杂层面和另一个需要关注的政策制定层面。
[00:39:12] DB: 现在，我真的很感谢您对一个非常有价值的主题的见解，以及对您的项目的介绍。我祝愿您的项目取得巨大成功。谢谢。
[00:39:21] BD: 我了解到，今年是贵机构成立 25 周年。所以谢谢你们。祝贺你们。开源软件运动对于在全球范围内传播技术来说是一件非常重要的事情。所以也感谢你们的工作。
[00:39:37] SM: 谢谢。
[采访结束]
[00:39:38] SM: 感谢收听。感谢我们的赞助商 Google。记得在你的播客播放器上订阅以获取更多剧集。请评论和分享。这有助于更多人找到我们。访问 deepdive.opensource.org，在那里你可以找到更多剧集，了解这些问题，并且你可以捐款成为会员。会员是我们能够完成这项工作的唯一原因。如果您对本集或对 Deep Dive AI 有任何反馈，请发送电子邮件至 [email protected]。
本播客由开源促进会制作，Nicole Martinelli 协助制作，音乐由 audionautix.com 的 Jason Shaw 创作，根据 Creative Commons Attribution 4.0 International 许可。链接在剧集注释中。
[00:40:20] 播音员: 本播客中表达的观点是发言者个人的观点，不代表其雇主、他们所属的组织、他们的客户或顾客的观点。所提供的信息不是法律建议。没有任何赞助商有权或有机会批准或不批准本播客的内容。
[结束]