我们的使命是确保通用人工智能(通常比人类更聪明的人工智能系统)造福全人类。
如果成功创建通用人工智能,这项技术可以通过增加丰富性、涡轮增压全球经济以及帮助发现改变可能性极限的新科学知识来帮助我们提升人类水平。
AGI 有潜力为每个人带来令人难以置信的新能力;我们可以想象一个世界,我们所有人都可以帮助完成几乎所有认知任务,为人类的聪明才智和创造力提供巨大的力量倍增器。
另一方面,通用人工智能也会带来严重的误用、严重事故和社会混乱的风险。由于通用人工智能的优势如此巨大,我们认为社会不可能或不希望永远停止其发展;相反,社会和 AGI 的开发者必须找出正确的方法。A[A]
与我们之前的预期相比,我们似乎得到了很多 礼物 :例如,创建 AGI 似乎需要大量计算,因此世界会知道谁在研究它,这似乎是超级的原始概念-进化的强化学习代理相互竞争,并且以一种我们无法真正观察到的方式进化智能,这种可能性比最初看起来的要小,几乎没有人预测我们会在预训练的语言模型上取得如此大的进展,这些模型可以从集体偏好和人类产出等
AGI 可能很快或在很远的将来就会发生;从最初的通用人工智能到更强大的后继系统的起飞速度可能慢也可能快。我们许多人认为这个二乘二矩阵中最安全的象限是短时间和慢起飞速度;较短的时间线似乎更容易协调,并且由于计算负担较少而更有可能导致较慢的起飞,而较慢的起飞使我们有更多的时间凭经验找出如何解决安全问题以及如何适应。
尽管我们无法准确预测会发生什么,当然我们目前的进展可能会遇到困难,但我们可以阐明我们最关心的原则:
我们希望 AGI 能够使人类在宇宙中最大限度地繁荣发展。我们并不期望未来是一个不合格的乌托邦,但我们希望最大化好处,最小化坏处,让 AGI 成为人类的放大器。
我们希望广泛、公平地分享 AGI 的好处、使用权和治理。
我们希望成功应对巨大的风险。在面对这些风险时,我们承认,理论上看似正确的事情在实践中往往会比预期的更加奇怪。我们相信,我们必须通过部署功能较弱的技术版本来不断学习和适应,以最大限度地减少“一劳永逸”的情况
短期
我们认为现在需要做几件事来为 AGI 做好准备。
首先,当我们不断创建更强大的系统时,我们希望部署它们并获得在现实世界中操作它们的经验。我们相信,这是精心管理 AGI 的最佳方式——逐步过渡到 AGI 世界比突然过渡要好。我们期望强大的人工智能能够使世界进步的速度更快,并且我们认为最好逐步适应这一点。
渐进的过渡让人们、政策制定者和机构有时间了解正在发生的事情,亲自体验这些系统的好处和缺点,适应我们的经济,并将监管落实到位。它还允许社会和人工智能共同进化,让人们在风险相对较低的情况下集体弄清楚他们想要什么。
目前,我们认为成功应对人工智能部署挑战的最佳方法是通过快速学习和仔细迭代的紧密反馈循环。社会将面临人工智能系统可以做什么、如何消除偏见、如何应对工作岗位流失等重大问题。最佳决策将取决于技术所采取的路径,与任何新领域一样,迄今为止大多数专家的预测都是错误的。这使得真空规划变得非常困难。乙[乙]
例如,当我们第一次启动 OpenAI 时,我们并没有想到扩展会像事实证明的那么重要。当我们意识到这至关重要时,我们也意识到我们原来的结构行不通——我们根本无法筹集到足够的资金来完成我们作为非营利组织的使命——所以我们想出了一个新的 方案结构。
另一个例子,我们现在认为我们最初关于开放性的想法是错误的,并且已经从认为我们应该发布所有内容(尽管我们开源了一些东西,并期望将来开源更多令人兴奋的东西!)转向认为我们应该弄清楚如何安全地共享系统的访问权限和好处。我们仍然相信社会了解正在发生的事情的好处是巨大的,并且实现这种理解是确保所建造的东西是社会集体想要的的最佳方式(显然这里存在很多细微差别和冲突)。
一般来说,我们认为世界上更多地使用人工智能会带来好处,并希望推广它(通过将模型放入我们的 API 中、将其开源等)。我们相信,民主化的访问还将带来更多更好的研究、权力下放、更多利益以及更多人贡献新想法。
随着我们的系统越来越接近 AGI,我们对模型的创建和部署变得越来越谨慎。我们的决策需要比社会通常对新技术更加谨慎,也比许多用户希望的更加谨慎。人工智能领域的一些人认为AGI(和后继系统)的风险是虚构的;如果它们被证明是正确的,我们会很高兴,但我们将把这些风险视为 存在的风险来运作。
在某些时候,部署的优点和缺点之间的平衡(例如增强恶意行为者的能力、造成社会和经济混乱以及加速不安全的竞赛)可能会发生变化,在这种情况下,我们将显着改变我们围绕持续部署的计划。
随着我们的系统越来越接近 AGI,我们对模型的创建和部署变得越来越谨慎。
其次,我们正在努力创建日益一致和可操纵的模型。我们从 GPT-3 第一个版本等模型转向 InstructGPT 和 ChatGPT 就是一个早期的例子。
特别是,我们认为社会就人工智能的使用方式达成广泛共识非常重要,但在这些范围内,个人用户有很大的自由裁量权。我们最终的希望是世界各机构就这些宽泛的界限应该是什么达成一致;在短期内,我们计划针对外部输入进行实验。世界各地的机构需要通过额外的能力和经验来加强,以便为有关通用人工智能的复杂决策做好准备。
我们产品的“默认设置”可能会受到很大限制,但我们计划让用户轻松改变他们正在使用的人工智能的行为。我们相信赋予个人做出自己决定的权力以及想法多样性的内在力量。
随着我们的模型变得更加强大,我们将需要开发 新的对齐技术(并进行测试以了解我们当前的技术何时失败)。我们的短期计划是 使用人工智能帮助人类评估 更复杂模型的输出并监控复杂系统,而从长远来看,使用人工智能帮助我们提出更好的对齐技术的新想法。
重要的是,我们认为我们经常必须在人工智能安全和能力方面共同取得进展。分开讨论它们是错误的二分法。它们在很多方面都是相关的。我们最好的安全工作来自于与我们最有能力的模型的合作。也就是说,提高安全进步与能力进步的比率非常重要。
第三,我们希望就三个关键问题进行全球对话:如何管理这些系统,如何公平分配它们产生的利益,以及如何公平共享访问权限。
除了这三个领域之外,我们还尝试建立我们的结构,使我们的激励措施与良好的结果相一致。我们的章程中有 一个条款 帮助其他组织提高安全性,而不是在 AGI 开发的后期与他们赛跑。我们对股东可以获得的回报设定了上限,这样我们就不会受到激励去尝试无限制地获取价值,并冒险部署一些潜在灾难性危险的东西(当然,作为与社会分享利益的一种方式)。我们有一个非营利组织来管理我们,让我们为了人类的利益而运作(并且可以凌驾于任何营利性利益之上),包括让我们做一些事情,比如在安全需要时取消对股东的股权义务,以及赞助世界上最全面的全民基本收入(UBI)实验。
我们试图以一种使我们的激励措施与良好结果相一致的方式建立我们的结构。
我们认为,像我们这样的努力在发布新系统之前接受独立审计非常重要;我们将在今年晚些时候更详细地讨论这个问题。在某些时候,在开始训练未来系统之前获得独立审查可能很重要,并且对于最先进的努力来说,同意限制用于创建新模型的计算增长率。我们认为关于 AGI 工作何时应停止训练、决定模型可以安全发布或从生产使用中撤出模型的公共标准非常重要。最后,我们认为世界主要政府对一定规模以上的培训有深入的了解非常重要。
长期来看
我们认为,人类的未来应该由人类自己决定,与公众分享进步的信息很重要。应该对所有试图建立通用人工智能的努力进行严格审查,并就重大决策进行公众咨询。
第一个通用人工智能只是智能连续体中的一个点。我们认为,进展很可能会继续下去,并可能在很长一段时间内维持我们在过去十年中看到的进展速度。如果这是真的,世界可能会变得与今天截然不同,而且风险可能会非常大。一个失调的超级智能 AGI 可能会对世界造成严重伤害;一个拥有决定性的超级智能领先优势的独裁政权也可以做到这一点。
能够加速科学发展的人工智能是一个值得思考的特例,也许比其他一切都更有影响力。AGI 有能力加速自身进步,这可能会导致重大变化以惊人的速度发生(即使转变开始缓慢,我们预计它在最后阶段会很快发生)。我们认为较慢的起飞更容易确保安全,并且在关键时刻减速的 AGI 努力之间的协调可能很重要(即使在我们不需要这样做来解决技术协调问题的世界中,减速也可能是重要的)给社会足够的时间来适应很重要)。
成功过渡到一个拥有超级智能的世界也许是人类历史上最重要、最充满希望、也最可怕的项目。成功远未得到保证,而赌注(无限的负面影响和无限的正面影响)有望将我们所有人团结起来。
我们可以想象一个人类繁荣发展到我们任何人都无法完全想象的程度的世界。我们希望为世界贡献一个与这种繁荣相一致的通用人工智能。