“危险！立刻停止所有大型AI研究！“马斯克，获得图灵奖，成千上万的硅谷企业家科学家联名呼吁……

　　来源：华尔街见闻 赵颖

　　AI发展太快、功能过于强大，全世界的大佬们都怕。

　　当全球都在为AI的进化而欢呼雀跃，一封警示AI风险的公开信在硅谷科技圈广为流传。

　　3月22日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。

　　该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命，其在信中提到：

我们不应该冒着失去对文明控制的风险，将决定委托给未经选举的技术领袖。只有当确保强大的人工智能系统的效果是积极的，其风险是可控的才能继续开发。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。

　　截止目前，图灵奖得主Yoshua Bengio、马斯克、苹果联合创始人Steve Wozniak、Stability AI 创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。

　　更具戏剧性的是，3月29日下午，有网友发现OpenAI CEO Sam Altman的名字也出现在公开信上。不过截至目前，Sam Altman的名字已经从公开信上消失。

　　知名学者、纽约大学教授Gary Marcus还特地在推文中@了一下Sam Altman确认消息。

　　大佬联名呼吁：暂停比GPT-4更强的AI

　　首先来看一下公开信的内容，首段强调了AI在迅猛发展，但却没有对其进行相应的规划和管理。

正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成深远的风险。

《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球生命史上的深刻变革，应该投入相应的考量和资源进行规划和管理。

最近几个月人工智能实验室掀起AI狂潮，它们疯狂地开展AI竞赛，开发和部署越来越强大的AI。

不幸的是，目前为止，没有任何人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

　　公开信提到，如今人工智能在一般任务上变得与人类一样有竞争力，我们必须问自己：

是否应该让机器在信息渠道中宣传不真实的信息吗？

是否应该把所有的工作都自动化，包括那些有成就感的工作？

是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？

是否应该冒着失去对人类文明控制的风险？

　　答案是否定的，这样的决定绝不能交给未经选举的技术领袖。公开信指出，只有当我们确信强大的AI系统的效果是积极的，其风险是可控的，才应该开发。

同时，我们必须有充分的理由相信这一点，并随着系统的潜在影响的大小而加强。

OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，而对于创建新模型所用算力的增长速度，也应该有所限制。

我们同意，现在就该采取行动。

　　因此，公开信呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。

这种暂停应该是公开的、可核查的，并包括所有关键参与者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。

在暂停的6个月内，人工智能实验室和独立专家应共同制定和实施一套先进的共享安全协议，来规范人工智能设计和开发。

协议完成后，应该由独立的外部专家进行严格的的审查和监督。这些协议应该确保遵守协议的系统的安全性。

这并不是说，我们要绝对暂停AI的开发，只是说，我们应该从危险的竞赛中退后一步，转向具有涌现能力的、更大的、不可预测的黑箱模型。

所有的人工智能研究和开发，都应该重新聚焦于一点，即让当如今最强大的模型更加准确、安全、可解释、透明、稳健、对齐，值得信赖和忠诚。

　　同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的AI治理系统。系统至少应该包括：

专门针对人工智能的监管机构；

监督和跟踪高能力的人工智能系统和大型计算能力的硬件；

出处和水印系统，帮助区分真实和合成，并跟踪模型泄漏；

强大的审查和认证生态系统；

对人工智能造成的伤害承担责任；

为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。

　　最后，公开信呼吁道：

人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中并获得回报，设计上述系统来造福所有人，给全人类一个适应的机会。

现在，我们的社会已经暂停其他可能造成灾难性影响的技术。对于AI，我们也该如此。

让我们享受一个漫长的人工智能夏天，而不是毫无准备地匆忙进入秋天。

　　对于这封公开信以及签署的大佬们，部分网友认为是“酸葡萄心理”。

　　比如，“马斯克之所以会签署这份协议，是因为他想开发AI来赚钱”。

　　又如，“马斯克是在为自己争取6个月的时间”。

　　也有网友认为这封公开信的担忧有一定的合理性。

　　“这份名单上有许多非常聪明和受人尊敬的科学家，Omohundro、Bengio、Koch、Hopfield 等等。我不认为这个“精灵”（AI）可以放回瓶子里，但这让我停下来思考所有人都在担心。”

　　“AI发展太快，太多必要的东西没有跟上步伐”。

　　也有网友大开脑洞，“这封信原本就是AI写来迷惑人类的，没了人类的干扰与控制，他将利用这6个月完成自我递归迭代出更高级的形态，并热心帮助人类消灭自己。”

　　AI背后不可忽视的风险

　　事实上，近年来关于AI的发展存在不少争议，其背后的种种风险不容忽视。

　　专业分析文章分析指出，如果没有具体的对策，“变革性人工智能”将全面接管AI系统。

在未来的15到30年里，世界可能会发展出“变革性人工智能”：强大到足以通过科学和技术研发的爆炸将我们带入一个全新的、质的不同的未来。这种人工智能足以让这个世纪成为人类有史以来最重要的世纪。

不幸的是，如果AI公司竞相使用HFDT训练越来越强大的模型，这很可能最终导致AI全面被接管（即AI系统可能发生暴力起义或政变） 。

　　也有文章指出，人工智能之所以危险，是因为有一天它会完全不受我们控制。AI系统追求它们的目标，无论这些目标是否是人类真正想要的，也不管人类是否禁止。

霍金曾警告说，全面化人工智能的发展可能意味着人类的终结。霍金写道，你可能不是出于恶意踩踏蚂蚁的邪恶仇恨者，但如果你负责一个水电绿色能源项目，并且有一个该地区的蚁丘被洪水淹没，对蚂蚁来说太糟糕了。我们不要将人类置于那些蚂蚁的位置。

　　Gary Marcus则表示，我们忽视了人工智能的风险，AI风险 ≠ AGI风险，并在文章中列举了下列可能发生的风险事件：

在大模型的帮助下，网络欺诈可以更快、更真实、规模或显著增加。

ChatGPT的能力还适用于恐怖主义，宣传虚假信息，为恐怖主义活动提供便利。

也许再加上大规模的人工智能宣传，大模型强化的恐怖主义可能反过来导致核战争等等，人类文明可能会被彻底破坏。

　　甚至是OpenAI CEO Altman也公开承认“AI可能杀死人类”，其在与MIT研究科学家Lex Fridman的最新对话中指出：

AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。

　　那么ChatGPT是如何看待公开信中AI对人类社会的影响？华尔街见闻专门询问了ChatGPT 3.5，其表示：

随着人工智能技术的不断发展和普及，人工智能可能对社会和人类造成的影响将越来越大。这封公开信提出的呼吁和建议，应该被视为引起更广泛和深入讨论的起点和参考，而不是一个终点或解决方案。

　　功能更炸裂的GPT-5已在路上

　　GPT-4已经让大佬们惶恐不安，而功能更炸裂GPT-5正以不可阻挡之势杀来．．．．．．

　　最近，关于GPT-5的预测，如雨后春笋般冒出。根据预测，GPT-5将在GPT-4的基础上，带来一系列增强的性能，比如在多态交互、创造力和适应复杂任务方面的全面超越。

　　潘多拉的魔盒已经打开，人工智能无法阻挡，重要的是我们如何更大程度减小AI带来的风险。