转自：中国科学报

3月29日，生命未来研究所发布公开信（简称“暂停公开信”），呼吁立即暂停训练比GPT-4更强大的人工智能模型至少6个月，该事件迅速引起了世界范围的广泛关注与讨论。

赞成派如深度学习算法发明者之一、图灵奖得主Yoshua Bengio、特斯拉CEO Elon Musk、加州大学伯克利分校教授Stuart Russell等，署名或声援该公开信。

反对派如深度学习算法发明者之一、图灵奖得主Yann LeCun、Coursera 创始人吴恩达等，认为不应扼杀人工智能进步，所谓“暂停研发”或为“秘密研发”；甚至有激进派如Eliezer Yudkowsky认为应该直接终止人工智能开发。

这场激烈的争辩在社会上也引起轩然大波，一群发明和使用人工智能的科学家居然要反对人工智能研究和开发，这是啥操作？这公开信到底是啥意思？

“暂停公开信”的实质就是“科学家反对自己的科学研究”。如此诡异的事情，在科学史上却不是第一次。

最有名一次案例是科学家反对核武器乃至核科学研究。1945年8月6日和9日，美国对日本广岛和长崎投掷原子弹，瞬时摧毁了两个城市，造成大量人员伤亡，尤其是平民。这是人类第一次公开使用核武器攻击平民城市，由此造成的惨剧直接引发“科学家反对自己的科学研究”。随后，“核伦理”研究和争论风起云涌先后掀起了三次。

第一次热潮是传统核伦理的研究，研究范式是批判主义理论。主要代表性人物是科学家群体，如奥本海默、西拉德、弗兰克、爱因斯坦、鲍林、罗素等，代表作是《弗兰克报告》《罗素-爱因斯坦宣言》以及《维也纳宣言》等，主要观点是反对核战争、反对核武器的毁灭性和邪恶性，强调理性和道德防止核战争的重要性、科学家的责任是推进世界和平等。

第二次热潮是核威慑伦理研究，研究范式是战略威慑博弈理论。主要代表性人物是政治学学者和政治家。学者方面如加尔・阿尔佩罗维兹及其《原子外交：广岛和波茨坦》（1965年）、小约瑟夫・奈及其《核伦理学》（1986年）等，政治家如基辛格及其《核武器与对外政策》(1957年)，主要观点是基于核威慑防止核战争、保持核均势并维护核均衡、控制军备竞赛减少甚至消除核武器等。

第三次热潮是核技术使用伦理研究，研究范式是规范伦理理论。受切尔诺贝利核电站事故（1986年）和福岛核电站事故（2011年）刺激，核技术的非传统伦理问题凸显，社会公众介入核伦理，研究重点是核泄漏与环境保护、核伤害与人类权益、核实验和核医疗伦理准则、核电弃用争议、核废料处置安全等。

另外一次案例是科学家反对生物技术研究。20世纪70年代，生物技术在基因编辑和改造的突破性进展，引发了广泛的争议和担忧，尤其是宗教团队反应强烈。基因编辑技术可能导致基因池的破坏和生物多样性的减少，对生态环境造成威胁，影响人类的生存环境。

更为让人提心吊胆的是，基因编辑技术在人类胚胎等领域的应用可能改变人类生命本身，人类未来进化为天使还是恶魔，引发了剧烈的伦理争论。如何在确保技术进步的同时保护人类的尊严和价值观成为重要议题。

1975年的阿西洛马会议，有约140名以生物学家为主的专业人士参加，针对重组DNA技术讨论了其潜在的生物危害和对生物技术的监管，提出了安全使用该项技术进行实验的指导原则。会议还将科学研究纳入到公共领域进行考量，旨在将预防措施应用于公共治理。

随着基因编辑技术的持续“进化”，可遗传人类基因组编辑问题引发了更大争议。科学界对于是否应该暂停该项技术的研发和使用至今未能达成共识。社会领域不同利益相关者的参与，更使得这一问题日趋复杂，辩论从未停止。

科学界方面，2018年12月14日，《科学》在线发表了一篇题为《来自香港的警示》的社论，美国国家医学院院长【【微信】】. Dzau、美国国家科学院院长Marcia McNutt、中国科学院原院长白春礼联合署名，呼吁全球各国科学院携手努力，就基因编辑研究及临床应用所应遵循的准则达成广泛的国际共识。

前面两次“科学家反对自己的科学研究”的最终结果是催生了“核伦理”与“生物技术伦理”。这些对于现实的核科技、生物科技全球治理具有根本性的奠基作用。

我们不妨认为，“科学家反对自己的科学研究”预示着“科技全球治理的关键时刻”来临。ChatGPT及GPT-4是人工智能“深度学习技术”长期深耕的结果。那么，当“暂停公开信”再一次展示发明和使用“深度学习技术”的“科学家反对自己的科学研究”，我们认为，“人工智能全球治理的关键时刻”也来了。

随着以GPT-4为代表的大模型出现，人工智能治理已成为影响未来世界走向的关键问题。从2022年11月30日ChatGPT面向公众发布，到2023年3月15日GPT-4的推出，这一波人工智能的发展快到让人猝不及防。微软创始人之一的比尔?盖茨盛赞ChatGPT是不亚于个人计算机和互联网的发明。因为，ChatGPT的颠覆性突破在“闲聊”，解决了“盖茨问题”――人工智能是否能够理解人类高度基于“上下文”的语言交流内容。

与此同时，随着技术、人与社会的深度融合，以GPT-4技术体系为核心人工智能生成内容(AIGC)全面开花，深入人类的工作场景，如office、Adobe和GitHub的“副驾驶”(Copilot)。如此迅雷不及掩耳的规模化应用将席卷全球，相应带来的信息可信度、隐私和安全、知识产权、偏见和歧视以及对人类创造力和就业的影响，对伦理和治理实施了“极限施压”。

我们必须清楚，这种“极限施压”不是限于一行一业或一个地区一个国家，而是全球全人类的“极限施压”。因此，人工智能伦理与治理也不能限于一行一业或一个地区一个国家，而是面向全球全人类。也就是说，“人工智能全球治理的关键时刻”已来，我们需要全球性的关于人工智能科学研究、技术研发、产业开发和布置使用的伦理思路、治理框架和安全系统，这对于确保人工智能技术的可持续发展和人类福祉至关重要。

“科技全球治理框架”肯定不是学院科学或产业科学的治理框架。传统科学是“学院科学”，“暂停公开信”签名的科学家首先具备某种比较纯正的科学情怀，如爱因斯坦对科学的态度。签名的科学家中以深度学习算法发明者之一、图灵奖得主、加拿大蒙特利尔大学Yoshua Bengio教授为代表。反对或质疑“暂停公开信”的科学家多是企业性质的人员，如深度学习算法发明者之一、图灵奖得主Yann LeCun是Meta的首席人工智能科学家。

此类科学家从事的科学研究属于“后学院科学”中的产业科学，其科学研究的目标不再以发现科学知识为首要目标，而是为了满足商业上的需求而进行基础研究和应用开发。当前人工智能处于第三次高潮，事实表明，企业逐渐替代大学和实验室成为人工智能发展的主力军，如Google有AlphaGo、AlphaZero、AlphaFold序列、OpenAI有GPT序列。

“科技全球治理框架”至少是一种“大科学”治理框架。大科学(Big Science)起源于二战的曼哈顿工程，国家主动出场推动高科技发展和经济发展，科技发展的首要目的是满足国家发展的需要。“暂停公开信”中争论的问题――暂停训练比GPT-4更强大的人工智能模型至少6个月，在学院科学中难以实现，在产业科学中绝无可能。

在浙江大学人工智能专业核心课《人工智能伦理与安全》课堂上，大多数同学认为“暂停公开信”不可行，且没人认为可行。竺可桢学院图灵班的张梓昂同学认为至少有三个原因，任何一个就能导致暂停不可行。

首先，技术上无法停止。深度学习的几次大火和熄火，都经历了“新的网络结构提出-算力堆叠和扩展-堆叠的边际效益递减”的循环。线性层堆叠到极限后，卷积层的提出扩展了深度学习的层数；当卷积层的堆叠不再变得有效时，Transformer注意力机制被发掘出来，用更少的假设，学习到了数据之间更多的关联。现在的关键在于，基于Transformer注意力机制的GPT模型序列或其他大模型尚处于早期，远未触及天花板，继续堆叠算力和数据发掘其潜力的空间很大。

其次，全球经济下行周期导致暂停不可行。尤其是大疫三年，叠加俄乌冲突一年，人们急需新的经济增长点。GPT模型的增长逻辑很简单，而且预期客观，有望成为经济增长点。因为，GPT模型在最基础的理论上没有什么瓶颈，目前存在的限制只有算力和数据。而这两者恰恰是大规模新基建投资拉动经济增长的抓手。算力技术都是成熟的，投资拉动经济就是投建更多芯片厂、制造更多显卡。

数据方面，除了各大社交平台的搜集和挖掘的数据，商业上还可以采取众包方式，即雇佣大量廉价的数据标注工进行数据清洗和产出。政策上也可以通过培育数据交易市场激活市场活力。

第三，竞争导致暂停不可行。ChatGPT已经证明预训练大模型这条路径是可行的。后来者，无论是企业还是国家，相比于第一次研发出ChatGPT的周期，只要注入足够的资源可以很快仿制出类似产品。参考ChatGPT到GPT-4的进步速度，OpenAI等公司的先发优势几乎肯定是在几个月间就荡然无存。因此，暂停研究6个月，网络评论多数认为是痴人梦语。难怪有人调侃马斯克是吃不到葡萄说葡萄酸。

既然在学院科学和产业科学方面，“暂停公开信”是不可行的，那么，“大科学”的“科技全球治理框架”是否可行？这指的是，国家或政府介入是否还有暂停的可能性？回顾历史，我们认为，这也是不可行的。

当年，曼哈顿工程共制造出三颗原子弹，一颗用于验证实验，另外两个怎么用就产生了争议。当初，包括爱因斯坦在内的科学家联名上书美国政府研究和制造原子弹，那是为了防止德国更早制造出原子弹从而导致灾难性后果。然而，当原子弹试验成功后，其颠覆性的威力使得科学家意识到核武器的毁灭性，佛兰克等7名科学家于1945年6月11日联名签署的《佛兰克报告》明确反对使用原子弹，否则将带来一系列的人类灾难。然而，尽管德国已经战败，日本战败也是指日可待，该报告还是被美国政府否决，最终还是对广岛和长崎实施原子弹攻击。

同理类推，指望一国政府在“人工智能全球治理框架”中“暂停比GPT-4更强大的人工智能研发”也是不可行的。

尽管有诸般悲观理由，但也并不意味着在人工智能全球治理问题上，人类只能束手无措、坐以待毙。我们认为，在中国提出全球发展倡议、全球安全倡议和全球文明倡议的基础上，构建一套顶天立地的“天地人”三才框架还是非常现实的。首先，积聚“人和”，即可以由国际间组织牵头召集各方专家磋商，针对人工智能及其他前沿科技，共同制定和实施一套全人类共享的安全协议；其次，构建“天时”，即可以借鉴中国在核伦理领域的治理经验，设置人工智能伦理的顶格要求，为人工智能全球治理提供最大的共识框架；最后，夯实“地利”，即可以借鉴生物技术伦理，加强人工智能伦理和治理全球磋商，以及制定法律法规，预防和惩戒滥用人工智能的行为。

（作者潘恩荣系浙江大学马克思主义理论创新与传播研究中心研究员，辛华钰系浙江大学马克思主义学院博士研究生）