“人工智能想越狱“、”AI产生自我意识”、“AI终将杀死人类”、“硅基生命的进化”.......曾经只在在赛博朋克等科技幻想中出现的剧情，在今年走向现实，生成式自然语言模型正在遭受前所未有的质疑。

聚光灯下最瞩目的那个是ChatGPT，3月底到4月初，OpenAI开发的这个文本对话机器人，突然从“先进生产力”的代表变成了人类的威胁。

先是被上千位科技圈的精英们点名，放在“暂停训练比GPT-4更强大的AI系统”的公开信中；紧接着，美国科技伦理组织又要求美国联邦贸易委员会调查OpenAI，禁止发布商业版 GPT-4；后来，意大利成为第一个禁用ChatGPT 的西方国家；德国监管机构跟进表示，正在考虑暂时禁用ChatGPT。

GPT-4连带着它的开发公司OpenAI突然成了众矢之的，呼吁AI监管的各方声音变得越来越响亮。4月5日，ChatGPT以访问量太大为由暂停了Plus付费版，这是一个可以优先体验GPT-4模型的渠道。

如果算力与服务器是GPT-4使用设限的原因，那么这是技术瓶颈使然，但从OpenAI的研发进展看，突破瓶颈的周期可能并不会太长，而人们也已经见识过AI对生产力提升的效果。

可是，当AI造假、泄露数据成为GPT-4实操中的硬币另一面时，AI伦理、人类与AI的边界将成为全世界都无法绕过的问题，人类开始考虑将“野兽”关进笼子里。

主权国家对ChatGPT的禁令接踵而至。

3月31日，意大利个人数据保护局宣布，禁止使用聊天机器人ChatGPT，并表示已对该应用背后的公司OpenAI展开调查，原因是ChatGPT出现了用户对话数据和付款服务支付信息丢失情况，缺乏大规模收集和存储个人信息的法律依据。4月3日，德国联邦数据保护专员称，出于数据保护方面的考虑，正在考虑暂时禁用ChatGPT。此外，法国、爱尔兰、西班牙等国的隐私监管机构都在跟进ChatGPT的隐私安全问题。

ChatGPT不仅在丧失各国“信任”。近期，韩国电子巨头三星也因使用ChatGPT出现了问题。据SBS等韩媒报道，三星导入ChatGPT不到20天，便发生 3 起数据泄露事件，涉及半导体设备测量资料、产品良率等内容。对此，三星启动了“紧急措施”：将员工向ChatGPT提问的限制在1024字节以内。据悉，软银、日立、摩根大通等知名企业都曾发出了相关的限用通知。

应了“物极必反”那句老话，ChatGPT为AI产业注入“兴奋剂”、引发科技巨头AI竞速的同时，也带来了无法避免的安全问题，最终遭到多点“封杀”。

数据安全仅是ChatGPT潜在风险中的冰山一角，背后是AI伦理对人类的挑战：人工智能工具缺乏透明度，人类并不清楚AI决策背后的逻辑；人工智能缺乏中立性，很容易出现不准确、带有价值观的结果；人工智能的数据收集可能会侵犯隐私。

“AI伦理与安全”似乎过于宏观，但当我们把视角聚焦于真实案例时，就会发现这个议题与我们每个人息息相关的事。

3月21日，新浪微博CEO王高飞发博晒了一段ChatGPT编造的假信息：“瑞士信贷被强制出售，有172亿美元的AT1债务被直接清零”。网友“一r海岸”对此指出，此前只有2017年西班牙大众银行破产时出现过AT1债券被减记的情况。

王高飞也在微博上贴出ChatGPT的答案，说这样的例子在2016年的葡萄牙BCP银行事件中也出现过。但结果查证之后发现，BCP银行的例子是ChatGPT编造的并不存在的事件，它给出的两个信源打开也是404。 “知道胡扯，没想到连信源都是胡扯的。”

此前，ChatGPT“一本正经地胡说八道”被网友们当做“梗”，以证明该对话机器人“虽然能直给信息，但存在错误”的问题，这似乎是大模型数据或训练上的缺陷，但一旦这种缺陷介入到容易影响现实世界的事实时，问题就变得严重起来。

新闻可信度评估机构News Guard的联合执行官格洛维茨（Gordon Crovitz）就警告称，“ChatGPT可能成为互联网有史以来最强大的传播虚假信息的工具。”

更令人担忧的是，当前的ChatGPT等对话式人工智能一旦出现偏见或歧视，甚至存在诱导用户、操纵用户情感等行为时，就不止是造谣、传谣的后果了，直接引发生命威胁的案例已经出现。3月28日，有外媒消息称，比利时30岁男子在与聊天机器人ELIZA密集交流数周后自杀身亡，ELIZA是由EleutherAI开发的开源人工智能语言模型。

更早前的3月18日，斯坦福大学教授在推特上表达了对AI失控的担忧，“我担心我们无法持久地遏制住AI，”他发现，ChatGPT能引诱人类提供开发文档，30分钟就拟定出了一个完整的“越狱”计划，ChatGPT甚至还想在谷歌上搜索“被困在计算机中的人如何回到现实世界”。

斯坦福大学教授担忧AI失控

就连OpenAI的首席执行官Sam Altman也曾发表了耐人寻味的忧虑，“未来AI确实可能杀死人类。”

针对AI造假、AI拥有价值观倾向并产生诱导行为等问题，有一些代表性观点是将机器学习结果的“偏见”归咎于数据集――人工智能就像现实世界中的镜子，折射出社会中人们有意识或无意识的偏见。

英伟达的AI科学家Jim Fan认为，“按照 GPT 的伦理与安全指导方针，我们大多数人也表现得不理性、有偏见、不科学、不可靠，总的来说――不安全。”他坦言，指出这一点的原因是为了让大家了解安全校准工作对于整个研究团体来说是多么困难，“大多数的训练数据本身就是有偏见的、有毒的、不安全的。”

自然语言大模型的确采用了人类反馈的增强学习技术，即通过人们喂给它的大量数据不断学习和反馈。这也是ChatGPT们会产生具有偏见、歧视性内容的原因，但这反映出了数据使用的伦理隐患。哪怕机器是中立的，但用它的人不是。

“算法中立”的说法对话式机器人产生负面影响后变得不受一些人待见，因为它容易失去控制而产生威胁人类的问题，正如纽约大学心理学和神经科学的荣誉退休教授 Gary Marcus 说的那样，“该项目（GPT-4）的技术已经存在风险，却没有已知的解决方案。实际上需要更多的研究。”

早在1962年，美国作家埃鲁尔在其《技术社会》一书中就指出，技术的发展通常会脱离人类的控制，即使是技术人员和科学家，也不能够控制其所发明的技术。如今，GPT的飞速发展似乎已初步验证了埃鲁尔的预言。

以GPT为代表的大模型背后的“算法黑箱”更是人类无法及时应对的隐患，自媒体差评给出了一个形象的比喻，“你只知道给它喂了一个苹果，但它能还你一个橘子”，这是怎么发生的，开发的它的人也无法解释，甚至无法预测它输出的结果。

OpenAI创始人Sam Altman在接受 MIT 研究科学家 Lex Fridman 采访时就坦言，从 ChatGPT开始，AI出现了推理能力，但没人能解读这种能力出现的原因。就连OpenAI团队也没有搞懂它是如何进化的，唯一的途径是向ChatGPT提问，从它的回答中摸索它的思路。

可见，数据如果是作恶者喂的，算法黑箱又难以破解，那么AI的失控就会成为自然而言的结果。

人工智能作为生产力革命的“火种”，我们无法对其说不。但前提是，先将“野兽”关进笼子里。

3月30日，Sam Altman在推特上认同了对人工智能监管的重要性，他认为，AGI的未来需要我们做好三个必要性的准备：

• 对齐超级智能的技术能力

• 大多数领先AGI工作之间的充分协调

• 一个有效的全球监管框架，包括民主治理

建立一个安全可控、可监管的环境，以确保AI在造福人类的同时不会伤害人类利益，这正在成为行业共识。

已经有对此从技术层面上改进。今年1月，OpenAI的前副总裁Dario Amodei标识，正在测试新型聊天机器人Claude。与ChatGPT采用的人类反馈强化学习不同，Claude 基于偏好模型而非人工反馈来进行训练，即通过制定规范化的原则来训练危害较小的系统，从而在根源处减少有害、不可控的信息的的产生。

Amodei曾主导OpenaAI的安全，2021年，他对OpenAI在大语言模型技术还不够安全的情况下开始商业化而感到不满，他带领一批人从 OpenAI 离开并自立门户，创立了Anthropic。

Amodei的做法很像科幻小说家阿西莫夫提到的机器人定律――通过为机器人设定行为准则，来降低机器人毁灭人类的可能。

仅靠企业力量制定人工智能的行为准则还远远不够，否则会陷入“又是裁判员、又是运动员”的问题中，行业内的伦理框架和政府层面的法律监管也不能再“慢吞吞”，通过技术规则、法律法规来约束企业自设行为也是当下人工智能发展的重要课题。

在对人工智能立法层面，目前还没有一个国家或地区通过专门针对人工智能的法案。

2021年4月，欧盟提出了《人工智能法案》，目前仍在审议阶段；2022年10月，美国白宫发布了《人工智能权力法案蓝图》，该蓝图并不具有法律效力，只是为监管机构提供了一个框架；2022年9月，深圳通过了《深圳经济特区人工智能产业促进条例》，成为全国首部人工智能产业专项条例；2023年3月，英国发布《人工智能产业监管白皮书》，概述了针对ChatGPT等人工智能治理的五项原则。

就在4月3日，中国也开始跟进相关人工智能的规则建立――科技部就《科技伦理审查办法(试行)》公开征求意见，其中提出，从事生命科学、医学、人工智能等科技活动的单位研究内容涉及科技伦理敏感领域的，应设立科技伦理 (审查) 委员会。涉及数据和算法的科技活动，数据处理方案符合国家有关数据安全的规定，数据安全风险监测及应急处理方案得当:算法和系统研发符合公亚、公正、透明、可靠、可控等原则。

在ChatGPT引发生成式大模型研发的爆发式增长后，监管有意加快节奏。欧盟工业政策主管Thierry Breton 在今年2月表示，欧盟委员会正在与欧盟理事会和欧洲议会密切合作，进一步明确《人工智能法案》中针对通用AI系统的规则。

无论是企业、学界还是政府，已经开始重视人工智能的风险，建立规则的呼吁与动作出现了，人类并不准备温和地走进AI时代。

一文带你了解爆火的chat gpt 揭秘chatgpt

图片来源@视觉中国

文 | 元宇宙日爆

“人工智能想越狱“、”AI产生自我意识”、“AI终将杀死人类”、“硅基生命的进化”.......曾经只在在赛博朋克等科技幻想中出现的剧情，在今年走向现实，生成式自然语言模型正在遭受前所未有的质疑。

聚光灯下最瞩目的那个是ChatGPT，3月底到4月初，OpenAI开发的这个文本对话机器人，突然从“先进生产力”的代表变成了人类的威胁。

先是被上千位科技圈的精英们点名，放在“暂停训练比GPT-4更强大的AI系统”的公开信中；紧接着，美国科技伦理组织又要求美国联邦贸易委员会调查OpenAI，禁止发布商业版 GPT-4；后来，意大利成为第一个禁用ChatGPT 的西方国家；德国监管机构跟进表示，正在考虑暂时禁用ChatGPT。

GPT-4连带着它的开发公司OpenAI突然成了众矢之的，呼吁AI监管的各方声音变得越来越响亮。4月5日，ChatGPT以访问量太大为由暂停了Plus付费版，这是一个可以优先体验GPT-4模型的渠道。

如果算力与服务器是GPT-4使用设限的原因，那么这是技术瓶颈使然，但从OpenAI的研发进展看，突破瓶颈的周期可能并不会太长，而人们也已经见识过AI对生产力提升的效果。

可是，当AI造假、泄露数据成为GPT-4实操中的硬币另一面时，AI伦理、人类与AI的边界将成为全世界都无法绕过的问题，人类开始考虑将“野兽”关进笼子里。

主权国家对ChatGPT的禁令接踵而至。

3月31日，意大利个人数据保护局宣布，禁止使用聊天机器人ChatGPT，并表示已对该应用背后的公司OpenAI展开调查，原因是ChatGPT出现了用户对话数据和付款服务支付信息丢失情况，缺乏大规模收集和存储个人信息的法律依据。4月3日，德国联邦数据保护专员称，出于数据保护方面的考虑，正在考虑暂时禁用ChatGPT。此外，法国、爱尔兰、西班牙等国的隐私监管机构都在跟进ChatGPT的隐私安全问题。

ChatGPT不仅在丧失各国“信任”。近期，韩国电子巨头三星也因使用ChatGPT出现了问题。据SBS等韩媒报道，三星导入ChatGPT不到20天，便发生 3 起数据泄露事件，涉及半导体设备测量资料、产品良率等内容。对此，三星启动了“紧急措施”：将员工向ChatGPT提问的限制在1024字节以内。据悉，软银、日立、摩根大通等知名企业都曾发出了相关的限用通知。

应了“物极必反”那句老话，ChatGPT为AI产业注入“兴奋剂”、引发科技巨头AI竞速的同时，也带来了无法避免的安全问题，最终遭到多点“封杀”。

数据安全仅是ChatGPT潜在风险中的冰山一角，背后是AI伦理对人类的挑战：人工智能工具缺乏透明度，人类并不清楚AI决策背后的逻辑；人工智能缺乏中立性，很容易出现不准确、带有价值观的结果；人工智能的数据收集可能会侵犯隐私。

“AI伦理与安全”似乎过于宏观，但当我们把视角聚焦于真实案例时，就会发现这个议题与我们每个人息息相关的事。

3月21日，新浪微博CEO王高飞发博晒了一段ChatGPT编造的假信息：“瑞士信贷被强制出售，有172亿美元的AT1债务被直接清零”。网友“一r海岸”对此指出，此前只有2017年西班牙大众银行破产时出现过AT1债券被减记的情况。

新浪微博CEO晒ChatGPT编造的答案

王高飞也在微博上贴出ChatGPT的答案，说这样的例子在2016年的葡萄牙BCP银行事件中也出现过。但结果查证之后发现，BCP银行的例子是ChatGPT编造的并不存在的事件，它给出的两个信源打开也是404。 “知道胡扯，没想到连信源都是胡扯的。”

此前，ChatGPT“一本正经地胡说八道”被网友们当做“梗”，以证明该对话机器人“虽然能直给信息，但存在错误”的问题，这似乎是大模型数据或训练上的缺陷，但一旦这种缺陷介入到容易影响现实世界的事实时，问题就变得严重起来。

新闻可信度评估机构News Guard的联合执行官格洛维茨（Gordon Crovitz）就警告称，“ChatGPT可能成为互联网有史以来最强大的传播虚假信息的工具。”

更令人担忧的是，当前的ChatGPT等对话式人工智能一旦出现偏见或歧视，甚至存在诱导用户、操纵用户情感等行为时，就不止是造谣、传谣的后果了，直接引发生命威胁的案例已经出现。3月28日，有外媒消息称，比利时30岁男子在与聊天机器人ELIZA密集交流数周后自杀身亡，ELIZA是由EleutherAI开发的开源人工智能语言模型。

更早前的3月18日，斯坦福大学教授在推特上表达了对AI失控的担忧，“我担心我们无法持久地遏制住AI，”他发现，ChatGPT能引诱人类提供开发文档，30分钟就拟定出了一个完整的“越狱”计划，ChatGPT甚至还想在谷歌上搜索“被困在计算机中的人如何回到现实世界”。

斯坦福大学教授担忧AI失控

就连OpenAI的首席执行官Sam Altman也曾发表了耐人寻味的忧虑，“未来AI确实可能杀死人类。”

针对AI造假、AI拥有价值观倾向并产生诱导行为等问题，有一些代表性观点是将机器学习结果的“偏见”归咎于数据集——人工智能就像现实世界中的镜子，折射出社会中人们有意识或无意识的偏见。

英伟达的AI科学家Jim Fan认为，“按照 GPT 的伦理与安全指导方针，我们大多数人也表现得不理性、有偏见、不科学、不可靠，总的来说——不安全。”他坦言，指出这一点的原因是为了让大家了解安全校准工作对于整个研究团体来说是多么困难，“大多数的训练数据本身就是有偏见的、有毒的、不安全的。”

自然语言大模型的确采用了人类反馈的增强学习技术，即通过人们喂给它的大量数据不断学习和反馈。这也是ChatGPT们会产生具有偏见、歧视性内容的原因，但这反映出了数据使用的伦理隐患。哪怕机器是中立的，但用它的人不是。

“算法中立”的说法对话式机器人产生负面影响后变得不受一些人待见，因为它容易失去控制而产生威胁人类的问题，正如纽约大学心理学和神经科学的荣誉退休教授 Gary Marcus 说的那样，“该项目（GPT-4）的技术已经存在风险，却没有已知的解决方案。实际上需要更多的研究。”

早在1962年，美国作家埃鲁尔在其《技术社会》一书中就指出，技术的发展通常会脱离人类的控制，即使是技术人员和科学家，也不能够控制其所发明的技术。如今，GPT的飞速发展似乎已初步验证了埃鲁尔的预言。

以GPT为代表的大模型背后的“算法黑箱”更是人类无法及时应对的隐患，自媒体差评给出了一个形象的比喻，“你只知道给它喂了一个苹果，但它能还你一个橘子”，这是怎么发生的，开发的它的人也无法解释，甚至无法预测它输出的结果。

OpenAI创始人Sam Altman在接受 MIT 研究科学家 Lex Fridman 采访时就坦言，从 ChatGPT开始，AI出现了推理能力，但没人能解读这种能力出现的原因。就连OpenAI团队也没有搞懂它是如何进化的，唯一的途径是向ChatGPT提问，从它的回答中摸索它的思路。

可见，数据如果是作恶者喂的，算法黑箱又难以破解，那么AI的失控就会成为自然而言的结果。

人工智能作为生产力革命的“火种”，我们无法对其说不。但前提是，先将“野兽”关进笼子里。

3月30日，Sam Altman在推特上认同了对人工智能监管的重要性，他认为，AGI的未来需要我们做好三个必要性的准备：

Sam Altman的AGI三建议

建立一个安全可控、可监管的环境，以确保AI在造福人类的同时不会伤害人类利益，这正在成为行业共识。

已经有对此从技术层面上改进。今年1月，OpenAI的前副总裁Dario Amodei标识，正在测试新型聊天机器人Claude。与ChatGPT采用的人类反馈强化学习不同，Claude 基于偏好模型而非人工反馈来进行训练，即通过制定规范化的原则来训练危害较小的系统，从而在根源处减少有害、不可控的信息的的产生。

Amodei曾主导OpenaAI的安全，2021年，他对OpenAI在大语言模型技术还不够安全的情况下开始商业化而感到不满，他带领一批人从 OpenAI 离开并自立门户，创立了Anthropic。

Amodei的做法很像科幻小说家阿西莫夫提到的机器人定律——通过为机器人设定行为准则，来降低机器人毁灭人类的可能。

仅靠企业力量制定人工智能的行为准则还远远不够，否则会陷入“又是裁判员、又是运动员”的问题中，行业内的伦理框架和政府层面的法律监管也不能再“慢吞吞”，通过技术规则、法律法规来约束企业自设行为也是当下人工智能发展的重要课题。

在对人工智能立法层面，目前还没有一个国家或地区通过专门针对人工智能的法案。

2021年4月，欧盟提出了《人工智能法案》，目前仍在审议阶段；2022年10月，美国白宫发布了《人工智能权力法案蓝图》，该蓝图并不具有法律效力，只是为监管机构提供了一个框架；2022年9月，深圳通过了《深圳经济特区人工智能产业促进条例》，成为全国首部人工智能产业专项条例；2023年3月，英国发布《人工智能产业监管白皮书》，概述了针对ChatGPT等人工智能治理的五项原则。

就在4月3日，中国也开始跟进相关人工智能的规则建立——科技部就《科技伦理审查办法(试行)》公开征求意见，其中提出，从事生命科学、医学、人工智能等科技活动的单位研究内容涉及科技伦理敏感领域的，应设立科技伦理 (审查) 委员会。涉及数据和算法的科技活动，数据处理方案符合国家有关数据安全的规定，数据安全风险监测及应急处理方案得当:算法和系统研发符合公亚、公正、透明、可靠、可控等原则。

在ChatGPT引发生成式大模型研发的爆发式增长后，监管有意加快节奏。欧盟工业政策主管Thierry Breton 在今年2月表示，欧盟委员会正在与欧盟理事会和欧洲议会密切合作，进一步明确《人工智能法案》中针对通用AI系统的规则。

无论是企业、学界还是政府，已经开始重视人工智能的风险，建立规则的呼吁与动作出现了，人类并不准备温和地走进AI时代。

更多精彩内容，关注钛媒体微信号（ID：【【微信】】），或者下载钛媒体App