环球播报：“把实验停下来！”马斯克等超1000人签署公开信：所有实验室，立即暂停训练比GPT-4更强大的AI
当全社会都在为AI的进化而欢呼雀跃时，多位科技领袖也表达了深切担忧。
(资料图)
据生命未来研究所官网，3月22日，生命未来研究所(Future of Life)向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命。
信中写道“只有在我们确信它们的效果是积极的，风险是可控的情况下，才应该开发强大的人工智能系统。”马斯克此前曾多次表达对人工智能的担忧，认为人工智能是未来人类文明最大的风险之一，威胁程度远高于车祸、飞机失事、毒品泛滥等甚至比核武器都危险得多。
截至目前，马斯克、苹果联合创始人Ste【【微信】】、Stability AI创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。
值得一提的是，OpenAI CEO奥特曼在与MIT研究科学家Lex Fridman的最新对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。
“加快开发强大的AI治理系统”
未来生命研究所的这封公开信题为“暂停巨型AI实验：一封公开信”，于29日解封。
以下是公开信原文：
正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球上生命历史的深刻变革，应该以相应的谨慎和资源进行规划和管理。然而，尽管最近几个月人工智能实验室掀起AI狂潮，开发和部署越来越强大的数字大脑，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。
现在，人工智能在一般任务上变得与人类有竞争力，我们必须问自己：我们应该让机器在信息渠道中宣传不真实的信息吗？我们是否应该把所有的工作都自动化，包括那些有成就感的工作？我们是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？我们是否应该冒着失去对我们文明控制的风险？这样的决定绝不能委托给未经选举的技术领袖。只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。同时，这种信心必须得到验证，并随着系统的潜在影响的大小而加强。OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，对于最先进的努力，同意限制用于创建新模型的计算增长速度。我们同意，现在就该采取行动。
因此，我们呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。
人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些协议应该确保遵守协议的系统是安全的。值得一提的是，这并不意味着暂停一般的人工智能开发，只是从危险的竞赛中退后一步，限制不可预测的研究和开发。
人工智能的研究和开发应该重新聚焦于，使目前最先进和强大的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。
同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些至少应该包括：专门针对人工智能的监管机构；监督和跟踪高能力的人工智能系统和大型计算能力的硬件；出处和水印系统帮助区分真实和合成，并跟踪模型泄漏；强大的审查和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。
人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中获得回报，为所有人的明确利益设计这些系统，并给社会一个适应的机会。停止使用其他技术可能会对社会造成灾难性影响，因此我们必须保持准备状态。让我们享受一个漫长的人工智能夏天，而不是匆忙进入秋天。
截至发稿，这封信已有1127名科技领袖和研究人员签名，除了马斯克、辛顿和马库斯之外，还包括图灵奖得主约书亚・本希奥(Yoshua Bengio)、《人工智能：现代方法》作者斯图尔特・罗素(Stuart Russell)、苹果公司联合创始人史蒂夫・沃兹尼亚克(Ste【【微信】】)、Stability AI首席执行官埃马德・莫斯塔克(Emad Mostaque)等科技界领袖人物。
OpenAI CEO:“AI确实可能杀死人类”
据澎湃新闻3月28日报道，OpenAI CEO山姆・奥特曼称，并不否认过分强大的AGI“可能杀死人类”这一观点。必须承认，(AI杀死人类)有一定可能性。很多关于AI安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。
值得注意的是，据财联社报道，近日，挪威机器人公司1X Technologies宣布完成A2轮融资，共筹集到2350万美元。OpenAI旗下创业基金领投此轮融资，Tiger Global以及一群挪威投资者也参与其中。
获得融资后，该公司创始人进一步表示，“1X很高兴能得到OpenAI的领投，因为我们的使命是一致的：将新兴技术有意识地融入人们的日常生活。在我们投资者的支持下，我们将继续在机器人领域取得重大进展，并增强全球劳动力市场。”
值得注意的是，人形机器人也是马斯克十分关注的方向。去年9月30日举办的特斯拉AI日上，马斯克展示了外界引颈期盼的人形机器人Optimus，马斯克曾表示，机器人业务将比汽车更具价值。
彼时，马斯克在发布会上表示，目前的人形机器人没有“大脑”，没有能在现实世界中导航的智能，而且非常昂贵且产量低。如今，OpenAI与人形机器人的牵手则让人期待。
高盛：全球将有三亿人失业
据红星新闻报道，ChatGPT迭代升级的脚步加快，很多人失业的恐惧也越来越重。高盛分析师布里格斯和库达尼在3月27日发布的研究报告中就直面了这一问题。
报告称：“最近出现的生成式人工智能将降低劳动力成本和提高生产率。尽管AI的潜力存在很大的不确定性，但它可以生成与人类创造成果无法区分的内容，并能打破人机沟通障碍，反映出具有潜在巨大宏观经济影响的重大进步。AI不仅节省劳动力成本，还能创造新的就业机会以及提高在岗工人的生产率。AI的革命性就像早期通用技术(如发电机和个人计算机)一样能为社会带来繁荣。”
ChatGPT等生成式人工智能系统的最新突破，料将给全球劳动力市场带来重大颠覆，全球预计将有3亿个工作岗位被生成式AI取代，律师和行政人员将是最有可能被裁员的岗位。
高盛研究发现，目前欧美约有三分之二的工作岗位都在某种程度上受到AI自动化趋势的影响，而多达四分之一的当前岗位有可能最终被完全取代。该研究计算出美国63%的工作暴露在“AI影响范围”中，其中7%的工作有一半以上的流程可以由AI自动化完成，这使他们很容易马上被人工智能取代。在欧洲，情况也差不多。
据21财经，作为一种具备生产创造能力的智能形态，以ChatGPT为代表的AI近年来展现出令人瞩目的文字、图像、声音的生成或辅助生成能力，也不断刷新着人们对于AI最终取代绝大部分人类工作的担忧。
更为关键的是，当前的AIGC(人工智能生成内容)无需工资，亦不存在失业的概念，作为提供生产力的经济单位，其与宏观经济间的逻辑关系较人类发生了根本性改变，而这或许将给经济环境带来难以估量的影响。
每日经济新闻综合生命未来研究所、澎湃新闻、财联社、21财经、红星新闻
（文章来源：每日经济新闻）
独家责任｜对话中科大教授陈小平：ChatGPT等人工智能前景怎样，何时大面积应用？
26岁中科大教授简介,中科大副教授,中科大客座教授,中科大教授治校独家责任｜对话中科大教授陈小平：ChatGPT等人工智能前景怎样，何时大面积应用？
仅一张草图，ChatGPT就能生成一个网站代码；10秒钟画出一幅符合要求的插画；它被用来写论文、做表格、甚至还可以写小说……
近期，ChatGPT火爆网络，3月16日，百度文心一言发布会的召开，更是将生成式人工智能推向舆论高潮，网友们在看到ChatGPT的强大功能后，也引发了无限遐想，“自己未来会不会失业？”“ChatGPT是否会掀起第三次科技革命？”
科技部部长王志刚在不同的场合两次提到了智能聊天工具ChatGPT，2月24日，国新办举行“权威部门话开局”系列主题新闻发布会，科技部高新技术司司长陈家昌提出，下一步，科技部将把人工智能作为战略性新兴产业，作为新增长引擎，继续给予大力支持。
ChatGPT（Chat Generati【【微信】】rmer）是由美国人工智能研究实验室OpenAI推出的一款人工智能聊天机器人。作为一个大型语言模型，ChatGPT有效结合了大数据、大算力、强算法，拥有较强的语言理解和文本生成能力。
那么智能聊天工具的发展前景如何？它会带来哪些方面的变革？以及如何应对它可能带来的风险？正观新闻记者联系到中国科技大学教授、中国人工智能学会人工智能伦理与治理工委会主任陈小平，针对生成式人工智能的诸多话题进行专访。
陈小平博士现任中国科学技术大学教授，国际顶级期刊JAIR和KER编委，中国RoboCup委员会主席，2008和2015RoboCup机器人世界杯及学术大会主席，2015世界人工智能联合大会机器人系列主席。创建并领导中国科大机器人实验室，取得智能机器人和多Agent系统系列化创新成果，先后获得10项世界冠军。
陈小平 受访者供图
谈现状：5~10年完全有可能真正实现大面积应用
正观新闻：当前，人工智能发展处在一个什么样的阶段？
陈小平：2017年阿尔法狗第四代就已经通过实验证明，它远远超过人类所有现役的围棋高手。但当时可能很多人都不太重视这件事，认为只限于下围棋，现在事实证明这一判断是不符合事实。
前几年我在很多场合都提出我的判断：预测在10~15年内就会实现人工智能的大面积应用，其中对我国最重要的应用领域是制造业和实体经济。过去的5年，虽然人工智能还没有实现大面积应用，但是已经出现了具有大面积应用潜力的人工智能。事实上，这是一个很紧迫的形势。
但是就当前生成式人工智能的发展状况来说，通过什么方式、在哪些行业实现大面积应用，会带来什么样的后果，仍存在很大的不确定性。
目前人工智能发展很快，实际情况是学术界、产业界、社会各界都没做好准备，没做好准备的原因在于大家没预期发展这么快。当前在我们没做好准备的情况下，我觉得最重要是要避免两个极端，我们既不能恐慌，也不能掉以轻心。
我的预测延续到现在这个时间点，最快就是5年内就可能大面积应用，生成式人工智能会带来很多新的治理挑战，我们现在一定要做好相关的工作，除了研发以外，伦理治理一定要提上议事日程。伦理治理不只是学术界、产业界的事情，而是涉及社会各界，包括政府和行业管理机构，与大家息息相关。
谈特性：GPT为何如此智能？
正观新闻：GPT-4有什么特点？
陈小平：GPT-4是以大模型为核心的生成式人工智能的一个代表。简单来说，目前生成式人工智能分成上层和底层两个层次，而底层的核心是预训练模型。如同大楼的地基加上大楼的基础设施，预训练模型在生成式人工智能中起类似的作用。
预训练模型是用原始文本进行训练的，原始文本指的就是直接从网络上下载的，没有经过人工标注的内容。有人估计GPT-3的训练文本的总量占互联网文本总量的1/3～2/3。预训练模型使用这么多的文本，做的最重要最基础工作，就是从原始文本自动抽取文字之间的关联度。比如“我”和“们”之间的关联度很高，“我”和“门”之间的关联度很低。不仅抽取相邻文字之间的关联度，而且抽取远距离文字之间的关联度。
为什么GPT给大家印象那么好，说它有理解能力，一个主要原因就在于它能把握远距离的关联。日常生活和文字工作中，如说话聊天、写作文、撰写调研报告、做广告策划……这些任务都涉及文字的关联度。利用文字关联度执行这些任务，可以在很大范围内让人感觉AI在说人话。
生成式人工智能还有一个上层，上层是对预训练模型做进一步的加工训练。要让GPT说出来的话比较符合用户的偏好，而不仅仅是听起来像人话，这个时候就需要人工标注，来反馈人对于AI的期望，所以这种反馈也是原始数据。比如ChatGPT在InstructGPT的基础上又做了专门训练，那么它在聊天上就聊得更好。
另外在预训模型上面又训练了一个专门写代码的软件，训练代码和训练聊天不一样，需要的训练数据是不一样的。经过各种后续训练得到的还是大模型，一般称之为微调大模型。
谈缺点：两个局限不可能彻底改掉
正观新闻：GPT有没有缺点？
陈小平：虽然GPT这么强，大模型不管是预训练模型，还是微调模型，还是其他的类型的大模型，都有着相同的基本特性。而且它们对社会产生的作用往往就是由基本特性决定的。
我觉得大模型有两个基本特性最为重要。第一个特性，大型语言模型最核心的能力是文字的关联度，这是一种语言功能，语言具有公用性而不具备通用性。
举个例子，我们人工智能专业的主要的知识是用本专业的特殊的语言来表达的，不是用自然语言，而数学学科的主要的知识是用数学语言、数学公式来描述的，物理、化学等各个学科都有自己的专业语言。
其实我们观察到一些现象，比如说好多人和GPT聊天，就发现普通的话题它回答得很好，但专业的话题回答起来经常不太令人满意，原因就在于语言不具有通用性。
第二个特性也是非常关键的。语言本身不能决定真假，也不能决定好坏。语言是一个表达工具，既可以表达真话（符合事实的话）、好话（符合伦理的话），也可以表达假话、坏话。因此我们不能要求生成式人工智能能决定真假，判断好坏，这些要求都不现实。
随着技术不断地迭代，大模型说的假话越来越少，真话越来越多，说坏话越来越少，好话越来越多，但是你不要指望到某一天，它就只说真话不说假话，只说好话不说坏话，这一天永远等不来，因为这是先天局限。从这个特性就看出来伦理治理的重要性了。
谈国内：文心一言暴露的问题是正常的
正观新闻：近期百度推出文心一言，目前我国预训练语言模型发展状况如何？您是如何看待文心一言的？
图源 文心一言发布会
陈小平：中国的学术界和产业界一直是大模型技术的积极的参与者，并且做了大量工作。但是目前这个阶段，生成式人工智能进入了大规模实测阶段，从这个角度来看，美国的产业界走到前面去了，所以在这个背景下，文心一言的发布，说明中国在该领域有很大的进步。
国内过去已经发布了多个大模型，但是并没有面向全社会开放做测试。目前文心一言已经走出了这一步。人工智能发展不能只研究技术、模型，而是要去实际应用，那必定要去做大规模的实测，才能了解其性能好不好，所以文心一言和一些其他的国内外企业往这个方向走，我觉得都非常好，就应该有更多的企业去做大规模实测。
有人对文心一言进行了一些非专业测试，发现了文心一言的表现有些不太令人满意的情况，我也看到了一些。但现在我没有看到对文心一言的系统性测试，我无法给它下定论。
对于目前非专业测试发现文心一言暴露出的一些问题，我觉得其中很多问题都可以通过算法的优化得到解决，大部分问题在我看来都不是大问题，毕竟文心一言准备时间比较短。大模型是个大系统，里面用了很多技术，所以它出了一些故障是很正常的。
这样看中国在这个领域还是很有希望，仍然有可能像大家期望的那样，很快进入领头羊的位置，特别是针对中文语言。我非常期待我们中国的公司能把中文处理好。
谈冲击：需要做大社会财富蛋糕
正观新闻：生成式人工智能的使用有哪些利弊，对哪一些行业产生影响？哪一类人群可能会失业呢？
陈小平：生成式人工智能以什么方式在哪些行业大规模应用，现在不是完全清楚。但能确定的是，由于两个基本特性，它不能彻底取代人。现在有一些专家判断，比较大的可能性是生成式人工智能取代一部分初级员工，比如翻译、编程、文案策划……这些岗位的初级员工有可能会被取代一部分。
当然目前技术条件并没有完全具备。然而潜在的问题已经值得重视了，如果短时间内取代了很多初级员工，这个对社会就业是一个很大的冲击。
就业问题也会对行业的长期发展带来影响，高级员工都是从初级员工逐步锻炼成长起来的，如果初级员工没有了，高级员工也就不复存在了。
此外，高级员工可能因为人工智能的到来而受益，善于使用生成式人工智能的高级员工的工作效率可能会提高，收入可能会增加，同时高级员工之间的内卷可能会加剧，下游企业之间的竞争也有可能加剧。
教育行业也可能因此发生改变，如果某一个行业大规模削减初级员工，这个行业的大学教育和职业教育就会遭受巨大冲击。这是一个牵一发动全身的问题。我们需要从更广阔的视野去考察这些影响，还需要做更全面深入地分析。
如果生成式人工智能大规模投入市场，但是整个市场规模、经济体量没有扩大，只不过生产方式变了，效率比原来高了，那么就带来两个可能的结果，一个后果就是一部分人失业。
另外还有一种可能的后果――较高收入岗位更替为较低收入岗位，这是一些发达国家过去几十年出现的情况，结果导致社会分化，矛盾加剧。现在我国面临的新情况是，在制造业很多岗位严重缺工的背景下，服务业又可能出现岗位减少，这就值得高度重视。
针对上述种种问题，一条重要出路在于我们能不能把社会财富的盘子做大。采用新的技术使生产效率提高的同时，如果盘子也做大了，这些问题就能解决，或者就没有那么严重。
例如，原来我们用的电话都是固定电话，随着产业的升级，出现了手机，用手机的人一下增加了非常多，结果盘子变大了，相关行业的员工并没减少，反而增加了。所以，生成式人工智投入大面积应用后，能否把盘子做大，对中国尤其重要。
谈伦理：新的治理模式要尽快跟得上
正观新闻：GPT-4存在哪些风险值得注意？您能否提出些应对风险的建议？
陈小平：目前伦理治理面临的一个关键问题是：生成式人工智能将提供一种新的服务，还是成为一种新的基础设施？这两种情况需要的治理模式是根本不同的。
我倾向于认为，生成式人工智能有潜力成为新型的基础设施，这使得传统的治理模式变得不再适用。比如，马斯克面对生成式人工智能一直强调做开源，而开源软件和传统的闭源软件代表着不同的创新模式和社会治理模式。
人工智能伦理治理的根本宗旨是增进人类福祉，而不是单纯地防范风险。在人工智能技术快速发展的当下，尤其需要思考一个重要课题：通过新的创新模式和社会治理模式，能否让新技术解决经济回报不够大的重大社会需求。比如，单纯从技术角度，人工智能完全可以应用于涉及85%人口的普惠养老，但由于经济回报太低，在现有创新模式下这种应用面临重重困难。为此，完全有必要构建新型创新模式和治理模式。
生存式人工智能的大面积持续性应用取决于两个条件，一是技术的迭代能不能让技术真正大面积地实用化；另一方面是，我们能否建立新的社会治理模式和创新模式，以保障新技术的大面积持续性应用能够增进人类福祉。在某种意义上，伦理治理具有更加重要的作用。
返回搜狐，查看更多
责任编辑：
