・“我现在并不担心‘AGI风险’（我们无法控制的超级智能机器的风险），在短期内我担心的是‘MAI风险’――平庸人工智能（Mediocre AI）是不可靠的（比如必应和GPT-4）但被广泛部署。”

最近几天，人工智能风险引发了多位科技领袖的深切担忧。

首先是被称为“人工智能教父”的杰弗里・辛顿（Geoffrey Hinton），他上周在接受哥伦比亚广播公司采访时表示，人工智能可能发展到对人类构成威胁的地步“并非不可想象”。

随后，AI“大牛”盖瑞・马库斯（Gary Marcus）3月27日发推响应辛顿，28日又发表题为“人工智能风险≠通用人工智能风险”的文章，称超级智能可能会也可能不会迫在眉睫，但在短期内，需要担心“MAI（平庸人工智能）风险”。

27日，推特CEO伊隆・马斯克也加入进来，表达对辛顿和马库斯的赞同。

马斯克在社交网络上与杰弗里・辛顿和盖瑞・马库斯互动。

29日，未来生命研究所（Future of Life Institute）公布一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。辛顿、马库斯和马斯克均签署了这封公开信。

“加快开发强大的AI治理系统”

未来生命研究所的这封公开信题为“暂停巨型AI实验：一封公开信”，于29日解封。

未来生命研究所的公开信已有1079人签署。

信中写道：广泛的研究表明，具有与人类竞争智能的人工智能系统可能对社会和人类构成深远的风险，这一观点得到了顶级人工智能实验室的承认。正如广泛认可的“阿西洛马人工智能原则（Asilomar AI Principles，阿西莫夫的机器人三大法则的扩展版本，于2017年由近千名人工智能和机器人专家签署）中所述，高级AI可能代表地球生命史上的深刻变化，应该以相应的关照和资源进行规划和管理。不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人――甚至他们的创造者――能理解、预测或可靠地控制。

“当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们必须扪心自问：我们是否应该让机器用宣传和谎言充斥我们的信息渠道？我们是否应该自动化所有工作，包括令人满意的工作？我们是否应该发展最终可能比我们更多、更聪明，淘汰并取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？”这封信写道，“只有当我们确信它们的影响是积极的并且风险是可控的时候，才应该开发强大的人工智能系统。这种信心必须有充分的理由，并随着系统潜在影响的大小而增加。【【微信】】最近关于通用人工智能的声明指出，‘在某些时候，在开始训练未来的系统之前进行独立审查可能很重要，并且对于最先进的工作来说，应该同意限制用于创建新模型的计算量增长。’我们同意。那个某些时候就是现在。”

这封信呼吁，所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并实行暂停。人工智能实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的，并且无可置疑。这并不意味着总体上暂停AI开发，只是紧急从奔向不可预测的大型黑盒模型的危险竞赛中收回脚步。

与此同时，信中指出，AI开发人员必须与政策制定者合作，以显著加快开发强大的AI治理系统。至少应包括：建立专门负责AI的有能力的新监管机构；监督和跟踪高性能人工智能系统和大量计算能力；推出标明来源系统和水印系统，以帮助区分真实与合成，并跟踪模型泄漏；强大的审计和认证生态系统；界定人工智能造成的伤害的责任；为人工智能技术安全研究提供强大的公共资金；以资源充足的机构来应对人工智能将造成的巨大经济和政治破坏（尤其是对民主的破坏）。

这封信最后写道，“人类可以享受人工智能带来的繁荣未来。成功创建强大的AI系统后，我们现在可以享受‘AI之夏’，收获回报，设计这些系统以造福所有人，并为社会提供适应的机会。社会已经暂停其他可能对社会造成灾难性影响的技术。 我们可以在这个领域也这样做。让我们享受一个漫长的AI之夏，而不是毫无准备地陷入秋天。”

生命未来研究所建立于2014年，是一个非营利组织，由一系列个人和组织资助，使命是引导变革性技术远离极端、大规模的风险，转向造福生活。

截至发稿，这封信已有1079名科技领袖和研究人员签名，除了马斯克、辛顿和马库斯之外，还包括图灵奖得主约书亚・本希奥（Yoshua Bengio）、《人工智能：现代方法》作者斯图尔特・罗素（Stuart Russell）、 苹果公司联合创始人史蒂夫・沃兹尼亚克（Ste【【微信】】）、Stability AI首席执行官埃马德・莫斯塔克（Emad Mostaque）等科技界领袖人物。

“可能导致核战争和更严重的疫情”

28日，马库斯在写作平台Substack上写道，一位同事写信给他问道：“这封（公开）信不会造成对即将到来的AGI（通用人工智能）、超级智能等的无端恐惧吗？”

美国作家、纽约大学教授加里・马库斯。

马库斯解释道，“我仍然认为大型语言模型与超级智能或通用人工智能没有太大关系；我仍然认为，与杨立昆（Yann LeCun）一样，大型语言模型是通向通用人工智能道路上的一个‘出口’。我对厄运的设想可能与辛顿或马斯克不同；他们的（据我所知）似乎主要围绕着如果计算机快速而彻底地自我改进会发生什么，我认为这不是一个直接的可能性。”

人工智能风险与通用人工智能风险。

但是，尽管许多文献将人工智能风险等同于超级智能或通用人工智能风险，但不一定非要超级智能才能造成严重问题。“我现在并不担心‘AGI风险’（我们无法控制的超级智能机器的风险），在短期内我担心的是‘MAI风险’――平庸人工智能（Mediocre AI）是不可靠的（比如必应和GPT-4）但被广泛部署――无论是就使用它的人数而言，还是就世界对软件的访问而言。一家名为Adept.AI的公司刚刚筹集了3.5亿美元来做到这一点，以允许大型语言模型访问几乎所有内容（旨在通过大型语言模型‘增强你在世界上任何软件工具或API上的能力’，尽管它们有明显的幻觉和不可靠倾向）。”

马库斯认为，许多普通人也许智力高于平均水平，但不一定是天才，在整个历史中也制造过各种各样的问题。在许多方面，起关键作用的不是智力而是权力。一个拥有核代码的白痴就可以摧毁世界，只需要适度的情报和不应该得到的访问权限。现在，AI工具已经引起了犯罪分子的兴趣，越来越多地被允许进入人类世界，它们可能造成更大的破坏。

欧洲*组织27日发布一份报告，对采用ChatGPT类工具进行犯罪的可能性进行了讨论，令人警醒。“大型语言模型检测和重现语言模式的能力不仅有助于网络钓鱼和在线欺诈，而且通常还可以用来冒充特定个人或群体的讲话风格。这种能力可能会被大规模滥用，以误导潜在受害者将他们的信任交给犯罪分子。”这份报告写道，“除了上述犯罪活动外，ChatGPT的功能还有助于处理恐怖主义、政治宣传和虚假信息领域的许多潜在滥用案件。因此，该模型通常可用于收集更多可能促进恐怖活动的信息，例如恐怖主义融资或匿名文件共享。”

马库斯认为，再加上人工智能生成的大规模宣传，被大型语言模型增强的恐怖主义可能导致核战争，或者导致比新冠病毒更糟糕的病原体的故意传播等。许多人可能会死亡，文明可能会被彻底破坏。也许人类不会真的“从地球上消失”，但事情确实会变得非常糟糕。

“人工智能教父”杰弗里・辛顿在接受哥伦比亚广播公司采访时表示，人工智能可能发展到对人类构成威胁的地步“并非不可想象”。

上周在哥伦比亚广播公司的采访中，“人工智能教父”辛顿被问及人工智能“消灭人类”的可能性时说，“我认为这并非不可想象。我只想说这些。”

马库斯指出，相比辛顿和马斯克担忧天网和机器人接管世界，应该更多思考眼前的风险，包括恐怖分子在内的犯罪分子可能对大型语言模型做什么，以及如何阻止他们。

责任编辑：于健 SF069

新浪科技郑峻 发自美国硅谷

“马斯克是个混蛋（Jerk），他说的大部分都不是真的，而且他自己清楚这一点。”

面对马斯克的持续公开批评，OpenAI创始人兼CEO艾特曼（Sam Altman）终于打破沉默，站出来一一回应马斯克的指责。马斯克原本是ChatGPT的最大支持者和发起者，还捐了1亿美元，他又是怎么和OpenAI分道扬镳乃至满腹牢骚的？

持续批评OpenAI

2016年，彭博商业周刊记者阿什利・万斯（Ashlee Vance）写了一本关于马斯克的同名传记。他和马斯克都来自南非，花了一年多时间采访写了这本人物传记。得益于马斯克的名气，这本书在美国和中国都卖得很火，但也有人批评万斯把马斯克写得过于正面，对他的性格描写过于单薄。

那年我和万斯坐下来聊过这本书。万斯并不否认自己对马斯克的仰慕，这本来就是他写这本书的一大动因。但采访过马斯克和乔布斯的资深记者万斯也感慨，这两人有个最大的共同点，他们都有一种“现实扭曲力场”（这是形容乔布斯的经典词汇），用自己的个人魅力让别人相信他所说的一切。

的确，面对马斯克这样的最成功创业者，连续带领多家企业在不同领域颠覆行业（PayPal、特斯拉、SpaceX等），哪怕是见多识广的资深记者，也很容易被他改变世界的梦想感染，被他领先时代的技术视野折服，从而轻易陷入他的“现实扭曲力场”，对马斯克的表述深信不疑。

马斯克为了言论自由收购推特，他更有强烈的表达欲望，无论多忙都要上推特，更从来不会错过热点。而且作为全球顶流名人，不管他说了什么，都会成为网络焦点话题。一年52个星期，马斯克周周都是媒体报道中心。

毫无疑问，OpenAI打造的生成式AI ChatGPT或许是过去几个月科技圈最热的产品和话题，甚至直接带动了一个AI创投的新风口。在新一轮融资中，OpenAI估值已经接近300亿美元，比2021年增长了一倍。

作为OpenAI的发起人之一，马斯克也非常关注这家公司。过去几个月，他频频在推特上公开点评OpenAI，只不过基本都是批评立场，在一片溢美之词中显得尤为突兀。

马斯克吐槽OpenAI什么？自己出资1亿美元参与创建了OpenAI，这原本是一家非盈利的开源研究机构，现在却变为了一个追逐利润的商业创业公司，而且还被互联网巨头微软所控制，成为了其核心竞争力。

不过，在马斯克接二连三地吐槽之后，OpenAI联合创始人兼CEO艾特曼（Sam Altman）终于忍不住了。上周四，艾特曼接受了美国知名科技记者斯威什（Kara Swisher）播客节目的独家专访，一一回应了马斯克的吐槽。

艾特曼略带嘲讽地称，“马斯克是个混蛋（Jerk，这是美国口语常用的贬义词，通常形容某人很臭屁和招人厌，但也不是坏人），他所说的都不是事实，而且他自己清楚这一点。”

共同创建开源机构

那么，马斯克和OpenAI之间到底有什么关系与过节？他对OpenAI的批评又有没有道理？

或许大部分科技爱好者都知道，马斯克是OpenAI的发起人和出资人之一。他一直都很关心AI技术的发展方向，而且是最知名的悲观论者。早在十年前，硅谷各大巨头还在大力投资研发的时候，马斯克就多次公开警告AI技术失控可能会毁灭人类和地球。

相信技术的扎克伯格很少和人斗嘴，但也曾经不点名地批评马斯克，“AI会让我们未来生活得更好，末日论非常不负责任。有些老是唱反调的人在试图煽动末日论。我真是不太明白，这太负面了，非常不负责任”。马斯克则毫不留情地直接回怼，“我和扎克伯格聊过这事。他对这方面懂得太少。”

担忧AI技术失控的不仅是马斯克，还有诸多科技亿万富翁和技术专家。OpenAI就是在这样的大背景下创办的。2015年12月11日，非营利性AI研究机构OpenAI正式在硅谷成立。顾名思义，OpenAI（开放AI）致力于推动AI技术研究和协作，以及制定AI行业安全和道德标准，带动AI技术造福人类。

OpenAI的研究主管是前谷歌机器学习专家舒茨凯夫（Llya Sutsskever）以及前Strip的CTO布洛克曼（Greg Brockman），汇聚了一大批行业顶尖工程师和科学家。由于是个非盈利研究机构，OpenAI的启动资金依赖于外部捐赠。马斯克个人出资了1亿美元。

除了马斯克，出钱出力的亿万富翁还有硅谷知名孵化器Y Combinator的CEO艾特曼、Y Combinator联合创始人杰希卡・利文斯顿（Jessica Li【【微信】】），还有“PayPal黑帮”的彼得・蒂尔（Peter Thiel）与LinkedIn创始人雷德・霍夫曼（Reid Hoffman）等人。此外，AWS、Infosys、Y Combinator等企业也参与其中。值得一提的是，英伟达后来向OpenAI捐赠了他们第一部超级计算机DGX-1，大大提神了OpenAI的算力。黄仁勋专门邀请了马斯克现场见证英伟达超算助力OpenAI的研究。

马斯克和艾特曼共同担任OpenAI的董事会主席。不过，马斯克是诸多发起人中名气最大的，他也用自己的影响力为OpenAI争取媒体曝光和吸引人才加盟。不夸张地说，马斯克是OpenAI的门面招牌，但他并没有太多精力来兼顾管理。OpenAI的管理工作更多交给了艾特曼。

得益于马斯克等科技超级富豪的捐赠，OpenAI才得以按照硅谷平均薪酬标准来招聘AI研究人才，毕竟非盈利机构开的报酬是不可能吸引最抢手的AI人才的。但是，与谷歌及Facebook这样的行业巨头相比，OpenAI的薪资标准还是有明显差距，最初加盟的人才多少都抱有造福人类的情怀。

接管不成负气离开

但随着OpenAI推进研发产品，资金不足的问题逐渐显现出来了。AI研究非常烧钱，非盈利机构的性质成为限制OpenAI筹集资金的核心短板，阻碍了他们招揽顶级人才和加大研发投入。他们越来越无法和谷歌及Facebook这样富可敌国的行业巨头竞争。

顶级AI技术人才有多值钱？微软研究院资深副总裁彼得李（Peter Lee）曾经说过，一个顶级AI人才的工资比美式足球大联盟的四分卫还要高（意思是要百万美元年薪以上）。而且OpenAI是非营利机构，也没有股权和期权的未来大饼去吸引技术人才。

另一方面，AI研究还需要巨大的基础设施投入。除了英伟达捐赠的超级计算机，OpenAI还需要云计算的庞大需求。2017年OpenAI在云计算方面的支出是790万美元，而同年谷歌旗下DeepMind的支出则是4.42亿美元。巨大的财力差距让OpenAI很难与谷歌竞争研发进程。

正在OpenAI最需要后续资金投入的时候，马斯克却离开了。2018年2月20日，马斯克以特斯拉研发自动驾驶技术与OpenAI存在利益冲突为由，突然退出了OpenAI董事会；当时官方介绍，他还会继续向OpenAI捐赠以及担任顾问。马斯克后来表示，这是因为特斯拉和OpenAI都在招揽同一批技术人才，因此存在利益冲突。

但实际情况要更为复杂，马斯克实际上是赌气离开的。2018年初，马斯克认为OpenAI的研发已经明显落后于谷歌，因此提议自己接管OpenAI并亲自来负责研发。这也符合他的性格，就是在特斯拉的经历：从投资者到管理者，从董事长到CEO。马斯克一直都有强烈的掌控欲和自信心。

但他的这一自信提议却遭到了艾特曼、技术团队以及其他董事的强烈反对。或许其中一个原因是，马斯克已经同时担任着特斯拉和SpaceX的CEO职位，而且当时特斯拉因为Model 3的量产困难和资金急剧消耗，正处在最艰难的时期。OpenAI的其它董事并不认为马斯克还有精力再兼顾OpenAI的管理工作。

作为一个极度自信和骄傲的男人，马斯克在被拒绝之后就离开了OpenAI董事会。而艾特曼随后则逐渐淡出了Y Combinator的工作，将自己工作重心完全转移到OpenAI的管理上。2018年，艾特曼的职位从OpenAI的联席董事长变成了总裁。

但马斯克离开，意味着OpenAI失去了最重要的资金来源。马斯克最初承诺要分批向OpenAI捐赠10亿美元，他在项目启动时也的确捐赠了1亿美元，但在负气离开之后，他再也没有继续出资。此后的马斯克和OpenAI再没有任何关联。

资金匮乏被迫重组

2018年是OpenAI资金最为困难的一年，他们甚至无法承受AI模型训练的天价费用。OpenAI的董事会意识到了重组的迫切性：AI是一个资源密集的行业。如果继续作为非盈利机构依赖外部捐赠，无法保证资金的OpenAI不仅不能招聘行业优秀人才（实际上已经有研究人才被谷歌挖走），也无法负担AI研究的天价基础投入。

在这样的背景下，2019年3月OpenAI正式从非盈利机构转型为“有限盈利机构”Open LP，开始接受战略投资者以及风险投资的资金，而原先的非盈利机构Open Inc则作为Open LP的母公司继续存在。

这也是马斯克吐槽的核心点。OpenAI从一家为了情怀研究技术的非盈利机构，变成了一家为了利润打造产品的创业公司，更引入了微软这样追逐实际回报的投资者。

但不可否认的是，重组之后的OpenAI在引入投资之后，不仅可以开出高薪吸引行业顶级人才，还能用期权股权和上市前景来留住人才，更可以承担AI训练的高昂云计算费用。

OpenAI在宣布重组的声明中写道，“我们需要在未来数年引入数十亿美元投资，用于大规模云计算，吸引和留住顶级人才，打造AI超级计算机。我们希望在增强融资能力的同时继续推动使命……打造一个混合盈利机构和非盈利机构的组织结构。”

在OpenAI重组之后，投资者们就纷至沓来了。仅仅四个月后，互联网巨头微软就投资10亿美元，成为OpenAI最重要的战略投资者。微软给OpenAI带来的不仅是资金，还有微软的云计算服务。从那时起，OpenAI的模型训练就完全转移到微软Azure平台。2021年和2023年，微软又连续两次向OpenAI继续追加投资数十亿美元。

正是在微软全力提供资金和资源之后，OpenAI的产品研发开始加速。2020年，他们推出了大数据集训练的语言模式GPT-3；2021年，他们推出了深度学习模型Dall-E；2022年，他们推出了基于GPT-3.5的ChatGPT；就在这个月，他们又推出了支持图像的GPT-4。

在产品落地的同时，OpenAI的收费商业模式也开始成熟。去年年底，OpenAI预计今年营收可以达到2亿美元，明年会达到10亿美元。随着ChatGPT的爆火，OpenAI今年年初新一轮融资的估值达到了290亿美元。

投资OpenAI或许是微软CEO纳德拉最得意的投资。微软把OpenAI牢牢锁定在自己的Azure云平台，几乎第一时间将ChatGPT引入了Microsoft 365、Teams、Edge以及必应等核心产品中，将生成式AI作为自己的核心产品竞争力，更得到了弯道超车的机会。

凭借着ChatGPT接入必应，微软向谷歌在搜索领域的主导地位发起了冲击，让原本大局已定的搜索市场多年之后首次看到了变数。微软也在上个月宣布，未来数年向OpenAI追加投资数十亿美元。

显而易见，如果OpenAI不改组为盈利性质的创业公司，还是保持着非盈利机构的属性，就不可能引入投资者，如果没有充足资金，就不会有现在颠覆行业的ChatGPT以及GPT-4。

但马斯克显然对此很不满。在OpenAI重组融资之后，马斯克对这个自己参与创办项目的心态开始逐渐改变，多次公开批评OpenAI管理团队，甚至成为了他们最主要的批评者。

2019年2月，马斯克表示自己不认同OpenAI团队想做的事情。2020年2月，他又强调OpenAI应该更为开放。就在ChatGPT发布之后的去年12月，马斯克又旧事重提，“他们创办之初是开源和非营利的，但现在两个都不是了。”马斯克在入主推特之后，还中止了OpenAI使用推特数据进行训练的权限。

在ChatGPT的智能水平引发行业惊叹之后，马斯克又直接转发艾特曼的推文，再次警告称，“ChatGPT好得让人害怕，我们距离危险强人工智能已经不远了。”

就在上个月，马斯克又火力全开怒喷OpenAI，“OpenAI最初是作为一个开源非盈利机构来抗衡谷歌，我才将其命名为OpenAI，但现在他们却变成了一家封闭的、追求最大利润的、被微软有效控制的企业。这完全和我的初衷相悖。”

关心未来的混蛋

然而，针对马斯克的持续批评，艾特曼终于坐不住了。他在接受斯威什独家专访时直接回击说，“马斯克说的大部分都不是真的，而且他自己清楚这一点。”

艾特曼强调，微软的确投资了几十亿美元，但并没有控制OpenAI，甚至都没有董事会席位。OpenAI是一家独立企业，其它公司也可以将ChatGPT接入自己的产品。

艾特曼表示，OpenAI在重组之后是混合结构（非盈利母公司和盈利性质子公司），不同于绝大多数公司，OpenAI依然会开源诸多产品，近期刚刚开源了CLIP以及Whisper等工具，未来还会开源更多产品，但不会开源所有产品，GPT-4现在还不是开源的时候。

艾特曼在解释OpenAI的重组原因时说，“当我们意识到（OpenAI）所需要的资本规模时，最终远远超过了我们的想象，我们曾经努力寻找作为非盈利机构的融资手段，但却无法实现，我们希望可以一方面找到获得所需资金，另一方面还可以履行非营利的使命。”

他还解释了OpenAI重组后的有限盈利混合结构：作为盈利子公司，OpenAI LP的员工和股东可以得到至多100倍的回报，但超过100倍的部分则会归属非盈利性质的母公司。这意味着即便OpenAI未来成为一家估值数万亿美元的巨头企业，其中的绝大多数也属于控股母公司的非盈利Open Inc。

不过，在反驳马斯克之后，艾特曼还是给这位科技圈最大咖企业家留了面子。“如果要正面评价马斯克，我想他真的非常关注强人工智能（AGI）的未来。他是个混蛋，他的那种风格不是我希望自己拥有的。但我觉得他真的很关注，而且他非常担忧人类的未来。”

马斯克连续批评OpenAI，还殃及了他的一位特别朋友。就在艾特曼回击马斯克的同一天，OpenAI董事希冯・泽利斯（Shi【【微信】】）悄然辞职离开。或许因为她和马斯克特殊的私人关系，在马斯克和OpenAI关系破裂的背景下，她已经无法继续留在OpenAI董事会。

今年37岁的泽利斯和马斯克的关系比较难以界定。她是马斯克的多年下属，曾经效力过特斯拉，目前在马斯克旗下脑科学创业公司Neurolink担任高管。2015年OpenAI创办时，她作为顾问加入，并在2020年开始担任董事席位。

泽利斯也来自加拿大，是老乡马斯克最忠实的支持者，多次公开在社交网站上表达自己对马斯克的仰慕之情。去年，泽利斯更通过人工授精为偶像马斯克生下了一对双胞胎，并且冠上了马斯克的姓。担忧人口生育率危机的马斯克身体力行，和三位女性生下了9个孩子。

在OpenAI的历史上，出资1亿美元的马斯克始终是联合发起人之一。但在重组之后的四年时间，OpenAI通过六轮融资总计筹集了超过110亿美元的资金，微软是最大投资者，随后则是几大风投机构马修布朗基金（Matthew Brown Companies）、Bedrock资本、红杉资本、安德森霍洛维茨基金、老虎全球基金。

正是在这些互联网巨头和风投巨头的资金与资源支持下，OpenAI才得以超车谷歌和Meta这样市值几千亿美元的行业巨头，连续推出GPT-3、ChatGPT和GPT-4诸多领先行业的AI技术。不过现在的OpenAI，已经和马斯克毫无关系，或许这才是他始终无法释怀的原因。

责任编辑：石秀珍 SF183