庆云古诗词

庆云古诗词

“40年后,继续撸起袖子!”61岁李开复再出发 AI2.0为何引诸侯混战?

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

四十年后,40年过去了,四十年巨变之后,说走就走,四十年后再看

  AI大模型赛道迎来另一名重磅创业者。

  3月19日下午,创新工场董事长兼首席执行官、创新工场人工智能工程院院长李开复正式朋友圈官宣正在亲自筹组一个名为Project AI 2.0的新项目,定位是AI 2.0全新平台和AI-first生产力应用的世界级公司。并公开招募大模型、多模态、NLP等领域顶级人才。

  “40年后,继续撸起袖子!”继创新工场和创新奇智后,李开复再次开启了新一轮创业计划,这也是创新工场塔尖计划孵化的第7家公司。

  实际上,李开复要进军AI大模型公司早有端倪,3月14日,李开复在“AI 1.0到AI 2.0的新机遇”趋势分享会上向包括《每日经济新闻》记者在内的媒体表示,在深度学习的重大突破之后,AI已经来到从1.0迈入2.0的拐点。AI 2.0将会带来平台式的变革,改写用户的入口和界面,诞生全新平台催生新一代AI 2.0应用的研发和商业化。

  他同时提到,AI 2.0将是提升21世纪整体社会生产力最为重要的赋能技术。“AI 2.0给行业带来的机会比过去任何一个机会都大,比PC、手机时期带来的机会至少要大十倍。”这些表态,为李开复的亲自下场做足了铺垫。

  而在此次官宣的朋友圈中,李开复晒出两张泛黄的图片,来自于他1983年的博士申请信。李开复当时写到,AI是人类认识并理解自己的最后一里路,希望加入到这个全新绽放、充满前景的未来科学领域。

  如今ChatGPT席卷全球引发的人工智能领域的新一轮创业和关注热潮,也让这位61岁的连续创业者再一次心潮澎湃。

  61岁李开复再出发:不只是中文版ChatGPT

  相比于王慧文的高调、王小川的理想主义和百度京东、阿里等公司对ChatGPT产品的争相研发和布局,李开复此时宣布进军AI大模型的创业显得姗姗来迟。

  之所以业内对李开复的此次入局充满期待,皆因李开复自离开谷歌回国以来一直深耕AI领域创新公司的孵化和投资,上一家由他亲自带队、创新工场孵化的公司创新奇智,已经作为“AI+制造”第一股在港交所成功上市。

  李开复在朋友圈中表示,Project Al 2.0不仅仅要做中文版ChatGPT.在他看来,Al 2.0不仅仅是个高能聊天工具,也不仅仅是图文创作的AlGC生成程序,如今看到的应用都还只是Al 2.0能力的开端。

  在李开复的计划中,Project Al2.0是创新工场塔尖孵化的第7家公司,同时他也在积极寻找AI2.0技术和应用相关的投资机会,加速打造Al 2.0的全新创业生态。“对于Al 2.0的未来,我们具有更多更大的想象。”李开复表示。

  此前,创新工场人工智能工程院已经塔尖孵化了创新奇智、澜舟科技、呈元科技等6家企业,Project AI 2.0是第7家。

  对于此次的创业计划,李开复表示,Proiect Al 2.0的资金、算力陆续到位,新公司期权中新团队绝对主导,首批广召大模型、多模态、NLP、AI算法工程与研究、分布式计算/Infrastructure等方向的顶级人才推荐自荐。

  不过对于李开复和Proiect Al 2.0的前景,浙江大学国际联合商学院数字经济与金融创新研究中心联席主任、研究员盘和林也向《每日经济新闻》记者表示出一定的担忧,“如今的AI2.0提出概念的同时,李开复也在成立新公司,并招兵买马,说明是从零开始。为什么要从零开始?而不是胸有成竹?因为生成式AI+大模型的投入很大,看不到效益的时候,除了OpenAI,所有人都在犹豫,而这种犹豫的确让我们错失了良机。”他表示。

  看好大模型公司投资回报率

  伴随着质疑和追捧,不可否认的是,ChatGPT今年在全球范围内引发了一场科技革命的讨论热潮,除了李开复之外,也有多位国内知名投资人宣布将布局相关AI领域。

  在李开复看来,ChatGPT的诞生意味着AI 2.0时代的到来。在最新的公开演讲中,李开复表示:“AI 2.0时代的来临,是巨大的平台式机会,而且将是中国在AI领域的第一次参与平台角逐的机会。”

  作为投资人和AI领域的连续创业者,李开复这次把重心也放在了AI大模型公司――不仅亲自下场,同时也在寻找该领域的投资机会。

  李开复预测,在AI2.0时代,平台公司将诞生,但是不会很多,因为它的门槛很高,但如果他们好好地把大模型做好,把中间层工具做好,会造福整个做应用的行业。

  “这些公司可能会成为垄断者,让行业发展受阻,所以如果想要得到最高额的回报,一定要投巨型模型公司。”李开复表示。

  在李开复看来,AI 2.0是一个革命性的东西,不只是AI 1.0到AI 2.0的升级,它是从无到有,从技术到平台能够带来很多新的认知,是巨大的、真正的智慧的产生,而它的发展一定先从人机协作,然后到自动化。

  同时,AI2.0将带来多个产业的变革,每个领域都可以把原有的APP重写一次,带来不同的用户,用更短的时间做出更高质量的内容,而且能“千人千面”做出精准有趣的、新的模式,创造出更赚钱的商业模式。“AI 2.0的生成能力会把成本降的几乎到0.”李开复表示。

  在此趋势下,李开复也在最新演讲中对创新工场的“塔尖孵化”做了进一步阐述,“团队进来,有长板也有短板,我们有很多能力来孵化这些公司,我们有很多科技能人,我们做商业投资的资源都是可以帮助赋能AI创业者的。但如果他们本身就是强大的创业者,我们也可以纯粹进行财务投资。”李开复坦言。

  众人押注的AI 2.0,是机遇还是泡沫?

  不止是李开复,自ChatGPT的问世让世界看到人工智能行业出现了新火种后,众人开始向这一行业的深处眺望。

  为了率先推出“中国版ChatGPT”,互联网大厂展开竞逐。

  3月16日,百度发布了自研AI大模型文心一言。李彦宏在发布会上表示,目前百度是全球大厂中第一个做出对标ChatGPT产品的企业。京东云旗下言犀人工智能应用平台也将整合过往产业实践和技术积累,推出ChatJD;有媒体此前报道,阿里云内部人士确认,目前公司正在研发相关产品,且已处于内测阶段。

  大厂之外,商汤科技、旷世科技、云从科技和依图科技这“AI四小龙”的动作也备受外界关注。此外,前美团联合创始人王慧文、出门问问创始人李志飞、亚马逊首席科学家李沐等人也纷纷投入这一轮AI创业大潮,躬身入局大模型赛道。

  ChatGPT引发的热潮在元宇宙概念上似曾相识,但不久前,元宇宙已在二级市场上经历了大“降温”,ChatGPT又是否会重蹈覆辙呢?

  盘和林表示,李开复的AI2.0核心是指生成式AI,生成式AI并不是泡沫,“ChatGPT是开放给用户的,用户肯定了应用对自身的帮助,所以ChatGPT是真的有用。不同于元宇宙的空中楼阁,用户能够从使用中辨别优劣,这就是概念和实际应用的区别。”

  同样,清华大学新闻学院新媒体研究中心主任沈阳也向《每日经济新闻》记者表示,ChatGPT的诞生是一个AI时代真正的起点,自此开始才是真正AI生产力的最大释放,“而且现在ChatGPT在各个领域的表现都能有80~85分,随着时间推移,它的能力还会越来越强,和人们的预期值越来越吻合,所以从现在来看这并不是泡沫。”

  在投身人工智能领域时,一部分入局者选择了开发大模型,而另一部分专注于打造应用层产品。

  “打造应用层产品的难度肯定不如开发大模型”,面对这两种选择,盘和林向每经记者分析,大模型之所以目前只有ChatGPT做成功,就是因为其实现需要漫长的时间、巨大的金钱投入和强大的人才团队,需要持之以恒、孜孜不倦才能出成果。而应用层产品如今多是通过API来对接功能,由于生成式AI自身是功能性的,所以与之适配较为简单。

  推出“中国版ChatGPT”的难度几何?沈阳认为,一个难点在于算法模型,ChatGPT3.5是闭源的,且打造类似的产品还需高算力,其他企业很难在短时间内*点;第二个难点在于,进行社会训练的很大一部分用户在思维方式、文化了解方面都不及AI,如果不加以控制,有可能导致AI的“粗鄙化”。

  “生成式AI大模型的投入很大,很多人在看不到效益的时候都在犹豫,而这种犹豫也会让我们错失良机。”盘和林认为,在生成式AI的打造上,光有热情是远远不够的,“虽然李开复一直在推动中国人工智能发展,进行这方面的科普,但他真正在生成式AI上投入了多少?”

  “AI是对人类学习历程的阐释,对人类思维过程的量化,对人类行为的澄清,以及对人类智能的理解。AI是人类认识并理解自己的最后一里路,我希望加入到这个全新绽放、充满前景的未来科学领域。”对于1983年在博士申请信中对于AI领域的向往,李开复在40年后又打算续写新的篇章。

  如今英雄帖已发,凑齐“天时地利人和”后,李开复能否得偿所愿,“打造这个世界级的公司”呢?

(文章来源:每日经济新闻)



wgwang隘(AI)门 ? 隘内言微义小,门外海阔天高

隘门宫风景区
  • Robin 和王海峰老师都说了,文心一言用了5500亿的知识图谱来做知识增强,那应该是确认了。想了解知识图谱,推荐权威书籍珠峰书《知识图谱:认知智能理论与实战》
  • 格局略小,感觉有点不自信。Robin 说“为什么要发布?因为有市场需求”
  • 示例都是视频,未知确认的效果。视频中生成的藏头诗不咋地。这点其实应该抓好的,把中文真的做好就有了强大的根基了。
  • 股价大跌,这点到是和 Google 发布Bard 时有的一拼。
  • 能生成图像和语音,这点还不错,但个人觉得,这个是外接已有的其他模型,或者用接口调用了现成的文心一格和语音合成。
  • 最后生成视频那个,过于“假”了,真实效果肯定很差。
  • 总体来说,我觉得对其他厂商来说,“是个好消息”
  • 盲猜有很大概率就是从 ERNIE3.0(网络架构见下图)有监督训练出来的,RLHF 那个搞不好没搞定。毕竟国内搞强化学习的不多,不像 OpenAI和Google/DeepMind,搞了好多年的强化学习了。学习强化学习的话,推荐《强化学习(第2版)》
ERNIE 的网络架构

发布会信息:

  • Robin 和王海峰老师都说了,文心一言用了5500亿的知识图谱来做知识增强,那应该是确认了。想了解知识图谱,推荐权威书籍珠峰书《知识图谱:认知智能理论与实战》
  • 格局略小,感觉有点不自信。Robin 说“为什么要发布?因为有市场需求”
  • 示例都是视频,未知确认的效果。视频中生成的藏头诗不咋地。这点其实应该抓好的,把中文真的做好就有了强大的根基了。
  • 股价大跌,这点到是和 Google 发布Bard 时有的一拼。
  • 能生成图像和语音,这点还不错,但个人觉得,这个是外接已有的其他模型,或者用接口调用了现成的文心一格和语音合成。
  • 最后生成视频那个,过于“假”了,真实效果肯定很差。
  • 总体来说,我觉得对其他厂商来说,“是个好消息”
  • 盲猜有很大概率就是从 ERNIE3.0(网络架构见下图)有监督训练出来的,RLHF 那个搞不好没搞定。毕竟国内搞强化学习的不多,不像 OpenAI和Google/DeepMind,搞了好多年的强化学习了。学习强化学习的话,推荐《强化学习(第2版)》
ERNIE 的网络架构

一句话,相比于 ChatGPT 的差距应该不小,发布会上 Robin 和王海峰老师都说了好几次不完美,还没训练好之类的话。特别的,王海峰老师还特地提到,有完整的强化学习的基础设施,但训练还不够。从 OpenAI 自身的报告来讲,有没有RLHF差距不小的,这样来看,文心一言和初代的 ChatGPT 的差距应该“相当地”不小。好的点是,直接能够生成图片和语音,特别是接入了语音合成,应用端方便了许多。

从发布会的信息来看,文心一言还是延续了文心的模型。较大概率是用了 ERNIE3.0,较小概率用了 ERNIE3.0-Titan。模型规模如下图所示:

近5年有影响力的大模型

来源:

模型的架构如下,这也是典型的神经网络大模型,学习神经网络,可阅读权威书籍花书《深度学习》。RNIE3.0(Enhanced Representation through kNowledge IntEgration)是此前百度所提出的一个自然语言处理模型。它是在ERNIE 1.0和2.0的基础上进行改进和优化的,是当前最具代表性和最先进的预训练语言模型之一。

ERNIE3.0的核心思想是将先验知识图谱集成到预训练的过程中,通过对多种任务的多重训练和知识蒸馏来提高模型的泛化性能和语义表示能力。它在模型设计上引入了可逆的Transformer编码器和解码器结构,采用了一系列创新性的训练技巧,如词义级别的知识蒸馏、多粒度的目标语言蒸馏等,从而实现了在多种自然语言处理任务上的卓越表现。

ERNIE3.0已在多项自然语言处理任务上刷新了当前最佳结果。例如,它在GLUE任务中取得了91.2%的最高得分,超过了GPT-3模型;在中文问答任务CMRC 2018上,它的F1得分达到了94.6%,超过了所有其他模型。除此之外,ERNIE3.0还在文本分类、命名实体识别、关系抽取等多个任务上展现了出色的表现。

发布会中, Robin 和王海峰老师都说了,文心一言用了5500亿的知识图谱来做知识增强,那应该是确认了文心一言中使用了知识图谱增强的模型,大概率来说,从事实的角度会更少胡说八道一点,但实际表现有待使用后再评价。对于知识图谱,推荐权威书籍珠峰书《知识图谱:认知智能理论与实战》,该书全面介绍了如何构建、存储和使用知识图谱,特别是知识推理部分,是辅助大模型解决高阶推理的核心技术。具体来说,王文广这本《知识图谱:认知智能理论与实战》涵盖了知识图谱的理论基础、技术体系和应用实战。首先,它详细讲解了知识图谱的概念、发展历程、架构模型、存储与检索等基本知识。接着,书中介绍了知识图谱构建的整体流程和关键技术,包括实体识别、关系抽取、属性抽取、实体链接、本体构建等。同时,书中还介绍了知识图谱的表示学习、图神经网络等前沿技术,以及多个知识图谱应用场景,如智能问答、知识推理、智能推荐、金融、医疗、智能制造等领域的应用等。总之,王文广的《知识图谱:认知智能理论与实战》是一本涵盖知识图谱理论、技术和应用实践的全面性专业书籍,对于从事人工智能、知识图谱相关领域的技术人员、学者和研究人员都具有极强的参考价值。

其他方面,个人感觉:

  • 格局略小,感觉有点不自信。Robin 说“为什么要发布?因为有市场需求”。另外,感觉是百度有史以来最不自信的产品发布会了。
  • 示例都是视频,未能确认真实的效果。视频中生成的藏头诗不咋地。这点其实应该抓好的,把中文真的做好就有了强大的根基了。
  • 股价大跌,这点到是和 Google 发布Bard 时有的一拼。
  • 能生成图像和语音,这点很不错,对使用来说机器方便。不过个人觉得,这个是外接已有的其他模型,或者用接口调用了现成的文心一格和语音合成。
  • 最后生成视频那个,过于“假”了,真实效果肯定很差。
  • 对国内其他厂商来说,可能“是个好消息”

另外一点就是,盲猜有很大概率就是从 ERNIE3.0有监督训练出来的,RLHF 那个搞不好没搞定。毕竟国内搞强化学习的不多,不像 OpenAI和Google/DeepMind,搞了好多年的强化学习了。在此之前,百度也基本不搞强化学习的。要学习强化学习的话,推荐Richard S. Sutton的《强化学习(第2版)》(Reinforcement Learning: An Introduction)。这是强化学习领域最为经典的教科书之一。这本书系统地介绍了强化学习的基本概念、主要算法和应用领域。它对强化学习的发展和应用具有重要的推动作用,被广泛应用于人工智能、机器人、自动化控制、游戏等领域。而Richard S. Sutton是加拿大阿尔伯塔大学计算机科学教授、加拿大计算机科学协会Fellow、加拿大皇家科学院Fellow,以及加拿大计算机学会和国际机器学习协会的会员。他在人工智能和机器学习领域有着极高的声誉和影响力,被誉为强化学习领域的创始人之一。

GPT-4理解意图和动机的方法包括:

  1. 自然语言处理技术可以帮助人工智能系统理解人类语言,将人类的意图和动机转化为计算机可以理解的形式。例如,将文本转化为向量表示,通过语义分析和语境分析等方法,解析出文本的含义和背后的意图。
  2. 深度学习技术可以通过对大量数据的学习,识别出人类的行为模式和动机。例如,对于电子商务网站的用户行为数据,可以通过机器学习技术挖掘出用户的购买意图和消费动机,从而为企业提供更加精准的推荐和个性化服务。
  3. 深度学习技术还可以通过对人类大脑神经网络的模拟,实现对人类意图和动机的理解。例如,通过构建深度神经网络模型,模拟人类视觉系统的工作方式,实现对图像和视频中人类意图和动机的理解。
  4. GPT-4模拟了人类大脑神的经网络,通过大量的文本数据进行学习,模拟了人类语言的理解,实现了意图和动机的理解。

以雨天打伞为例:

GPT-4理解了“雨天打伞”是一种常见的行为,是由于文本中有大量相关的内容,经过神经网络学习到的。这是由于人们在谈论通常是在下雨天出门时使用伞来保护身体免受雨水的淋浴。这是一种普遍的行为方式,可以防止人体受到雨水淋湿而导致的不适或疾病。因此,在下雨天,很多人会选择打伞这种行为。

要深入理解这个原理,则涉及 AGI 了。

“以人为本AGI” 就是以人类为中心的通用人工智能,也就是说人工智能是以服务人类为目的的,有名的“机器人三定律”说的也是这个。最近在硅谷,针对人工智能发展过程中要保持以人为本的讨论越来越多,这也说明了AI 的进一步发展,如果没有对齐人类核心价值观,出现负面的情况的几率在加大。从另一个角度,也说明了业内顶尖专家认为, AGI 到来的时刻并不遥远了。这个定义在前面几篇文章中重复了好几次了,最近又将其简化为“人本AGI” 或“人本智能体”。这个定义与最近(2月24日) OpenAI在其官网发布的《Planning for AGI and beyond》中的精神极为一致,比如“吾辈欲以人工智能为使,推动人类极致繁荣于宇宙之中(We want AGI to empower humanity to maximally flourish in the universe)”等。进而,“人本AGI”的公式为:

神经网络大模型 知识图谱 强化学习=人本AGI

其中,表示了某种组合/融合的方法,并且:

  • 神经网络大模型:连接主义发展至今的代表性成果,随着 AGI 的发展,大语言模型未必会是最终形态,比如多模态跨模态的神经网络大模型;对这个有兴趣的,建议学习花书《深度学习》深入了解其技术原理[3]。另外, 最近也出现了扩散模型+RLHF 的情况,也进一步说明了,上述人本 AGI 不仅仅适用于语言模型,更是适用于人类各种感觉、思维以及行动有关的。
  • 知识图谱 :符号主义发展至今的代表性成果,随着 AGI 的发展,知识图谱本身也需要不断发展,目前这种知识图谱未必是最终形态,比如拥有更强表达能力、知识计算的计算、推理和规划能力的知识图谱;对知识图谱有兴趣的,建议学习珠峰书《知识图谱:认知智能理论与实战》深入了解知识图谱的构建、存储、规划和推理等技术原理[4]。知识图谱是目前用以解决 AGI 有关事实性问题的核心技术。关于解决事实性的问题是迫在眉睫的,著名的马斯克也是这么说的。《知识图谱:认知智能理论与实战》全面介绍了如何构建、存储和使用知识图谱,特别是知识推理部分,是辅助大模型解决高阶推理的核心技术。具体来说,王文广这本《知识图谱:认知智能理论与实战》涵盖了知识图谱的理论基础、技术体系和应用实战。首先,它详细讲解了知识图谱的概念、发展历程、架构模型、存储与检索等基本知识。接着,书中介绍了知识图谱构建的整体流程和关键技术,包括实体识别、关系抽取、属性抽取、实体链接、本体构建等。同时,书中还介绍了知识图谱的表示学习、图神经网络等前沿技术,以及多个知识图谱应用场景,如智能问答、知识推理、智能推荐、金融、医疗、智能制造等领域的应用等。总之,王文广的《知识图谱:认知智能理论与实战》是一本涵盖知识图谱理论、技术和应用实践的全面性专业书籍,对于从事人工智能、知识图谱相关领域的技术人员、学者和研究人员都具有极强的参考价值。
马斯克认为 ChatGPT 还不够 Truth,这需要知识图谱来支撑。
  • 强化学习:行为主义发展至今的代表性成果,随着 AGI 的发展,强化学习本身也会不断发展,PPO 未必是最佳的形式。对强化学习有兴趣的,推荐Richard S. Sutton的《强化学习(第2版)》(Reinforcement Learning: An Introduction)。这是强化学习领域最为经典的教科书之一。这本书系统地介绍了强化学习的基本概念、主要算法和应用领域。它对强化学习的发展和应用具有重要的推动作用,被广泛应用于人工智能、机器人、自动化控制、游戏等领域。而Richard S. Sutton是加拿大阿尔伯塔大学计算机科学教授、加拿大计算机科学协会Fellow、加拿大皇家科学院Fellow,以及加拿大计算机学会和国际机器学习协会的会员。他在人工智能和机器学习领域有着极高的声誉和影响力,被誉为强化学习领域的创始人之一。

人工智能发展至今,已经出现了能够将神经网络大模型、知识图谱 、强化学习三者融合的系统(产品),而这已经隐隐散发出一点 AGI 的曙光,或称之为婴儿期的AGI,或称之为 AGI 的幼芽。未来,通用人工智能的进一步发展,必将使得曙光上升为朝阳,婴儿茁壮成长成青壮年,幼芽长成参天大树。那时,人本 AGI不仅仅为人类带来效率革命,或将为人类来带来思维革命。这种变革可能从改造自然到改造自身,其影响深远程度可能远超此前所有三次工业革命的总和。也许,我们的后辈的形态,也是我们现在所无法想象的。

  1. 文字、视觉、语音的感知和理解,构建感知这个世界的能力
  2. 决策和推理
  3. 事实

“以人为本AGI” 就是以人类为中心的通用人工智能,也就是说人工智能是以服务人类为目的的,有名的“机器人三定律”说的也是这个。最近在硅谷,针对人工智能发展过程中要保持以人为本的讨论越来越多,这也说明了AI 的进一步发展,如果没有对齐人类核心价值观,出现负面的情况的几率在加大。从另一个角度,也说明了业内顶尖专家认为, AGI 到来的时刻并不遥远了。这个定义在前面几篇文章中重复了好几次了,最近又将其简化为“人本AGI” 或“人本智能体”。这个定义与最近(2月24日) OpenAI在其官网发布的《Planning for AGI and beyond》中的精神极为一致,比如“吾辈欲以人工智能为使,推动人类极致繁荣于宇宙之中(We want AGI to empower humanity to maximally flourish in the universe)”等。进而,“人本AGI”的公式为:

神经网络大模型 知识图谱 强化学习=人本AGI

其中,表示了某种组合/融合的方法,并且:

  • 神经网络大模型:连接主义发展至今的代表性成果,随着 AGI 的发展,大语言模型未必会是最终形态,比如多模态跨模态的神经网络大模型;对这个有兴趣的,建议学习花书《深度学习》深入了解其技术原理[3]。另外, 最近也出现了扩散模型+RLHF 的情况,也进一步说明了,上述人本 AGI 不仅仅适用于语言模型,更是适用于人类各种感觉、思维以及行动有关的。
  • 知识图谱 :符号主义发展至今的代表性成果,随着 AGI 的发展,知识图谱本身也需要不断发展,目前这种知识图谱未必是最终形态,比如拥有更强表达能力、知识计算的计算、推理和规划能力的知识图谱;对知识图谱有兴趣的,建议学习珠峰书《知识图谱:认知智能理论与实战》深入了解知识图谱的构建、存储、规划和推理等技术原理[4]。知识图谱是目前用以解决 AGI 有关事实性问题的核心技术。关于解决事实性的问题是迫在眉睫的,著名的马斯克也是这么说的。《知识图谱:认知智能理论与实战》全面介绍了如何构建、存储和使用知识图谱,特别是知识推理部分,是辅助大模型解决高阶推理的核心技术。具体来说,王文广这本《知识图谱:认知智能理论与实战》涵盖了知识图谱的理论基础、技术体系和应用实战。首先,它详细讲解了知识图谱的概念、发展历程、架构模型、存储与检索等基本知识。接着,书中介绍了知识图谱构建的整体流程和关键技术,包括实体识别、关系抽取、属性抽取、实体链接、本体构建等。同时,书中还介绍了知识图谱的表示学习、图神经网络等前沿技术,以及多个知识图谱应用场景,如智能问答、知识推理、智能推荐、金融、医疗、智能制造等领域的应用等。总之,王文广的《知识图谱:认知智能理论与实战》是一本涵盖知识图谱理论、技术和应用实践的全面性专业书籍,对于从事人工智能、知识图谱相关领域的技术人员、学者和研究人员都具有极强的参考价值。
马斯克认为 ChatGPT 还不够 Truth,这需要知识图谱来支撑。
  • 强化学习:行为主义发展至今的代表性成果,随着 AGI 的发展,强化学习本身也会不断发展,PPO 未必是最佳的形式。对强化学习有兴趣的,推荐Richard S. Sutton的《强化学习(第2版)》(Reinforcement Learning: An Introduction)。这是强化学习领域最为经典的教科书之一。这本书系统地介绍了强化学习的基本概念、主要算法和应用领域。它对强化学习的发展和应用具有重要的推动作用,被广泛应用于人工智能、机器人、自动化控制、游戏等领域。而Richard S. Sutton是加拿大阿尔伯塔大学计算机科学教授、加拿大计算机科学协会Fellow、加拿大皇家科学院Fellow,以及加拿大计算机学会和国际机器学习协会的会员。他在人工智能和机器学习领域有着极高的声誉和影响力,被誉为强化学习领域的创始人之一。

人工智能发展至今,已经出现了能够将神经网络大模型、知识图谱 、强化学习三者融合的系统(产品),而这已经隐隐散发出一点 AGI 的曙光,或称之为婴儿期的AGI,或称之为 AGI 的幼芽。未来,通用人工智能的进一步发展,必将使得曙光上升为朝阳,婴儿茁壮成长成青壮年,幼芽长成参天大树。那时,人本 AGI不仅仅为人类带来效率革命,或将为人类来带来思维革命。这种变革可能从改造自然到改造自身,其影响深远程度可能远超此前所有三次工业革命的总和。也许,我们的后辈的形态,也是我们现在所无法想象的。

说明了越狱成功,水平杠杠的

太长不看:

  1. 神经网络大模型 知识图谱 强化学习=人本AGI
  2. OpenAI 的目标是 AGI,建议Project AI2.0直接改名 Project AGI
  3. 如果只是搞 LLMs 或多模态 LLMs,折戟沉沙的概率很大
  4. 算力设施、数据都很重要

原始消息:

其目标是想做类似 OpenAI 的 ChatGPT的内容。如果知识搞 LLMs,那大概率会折戟沉沙。这是由于OpenAI的目标是 AGI,AGI 并不等于LLMs。

我们的使命是确保通用人工智能――通常比人类更聪明的人工智能系统――造福全人类。

如果 AGI 成功创建,这项技术可以通过增加丰富度、推动全球经济发展以及帮助发现改变可能性极限的新科学知识来帮助我们提升人类。

AGI 有潜力赋予每个人不可思议的新能力;我们可以想象这样一个世界,在这个世界中,我们所有人都可以获得几乎所有认知任务的帮助,为人类的聪明才智和创造力提供巨大的力量倍增器。

另一方面,AGI 也会带来严重的滥用、严重事故和社会混乱的风险。由于 AGI 的优势如此之大,我们不认为社会永远停止其发展是可能的或可取的;相反,社会和 AGI 的开发者必须想办法把它做好。A[A]

相对于我们之前的预期,我们似乎得到了很多 礼物 :例如,创建 AGI 似乎需要大量的计算,因此世界会知道谁在做这件事,这似乎是 hyper 的最初概念-进化的 RL 智能体相互竞争,并且以我们无法真正观察到的方式进化智能的可能性比最初看起来的要小,几乎没有人预测到我们会在可以从中学习的预训练语言模型上取得如此大的进步人类的集体偏好和输出等。

AGI 可能会在不久或遥远的将来发生;从最初的 AGI 到更强大的后继系统的起飞速度可能会很慢或很快。我们中的许多人认为这个二乘二矩阵中最安全的象限是时间短和起飞速度慢;较短的时间线似乎更易于协调,并且更有可能由于较少的计算过剩而导致起飞速度变慢,而较慢的起飞时间使我们有更多时间根据经验找出如何解决安全问题以及如何适应。

虽然我们无法准确预测会发生什么,当然我们目前的进展可能会碰壁,但我们可以阐明我们最关心的原则:

  1. 我们希望 AGI 能够赋予人类在宇宙中最大程度地繁荣发展的能力。我们不期望未来是一个不合格的乌托邦,但我们希望将好的最大化,将坏的最小化,让 AGI 成为人类的放大器。
  2. 我们希望 AGI 的好处、访问权和治理得到广泛和公平的分享。
  3. 我们希望成功应对巨大风险。在面对这些风险时,我们承认理论上似乎正确的事情在实践中往往比预期的更奇怪。我们认为,我们必须通过部署功能较弱的技术版本来不断学习和适应,以最大程度地减少“一次成功”的情况。

短期内

我们认为现在有几件事很重要,可以为 AGI 做准备。

首先,随着我们不断创建更强大的系统,我们希望部署它们并获得在现实世界中操作它们的经验。我们相信这是谨慎管理 AGI 存在的最佳方式――逐渐过渡到 AGI 世界比突然过渡要好。我们期望强大的 AI 能够加快世界的进步速度,我们认为最好是逐步适应这一点。

渐进的过渡让人们、政策制定者和机构有时间了解正在发生的事情,亲身体验这些系统的好处和缺点,调整我们的经济,并实施监管。它还允许社会和 AI 共同进化,并允许人们在风险相对较低的情况下共同弄清楚他们想要什么。

我们目前认为,成功应对 AI 部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。社会将面临人工智能系统被允许做什么、如何消除偏见、如何处理工作岗位流失等重大问题。最佳决策将取决于技术所采用的路径,并且与任何新领域一样,到目前为止,大多数专家预测都是错误的。这使得在真空中进行规划非常困难。

一般来说,我们认为在世界上更多地使用 AI 会带来好处,并希望推广它(通过将模型放入我们的 API 中,将它们开源等)。我们相信,民主化的访问也将导致更多更好的研究、分散的权力、更多的利益以及更多的人贡献新的想法。

随着我们的系统越来越接近 AGI,我们对模型的创建和部署变得越来越谨慎。我们的决定将需要比社会通常对新技术应用的谨慎得多,也比许多用户希望的谨慎得多。AI 领域的一些人认为 AGI(和后继系统)的风险是虚构的;如果结果证明他们是对的,我们会很高兴,但我们将把这些风险当作 存在的方式来运作。

在某些时候,部署的利弊之间的平衡(例如授权恶意行为者、造成社会和经济破坏以及加速不安全的竞赛)可能会发生变化,在这种情况下,我们将围绕持续部署显着改变我们的计划。

随着我们的系统越来越接近 AGI,我们对模型的创建和部署变得越来越谨慎。

其次,我们正在努力创建更加一致和可控的模型。我们从 GPT-3 的第一个版本等模型到 InstructGPT 和 ChatGPT的转变 就是一个早期的例子。

特别是,我们认为重要的是社会就如何使用人工智能达成极其广泛的界限,但在这些界限内,个人用户有很大的自由裁量权。我们最终的希望是世界机构就这些广泛的界限应该是什么达成一致;在短期内,我们计划对外部输入进行实验。世界上的机构将需要通过额外的能力和经验得到加强,以便为有关 AGI 的复杂决策做好准备。

我们产品的“默认设置”可能会受到很大限制,但我们计划让用户可以轻松更改他们正在使用的 AI 的行为。我们相信赋予个人做出自己的决定的权力和思想多样性的内在力量。

随着我们的模型变得更强大,我们将需要开发 新的对齐技术(以及测试以了解我们当前的技术何时失败)。我们的短期计划是 使用 AI 来帮助人类评估 更复杂模型的输出并监控复杂系统,而从长远来看,我们将使用 AI 来帮助我们提出新的想法以获得更好的对齐技术。

重要的是,我们认为我们经常需要在人工智能安全和能力方面共同取得进展。分开谈论它们是错误的二分法。它们在很多方面是相关的。我们最好的安全工作来自与我们最有能力的模型一起工作。也就是说,提高安全进步与能力进步的比率很重要。

第三,我们希望就三个关键问题展开全球对话:如何治理这些系统,如何公平分配它们产生的收益,以及如何公平共享访问权限。

除了这三个领域之外,我们还尝试以一种使我们的激励措施与良好结果相一致的方式来建立我们的结构。我们的章程中有 一个条款 关于协助其他组织提高安全性,而不是在后期 AGI 开发中与他们赛跑。我们对股东可以获得的回报设定了上限,这样我们就不会被激励去尝试无限制地获取价值,并冒着部署具有潜在灾难性危险的东西的风险(当然也是作为与社会分享利益的一种方式)。我们有一个非营利组织来管理我们,让我们为人类的利益而经营(并且可以凌驾于任何营利利益之上),包括让我们做一些事情,比