庆云古诗词

庆云古诗词

【赛先生说】对话梁正:为什么ChatGPT创新没发生在中国?|人工智能

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

梁赛赛个人资料,梁赛珍后来怎样了,梁赛英 梁衍锋,梁赛英 梁衍峰

  编者按:现在,让我们把聚光灯对准中国基础学科的研究者――数学家、化学家或者人类基因的研究者。

  我们希望能够抛开科技报道对巨头公司和创始人个人生活事无巨细的关注,回归到科研最基本的单元:科研者。

  我们称之为“赛先生说”,我们将以系列报道的形式展现他们的工作、生活和面临的环境。

  这些研究者是谁?在干什么?在担忧什么?面临什么?他们所做的事情,在世界范围内又处在什么样的序列?

  这些问题的答案将构成中国科研的底色,并成为一个庞大经济体未来前进的动力。

  经济观察报 记者 宋笛 郑U心?3月15日凌晨1点,OpenAI宣布正式推出ChatGPT4.0,这是其AI语言模型系列中的最新产品,也向全球科技界投下了一枚核弹。第二天,百度文心一言发布,承载着中国生成式AI产品的希望,但是正如百度董事长李彦宏所说,这款产品并不完美。

  这样的差距引发了学界和业界的讨论,因为就在五年前,中国和美国的人工智能发展似乎差距缩小到了一个程度。

  2018年清华大学中国科技政策研究中心发布了《中国人工智能发展报告2018》(以下简称“报告”),彼时报告提出,中国在论文总量和被引论文数量上都排在世界第一,专利数量排名第二,中国人工智能企业数量位列世界第二,中国人工智能领域的投融资占到了全球的60%,成为全球最“吸金”的国家。

  “现在专利数量也排名第一了”,当时主持编撰该报告的梁正介绍。梁正现任清华大学公共管理学院教授、人工智能治理研究中心主任,他一直致力于研究科技政策、创新管理等领域,曾担任国家创新调查制度咨询专家组专家,《国家中长期科学和技术发展规划纲要(2006-2020年)》实施情况中期评估专家组专家,参与完成国家中长期科技发展规划战略研究。

  在梁正看来,彼时出台的报告实际上更希望强调的是中国人工智能领域仍需要努力的方向,比如在核心技术如芯片和底层架构方面的力量依然十分薄弱、顶尖人才缺乏,与发达国家特别是美国的差距还十分明显等。“但在当时的产业氛围中,大家更关注的是我们已经取得的成绩”,梁正说,在当时机器视觉等细分领域,中国企业在国际竞赛和产业应用两端取得了显著优势。

  就在报告发布的前一年,即2017年,谷歌发表了论文《AttentionisAllYouNeed》,提出了一个新的学习框架Transformer。由此,人工智能开始进入大模型时代。

  在自然语义处理领域,这一框架取得了非常好的效果,OpenAI连续迭代的GPT即是基于这一新的学习框架。

  五年时间过去,从目前的成果发布现状来看,在这场新的人工智能竞赛中,中国尚未如2018年一样,有并驾齐驱之感,从某种直观的体验上,中美的差距似乎被“拉大了”。

  在梁正看来,2018年实际上还只是个别领域的成绩突破,本质上是在别人的架构和数据集基础上,在一些应用场景上的突破,并不意味着中国在人工智能领域取得了全局性的优势。但今天也不意味着中国人工智能掉队了,在人工智能领域,中国产业和学术界依然在稳步前进,在一些领域仍然有自己的优势。

  从2017年国家出台新一代人工智能发展规划开始,中国人工智能研发在“集中力量办大事”和“市场主导的产业落地”两端都很有力度,但似乎如中国工程院院士李国杰所说的那样,国内AI研究存在“顶不了天、落不了地”的情况,尽管有很多被引用次数很多的论文,数量也颇高,但与真正的“成果”还有距离;而国内人工智能头部公司在资本退潮后,似乎也有些沉寂。

  我们可以从ChatGPT的创新中观察到什么?在人工智能的科研政策、科研路线上是否有进一步调整的空间?科技公司又可以从中学习到什么?

  为此,我们专访了梁正,他同时是清华大学人工智能国际治理研究院副院长,2020年,清华大学人工智能国际治理研究院成立,这是由清华大学批准成立的校级科研机构,面向人工智能国际治理重大理论问题及政策需求开展研究,成立以来承担了包括国家科技创新2030重大项目,科技部科技创新战略研究专项等一系列重大项目。

  梁正介绍,这是科技和产业的关系,再往底层说有些事也不是公司去做,0-1的事情应该科学家做,1-2由具备长期战略视角的企业来做,而在中间科研界、产业界应该有种紧密互动的机制,中国正在构建这一生态,还不能太着急。

  |对话|

  硅谷式创新

  经济观察报:ChatGPT是个非常典型的硅谷式创新,我们能看到很多标签,比如辍学的天才、风险投资、科技集团等等,从这些标签后,我们能观察到创新机制的要点是什么?

  梁正:ChatGPT是创新生态体系产出的结果,拆解这个生态有几个关键步骤,有创新性的机制,企业走了一条不寻常的道路,聚集了一批理想主义的技术天才,大公司进行了投入和资源整合。我们现在面临的一个困境是没有这样的生态,可以支撑创新层出不穷。

  但要看到,美国形成这样的创新体系也花了很长时间,美国是三个体系叠加到一起产生的化学反应,一个是研究型大学,有相对的独立性,有一批科学家在做探索性的工作;第二个是使命导向的如联邦实验室体系,以国家使命去驱动前沿研究;第三个是硅谷,基于创新创业和风险投资的商业生态,三者之间有密切的互动,才支撑了美国的从科研到产业化创新的循环,先有从0-1的突破,再有人承接去做1-2工作。另外,资本市场起了放大器的作用支撑了从2到N的阶段。可见,基础研究、商业投资和政府支持要有良性的互动,建立起从创新到价值的完整链条。

  经济观察报:在你看来ChatGPT产生于openAI 公司,有没有体现出一些更新的创新特点?

  梁正:微软作为一个战略投资者去支持了一开始看起来不是特别靠谱的事,这是一个创新。大公司也做内部风投,但很少像微软这一次押这么重的注,这也可见,这一类创新中小企业自己已经玩不起了,背后有非常大的投资门槛。

  经济观察报:21世纪有一个很大的变化,很多伟大的事情是小公司在做,这和20世纪是有很大的区别,例如20世纪是波音等大公司在造飞机,21世纪是小公司在发射火箭,为什么会出现这样的情况?

  梁正:小公司没有什么负担,机会成本是最小的,openAI一开始定义自己是一个非营利机构,巨头们可能不愿意干获利前景太远的事情。但也不能武断地说大公司就不创新,大公司能力主要是在于规模化。合理的互动机制是,小企业提出好的idea,靠大企业最终实现。

  经济观察报:美国政府在这一轮美国的人工智能的发展中扮演的角色是什么?

  梁正:美国政府在创新中扮演着多重的角色,美国政府实际上是一个发展型政府,并没有对外所说的那么放任不管,而是在各个环节上推动创新和产业发展。比如,美国政府是基础研究和知识生产方面最大的资助者,也是研发目标或者需求的提出者,更重要的是美国政府也是采购方,同时还扮演着各方面创新力量协调人的角色。一些重要的行业面临危机的时候,例如半导体,就是美国政府来组织协商对策。美国政府的角色不像我们想的那么单一,它其实很多元。

  经济观察报:ChatGPT本身就是一家企业创造的,硅谷似乎有一套比较成熟的企业和科研界转化的机制,而且这个机制随着科技公司发展变得越来越灵活,我们可以怎么去理解这种机制,产业界、科研界和政策的关系应该是什么样?

  梁正:这是科技和产业的关系,再往底层说有些事也不是公司去做,比如说“人工智能”(AI)就是在Dartmouth会议上一帮科学家最早提出来的概念。0-1的事情应该科学家做,1-2由具有长期战略视角的企业来做。这里面需要巨大的投入,如果都让政府做问题也很大,每一笔公共投资其实都是要有所交代,很怕钱投进去,最后一地鸡毛。

  我们研究美国国防部高级研究计划局(DARPA)很长时间,为什么他们总能做出来颠覆性创新?首先他不是看商业目标,很多项目经理是有业界经验的;其次他们项目经理在选择项目的时候会和业界做紧密的沟通,反复去问IBM、英特尔做不做,如果英特尔IBM都觉得说不做,这事太困难了,短期内做不出来,项目经理大概就能判断这件事情应该是政府来做,然后他会考虑把企业和政府的目标结合。DARPA支持不同的团队去做原创性和探索性研究,他机制很精细,可能一开始几支小团队都去做探索,然后做到一定程度比一比,看谁更有希望。而且项目经理的权力很大,他可以要求学者去做什么研究,等研究做到一定程度,也就是产业觉得可以做的时候就不再投钱,项目就交接给产业。

  产学研界建立这种紧密的联系是需要时间的,这次机构改革让一些科技计划项目回到行业部门去管理,从面向产业需求去寻找研究问题的角度来看是合理的。在科技资源配置方面,我们过去的问题是大家拿一个本子去到不同地方找支援,但美国会用多个渠道的经费来支持一件事,我们现在的问题是拿一个本子去不同的地方交差。科学界和产业界要形成一种互动机制,还是需要有懂产业的科学家和项目管理人员。

  ChatGPT给中国的启示

  经济观察报:2017年前后,中国的AI的专利数量、论文数量、论文被引数量都处于全球第一、第二位置,当时给人一种感觉,在人工智能领域中美是并驾齐驱的,事实是这样的吗?

  梁正:2018年我们发布了中国第一个人工智能发展报告,报告从论文、专利、投融资等维度做了中美比较,中国在论文总量和论文被引数量上都排在世界第一,当时专利数量排名第二,现在也排名第一了,中国市场规模大,众多业务场景需求拉动了专利申请,显得专利数量特别多。尤其是机器视觉领域,中国相关公司参加国际大赛的排名都很靠前。

  但这是一叶障目,用人工智能的一个应用场景做得好得出了人工智能全局好的结论。实际上,中国人工智能的发展是在别人的架构、数据集的基础上,我们取得应用场景的突破也有着特殊原因,比如说机器视觉的发展和工程建设采购、公共场景需求是离不开关系的,为什么会出现一种我们已经是“老二”的错觉?这几年业界学界都在反思,我们在人工智能领域基本是做应用,当时很多人认为这是人工智能的全部,其实只是人工智能大领域里边很特殊的一部分。

  把时间尺度拉长来看,我们会有更清醒的认知,当我们认为自己在一些应用领域已经非常领先的时候,国际早已在做底层更加基础的研究,不仅是人工智能领域,其他产业中国企业也很少有大力做基础研究的。我们和业界交流,大家的思路基本是跟随,看着有苗头了,再大规模投入,快速地应用落地,这是我们的特点。

  我们也参与了2017年国家新一代人工智能发展规划的编制,当时在科研方面实际上布局了5条不同路线,都是着眼于未来的新的方向。未来中国要想在人工智能领域里面真正有一席之地的话,那就不能走跟随的路线,我觉得确实不能够着急,想看到开花结果还没那么快,首先对自己要有客观的判断,不能因为论文多、专利多,就说人工智能领域我们已经很强了,这是以点带面、太过乐观。

  经济观察报:市场巨大的牵引力可能会倒逼上游的创新,但是在人工智能的头部公司上,这一点表现得不是很明显,既然有了这么大的市场订单,为什么中国公司还是没跟上ChatGPT的浪潮?

  梁正:在应用场景之下是底层架构和基础研究,当我们和业界去交流时,原以为他们市值已经这么高,在创新的基础上一定会大量投入,结果却不是,中国公司很少有做长期的规划,即便是定位于做基础研究的头部企业的研究院,对它的考核都是相对短期的。到现在为止,几乎没有中国公司大力投入基础研究,没有人做0-1的事情。我们可能要用一段时间来营造创新的市场环境,有一批长期主义的人做基础性、探索性工作,才有可能做出有意义的东西。

  经济观察报:如果仅仅以跟随的要求来看,似乎我们在大模型这一波浪潮中,跟得也并不紧?

  梁正:为什么说企业也需要有科学家,因为有了企业才能把握到最前沿的研究方向,并更好的做出判断,比如华为就“养”了一批科学家,可能短期内不见得这些人可以作出产品方面用得上的技术,但就像贝尔实验室也是一样,除了自己做研究以外,还要看别人做什么研究,这里有哪些东西是对我公司有意义的,华为今天在5G短码标准方面的技术源头就是公司里科学家看到了土耳其教授的一篇文章。企业不“养”这一批人,想让大学老师替你去看论文,是不现实的,因为他不会和行业的需求去结合,也不了解企业需要什么。所以这是一个体系,没有专业的项目管理人员,没有一批在产业领域的科学家做战略谋划,想做产学研的结合是很难的。

  但在中国要求大企业去“养”一批科学家,要求太高了。我不是说中国企业短视,只是中国企业还没有尝到甜头,还没有引起重视,或者改变观念,认为底层创新会对产业产生重大的影响。硅谷这些大公司,第一个吃螃蟹的都会获得巨额的回报,根本上还是经济激励的问题,他得尝到创新的甜头,他才会继续。我希望业界、学界能建立起交流机制,企业提出问题,学界重视企业的选题。

  经济观察报:在基础研究领域,我们应该怎么去推动基础领域的探索以解决“上不着天和下不着地”的问题?

  梁正:其实要同时重视三类技术研究,一种是自由探索型的,最后结果和一开始预期是完全不一样的研究;第二种是使命导向型的,跟国家目标契合的方向;第三种是市场需求导向型的,和业务场景结合。如果对三类研究都予以同等重视,在三种研究之间建立密切互动的机制,就能解决研究“上不着天”和“下不着地”的问题,或者说现在的机制存在两头都联系不畅的问题,很多学者包括评审专家不是真正了解实际的需求,没有丰富的行业经验,很多选题可能是根据他自己的偏好或者说所处的领域来定的,这是不够的。

  经济观察报:你认为在人工智能这个领域里面,科研政策或者政府部门还有进行微调的空间吗?

  梁正:中国政府现在作为出资人和采购人的角色正在加强,去年六部委出台文件鼓励基于重大应用场景的人工智能创新,已经进了一步,要把政策运用起来,并且这些政策工具我们以前也成功使用过,例如在电动汽车行业。在协调人的角色发挥方面,目前来看相关部门作用发挥得还不是特别理想,但从这次机构改革也能看出,成立了中央科技委,科技部也从具体的项目管理里抽身出来,更多做战略布局、统筹协调的工作,在科技工作方面的协调力度会显著提升。

  经济观察报:我们怎么去补这些短板?

  梁正:基础的能力建设是需要大家一起来做的,有政府、科学家、大企业和小企业的参与,也应该有行业协会的协调,可能效果更好。

  经济观察报:上一轮中国在专用场景里做了很多突破,一些人觉得继续采用跟随策略,快速进入应用场景,中国这一轮还能出现大的爆发,你怎么看?

  梁正:如果跟得足够快,结合场景肯定是可以的,但是第一,现在ChatGPT在国内还没有开放,国内正在做替代产品,但是要看效果质量怎么样;第二也不能盲目跟风,在语言大模型上来讲,真不见得中文语言有优势。要想成功,一些扎实的底层工作绕不过去,需要一些有理想主义的企业家和有市场视角的科学家,这样的人慢慢多起来,就会从量变产生质变。



解密chatgpt背后的技术 谈谈ChatGPT未来发展思路

chatteing,chatbot,chat,chattype

ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入,产生相应的智能回答。这个回答可以是简短的词语,也可以是长篇大论。其中GPT是Generati【【微信】】rmer(生成型预训练变换模型)的缩写。

今天分享来自于陈巍博士著写的《ChatGPT发展历程、原理、技术架构详解和产业未来》,报告将介绍ChatGPT的特点、功能、技术架构、局限、产业应用、投资机会和未来。

报告主要内容如下:

0、引言

1、ChatGPT的传承与特点

2、ChatGPT/GPT的原理

3、ChatGPT的技术架构

4、ChatGPT的局限

5、ChatGPT的未来改进方向

6、ChatGPT的产业未来与投资机会