庆云古诗词

庆云古诗词

圆石重磅|ChatGPT并非真正的人工智能?AI拐点是出现新体系|武卿对话刘伟

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

圆石石子,圆石造型图片大全,圆石怎么说,圆石投资是谁的

“人工智能的飞速发展,为未来增加了诸多不确定性,未来的世界更加不可预测。

ChatGPT问世以来,在全球范围内掀起了一场科技革命,人工智能的飞速发展,为未来增加了诸多不确定性,未来的世界更加不可预测。

4月27日,苇草智酷和盛景圆石共创汇联合主办题为“ChatGPT热度速度背后不可预测的世界”的圆石深研沙龙,邀请北邮人机交互与认知工程实验室主任、剑桥大学访问学者刘伟教授,信息社会50人论坛执行主席、北京苇草智酷创始合伙人段永朝,为大家带来关于人工智能的深度对谈。

以下是盛景网联集团合伙人、奇霖传媒创始人武卿和刘伟教授的对话实录,经整理编辑分享给大家,欢迎阅读转发。

嘉宾简介

刘伟,北京航空航天大学工学博士,北京邮电大学人工智能学院研究员,北邮人机交互与认知工程实验室主任,剑桥大学访问学者,清华大学战略与安全研究中心中美二轨AI对话专家,前科技委人机融合智能组首席科学家,媒体融合生产技术与系统国家重点实验室特聘研究员,中国指控学会认知与行为专委会副主任委员、城市大脑专委会委员。

研究领域为人机融合智能、认知工程、人机环境系统工程、未来态势感知模式行为分析/预测技术等多方面等。现为中国信息与电子工程科技发展中心专家委员会特聘专家、国家自然科学基金评议专家、全国人类工效学标准化技术委员会委员、中国人工智能学会高级会员。

主持人简介

武卿,盛景网联集团合伙人,专注硅谷、以色列科技精英报道的媒体公司奇霖传媒创始人。跨国媒体品牌《硅谷大佬》《环球链》《环球大佬》出品人、总制片人,书籍《区块链真相》《全力以赴》作者。央视《焦点访谈》《新闻调查》前调查记者。多项知名国际国家大奖获得者。2017中国十大品牌女性、2021中国品牌女性500强荣誉获得者。以色列国会科技委员会、美国国家祈祷早餐会嘉宾,以色列旅游部、澳大利亚华语电影节推广大使,众多硅谷、以色列创投人士的中国媒体朋友。

中南财经大学工商管理硕士,清华大学五道口金融学院“金融媒体高管”项目成员。

精华速览

一、谈人工智能的发展现状和变化

1.北邮人机交互与认知工程实验室主要探索人机交互

2.十年来,人工智能的本质并未改变

3.真正的人工智能出现的拐点,是出现新的体系

4.实现通用人工智能:新三论、旧三论都要改变

5.应对智能的副作用要各方共同努力

二、人工智能在军事领域的应用

1.人工智能在俄乌战争初期的两大应用:后勤保障打击和指挥控制系统

2.人工智能应用在军事上面临六大问题

3.美军运用人工智能的两大方向:机器学习和自主系统。

三、谈人机融合智能革命

1.人机融合智能不是简单的类脑

2.休谟之问是人工智能的关键之问

3.剑桥:人工智能的重要发源地

四、人工智能革命:一场彻底的全方位变革

1.人机智能革命是综合革命

2.东西方科技革命的区别:西方计算,东方“算计”

3.东西方文明走向交融成为趋势

五、人类进入百年未有大变局时代

1.伟大的时代是什么样?

2.人机环境融合发展方向:人机环境系统智能

3.实现人机环境系统智能的四个关键:输入、推理、输出和反馈

1

谈人工智能的发展现状和变化

武卿:去年12月,我就想做一个关于人工智能和ChatGPT的深度活动,但我觉得现在才是最好的时机,因为大部分人,包括我自己,已经从最初的狂热情绪走向冷静,从稍微有一点认知扭曲的状态过渡到现在比较正常的状态,才有可能安静下来谈一些真问题。

在这个系列开始的第一天,希望给朋友们一个视野比较开阔的大坐标,这个坐标的时间轴和空间轴都足够长,方便您打开视野,在这个坐标内找到自己观察的好望角,找到自己或者自己所在的企业的位置,这是我做这个系列的初心。

在进行对话之前,我再次重申一下今天的主题,叫ChatGPT热度速度背后的不可预测的世界,大家看得可能有点云里雾里,为什么是不可预测的世界?因为我在准备这个系列时,看了大量的资料,不可预知、不确定性出现的频率特别高,我觉得“不确定性”是非常确定的,我们为什么研究?因为它与人类的命运密切相关,否则就没有研究的动力和必要了。人工智能会带来什么?企业、投资人应该以怎样的心态,特别是怎样的具体行动去应对?这是今天第一场要访谈的内容。

今天首先请出的是刘伟老师,他是北京邮电大学人工智能学院研究员、北邮人机交互和认知工程实验室的主任、剑桥大学访问学者、清华大学战略与安全研究中心中美二轨AI对话专家。人工交互这个词我知其然不知其所以然。在今天的访谈中,人机融合智能话题大概最少要用25分钟的时间来研讨,此外还有人机环境系统工程话题。

对这次对话期待已久,请您先用五六分钟的时间,介绍一下北邮人机交互与认知工程实验室主要探索什么问题。

刘伟:好的,谢谢武总!刚才武总也介绍了,我是北邮人机交互与认知工程实验室主任,我们实验室主要研究两块,第一是脖以上人机交互,主要涉及人和座舱,人的生理的功效学的测量,包括仿真模拟、太空舱出舱,还有一些界面设计。

第二,我们写了一些关于人机交互的专著,脖子以下人的生理和物理之间的界面。另外是人机融合智能,主要涉及脖子以上。脖子以上是人机交互,主要涉及人和座舱仿真,人的生理的工效学的测量,包括行为仿真模拟,还有一些界面设计?大家如果想详细了解,我们的微信公众号有详细的介绍。

武卿:好的,说到您去剑桥的经历,您是哪一年去剑桥大学做访问学者的?2013年前回来的对吧?

刘伟:对,2012年到2013年,整整一年时间。

武卿:2013年的时候,也有以机器学习为代表的人工智能浪潮,我翻阅了您过往微信公众号文章,十年前,您怀疑的是什么?不安的是什么?现在整整十年过去了,这个时间对技术来讲非常长,您当初的怀疑有没有什么变化?

刘伟:依然没有变化。现在新的算法出现了,实际上人工智能的本质还没变化。在2013年回国后,我和国内外的朋友交流发现一个问题,大家做人工智能很多是自动化方面,严格意义上还不叫人工智能,大家的期望比较高。

自动化相对来说比较确定,刚才您提到确定性和不确定性,实际上,自动化涉及的输入方面属于确定性的,中间的处理过程可以编程,输出也可以是确定性的。

但是,智能两端都是不确定的,中间只有部分可编程,现在的人工智能确定性比较多,而且今年ChatGPT出来以后,大家感觉人工智能好像又上了新的台阶,实际上我感觉还是延续了以前的基于统计的、概率的输出,本质是求解下一个词语的相关性输入概率大小的问题。所以,现在的人工智能还是一种高级的自动化,还谈不上大家期望的类似于人的智能,或者比人更高的智能。

武卿:您对智能的理解,可能比绝大多数人更加准确,很多人在ChatGPT出来之后,情绪上可以说很狂热,您比较冷静。那么从现在一直发展下去,您觉得在什么时候可能会出现拐点,或者会出现突破点、转折点?人工智能真正成为您心目当中的人工智能,大概需要多少年?

刘伟:时间应该是看塑造或建造人工智能工具的完善程度,最早第一波人工智能靠知识驱动,包括专家系统、符号主义,虽然做了很多工作但有问题,因为人的经验或知识不可能覆盖所有方面,于是又出现了基于数据驱动的神经网络系统。

进入系统后形成一个组合的人工神经网络,这个人工神经网络延续了前两个人工智能的发展状况,基于数据驱动的人工智能,涉及到RNN,也就是循环神经网络,它以短时记忆、剧烈处理作为很重要的方式,是串联处理信息的方式。后来又出现了长短时记忆的机制,这样就把短时记忆的缺点,通过长时记忆的优点进行了补充,来进行神经网络的处理。

最近这一次是主要的框架里的模型,模型里的重要模块基于统计和概率加上了提示。模型很重要的特点是对不同的输入的权重和处理的方式,由串联变成了处理,加快了速度,这就形成了目前大家感到非常新颖的人工智能,基于transformer模型的GPT格式。再发展到下一步阶段,我们判定是基于上下文、情境、态势的新的智能形式,这可能是未来主要的发展方向。

所以真正的智能,不仅仅是机器的处理方式,还涉及到复杂的人机环境系统处理方式,表征来看还需要一段时间,需要在数学上有所突破,在新的智能机理上有新的认识。一句话,应该产生一个新的体系,这个体系可能不是在GPT的基础上产生的,不是在单纯的基于知识、基于数据结构上产生的,或者应该叫通用人工智能,可能是一个新的架构,这个架构是基于上下文以及态势感知的,我们也特别期待,我们国家在这方面有新的突破,谢谢武总!

武卿:好,您觉得通用人工智能是一定会出现的。我记得前不久看了一本书,凯文・凯利的《5000天后的世界》。应该是这本书里提到一句,通用人工智能不会出现。您对通用人工智能是怎么看的?我感觉您的观点好像有点不大一样,这方面我没有深入,也不是特别懂。

刘伟:没错,我有一次在国家会议中心见过凯文・凯利。

武卿:2014年是吗?

刘伟:对,他来过。

武卿:我也是在那次会议中见到的。

刘伟:是吗,非常好!他的观点和我的观点有相同的地方,也有不同的地方。不同的地方是他认为通用人工智能可能不会出现,认为通用智能很可能会在一定的时间内、在特定的场景下出现。通用智能不是单纯以机器为主的,应该是人机环境系统的综合体现,既包括技术,也包括管理、运行、组织的体系,而不是单个的智能的产品,我大概这样理解。

武卿:有可能你们对于通用智能的定义不完全一样,所以产生了不一样的判断。但是按您所说,要实现您定义的通用人工智能,要求也不简单。

刘伟:对,没错。

武卿:也是需要一定的条件,可以这么理解吗?

刘伟:没错,可以这么理解,需要把智能理论和控制理论、信息理论、系统理论、协同理论都进行翻新,新三论旧三论都会发生新的变化。

比如信息论,信息论只反映了信息的多少,用比特来衡量,实际上,未来智能里的信息论不单包含了数量,而且还包含了信息的质量、信息的好坏,这样会有崭新的智能形式,尤其对人而言会发生很大变化。

武卿:理解,咱们探讨下一个问题,我看您从剑桥回来之后,写了两本书,其中一本有提到人工智能的副作用,这个问题老实说我是比较关注的,您认为人工智能的副作用都有什么?您在书中为什么要用那么大篇幅谈这个问题?

刘伟:严格意义上说,人工智能本身没有好和坏之分,它是一个技术,是一个工具。

武卿:同意,是的。

刘伟:就像原子弹一样,涉及到使用者的好坏,好人用它造福人类,坏人可以损害人类,所以人工智能有很多被滥用,我在剑桥心理测量实验室时,有几个博士参与了剑桥分析公司,剑桥分析公司后来在美国大选或其他方面出现了一些问题,大家可以看出来,这样会造成一些社会问题。

同样,现在电信*,或者在一些社会犯罪问题上,尤其是数据造假,还有图像造假、视频造假,都可能会对社会造成很多问题,所以我非常担心人工智能如果被滥用会产生不良后果。这一次,马斯克等人对人工智能GPT4.0以后的发展也有这方面的担心,大概是这个意思。

武卿:明白,确实,尤其ChatGPT出来的几个月,看到很多AI做的视频、图像,人工智能仿真的程度让人非常惊讶,这样的技术用在电影中是用对地方了,可是用在其他方面,被不良的人用到了,后果非常可怕。这也是我在做这个系列策划的时候,在阅读资料时,自然而然想到的一个问题,我特别同意您前面说的技术本身是中性的,关键是它这个“苗”,栽种在人类的文明当中有没有隐患,如果有隐患的话,加上技术就可能开出恶之花。

您在书中说到的机器人的社会问题,是不是跟刚刚您谈到的智能的副作用是属于同一个问题?还是另外一个层面的问题?

刘伟:有相当一部分是重合的,还有一部分不是重合的,机器人的社会问题还涉及到劳动力的问题,这是社会问题,不是犯罪问题。大家都知道,最近印度的人口已经超过我国,印度的人口年轻率特别高,购买力、生产力会有新的变化,很多人也担心我国人口少了,而且老龄化严重,会不会有一定的社会问题?现在,我了解到很多人比较乐观,为什么?因为我们有机器人,将来机器人会替代很多劳动力。

当然,机器人替代劳动力,如果替代的特别多,很多人会失业,这有度的问题,度怎么把握?需要政府、社会和各界人士共同提出解决办法。

2

人工智能在军事上的应用

武卿:您在书中提到的一个领域,可能您在这个领域非常擅长,很多人也不懂,是人工智能用于军事。反正我在国内认识的专家中,好像很少有人在探讨。

刘伟:是的。

武卿:对这个领域的话题非常感兴趣,我作为女士头一次特别认真地关注了俄乌战争,又花了很多时间去研究和观察。我想请教您,人工智能在这场战争中,尤其在刚开始打的三四个月,做了哪些事情?您怎么评价人工智能做的这些事的意义或者价值?

刘伟:我以前和武总差不多,对军事也不太懂,后来有一次参加了香山论坛,涉及很多军口的朋友,去年也有幸参加了湘潭论坛的线上论坛,主要是美国专家、俄罗斯专家、印度专家和国内的人工智能专家。其中,美国专家问俄罗斯的军事专家,人工智能在俄乌之战中究竟用了多少,用在什么地方?我在旁边听了一下,非常有意思,俄罗斯专家说整体上自动化水平比较高,因为都在打常规的机械化、信息化的战争。

对于人工智能在俄乌之战上的应用,主要是在后勤保障打击上和指挥控制系统上,在这两方面重点用人工智能技术做了一些工作。在侦查方面有很多图像识别技术。还有一个叫滴滴打仗、菜单打仗,很多是下单以后,乌克兰人骑着电动摩托到作战点。另外,在侦察端,主要是一些智能传感器。还有在攻击方面,比如无人机,无人机里有很多人工智能。还有巡航导弹也有一些人工智能、图像识别技术,还有一些语音合成等。大概是这个情况。

我们对人工智能的军事化非常担心,目前来看人工智能有很多缺点。尤其是被人朝坏的方面用,会造成社会的动荡和战争。在这个方面,我们希望人工智能技术在军事应用上得到一些束缚和约束,这样才有利于和平。

在中美对话谈判期间,美国专家经常提这个问题,他们也很关心,关于人工智能用在军事上会有什么的问题,他们提的问题大概有六个方面:

第一,是数据问题,哪些数据能用,哪些数据不能用,如何防止数据被滥用,还有数据的个人隐私保护。

第二,涉及人工智能能用在什么地方,不能用在什么地方,比如核指控,这个方面不能用,因为人工智能目前技术比较脆弱,如果用在这种指控里,会出现人不可掌控的局面。

第三,涉及什么叫自主,自主武器怎么定义,美国专家是这样定义的,所谓自主是自我管理的品质与状态。对于群体智能而言,自主是各组成成分的独立程度。也有人认为,自主可能有其他含义,比如学习、适应、协同等。

第四,涉及人和装备的结合问题,是人在环境和系统中,还是人在系统上,还是人在系统外,很多专家认为,人不能脱离武器系统,脱离武器系统会发生灾难性事件。

第五,关于法律、道德和伦理问题,涉及很多内在的价值观的一些东西,所以现在要制定一些法律,一些未雨绸缪的条例来约束。

第六,涉及测试和评价问题,哪些测试指标和评价方法可以用,哪些不好用,哪些不能用。

在这六点上做了一些探讨,美国去年好像出台了一个报告,意思是负责任的人工智能。我很赞赏这一点,一开始就应该负责任。

武卿:真的。

刘伟:口能言之,身能行之,这才是领导者的风范,不能光说,还要做,这一点也拭目以待。

武卿:对,“负责任”三个字听来还是挺有安全感的,学者刘军宁老师的文章,我特别喜欢看,尤其是谈启蒙的,俄乌战争期间他还写过一篇文章叫《兵武不祥》。

刘伟:对。

武卿:?我想起他这篇文章,又想起您在几分钟前谈到的派单打仗。我想追问一个问题,像智能传感器、无人机,用于攻击,还有用于指挥大脑,过去听过一些。但派单打仗和语音合成具体是怎么操作的?还不是特别清楚,您大概用一分钟的时间给我快速扫扫盲。

刘伟:滴滴打车大家都知道,你可以发送信息,然后有车来接你。实际上,派单打仗是通过训练或通过一些指控系统发出指令,让作战部队到达指定的作战地点,进行有效的攻防,大概是这个意思。它是派单式的,以前都是集中式的,现在是分布式的。

大家可以精确地获得对方的情报,比如,马斯克可以看到俄罗斯的很多装甲,或者俄罗斯的很多指挥系统,可以传递给乌克兰军方,乌克兰军方按照准确的情报,去实施定点攻击。

武卿:刚刚我看了一下直播的数据,进到直播室的朋友越来越多,听到教授讲派单打仗这一段,大家看我的表情恐怕有点复杂。再说到美军的军事智能,我接触过一位犹太人,人在硅谷,是以色列的8200部队出去的。8200部队非常厉害,在硅谷和以色列本土创业的很多以色列人,都曾在8200部队受训。

这块就不展开了。我就想问问您,对于美军目前人工智能在军事上的应用,您还了解哪些情况?我想知道现在进展到什么程度了?

刘伟:对。

武卿:?另外一个问题,未来智能可能会越来越多应用于军事,因为用于各个领域,不可避免地会应用于军事和国防,未来智能化的战争要制胜,有哪些因素是关键的,您把这两个问题再谈一谈。

刘伟:好的,我在《人机融合》书里也提到了军事智能,其实美军人工智能用得比较多,主要集中在两个方向,一是机器学习,二是自主系统。

大家都知道,人工智能里有个著名案例,是卡斯帕罗夫被深蓝打败,当年美国看到深蓝的厉害后,启动了一个新的计划,叫深绿系统,这是什么系统?是辅助决策系统,这个系统由三个模块组成,第一个模块叫水晶球,第二个模块叫闪电站,第三个模块叫指挥员助手。

闪电站把实时的数据和过去的数据进行融合,水晶球做实时的预测,指挥员助手推荐给指挥员,指挥员从若干个机器中获得的条例或作战方案里面,选出最优的进行辅助实施。这个系统主要以计算为主,当时算力没那么大,并且模块也不太成熟,后来就停了这个项目。

现在好像也在做很多辅助决策的系统,这些系统里有一个思路,是刚才提到的怎么能把基础理论和应用工程结合在一起,特别是人和机器之间怎么结合。我们正在做一些人机交互、人机融合智能等,他们比我们要领先很多,相对来说,因为他们的软件和硬件很好,硬件可以“卡脖子”。

目前来说,在人机系统融合方面,大家都在探索,这方面的工作非常繁琐,不是有个很好的产品或者非常好的军人就能实现。一加一不一定大于一,一个人和一个机器不一定比人要好。他们在这方面也正在摸索。

3

谈人机融合智能

武卿:您有多个研究方向,但我看人工智能排在第一,一定是您特别主要的方向,这块可以稍微展开一点:您怎么定义人机融合智能?您书中传达的主要的观点是什么?

刘伟:好的,顺着最早的话题来说,人机融合智能和人工智能不完全一样。人工智能在某种意义上来说,是基于数学模型或基于统计和概


可直训ChatGPT类模型!华师大等开源HugNLP框架:全面统一NLP训练

可直机啥意思,什么叫可直可弯,什么是可直可弯

作者:王嘉宁

编辑:LRS

近日,华师大HugAILab团队研发了HugNLP框架,这是一个面向研究者和开发者的全面统一的NLP训练框架,可支持包括文本分类、文本匹配、问答、信息抽取、文本生成、小样本学习等多种NLP任务模型搭建和训练。

开源地址:https://github.com/HugAILab/HugNLP

论文:https://arxiv.org/abs/2302.14286

值得注意的是,HugNLP还集成了大量最新的Prompt技术,例如Prompt-Tuning、In-Context Learning、Instruction-tuning,未来还将引入Chain-of-thought

HugAILab团队还研发了一系列的应用,例如CLUE&GLUE刷榜工具,可支持ChatGPT类模型训练和部署产品HugChat,以及统一信息抽取产品HugIE等。

HugNLP是一个分层式框架,遵循“高内聚低耦合”的开发模式,其核心包括模型层(Models)、处理器层(Processors)、评估器层(E【【微信】】)和应用层(Applications)四部分。

框架图如下所示:

  • 模型层:包含模型部分,主要按照任务类型进行划分;

  • 处理器层:对数据进行加载、缓存、分词等处理,并转换为模型输入的Tensor;

  • 评估器层:根据不同类型的任务(分类或生成),指定不同的评估流程和评价指标;

  • 应用层:对应的应用执行脚本。理论上来说,选定一个模型、一个数据处理器以及一个评估器,即可对应一个应用。

HugNLP完全基于HuggingFace开发,具有易扩展、易部署能力,同时集成了MLFlow训练追踪器,方便使用者及时追踪实验进度,并进行实验分析。

HugNLP框架之所以称为全面,是因为其集成了大量的NLP任务模型,目前已经实现的包括:

  • 预训练:Masked LM、Causal LM、知识增强训练;

  • Instruction-Tuning:支持自回归生成式、区间抽取式、NLI等统一范式训练;

  • 文本分类/匹配:传统Fine-tuning、Prompt-tuning、In-Context Learning;

  • 序列标注: 支持NER等序列标注任务;

  • 元学习: 基于序列的元学习(SentenceProto)、基于区间的元学习(SpanProto)、基于token的元学习(TokenProto,NNShot);

  • 问答:支持抽取式问答、多项选择式问答、开放生成式问答;

  • 文本生成:支持文本摘要、机器翻译(正在开发中);

  • 代码智能:目前集成了代码克隆检测(Clone)、代码缺陷检测(Defact)等Code任务;

快速部署HugNLP框架,只需要执行代码三行命令即可:

git clone https://github.com/HugAILab/HugNLP.gitcd HugNLPpython3 setup.py install

下面介绍HugNLP的几个核心能力:

  • Benchmark一键刷榜;

  • 预训练和知识注入;

  • Fine-tuning & Prompt-tuning;

  • Instruction-tuning;

  • In-Context Learning;

  • 半监督Self-training;

  • Code代码智能;

一、Benchmark一键刷榜

HugNLP最先开发了面向一些常用榜单的刷榜工具,例如GLUE、CLUE等。用户只需要配置相应的数据集名称,即可实现一键刷榜。

为了验证框架的有效性,在22年9月提交了CLUE榜单的刷榜结果,选择一系列中文小模型(RoBERTa、MacBERT、P-BERT等)并结合了logits集成方法,至今依然维持在第15名位置,曾一度超越了部分企业。

例如如果训练CLUE榜单的AFQMC数据集,可编辑文件

applications/benchmark/clue/clue_finetune_dev.sh

修改参数:

--【【微信】】ata_name=afqmc"

执行下列命令即可:

bash applications/benchmark/clue/clue_finetune_dev.sh

同样的方法还可以训练一些常用的NLP任务,例如阅读理解、实体识别、以及GLUE英文数据集等。

HugNLP还集成了一系列模型用于刷榜,例如BERT、RoBERTa、DeBERTa、MacBERT、Erlangshen等。

二、预训练与知识注入

传统的一些预训练模型(例如BERT、GPT2等)是在通用语料上训练的,而对领域事实知识可能不敏感,因此需要显式的在预训练阶段注入事实知识。

在HugNLP中,主要实现了几个知识增强预训练,包括DKPLM和KP-PLM。DKPLM是一种可分解的知识注入方法;KP-PLM则是将结构化知识转化为自然语言描述的形式进行注入。这些知识注入的方法是可插拔式的,因此无需修改模型结构,很容易用于下游任务的微调。

执行下面命令即可进行Masked Language Modeling和Causal Language Modeling的预训练:

bash applications/pretraining/run_pretrain_mlm.shbash applications/pretraining/run_pretrain_casual_lm.sh

三、 Fine-tuning & Prompt-Tuning

基于预训练语言模型的NLP,通常遵循Pre-training和Fine-tuning范式。HugNLP也包含Fine-tuning技术。

3.1 参数有效性学习

HugNLP集成了包括Prefix-tuning、Adapter、BitFit、LoRA等参数有效性训练方法,可以加速模型的训练,降低显存占用量。

在训练脚本中,只需要添加一行参数,即可开启参数有效性训练:

--use_freezing

对于参数有效性方法,HugNLP实现了若干类别的分类模型,如下所示:

CLASSIFICATION_MODEL_CLASSES={     "head_prefix_cls": {         "bert": BertPrefixForSequenceClassification,         "roberta": RobertaPrefixForSequenceClassification,     },     "head_ptuning_cls": {         "bert": BertPtuningForSequenceClassification,         "roberta": RobertaPtuningForSequenceClassification,     },     "head_adapter_cls": {         "bert": BertAdapterForSequenceClassification,         "roberta": RobertaAdapterForSequenceClassification,     },     "masked_prompt_cls": {         "bert": PromptBertForSequenceClassification,         "roberta": PromptRobertaForSequenceClassification,     },      "masked_prompt_prefix_cls": {         "bert": PromptBertPrefixForSequenceClassification,         "roberta": PromptRobertaPrefixForSequenceClassification,     },     "masked_prompt_ptuning_cls": {         "bert": PromptBertPtuningForSequenceClassification,         "roberta": PromptRobertaPtuningForSequenceClassification,     },     "masked_prompt_adapter_cls": {         "bert": PromptBertAdapterForSequenceClassification,         "roberta": PromptRobertaAdapterForSequenceClassification,     }, }

只需要指定下面参数即可,例如选择adapter进行分类:

--task_type=head_adapter_cls

3.2 对抗训练:引入对Embedding的扰动,提高模型的鲁棒性

HugNLP框架集成了若干种对抗训练的方法,其中最简单的对抗方法为FGM算法:

  • 首先计算输入样本(通常为word embedding)的损失函数以及在处的梯度:;

  • 计算在输入样本的扰动量:,其中为超参数,默认取1.0;

  • 得到对抗样本:;

  • 根据得到的对抗样本,再次喂入模型中,计算损失,并累积梯度;

  • 恢复原始的word embedding,接着下一个batch。

在训练时,只需要添加一行参数,即可默认调用FGM算法:

--do_adv

3.3 Prompt-tuning:通过模板来复用预训练目标

传统的Fine-tuning在低资源场景下容易出现过拟合问题,因此复用预训练的目标可以拉近Pre-training和Fine-tuning之间的语义差异。

HugNLP集成了PET、P-tuning、Prefix-tuning等Prompt-Tuning算法,并无缝嵌入在NLP分类任务的模型里。

在训练时,只需要指定下面两个参数,即可以开启Prompt-tuning模式,例如选择p-tuning算法:

--task_type=masked_prompt_ptuning_cls--use_prompt_for_cls

四、Instruction-tuning

在大模型时代,如何将不同类型的NLP任务进行范式统一,是构造通用人工智能的核心要素。HugNLP为此定义了三种统一范式的思想:

  • 万物皆可生成:将所有NLP任务建模为单向自回归生成,例如GPT-3、ChatGPT等;

  • 万物皆可抽取:将所有NLP任务建模为抽取式机器阅读理解;

  • 万物皆可推断:将所有NLP任务建模为自然语言推断;

基于三种不同的范式统一,HugNLP推出两个核心产品,分别是:

  • HugChat:基于生成式Instruction的中小型ChatGPT类模型;

  • HugIE:基于抽取式Instruction的统一信息抽取框架;

4.1 HugChat:基于Causal Language Modeling的生成式对话模型

最近ChatGPT火爆全球,为了让研究者可以训练自己的ChatGPT,HugNLP框架集成了基于生成式Instruction的训练产品――HugChat,其支持各种类型的单向生成式模型的训练,例如GPT-2、GPT-Neo、OPT、GLM、LLaMA等。

在8张V100 32G的条件下,可训练OPT-13B大模型。HugAILab团队开源了约200万条英文、300万条中文对话数据,用于训练模型。例如训练GPT-2(XL),可直接执行脚本:

bash https://baijiahao.baidu.com/application/instruction_prompting/HugChat/super【【微信】】/run_causal_instruction_gpt2_xl.sh

基于HugNLP,训练的GPT-2(1.3B)模型,即可实现很简单的对话任务。只需要执行如下命令即可玩转HugChat:

python3 applications/instruction_prompting/HugChat/hugchat.py

例如可以写套磁信邮件:

再例如搜索谷歌地球的相关信息:

也可以实现编写简单的代码(1.3B的模型具备此能力已经很惊叹了!):

HugNLP目前正在开发其他类型的Decoder-only大模型,相关信息和开源内容如下表所示:

HugChat后期将推出垂直领域的大模型解决方案,同时将与OpenAI API进行融合,推出大模型服务框架。

4.2 HugIE:基于Global Pointer的统一信息抽取框架

信息抽取(Information Extraction)旨在从非结构化的文本中抽取出结构化信息,是构建知识库的重要步骤之一。通常信息抽取包括两个核心步骤,分别是命名实体识别(Named Entity Recognition)和关系抽取(Relation Extraction)。

我们基于HugNLP研发一款HugIE产品,旨在实现统一信息处理。其主要核心包括如下几个部分:

  • 将实体识别和关系抽取,统一为新的范式――基于抽取式阅读理解的方法。HugIE采用Global Pointer模型实现信息抽取;

  • 定义Instruction Prompt,指导模型生成需要抽取的内容;

  • 采用多任务训练的方法训练;

HugIE目前已经开源了模型:https://huggingface.co/wj