如何更好的向chatgpt提问 ChatGPT有哪些经典问题
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
M小姐研习录 (ID:MissMstudy),作者:课代表立正,题图来自:《钢铁侠3》
关于AI,ChatGPT 的文章铺天盖地,但是真正讨论得深度有内容永远稀缺。这次是M小姐第一次正式约稿,来自数据科学大牛,也是B站上小有名气的Up主:课代表立正。(作者还将更新迭代本文,详情请戳:腾讯文档)
一项新的技术开始,总会有太多或高或低的噪音,对于要做决策的人,常常会觉得抓不住重点,真假难辨。这篇文章,是M小姐看过的关于大语言模型(LLM)最为直击本质的分析之一。其中的思考框架,可以指导你一直follow整个领域日新月异的发展,让你从爆炸又良莠不齐的信息中抽丝剥茧,找到做出对个人和企业最有价值的决策思路。
以下就是正文,enjoy:
我们判断,如果ChatGPT不犯大错,两年内,整个科技行业甚至人类社会都会被颠覆一遍。倒计时已经开始了。
在ChatGPT纪元中,提问题的能力和判断力也许是人类最重要的两个能力。我们这里提出五个关键问题,并且试图抛开网络上的二手观点,做出基于原理的判断。围绕这五个问题,我们会把所需要知道的相关技术背景,尽量简洁,但是尽量无损地总结清楚,不说废话。
哪五个问题?
是什么:ChatGPT是范式突破,还是过往AI的延伸?
会怎样:ChatGPT两年内会达到什么水准?
行业格局:ChatGPT以及GPT有壁垒吗?
如何参与:我们未来应该如何使用ChatGPT?
人文:人类和ChatGPT的本质区别是什么?对人类社会的冲击有多大?
还有一个不需要讨论的重要问题:ChatGPT不会开源的,因为AGI是一个危险品。依赖开源+抄的公司可以死心了。指望原子弹开源吗?
我们搞清楚这五个问题,就能判断市面上大多数解读ChatGPT的观点,无论从技术、商业、投资,等等角度,是否靠谱了。其实就两个关键:
对ChatGPT新能力的认知:这新能match力到底是什么,有多大“不一样”?那个“不一样”能带来多少新的可能性?
对“能力获取难度”的认知:ChatGPT如何获得的?别人获取类似能力,难度有多大?
文章结尾我们会做一下总结。让你下次见到某大模型,可以判断这是ChatGPT的80%还是0%。也可以判断自己的工作会被ChatGPT取代多少。
为什么这样问?
最近到处都在讨论ChatGPT,宛如6000点时候的A股,但是对于ChatGPT这样一个人类高科技结晶的新物种,不先搞清楚它“是什么”和“如何牛逼的”,那就没有办法形成自己的判断。没有自己基于原理的判断,看ChatGPT就像看元宇宙、Web3、自动驾驶一样,觉得好像牛逼,也有一套看似自洽的逻辑,以及振聋发聩的“洞见”,其实只能被别人牵着走。
搞清楚ChatGPT“是什么”和“如何牛逼的”是一件困难的事情,因为最顶尖的人工智能大佬们也没有达成共识。
比如Meta的AI负责人,深度学习三大佬之一的LeCun就不看好,认为这就是个基于auto-regressive(自回归)的LLM(large language model,大语言模型),从方法上来讲没有啥范式突破。只是因为OpenAI是个创业公司,大家宽容度比较高,ChatGPT在乱说话,大家也能容忍。
另一面,ChatGPT的火热就不说了,比如特斯拉的首席AI科学家就选择回到OpenAI,共建AGI(artificial general intelligence,通用人工智能,也是OpenAI的追求目标);Meta的VR创始人卡马克选择离开Meta,自己开一家AGI公司。另外一篇文章截取了大佬们的赞誉:
神奇的点就在于,双方也许都是对的。ChatGPT的确不是一个“新的模型”,而是即有模型的发展与组合;但ChatGPT又足够不一样,让包括我在内的很多AI相关的从业者,有第一次见到光的感觉。我们第一章会花大篇幅去讲一下为什么ChatGPT的原理是填词,但它的新能力却远远不是“填词”而已。
技术插播:“自回归”“大语言模型”是两个关键词。
自回归的意思是,我先用模型预测下一个词是什么,然后把预测出来的词带入模型,去预测再下一个词是什么,不断迭代。这是过往语言模型的通用范式。也能让各类语言类任务统一成“生成式”任务。
语言模型的大是指海量参数,从而能吸取海量数据中的信息。这是在transformer模型之后成为可能的。大语言模型本身也值得技术科普一下,我们在第一个问题中展开。
一、开头:ChatGPT的最基本版历史
开始问问题之前,有一些必要的技术科普。我们着重参考两篇综述,尽量抓重点:
大语言模型技术精要 知乎,by 张俊林
ChatGPT的各项超能力从哪里来
by 符尧
第一份综述主要讲了大语言模型发展中的关键技术突破,第二份综述主要讲了ChatGPT发展过程中的几个重要模型“做到了什么”和“有什么与众不同的做法”。我们把两篇文章的重点挑出来,标注一下里程碑事件,和其意义。
这里面再强调一个关键点。GPT3之后,很多能力是“涌现”的。即不是线性发展,可预测的,而是突然就有了。至于这对于OpenAI的人是早晚会发生,还是完全未预料,我们就不知道了。
这几个“涌现”出的能力,尤其是“乌鸦”的能力,是ChatGPT和过往AI的范式不同,也会是我们这次讨论关注的重点。“涌现”也是大语言模型很神奇的一点,这些能力我们发现模型随着数据量和模型大小的提升,就突然具备了,但是我们对这些能力怎么出现的,只有猜想,没有共识。这篇文章有一个比较全面的总结和比较。
下图是GPT-3到ChatGPT的演变历史:
1. 如何分辨真假ChatGPT
结合上面的图和表格,我们简单梳理一下:
1. GPT-3是一个非常令人惊艳的LLM,这个两年半前的播客有当时early-adopter的视角,但GPT-3还勉强属于“量变”,到现在,也不是最厉害的LLM。
2. GPT-3.5通过InstructGPT的模式 + 阅读代码,涌现了“乌鸦”能力,产生了质变。但是还没找到合适的应用界面,也不符合人类喜好。
3. ChatGPT在RLHF的帮助下,找到了GPT-3.5和人类自然语言的合理接口,解锁了模型应用的前景。
所以我们要记得,厉害的模型是GPT-3.5,厉害的应用方式是ChatGPT。应用方式相对很容易复制,RLHF有难度但也不太难,真正难的是“乌鸦”能力的复现。如果我们要关注能不能做出来ChatGPT,要关注的是各家LLM离GPT-3.5的“乌鸦”能力有多远,在一个没有乌鸦能力的LLM上套一个ChatGPT的应用方式,只是东施效颦,但估计也是国内各个公司会普遍采用的方法。
这里说“应用方式相对容易复制”,但是不意味着这个应用方式不够颠覆。iPhone出现时,很多人也只是觉得没有什么颠覆技术,只是个不错的集成方案。但那些人没看到的是,iPhone是第一个“为了适应人而设计的智能手机”而非“为了解决问题而设计的智能手机”。iPhone的交互方式和各种传感器,让iPhone慢慢变成了人类的身体的一部分,一个带来更多信息,高效交互的器官。
ChatGPT已经接近人类调用算力和数据的最终极形态了,其应用方式本身当然是足够厉害的。我们在第二问,ChatGPT会取代哪些工作里,详细展开。
这里也牵涉到了一个重要的题外话,我们在讨论中发现,很多资深AI从业者,如果不去深究LLM的细节,而是用过往经验猜想ChatGPT的能力来源时,会产生严重的错误理解。我们总结了一下,发现这误解大概是发生在in-context learning和instruct这一模式,和过往模型调教有什么区别上。尤其是对“fine-tuning”这个词的理解上。这里就单独展开一下。
2. AI从业者为什么对ChatGPT有错误理解?
过往的NLP模型是按照具体任务和具体数据来训练的。所以数据质量越好,模型效果越好。而且最好只有正确数据,没有错误数据。
大语言模型有一个重要不同,是“数据越多”越好,而数据质量变成了重要,但稍显次要因素。
在一开始,大模型想要在特定任务上取得较好效果,也需要那个领域的具体数据去“fine-tune”一下。通过大量的例子,先教给模型,那个领域中什么是好,什么是坏,调节一下模型的权重,从而输出恰当的结果。
这和过往模型的范式是差不多的。这样的应用明显非常有局限。每做一些新的事情,或者数据分布有明显变化,都要重新训练一遍模型。而新事情和新数据无穷无尽,模型就只能刷新。但是模型的刷新也可能导致过去做得好的事情突然做不好了,进一步限制了应用。
而GPT-3涌现出的in-context learning能力(现在其他大模型也有,比如Google的PaLM,同时不确定GPT-3是第一个涌现的,希望得到指正)和上述范式有本质不同,“过往的fine-tuning”需要更改模型参数,也就是说,换了个新模型。但是in-context learning,模型并没有变化,却能在新数据上表现更好。研究甚至发现,你给大模型一堆范例,只要对应关系整体是对的,这时候改变具体对应的顺序,大模型仍然能输出正确的结果。这真的很神奇。
再重新强调一遍,模型没有变化,没有被重新训练,但是能“理解”新数据,并且表现更好!
接下来还有更神奇的。在GPT-Codex版本解锁了推理能力,以及InstructGPT提出了instruct这一方法,他们合体的ChatGPT在in-context learning的基础之上,展示出了具备理解、推理、演绎能力的样子。我们在下一章详细展开。节省篇幅,虽然能力是在GPT-3.5上涌现的,我们接下来都说ChatGPT了。
3. ChatGPT是范式突破吗?
机器学习发展了这么多年,遵循同一个范式。哪怕2016年大火的AlphaGo,也完全没有脱离这个范式 -- 鹦鹉学舌。
过往机器学习的范式――鹦鹉学舌
机器学习,包括深度学习,所遵循的范式是“data fitting”,即找到数据中的“对应关系”并应用。具体来说,就是Y=f(X),给定一些优化目标,机器学习寻找X和Y的对应关系,来优化一个特定的方程。对应关系找得好,让我们在见到一个未知的X‘的时候,也能根据规律,总结出Y‘是什么,能最好达到设定的目标。
从信息论的角度,这样的范式,所能总结的规律,应该是在“已有X所包含信息的范畴之内”。换句话说,遇到一个新的X,虽然没见过,但是应该和过去的X长得差不多。用图像识别举例,如果模型只在小狗小猫的数据上训练过,是无法区分马车和汽车的。
这就很像鹦鹉学舌的机制。鹦鹉是不知道那段话的意义的,它用自己的方式去理解了这个发音,并且模仿了出来。计算机能更加精准地进行控制和编程,配合其他模块能力,就能让“寻找对应关系”这个能力,发挥更大作用,比如:
图像识别 + 搜索,就能高效找人
【【淘密令】】 + 用户数据收集,就能高效推荐
fake location钉钉使用教程 windows xp不支持钉钉直播怎么办
【亿邦原创】钉钉 "/" 可唤起 10 余种 AI 功能;华为完成自研 MetaERP 替换;弘玑发布 GPTxRPA 融合方案。
# 过去一周,发生了这些事 #
1 华为宣布实现自主可控的 MetaERP 研发和替换
4 月 21 日,华为宣布实现自主可控的 MetaERP 研发及旧 ERP 系统替换,华为董事、质量与流程 IT 部总裁陶景文表示,断供停服是一场巨大的危机,也让华为重新审视老 ERP 的问题和发展限制,最终决定不仅要全栈自主可控,且要基于云原生、元数据多租、实时智能等新技术,打造面向未来的下一代企业核心商业系统。据介绍,基于云原生、元数据等技术,可实现全球快速部署,并将业务对象、实体、逻辑等元数据资产标准化实现灵活编排。
2 弘玑发布 GPTxRPA 融合方案
4 月 21,国内 RPA 厂商弘玑正式发布 GPTxRPA 技术融合方案及其具体解决方法 demo。弘玑方面表示,团队将研发焦点放在多种 AI 能力与 RPA 的融合上,从内容生成、环境感知、数据获取、 数据处理、数据搬运、智能决策、信息系统与应用的自动化操作等方面展开,未来将覆盖客服、财务、人力、IT 运维到营销、组织管理等多个业务工作场景。
3 出门问问内测大模型 " 序列猴子 "
4 月 20 日,出门问问举行的 2023 AIGC 战略发布会上,出门问问创始人兼 CEO 李志飞宣布推出出门问问版 GPT、AI 大模型 " 序列猴子 ",并开启内测探索。同时,出门问问还介绍多款面向创作者的 CoPilot(创作助理)产品―― AI 写作平台 " 奇妙文 "、AI 绘画平台 " 言之画 "、AI 配音平台 " 魔音工坊 "、数字人视频与直播平台 " 奇妙元 "、升级版语音助手魔法小问,以及企业(To B)端专属大模型。
4 顺丰控股今年 3 月营收超 200 亿
4 月 20 日,顺丰控股公布今年 3 月快递物流业务经营简报。今年 3 月顺丰速运物流业务量达到 10.33 亿件,同比增加 28.64%;速运业务营收达到 156.56 亿元,同比增加 25.62%;单票价格保持在 15.16 元 / 票;供应链及国际业务营收 49.6 亿元。3 月合计营收 206.16 亿元,同比增加 9.28%。供应链及国际业务收入受到国际空海运需求及价格均同比下行的影响,国际空海运价格从历史较高区间回落至过去三年间的较低水平。
5 钉钉和 Rokid 共同公布 " 钉钉数字文化墙 "
4 月 18 日,Rokid 创始人兼 CEO 祝铭明在钉钉 " 智能协同之春 " 春季钉峰会上作《AR 时代,想象力的一小步》主题演讲,并宣布 Rokid 携手钉钉共同打造了 " 钉钉数字文化墙 " 产品,深度结合 Rokid AR 创作工具 " 灵境 ",把企业文化墙建设门槛降低,体验路径变短。据悉,从以前企业文化墙到现在数字文化墙,搭建的过程将得以大大缩短,从数月缩短到数天时间,甚至半个小时,让小微企业能快速步入智能化时代。目前,钉钉园区的企业文化也已经通过 " 钉钉数字文化墙 "" 搬 " 到了 AR 空间。
6 钉 AI:一条 "/" 可唤起 10 余种 AI 功能
4 月 18 日,日前,在 2023 春季钉峰会上,钉钉总裁叶军现场展示了正在测试中的钉钉斜杠 "/"。钉钉接入千问大模型后,用户输入 "/" 就可唤起 10 余项 AI 能力,实现对话或拍照生成应用、一键创建可自动学习文档的答疑机器人、自动创作文档文案、智能提取视频会议和群聊消息摘要等功能。
7 OpenAI 首席执行官:构建庞大 AI 模型的时期即将结束
4 月 18 日,OpenAI 首席执行官 Sam Altman 表示,构建庞大 AI 模型的时期即将结束,因为成本限制和回报递减抑制了该领域不断扩大的规模。
8 怡亚通 2022 年营收 854 亿元
怡亚通日前发布 2022 年年度报告。报告期内,公司实现营收 853.98 亿元,同比增长 21.64%;归属于上市公司股东的净利润 2.56 亿元,同比下滑 49.44%;经营活动产生的现金流量净额为 6.41 亿元,归属于上市公司股东的净资产 88.86 亿元。产业供应链方面,公司以产业整合 + 供应链服务 + 投资孵化等组合拳策略,逐步切入到优势产业链,如建材、石油化工、农林牧等工业原材料源头及光伏产业链、新能源商用物流车的定制 / 销售 / 流通产业链等。
# 这些公司获得了新的融资 #
1 兰格钢铁网获 A+ 轮战略融资
4 月 18 日,兰格钢铁网正式官宣完成 A+ 轮战略融资,投资方为中关村瞪羚基金,第一期规模 15 亿元。兰格钢铁网 CEO 刘陶然表示,本轮融资将主要用于兰格钢铁网最新推出的生成式人工智能产品的迭代研发及应用场景拓展。
兰格钢铁网于 1995 年成立,以钢铁信息为流量入口,发展出兰格资讯数据服务平台、兰格数字科技服务平台、兰格云商交易服务平台三大业务线,同时近期先后推出金融科技产品条线、生成式人工智能产品条线,构建了资讯服务、SaaS 数字化服务、智慧交易服务、金融科技服务、AI 大数据服务等供应链服务矩阵。
2 恺望数据获新一轮战略融资
4 月 20 日,数据标注解决方案公司 " 恺望数据 " 宣布已完成新一轮战略融资,投资方为全球投资机构 Plug and Play,天使轮投资方辰韬资本继续追投。恺望数据表示,新一轮融资后,恺望数据也会与 PNP 进一步合作,探索出海路径,并继续投入到产品迭代升级当中。恺望数据是起家于自动驾驶领域,为车企和自动驾驶公司提供一站式数据解决方案的公司。
3 携客云获数千万元 B+ 轮融资
供应链关系管理系统 " 携客云 " 宣布完成由隐山资本领投,老股东小米科技跟投的数千万元 B+ 轮融资。据悉,本轮资金主要用于加大产品研发和扩充销售团队。携客云是一家专注为制造业企业提供 SRM 系统的厂商,面向生产性物料交易管理场景――采购寻源到交付结算、供应商评估与管理协同的标准产品上,已打通 90% 以上制造业主流业务系统,新增对接了多家第三方电子签章、发票管理和支付平台。
4 " 抢农资网 " 获千万元 A 轮融资
农资 B2B 平台 " 抢农资网 " 完成 A 轮融资,投资机构为省政府引导基金河南返乡创业股权投资基金 , 本轮融资中投资机构支付对价超 1000 万元。抢农资网成立于 2015 年 7 月 13 日,是一家农资垂直 B2B 电商平台。现平台在售 sku 超过 2 万,平台注册用户 30 万,活跃购买农资经销商 5 万家。过去 365 天下单农资店 2 万家。2022 年平台 gmv3 亿人民币,2023 年一季度 gmv8416 万,同比增长 75.59%。