“当时代抛弃你时，连一句再见都不会说。”多么悲凉与决绝。昨夜GPT-4正式推出，距上一次迭代不过6个月，距ChatGPT的推出仅仅4个月。其多模态、实时学习能力大幅提升，令不少企业的CIO、CTO感到如临大敌。

技术、市场瞬息万变，云计算、大数据、区块链，人工智能……一个个熟悉而陌生的词每天都从我们眼前闪过。ChatGPT成了近一个月的“顶流”，牵动着无数科技爱好者的心弦，生怕与其失之交臂。

ChatGPT似乎无所不能：与人聊天思维活跃，能写会画脑洞大开，修改代码令Bug无处躲藏……引发广泛关注的同时似乎也让资本、创业者嗅到了“下一个风口”。百度、阿里、京东、科大讯飞纷纷表示将尽快推出类似产品。2月7日百度声称将推出相关产品，随即百度又表示，“类ChatGPT应用”文心一言（ERNIEBot）将于本月完成内部测试。

一石激起千层浪。邮储银行、爱奇艺、雅昌文化集团等涉及互联网、媒体、金融、汽车、保险等行业已有近300多家企业宣布接入百度文心一言生态。百度对AIGC（AI-Generated Content人工智能自主生成内容）的商业化信心满满，CEO李彦宏也难掩兴奋之情，强调，“技术已经到了临界点，类似ChatGPT这样的技术如何运用在搜索场景上，未来一年我们会非常有机会”。

雅昌文化集团CTO & 雅昌艺术网总经理蒋子俊接受至顶网记者专访时表示：“文心一言将在 3 月上线，百度是国内 AI 积累比较靠前的企业，因此我们会优先选择这样的合作伙伴。”

“我们现在重点在布局元宇宙赛道。由于ChatGPT并未对国内机构开放使用并出于安全合规考虑，百度的文新一言是目前是相对可靠的选择。有人认为AIGC 来了，元宇宙就会不火了，我认为这是片面的看法。元宇宙是个大的概念， Web 3.0是其基础设施或者是分支。正如在PC时代叫Web1.0，它解决PGC的信息连接的问题；移动互联网时代叫Web 2. 0 其实就是 UGC，用来解决信息效率问题；到 Web 3.0时代，或者叫元宇宙，要解决信息公平问题，里面大部分的内容是在虚拟世界里基于AIGC产生的。“

“因此AIGC技术深具潜力，它与Web 3.0包括虚拟数字人一样都是基础设施，他们和元宇宙并不冲突，可以完全融合。就像移动网络有4G、5G，未来还会有6G，但并不是5G出来4G就不能用了，最后形成了异构的网络、异构的终端构成的融合系统。”

AIGC短期被高估，长期易低估

“人们对技术总是短期高估了它的能力，而长期却被低估。”蒋子俊对ChatGPT这样评价。然而他指出：“AI再智能还是要依赖人，算法和算力，之外更关键的是数据。就ChatGPT来说，它依靠的是2021年以前的数据，它的预训练的成本很高，实时性也很差，也不具备真正的智能。“

“由于严重依赖于你给他灌输的数据，因此它的回答有点类似鹦鹉学舌，更多的时候是一本正经地胡说八道。包括一些简单的‘鸡兔同笼’问题就能难倒它。所以从本质上说它不会取代人，更不会取代程序员。要是能取代，也就是那种最入门、最低级的程序员。然而它可以作为辅助工具更好地为人服务。”

“它并未创造科学，更多是工程方面的突破。就跟元宇宙刚出来一样，艺术家对它也是很恐慌，但作为一种技术来讲，艺术与科技从来都是不分家的。从技术层面而言，它是易变的，一直在演进。艺术家们绘画的颜料有几千年的历史，但颜料也一直在改变、也在进步。19世纪出现了照相机，今天叫摄影技术，后来就有了电影，未来元宇宙同样会有更新的技术。这对艺术家来说肯定会有一些心理上的影响，甚至恐慌。而从艺术层面而言，人类的情感追求，人与自然、人与宇宙、人与社会等人文精神的探索，却是永恒的，技术并不会对它有太大的冲击。”

“从历史的角度来讲，不会有革命性的冲击。ChatGPT也好、元宇宙也好，在某些场景下的替代是有可能性的。但对于表达真情实感上，机器还没有这个能力。”

消费互联网积极拥抱AIGC ，产业互联网态度谨慎

与消费互联网积极拥抱AIGC技术不同的是，产业互联网企业虽对这项技术很感兴趣，但对其应用到企业的生产场景的态度却很冷淡。

国内知名能源企业CTO姜先生接受记者采访时表示：“我们目前对AIGC技术的应用还没有具体规划。对于我们这种能源企业的帮助不是很大，短期内看不到合适的应用场景。”

“ChatGPT我们也测试了一下，产品很初级、也不太好用。尤其是结果的可靠性、以及性能等方面，我们对它还没有足够的信任。”

但AI在企业生产中仍有很大的发展空间。姜先生认为：“对于新能源企业，我们的能源主要来自光能和风能，对天气的依赖性很强。因此精准判断天气对我们的生产来说非常重要。目前的天气预测主要利用历史数据、卫星数据、以及地面观测的数据进行不断监测与推演，通过算法预测未来的天气情况。现在看，AI预测在精度上离我们的实际需求还有一定差距。”

“但同时我们看到，ChatGPT应用了大模型技术。我们也会考虑利用大模型技术对天气精准预测，并希望在这方面能有所突破。”

“我们看到它在文字处理，比如法律条文方面的一些优势。它对各种合规的条文判断比较精准，对合同的审阅、关键数据的提取能非常快速地给出答案。未来在企业合规、合同以及财务方面应该有较适合的应用场景。然而要在企业生产中大规模应用可能要等到3-5年之后才会看到比较清晰的路线。”

AIGC产业化之路长且久，还需脚踏实地

我们今天谈AIGC它代表的本身不仅仅是技术，也反映出了整个行业的焦虑和短板。蒋子俊指出：“ 今天我们热议ChatGPT，希望他能改变些什么，但它仍面临很多挑战：有不仅有技术问题、产品体验问题，还有成本、合规性问题、版权问题、安全问题……”

“我们国内在技术应用层面探索得比较多，也有了很多成功的经验，所以我们看到了追各种热点的现象。追元宇宙、区块链、Web3.0 、ChatGPT……这说明今天互联网的增长乏力，发展遇到了瓶颈，大家都在存量竞争，存在大量的同质化竞争。各行业不论资本、技术、还是产品都在寻求新的突破口。”

ChatGPT深度解析 解剖chatgpt背后的核心技术chatgpt是什么意思,chatgpt官网,chatgpt怎么下载,chatgpt中文

• 💂 个人主页: 同学来啦
• 🤟 版权: 本文由【同学来啦】原创、在CSDN首发、需要转载请联系博主
• 💬 如果文章对你有帮助，欢迎关注、点赞、收藏和订阅专栏哦

ChatGPT是美国OpenAI公司研发的大参数预训练生成语言模型，是一款通用的自然语言生成模型，其中GPT “生成性预先训练转换器”(generati【【微信】】)的缩写。该模型被互联网巨大的语料库训练之后，其可以根据你输入的文字内容来生成对应的文字回答，即为常见的聊天问答模式。 语言模型的工作方式是对语言文本进行概率建模，用来预测下一段输出内容的概率，形式上有些类似于文字接龙游戏。比如输入的内容是“你好”，模型可能就会在可能的结果中选出概率最高的那一个，用来生成下一部分的内容。

ChatGPT之所以有如此强烈的反响，很大程度上是因为其在语言能力上的显著提升。ChatGPT相比于其他聊天机器人，主要表现在以下几个方面：

• 1对于用户实际意图的理解有明显提升。对于使用过类似聊天机器人或者自动客服的同学，应该经常会遇到机器人兜圈子甚至答非所问的情况，用户体验感较差。ChatGPT在该方面有了显著提升，具有更加良好的用户体验。
• 2具有非常强的上下文衔接能力。对于我们用户而言，用户不仅可以问一个问题，而且可以通过不断追加提问的方式，让其不断改进回答内容，最终达到用户期待的理想效果。
• 3更强的对知识和逻辑的理解能力。当遇到某个问题，其不仅给出一个完整的回答，并且对追加细节也可以很好的解答。（这种兼容大量知识且富含逻辑的能力非常适合编程，目前网上已有很多如何解释、修改甚至生成完整代码的案例，具体详见下图。）

截止目前尚未发现ChatGPT的公开论文（如有请指出），但可以明确的是ChatGPT与Open AI此前发布的InstructGPT具有非常接近的姊妹关系，两个模型的训练过程也非常接近，因此InstructGPT有较为可靠的参考价值。 在OpenAI关于InstrcutGPT的论文中，可以找到一些直观优势的量化分析，InstrcutGPT对比GPT-3模型有如下特点：

• 171%~88%的情况下，InstrcutGPT生成的回答要比GPT-3模型的回答更加符合训练人员的喜好。
• 2在回答真实程度上更加可靠，编造的概率从GPT-3的41%下降到InstrcutGPT的21%。
• 3InstrcutGPT产生有毒回答的概率减小了25%。

为何ChatGPT可以做到如此出色的效果？让我们把视角稍微拉远一些，看看该款模型近几年的发展历史。 从演进关系来看，ChatGPT是OpenAI的另一款模型，InstrcutGPT的姊妹版本，其基于InstrcutGPT做了一些调整。具体的发展路线如下： 限于篇幅和实际情况，本文无法对每篇文章进行解析，重点提一下几个有意思的决定和突破。

对于从Transformer结构上分支出来的BERT和GPT，有一点不同是来自于Transformer的结构区别。BERT使用的是Transformer的Encoder组件，Encoder组件在计算某个位置时会关注文章的上下文信息；而GPT使用的是Transformer的decoder组件,decoder组件在计算某个位置时只关注文章的上文信息。

• BERT在结构上对上下文的理解会更强，更适合嵌入式表达，即填空式的任务（比如完形填空）。
• GPT在结构上更适合只有上文而完全不知道下文的任务，即根据上文推测下文（比如对话聊天）。

一个有趣的突破是来自于模型量级上提升。从GPT-1到GPT-3，模型参数量从1.17亿到15亿，再到1750亿。GPT-3相比于同类型的语言模型参数量增加了10倍以上。训练数据量也由从 GPT 的 5GB，增加到GPT-2的40GB，再到GPT-3的45TB。 在方向上，OpenAI并未追求在特定类型任务上的表现，而是不断增强模型的泛化能力。因而就对训练数据量和参数量提出来更高的要求。伴随着巨大参数量的是巨大的训练成本，GPT-3的训练费用也达到了惊人的1200万美元，

从GPT-3到 InstrcutGPT的一个有趣改进是引入了人类的反馈。引自OpenAI论文的说法，在InstrcutGPT之前，大部分大规模语言模型的目标都是基于上一个输入片段token来推测下一个输出片段，然而这个目标和用户的意图是不一致的，用户的意图是让语言模型能够有用并且安全地遵循用户的指令。此处的指令也就是InstrcutGPT名字的来源，也呼应了ChatGPT的最大优势，即对用户意图的理解。 为了达到该目的，引入了人类老师（即标记人员），通过标记人员的人工标记来训练出一个反馈模型，该反馈模型再去训练GPT-3。之所以没有让标记人员直接训练GPT-3，可能是由于数据量过大的原因。该反馈模型就像是被抽象出来的人类意志可以用来激励GPT-3的训练，整个训练方法即为基于人类反馈的强化学习。

OpenAI追求的特点：

• 🎉Decoder 结构：适合问答模式；
• 🎈通用模型：避免在早期架构和训练阶段为特定任务做调优；
• 🧨巨量数据和参数：模型知识储备丰富；
• 🧧连续对话的能力：具备强大上下文对话能力（基本原理如下）。

上下文对话原理： 语言模型生成回答的方式是基于一个个token（单词），ChatGPT生成一句话的回答是从第一个词开始，重复把问题以及当前生成的所有内容再作为下一次的输入，生成下一个token，直到生成完整的回答。 既然一句话是基于前面所有上文的一个个词生成的，同样的原理也可以把之前的对话作为下一次问题的输入，这样下一次的回答就可以包含之前对话的上下文。由于GPT-3 API里面，单次交互最多支持4000多个token，猜测Chat GPT估计也是4000个token左右。