原标题：ChatGPT的现状

ChatGPT在发布后短短5天时间注册用户数就超过了100万。两个月后月活用户更是突破1亿，成为史上增长最快的消费应用，由于ChatGPT的出色表现，它已经成为当今最先进的自然语言处理技术之一，在全球掀起了一股空前的热潮。在以前，一项高科技的出现，往往只是科技界的震荡，普通人需要等到这项科技推广应用才会感觉到它的发展与存在，如电话。但没有哪个高科技的出现像这次一样让普通人迅速感受到未来科技的力量，或者说是人工智能这波浪潮带来的前所未有的猛烈压力。这也因此吸引了全球各地的研究人员和开发者加入研究和开发工作，国内的各科技公司也纷纷开发相关程序。例如，百度在2023年3月中旬就发布了类似ChatGPT的AI“文心一言”。ChatGPT发展的每一步都对人工智能领域具有非常重要的意义，ChatGPT不仅可以为日常生活提供更多的便利和智能服务，还具有广泛的应用前景，如智能客服、智能语音助手、虚拟人物、自动化写作和编程等领域。梳子名品“谭木匠”每年都有个设计大赛（图1-4），结果有好事的网友用ChatGPT设计了一堆梳子图案与获奖作品进行比较，如图1-5所示，虽然每个人审美不同，不能给出一个完美的评价，但也足以让人惊叹。这件事后，网络上关于自己的工作会不会被人工智能所替代的议论越来越多，对于普通人来说，这也是一种巨大的压力。很早之前，在机器人概念刚被提出时，人们就在担心未来会被人工智能取代，现在ChatGPT横空出世，更是让大家感到焦虑，ChatGPT的出现可能会导致像客服、数据分析、文本翻译、语音转换等行业人员失业。

但是这并不意味着整个行业会消失，实际上它改变的是行业存在的形式和需求，就现在而言，ChatGPT还不够完善，虽然ChatGPT拥有强大的功能，但它的数据无法做到实时更新，只能做一些基础性工作，更复杂的任务和决策仍然需要人去完成。

其次，在日新月异、瞬息万变的现代社会中，ChatGPT的数据集很容易落伍，受制于数据集的质量，ChatGPT自己也无法克服语言唆繁复、内容虚假或带有偏见等问题。例如，谷歌公司在巴黎举行的一个活动，演示人工智能聊天机器人“巴德”(Bard)的新功能，期间巴德被问及詹姆斯・韦伯太空望远镜的新发现，巴德回复该望远镜是用来拍摄太阳系外行星的第一批照片的，但这些照片实际上是由另一台望远镜拍摄的，这个错误让谷歌的市值一夜蒸发7 172亿元（图1-6），由此可见非常有必要对聊天机器人进行严格的测试。

ChatGPT并不是简单地使用模型，它需要结合具体的应用场景去完成任务，因此最终给出的答案也要结合具体应用场景，不过，随着技术的不断进步和研究人员不断地探索和学习，ChatGPT也在持续发展中不断完善自身的不足之处，相信未来ChatGPT会越来越

图1-4

图1-5

完善。返回搜狐，查看更多

责任编辑：

chatgpt ada模型怎么调用 chatgpt 模型是一个黑盒子么

chatgpt是什么意思,chatgpt下载,chatgpt国内能用吗,chatgpt怎么用

?背景：

在《人的模型【【微信】】的模型》中我尝试对人类与人工智能的模型做对比，遗留了两个问题：

其一，讨论人的模型仅是从大框架（知识+能力+素质）并未真正研究模型的要素，层次和功效。

其二，我对ChatGPT演化过程中模型结构的变化和认知能力的变化，没有深入认识，无法做出"有道理"的结论。

这篇内容解决了以上问题，讨论：

人工智能-ChatGPT的模型结构变化对认知能力的决定作用。

1.ChatGPT的模型结构

2. ChatGPT的认知能力

3. 模型结构与认知能力的关系

ChatGPT的模型结构

1. GPT的模型结构演变过程

其一，NLP到机器学习和深度学习后，逐渐进入基于模型的时代

这是一个非常重要的起始点，早期的NLP基于规则（特定的规则是使用程序或知识图谱进行固定模式对话）仅限于特定领域内容，不容易形成逻辑推理。

NLP进入机器学习和深度学习后，从基于"规则"变成了"模型"，模型正式登场。

其二，神经网络RNN，LSTM，GRU三类经典模型都是基于循环结构实现

RNN-传统循环神经网络，LSTM-长短时记忆神经网络，GRU-门控循环单元，在深度学习模型阶段，这三个模型都基于循环结构，能较好进行模式识别，无法进行高精度对话，无法实现逻辑推理能力。

三者中，LSTM和GRU通过门控机制，进行信息要素的调节，解决了RNN模型中记忆问题的优化。

在这个阶段，模型结构形成了循环结构，且还通过调节信息要素来优化模型。

其三，GPT-1模型的Transformer架构，以及模型的优化与层级有关

从ChatGPT-1开始，核心是Transformer技术结构，它不仅是一个矩阵计算，还承载着语义关联的功能，可以无监督训练，其核心组件有多头自注意机制模块。

GPT-1是典型自回归语言模型，用了768大小词，有12层模型，每个自注意力层有12个注意力头。研究中发现模型层数对无监督训练有影响。

这个阶段，有了两个突破：一个正式从LSTM架构进入Transformer架构，二是模型表现效果与模型的层数有关系。

其四，GPT-2,3 模型的性能与参数数量有关

GPT-2有1.5B参数，是GPT-1（117M参数）的10倍，有48层，适用了1600维向量词，有1024大小上下文窗口。研究发现GPT-2性能与模型大小有关。

GPT-2发展了零样本学习能力，在没有提示下，模型根据指令理解特定任务。

GPT-3继续了GPT-2的越大越好的理念，有96层Transforemer层，每层有96个注意力头，12888个词嵌入，2048个上下文窗口。

GPT-3模型的上下文学习能力，随着模型参数数量增加而增强。还发现大语言模型，训练的效果依赖高质量的语料。

这GPT-2,3阶段，发现了模型的性能与模型大小，参数数量，语料质量正相关。

其五，GPT-3.5增加了RLHF训练奖励模型

GPT-3.5虽然在参数数量，层级和词表上与GPT-3相近，但新增了"text-da【【微信】】4;模型，具有更好的逻辑能力。

OpenAI使用了RLHF-人类反馈强化学习技术，对ChatGPT进行训练，加入更多人工监督进行微调。

这个阶段，不局限于对Transformer架构增加参数，层级和词表，而是升级增加了新的模型-RLHF训练奖励模型，用于模型性能优化。

其六，GPT-4多模态架构，以及模型扩大和新增RBRM奖励模型

GPT-4从Transformer架构升级为多模态架构，新增了VLM-视觉语言模型组件，可以通过图形进行信息交互，提升了交互效率和模式融合。

GPT-4有1750亿参数，可以支持32000个窗口，并且GPT-4的训练与GPT-3.5类似，包括了SFT的预训练，基于RLHF的奖励模型训练和强化学习PPO算法微调。

与之前GPT模型不同的是，OpenAI采用了基于规则奖励模型RBRM在PPO微调期间向GPT-4提供额外奖励信号。

这个阶段，模型的优化是多层次的：有大的架构升级 - 从Transformer到多模态架构；有模型量的扩大 - 参数和窗口扩大；有新增优化模型 - RBRM奖励模型。

2.NLP和GPT模型架构的四层级优化策略

我并不能像描述组织架构图一样，描述出人工智能模型架构的具象图，所以，这里只能用一个"框"来虚构，再根据NLP和ChatGPT的演化，来讨论这个模型架构的重要优化内容，分为第四层级（这里的层级是意义，非结构）

第一层级：升级大的技术架构，从LSTM架构 → Transformer架构 →多模态架构，都是极大的质变，每一次技术架构的变化，都带来模型的性能的质变。

第二层级：在Transformer架构之上，GPT的模型从1-4都存在越大越好的理念，即参数，层级，词表等越多越好，越大越好，但这种模型性能优化方式存在天花板。

第三层级：为了解决越大越好的天花板，可以在大架构中新增小的优化模型，GPT3.5增加了RLHF奖励模型，GPT4增加了RBRM奖励模型。

第四层级：调节模型中信息要素，是很微小程度的性能优化，如，为解决RNN中记忆问题，LSTM和GRU进行了模型中信息要素的调节。

ChatGPT的认知能力

1. GPT的认知能力演化

其一，基于规则的NLP不容易形成逻辑推理能力

早期自然语言处理NLP基于规则，基于特定的规则，所有的应答都是固定模式和已有知识库，其应答能力仅限于特定领域，不容易形成逻辑推理。

其二，三种循环架构无法实现逻辑推理能力

RNN，LSTM，GRU神经网络的三种架构，可以较好地进行模式识别，在输出单个单词或短语表现良好，无法生成高精度对话，更无法实现逻辑推理能力。

但在RNN中包含数据点的依赖关系，将记忆概念引入神经网络，通过长程训练RNN单元可以记住上下文概念，从而学习可重复的模式。

其三，GPT-1模型的无监督学习

GPT-1之前的NLP模型都是监督学习，针对特定垂直领域任务进行训练，其无法泛化到数据集之外。

GPT-1的Transformer架构，使得无监督训练成为可能，解决了对大量高质量标注数据的要求，也可以对不同类型混杂语料进行训练，解决了泛化问题。

其四，GPT-2模型的零样本学习

GPT-2的一个关键能力是零样本学习 Zero-shot Learning，即在没有提供示例情况下，模型根据给定的指令理解特定任务。

其五，GPT-3模型的上下文学习

GPT-3的一个突触能力是上下文学习，通过对应的关键信息匹配和模仿输出对应的回答，语言模型会将示例的模式与训练中类似的知识或模式进行匹配，并适用知识或模式应答。

这个上下文学习能力，促进了ChatGPT的成功转变。

其六，GPT-3.5模型的人工监督微调能力

OpenAI使用RLHF-人类反馈强化学习技术对ChatGPT进行训练，加入了人工监督进行微调。使得GPT可以根据用户指出的错误，模型会听取意见和优化答案。

其七，多模态结构新增了VLM-视觉语言模型组件

GPT-4模型新增了多模态输入，增加了视觉语言模型，可以通过图形方式进行信息交互，提升了模态融合，多模态的感知与语义理解的结合也为新任务提供了可行性，例如，人机交互技术。

其八，多模态的涌现能力

涌现能力是模型具有从原始训练数据中自动学习并发现的新的，更高层次的能力。对比大型语言模型LLM，多模态模型可以实现更好的常识推理能力，知识和能力的迁移。

涌现能力的另一个表现是泛化能力，在没有专门训练下，GPT-4也可以泛化到新的，未知的样本上，当模型具有足够的复杂性和泛化能力，就可以从原始数据中发现新的，未知的能力。

其九，多模态的思维链

思维链是模型涌现出来的核心能力之一，即模型通过学习语言数据构建一个语言结构和意义的表示，通过一系列推理步骤来完成。思维链就是让语言模型更像人，并不是真正的意识或思维能力，而是类似于人的推理方式。

这种思维链使得GPT-4的多模态模型具有一定的逻辑分析能力，例如，GPT-4可以将一个多步骤问题分解为多个简单问题，表示了其表达和推理能力。

2. GPT的认知能力演化过程

在《思维科学和认知科学-人工智能》中讨论过认知科学与人工智能两者的关系，认知科学的发展促进人工智能的发展，人工智能的发展也作用认知科学的发展。

这里讨论GPT的认知能力的演化过程，即人工智能是如何实现认知的，其理论根据依赖的正是认知科学。

其一，GPT的学习能力

从图中可以看出，GPT的学习能力包括了几个：1. 从监督学习到无监督学习，摆脱了数据标注；2. 零样本学习和泛化能力；3. 上下文学习能力；4. 听从人监督的指令微调能力。

零样本，泛化，上下文，微调都促进了一件事，GPT的即时学习能力，不再经过预训练的学习阶段，可以即时根据内容做快速应答。

其二，GPT的逻辑推理能力

马斯克说AI就是统计，事实也就是，在GPT-4之前没有展示过好的逻辑推理能力，虽然实现了基本流畅的对话，但难免是对牛弹琴。

随着GPT-4新增模态，模型量扩大，形成了系统才有的涌现性，这种涌现就可能有意想不到的可能性，比如，逻辑推理能力。

其三，GPT的多模态融合

GPT-4之前只有文本语料，且依赖人为输入，GPT-4的多模态架构增加了视觉语料，这是非常重要的发展，不仅使文本+视觉融合，形成更多可能的涌现性。

而且增加了视觉模型组件，人工智能可以通过视觉从外界环境中主动获取语料进行训练，极大地扩充了人机交互的可能性。

模型结构与认知能力的关系

在《系统科学在三种互联网系统中的作用》中我局部讨论了系统科学对人工智能系统的作用，分析的力度和全面性都不够，这部分内容其实延伸了这个内容，即从系统科学中模型架构的变化对系统功效的影响。

上图，我将GPT的模型架构演化与认知能力演化做对比，可以明显的发现，GPT每次性能的优化背后一定是模型结构的带来的，当然还包括：模型的扩大，以及高质量的语料库。

其一，从LSTM架构→Transformer架构→多模态架构，每次架构大的变化都带来了模型性能的质变，从有监督学习到无监督学习，从无逻辑推理到实现了逻辑推理能力。

其二，GPT模型的越来越大也是非常重要的变化，从GPT-1的512个上下文窗口到GPT-4的32000个，参数数量到1750亿个。模型更大规模，更多样化，带来了系统模型的涌现性。

其三，GPT-3.5和4新增了多种奖励模型，RLHF模型和RBRM模型，都是在大模型中增加小模型做出的优化，也带了模型性能上变化。

分析GPT "模型结构和认知能力" 两者关系的意义？

其一，落实认知科学对人工智能的影响

我们发展人工智能的目的是为了更好的改造世界，它就是一个工具，只不过我们要求它更智能≈ 像人一样的认知能力，甚至超过大多数人。

我们实现人工智能的过程主要依赖的理论基础是认知科学，即人类认知的本质和规律的科学，知觉，注意，记忆，动作，语言，推理，思考等认知活动。

其二，反思人工智能对认知科学的影响

理论和实践是双向的，技术的发展也能促进科学的发展，我们阻止不了人工智能的发展，就需要积极主动的接受它，包括从思想和认知上接受它，让人工智能的思想成为我们的一部分，而不仅只是当做工具。

备注：关于ChatGPT的技术侧的内容，都来自某乎上《陈巍谈芯》，我一直想讨论人工智能系统的结构与认知能力之间的关系，却困在了对GPT没有全面和较深的理解，陈巍博士的文章深入简出，非常感谢。

读书是与读者的对话

思考是与自己的对话

(我的wx：bxc625)

推荐阅读

1. 从2017-2023年历史内容：

《2017/8/9的26篇》《2020年的137篇》《2021年的71篇》《2022年的72篇》

2. 系统论和系统科学：《系统方法论》《向钱学森学习》《系统论和系统科学》《系统科学-金字塔体系》

3. 科学方法研究：《1.观察 实验 定义 概念》《2.逻辑和非逻辑思维》《2.逻辑学看ChatGPT》《3.模型 模拟 仿真》《4.科学研究方法论》《科学发现方法论书籍》

4. 大模型系列：《我的大模型=知识模型+能力模型+素质模型》《如何建构知识模型》《知识如何转化为能力》《经验如何转化为知识》

5. 多学习系列：《多学习-横断科学》《多研究-基本范畴》《多学习-横断科学+基本范畴》

6. 范畴系列：《范畴-学习》《结构-范畴》《关系-范畴》《哲学范畴系统化》《唯物辩证法的范畴论》《辩证唯物主义要素结构功能》《商业范畴系统化》