chatgpt底层原理
chat gpt
工作原理
在当今社交化的时代，
Chat GPT (Generative 【【微信】】
Transformer)
成为了一种越来越流行的对话机器人。这种技术在自然
语言处理
(Natural Language Processing
，简称
NLP)
领域中被广泛应
用，因为它可以自动的生成人类语言，从而变得与用户交互更加自然
且流畅。那么，
Chat GPT
的工作原理是什么呢？
1.
数据来源
Chat GPT
的核心是一个深度学习的神经网络，而这个网络需要足
够多的数据作为训练样本。最常用的数据来源是对话文本数据集，比
如名为
Cornell Movie 【【微信】】
的数据集，其中包含了角色间的各种
对话场景。这是因为机器学习的核心是输入化繁为简的过程，将大量
数据进行有效的抽象化和编码处理，形成可以使用的模型。
2.
预训练模型
在得到了大量的对话文本数据之后，下一个步骤是建立预训练模
型。预训练是一种减少训练时间和计算成本的方法，它事先给定一个
大型数据集来训练该模型。如果对输入的数据有了先验知识，那么在
后续的学习中，我们便可以提前做好数据处理，将数据集中的数据预
先转换成序列，并将文本嵌入到矢量空间中，然后让网络从这些数据
中建立语言模型。
3.
微调模型
虽然预训练模型是关于语言模型的卓越成果，但由于针对特定应
用的实际场景可能有不同的处理方式，所以不同的场景也需要有不同
的模型，因此我们需要使用微调模型。微调是指从原有的预训练模型
中提取出参数，并重新对参数进行调整和更新，以使它更适合特定的
任务。这些需要微调的参数通常是指输出隐状态的变量，包括控制文
本输入和输出以及每一层的上下文信息的变量等。
4.
网络架构
Chat GPT
的深度神经网络采用了一种高度灵活的
Transformers
OpenAI的小秘密：创始人奥尔特曼完全不持有公司股票
奥特尔什么意思,奥尔奥特,奥特尔肥料是哪个厂出的,奥尔特曼人际交往OpenAI的小秘密：创始人奥尔特曼完全不持有公司股票
财联社3月25日讯（编辑 史正丞）随着能听懂人话、会写代码的ChatGPT爆火，背后的OpenAI也迅速窜升为家喻户晓的科创明星公司。但根据美国新兴财经媒体Semafor的最新报道，总是背着一个蓝色背包的OpenAI首席执行官萨姆・奥尔特曼，很有可能完全不拥有公司的股票。
（奥尔特曼和标志性的蓝色书包，来源：社交媒体）
作为参考，在今年1月初与微软等公司商讨投资事项时，OpenAI的估值据报已经达到290亿美元，较2021年时翻了一倍。随着互联网巨头们蜂拥参与AI大战，作为领跑者的OpenAI势必会变得更加值钱。
与马斯克关系匪浅
在ChatGPT引发全球热议后，酷爱追热点的推特老板马斯克时不时对AI产业和OpenAI冷嘲热讽一番。一方面恐怕是因为吃醋，而另一方面也是因为，马斯克曾经也称得上是OpenAI的老板（之一）。
（马斯克讽刺垄断科技巨头掌控AI，来源：社交媒体）
OpenAI成立于2015年，由奥尔特曼、马斯克、里德・霍夫曼、彼得・泰尔、AWS等科创界明星和知名企业共同建立，最初是一家非盈利机构，研究的目的是为了“确保人工智能不会消灭人类”。
据知情人士表示，马斯克在2018年初告知其他创始人，他认为OpenAI的进度“远远落后于谷歌”，因此他想要控制这家公司并亲手干预经营。由于这一提案遭到其他创始人的反对，马斯克最终负气出走。当时对外宣发的理由是特斯拉也有AI项目（自动驾驶），可能会与OpenAI形成利益冲突。
（OpenAI官宣马斯克离开董事会，来源：OpenAI）
知情人士透露，虽然马斯克离开OpenAI的时候表示会继续向公司捐款，但实际上从他离开的那一天开始就一分钱都没付过。马斯克曾承诺向OpenAI捐赠10亿美元，而在离开前一共落实了1亿美元。
马斯克走后，奥尔特曼就成为OpenAI的实际话事人。根据税单，他正是在2018年将“OpenAI总裁”写进了自己的履历。
顺便一提，与“70后”的马斯克不同，奥尔特曼到今年也只有37岁，但接触编程接近30年。与许多美国科技创业者相似，奥尔特曼本科在斯坦福大学学习电脑科学，读了两年就辍学和同学一起开发手机应用。混迹互联网圈子多年后，奥尔特曼获得保罗・格雷厄姆的赏识，于2014年出任Y Combinator总裁。
而在马斯克退出后，年轻的OpenAI很快就遇到了费用的瓶颈，毕竟使用超级计算机训练大模型本身就是一件极其耗费金钱的事情。与此同时，谷歌发布的Transformer模型打开了AI产业想象力的天花板――AI可以无限进步，但也需要喂进去无穷无尽的数据和金钱。
所以在2019年，OpenAI决定成立一个可盈利实体（OpenAI LP）负责融资，来负担愈发昂贵的研发成本。不过公司也宣布会设置盈利上限，多余的钱将打入非营利实体中。
知情人士透露，奥尔特曼也作出了一个不太寻常的决定，他不会持有任何OpenAI LP的股权。一方面是因为作为成功的VC投资人，他已经足够富有；另一方面，他也告诉同事们，他做这个项目不是为了赚钱，避开任何所有权权益将有助于他与最初的使命保持一致。然而，这一点也令不少潜在投资人望而却步，担忧奥尔特曼自己对这个项目也没有信心。
不过市场上并不缺识货的买家。仅仅半年后，微软挥舞着10亿美元的支票加入了OpenAI，并且调动资源帮助公司一起构建了训练大模型的超级计算机，最终的成品就是大家今天看到的GPT大模型、ChatGPT、DALL-E等。
知情人士表示，去年11月看着ChatGPT冉冉升起时马斯克“气疯了”，随后下令中止推特向OpenAI提供训练数据的合作，虽然合作本身是在他收购推特前就谈妥的。
（来源：马斯克推特）
可以预见的是，照马斯克的脾气，他接下来对OpenAI的讽刺和指责只会越来越激烈。据媒体本周四报道，OpenAI董事会成员Shi【【微信】】已经卸任，她也有其他的身份：脑机公司Neuralink的高管，以及马斯克两个孩子的母亲。
本文源自财联社 史正丞返回搜狐，查看更多
责任编辑：
