openai api key获取,openai注册手机号,openai首席科学家,openai是微软的嘛

来源｜OneMoreAI

作者｜好奇的kiwi

自 ChatGPT 发布以来，AI 领域的技术、产品和创业生态几乎在以周为单位迭代。OpenAI 作为这次 AI 热潮的导火索和行业事实的领先者(且可能长期保持)，对行业生态有广泛和深远的影响。

本文从 OpenAI 的 AGI 愿景出发，首先分析了在该愿景的驱动下 OpenAI 是如何一步步依据 Scale、Generative Model 两个重要技术判断形成了我们所能观察到的 LLM 发展路线，并对此技术路线的底层逻辑进行了分析；在对愿景和技术选型分析的基础上，报告将 OpenAI 的历史行为与此技术路线进行了拟合，尝试解释了许多让人困惑的历史行为，并更进一步对其未来的行为进行了推演；最后报告对基于大模型的生态和产业链的发展给出了自己的分析并提出了一些供大家思考的问题。

这是我们对 OpenAI 进行全面、系统、深度逆向工程后的产物，提供了一种从底层愿景出发来分析 OpenAI 历史行为和未来行动预测的独特视角，希能够对国内正在从事大模型研究、开发、投资的工作者们带来帮助。

目录：

1. OpenAI 的 AGI 愿景和对 GPT 技术路径的坚持

2. OpenAI 的技术路径选择（GPT 架构的 LLM）是基于数学的理性推导而非神秘主义炼丹

3. 基于 OpenAI 的技术选择本质，理解 OpenAI 的过去和未来

4. LLM 产业链分析（一些 Open 的讨论）

01

OpenAI 的 AGI 愿景和对 GPT 技术路径的坚持

1.1. OpenAI 的 AGI 愿景

在开始分析前，我们将 OpenAI 不同时期对自己 AGI 目标的描述进行回顾：

“Our goal is to ad【【微信】】ence in the way that is most likely to benefit humanity as a whole, unconstrained by a need to generate financial return.”――2015年12月11日《Introducing OpenAI》

“Our mission is to ensure that artificial general intelligence―AI systems that are generally smarter than humans―benefits all of humanity.”――2023年2月14日《Planning for AGI and beyond》

第一个变化是增加了对 AGI 的描述，指明了 AGI 的智慧程度会高于人类智能。

第二个变化是由不以财务回报为目的改为了普惠人类。

AGI 的概念目前并没有已形成共识的精准定义。前者变化是 OpenAI 基于过去几年的探索给出的判断，其追求 AGI 的本质没有改变。后者则是 OpenAI 在更深入的技术探索后，进行了股权结构和商业化策略的调整，背后逻辑后续会详细展开。

总体而言，鉴于 OpenAI 的历史言论和行动保持高度一致性，我们有理由相信：OpenAI 一直并将继续以追求普惠的 AGI 为第一目标――这个假设是本文后续进行生态推演的基本前提。

1.2 OpenAI 过去 5 年展现的外界难以理解的GPT“信仰”

在 AGI 愿景下，我们看到 OpenAI 在过去 5 年坚定的选择了用 GPT（Generati【【微信】】former）架构持续加注 LLM（【【微信】】）的技术路径。这个期间 OpenAI 孤独且惊人的巨大投入，让外部觉得这是信仰的程度。但如果理解了 OpenAI 的技术选择本质回头看，我们会发现这其实是 OpenAI 在对技术的深刻洞见下的理性判断。

OpenAI 在发展上可大致分为三个阶段：

1.2.1 阶段一: AGI 实现路径探索（2015.11-2017.06 ）

这个时期的 OpenAI 走向 AGI 的技术路径并没有收敛，开展了包括 OpenAI Gym（RL），OpenAI Five（Dota2）和一系列 Generative Model（生成式模型）的项目探索。值得注意的是，这些项目使用的是 Unsuper【【微信】】（无监督学习）或RL（Reinforcement Learning， 强化学习），都不需要标注数据，有较好的可拓展性。Unsuper【【微信】】 和 RL 在 OpenAI 成立之初是一个难以实践更难以 Scale（规模化）的算法路径，OpenAI 却似乎只关注这个工业上不成熟的技术路径并尝试 Scale 。

研究这期间 OpenAI 的文章和 Ilya Sutskever（OpenAI 首席科学家）的演讲，可以窥见 OpenAI 当两个重要的技术判断：

重要技术判断1: Scale

Ilya 此期间的所有演讲都强调了 Scale 的重要性。其实回溯 2012 年让 Ilya 等人一战成名的 AlexNet，其算法核心本质也是利用 GPU 的并行计算能力将神经网络 Scale 。将基础算法规模化的理念贯穿了 Ilya 近十年的研究。合理推测，正因为对 Scale 的追求，Ilya 和 OpenAI 才会如此强调 RL 和 Generative Model 的重要性。

举例来说，同样是在 2015 年前后打 Dota2，AlphaGo 选择了结合搜索技术的变形式 RL 来提高算法表现，而 OpenAI Five 选择了纯粹的 RL 上 Scale 的方法（期间发布的RL Agent 在后来也起到了巨大的作用）。

后来 2019 年 Rich Sutton 发布的知名文章《The Bitter Lesson》也指出：“纵观过去70年的AI发展历史，想办法利用更大规模的算力总是最高效的手段。”

也正是在算法 Scale 的理念下，OpenAI 极度注重算法的工程化和工程的算法思维，搭建了工程算法紧密配合的团队架构和计算基础设施。

重要技术判断2: Generative Model

在 OpenAI 2016 年 6 月的发文《Generative Model》中分析指出：“ OpenAI 的一个核心目标是理解世界（物理和虚拟），而 Generative Model（生成式模型）是达成这个目标的最高可能性路径。”

而在 2017 年 4 月发布 Unsuper【【微信】】 算法的文章《Learning to Generate Re【【微信】】entiment》中指出，“真正好的预测与理解有关”，以及“仅仅被训练用于预测下一个字符之后，神经网络自动学会了分析情感” 。这篇文章在当时没有受到太多关注甚至被 ICLR 2018 拒稿，但我们分析认为，这个研究成果对 OpenAI 后续的研究产生了深远的影响，也为下一阶段 OpenAI all-in GPT 路线打下了基础。

1.2.2 阶段二：技术路径收敛，探索GPT路径工程极限（2017.06-2022.12 ）

2017 年 Transformer 横空出世，Transformer 对 language model 的并行训练更友好，补齐了 OpenAI 需要的最后一环。自此，OpenAI 确立了以 GPT 架构的 LLM 为主要方向，逐渐将资源转移至 LLM，开启了 GPT 算法路径的工程极限探索之途。这个阶段 OpenAI 对于 GPT 路径的巨额押注在当时外界看来是不可思议的举动。

2018 年 6 月 OpenAI 发布 GPT-1，两个月后 Google 发布 BERT 。BERT 在下游理解类任务表现惊人，不仅高于 GPT-1（117M），且基本导致 NLP 上游任务研究意义的消失。在整个 NLP 领域学者纷纷转向 BERT 研究时， OpenAI 进一步加码并于 2019 年 2 月推出 GPT-2（1.5B）。GPT-2 虽然在生成任务上表现惊艳，但是在理解类任务的表现上仍然全面落后于 BERT 。在这样的背景下，OpenAI 依然坚持 GPT 路线并且大幅度加大 Scale 速度，于 2020 年 5 月推出了 GPT-3（175B）。GPT-3 模型参数 175B（百倍于 GPT-2），训练数据量 500B Tokens（ 50 倍于 GPT-2）。

GPT-3 直接导向了 OpenAI 股权架构的重构和商业化策略的转型。2019 年 3 月，OpenAI 由非盈利组织改组为有限盈利组织（所有股东 100x 盈利上限）。【【淘密令】】 在发文中指出“We’ll need to in【【微信】】s in upcoming years into large-scale cloud compute, attracting and retaining talented people, and building AI supercomputers. We want to increase our ability to raise capital while still ser【【微信】】, and no pre-existing legal structure we know of strikes the right balance. Our solution is to create OpenAI LP as a hybrid of a for-profit and nonprofit―which we are calling a “capped-profit” company.”由此可见 OpenAI 此时对于通过 GPT 探索 AGI 的技术路径的坚定程度。

商业化上，OpenAI 推出了商业化 API 接口。GPT-3 不仅生成式任务表现优越，在理解类任务上已经开始赶超，尤其是 few-shot-learning（少样本学习）和 zero-shot-learning（零样本学习）的能力引起了大量创业公司的注意。之后两年，基于 GPT-3 API 构建的应用生态持续发展并逐渐繁荣，诞生了一系列明星公司：Jasper（ 2022 年 ARR 达 9000 万美金），Repl.it，Copy.ai 等。GPT-3 发布及生态成型期间（2020-2022），OpenAI 一直没有推出下一代模型，而是开始重点研究 Alignment 问题。

GPT-3 对语言已经展现了很强的理解能力，如果被有效使用可以做很多任务。但是 GPT-3 的理解能力不是 human-like 的，换句话说，让 GPT-3 做你要求它做的事情很难，即使它可以。随着模型底座的理解和推理能力增强，OpenAI 认为 Alignment 变得尤为重要。为了让模型准确且忠实得响应人类的诉求，OpenAI 于 2022 年 1 月发布 InstructGPT，并于 2022 年 3 月发布相关文章《Training Language Models to Follow Instructions with Human Feedback》详细阐述了用指令微调 align 模型的方法，后续 InstructGPT 迭代为被大家熟知的 GPT-3.5。GPT-3.5 上线后收到广泛好评，后来 OpenAI 直接将 GPT-3.5 替换掉 GPT-3 成为默认API接口。

至此，OpenAI 的 LLM 产品均以 API 的产品形态提供，并主要面向 B 端、研究人员和个人开发者市场。

1.2.3 阶段三：后 ChatGPT 阶段（2022.12至今 ）

2022 年 11 月 30 日，就在行业预期 GPT-4 即将发布之际，OpenAI 突然发布了开发用时不到 1 个月的对话式产品 ChatGPT，引爆了这一轮的 AI 热潮。据多方消息源称，ChatGPT 是 OpenAI 得知 Anthropic 即将发布 Claude（基于 LLM 的对话式产品，于2023 年 3 月 14 日发布 Early Access）后临时紧急上线发布的。我们有理由认为，ChatGPT 的火爆和随之引发的 AI 热潮，是在 OpenAI 预期和规划之外的。

GPT-4 的基础模型其实于 2022 年 8 月就已完成训练。OpenAI 对于基础理解和推理能力越来越强的 LLM 采取了更为谨慎的态度，花 6 个月时间重点针对 Alignment、安全性和事实性等问题进行大量测试和补丁。2023 年 3 月 14 日，OpenAI 发布 GPT-4 及相关文章。文章中几乎没有披露任何技术细节。同时当前公开的 GPT-4 API 是限制了 few-shot 能力的版本，并没有将完整能力的基础模型开放给公众。

ChatGPT 发布引发了一系列连锁反应：

C 端：ChatGPT 第一次让没有编程能力的 C 端用户有了和 LLM 交互的界面，公众从各种场景全面对 LLM 能力进行挖掘和探索。以教育场景举例，美国媒体的抽样调查称， 89% 的大学生和 22% 的 K-12 学生已经在用 ChatGPT 完成作业和论文。截止 2023 年 3 月，ChatGPT 官网的独立访客量超过 1 亿（未进行设备去重）。2023 年 3 月 23 日，ChatGPT Plugin 的发布，让更多的人认为 ChatGPT 可能会发展为新的超级流量入口（――这是一个非常值得单独讨论的问题，由于本文主题今天暂不展开讨论）。

科技巨头。与 OpenAI 合作深度最深的 【【淘密令】】 一方面裁撤整合内部的 AI 部门，一方面全产品线拥抱 GPT 系列产品。Google 多管齐下，原 LaMDA 团队发布对话产品 Bard，PaLM 团队发布 PaLM API 产品，同时投资 OpenAI 最主要竞对 Anthropic 3 亿美金。Meta 发布 LLaMA 模型并开源，LLaMA+LoRA 模式是当前开源 LLM 中最活跃的生态（Alpaca-13B 与 【【微信】】）。Amazon 则和开源社区 HuggingFace 基于 LLM 生态展开更积极的合作。我们分析认为 OpenAI 目前与 Meta 的竞争更多在技术层面，对 Meta 的主营业务短期内没有冲击。然而 OpenAI+【【淘密令】】 组合对于 Google 和 Amazon 却有业务层面的潜在巨大影响，后续会展开分析。

创业生态。一方面，ChatGPT 在 C 端迅速渗透激发了新一轮的 AI 创业热情，海量的 C 端应用案例也启发并加速了创业生态的发展。另一方面，LLM 能力边界与 OpenAI 产品边界的不确定性，让基于 GPT 模型基座构建的应用和传统应用担心自己的产品价值被湮没――我们会在后文拆解 OpenAI 行为逻辑以及 LLM 产业链生态后，对这个问题展开进一步讨论。

OpenAI：行业和生态的一系列连锁反应显然超出了 OpenAI 的预期，从 OpenAI 随后的动作我们推测核心影响有三：

1）OpenAI?可能产生了做 C 端的野心

C 端流量提供的商业化潜力和收集更多非公开数据的能力，对于 OpenAI 的模型训练、基础研究和生态发展都展现很高的价值。本月发布的 ChatGPT Plugin 就是典型的 C 端布局动作。

2）OpenAI 可以通过适度商业化减少对巨额资本投入的依赖

OpenAI 的愿景之一是让 AGI 普惠人类社会，但是 AGI 研发需要的巨大投入导致 OpenAI 不得不向科技巨头谋求资本投入――这里的矛盾冲突引来了学界对 OpenAI 的诟病，并直接或间接得导致了其大量人才流失。适度的商业化有机会让 OpenAI 减少甚至摆脱对科技巨头的依赖。我们推测 OpenAI 的商业化战略会持续在普惠与可持续独立发展之间找平衡。这里的平衡点判断对后续的产业链分析至关重要。

3）加强?Alignment 和安全性的研究投入和动作

LLM 能力在 C 端和 B 端的迅速渗透也导致了 LLM 能力被恶意使用的风险及影响迅速扩大，安全问题的紧迫性增加。

同时当前 LLM 严重的 Hallucination（真假难辨的一本正经的胡说八道）问题，阻碍了 B 端的深度应用，也对 C 端内容环境产生了不良影响。与人类的互动可以减少 Hallucination，但不一定是最本质的解决方案。通过 Alignment 研究，让模型准确且忠实得响应人类诉求，会成为 OpenAI 下一步研究的重点。

02

OpenAI 的技术路径选择（GPT 架构的 LLM ）是基于数学的理性推导而非神秘主义炼丹

首先给结论，经过对大量的访谈、课程、论文和访谈学习，我们大胆推测：OpenAI 认为，AGI 基础模型本质是实现对最大有效数据集的最大程度无损压缩。

2.1 OpenAI 认为：AGI 的智能 ≈ 泛化能力

泛化能力（Generalization）是一个技术术语，指一个模型能够正确适应新的、以前未见过的数据的能力，这种能力来源于对训练数据学习并创建的分布。

Generalization refers to your model's ability to adapt properly to new, pre【【微信】】, drawn from the same distribution as the one used to create the model。

更通俗的说，泛化就是从已知推到未知的过程。所有深度学习模型进步的基础都是提升模型的泛化能力。

OpenAI 认为：AGI 智能的本质在于追求更强的泛化能力。泛化能力越强，智能水平越高。

需要特别注意的是，泛化能力不等于泛化效率，下一章节会进一步展开。这也是 OpenAI 成立之初与业界最大的非共识。

2.2 模型泛化能力 ≈ 模型泛化效率 × 训练数据规模

我们认为：如果模型的泛化效率越高，训练数据的规模越大，则模型的智能程度越高。

这一结论可以由严格的数学推导得到，但是由于笔者的数学能力限制了第一性的理解，在请教了专业人士后，给出了以下抽象理解公式：

模型智能程度（泛化能力） ≈ 模型泛化效率 × 训练数据规模

这里的数学和抽象论证建议阅读冠叔、周昕宇（【【网址】】/p/619511222）和欣然（【【网址】】/p/616903436）的相关文章/知乎，这里不展开。

2.2.1 模型泛化效率 ≈ 模型压缩效率

对完成某个任务有效方法的最小描述长度代表了对该任务的最大理解。因此一个模型的压缩效率可以近似量化为模型的泛化效率。

AGI 的任务可以理解为：通过对训练数据集的压缩，实现对训练数据集所代表真实世界的最大程度泛化。

一个 AGI 模型的最小描述长度可以量化为模型的压缩效率。

在这个理解下，GPT 模型参数量越大，模型的智能水平越高。（模型参数量大→模型压缩效率高→模型泛化效率高→模型智能水平高）

1）GPT 模型是对训练数据的无损压缩（数学推论）

2）GPT 模型参数量越大，压缩效率越高（数学推论）

3）GPT 模型是 SOTA（state-of-the-art，最好/最先进）的无损文本压缩器（现状）

2.2.2 训练数据的规模化和多元化对提高模型泛化能力至关重要

前文中我们提到：AGI 的任务是对训练数据集的最大程度泛化。那为什么模型的泛化能力不等于泛化效率呢？

因为模型的泛化效率只追求了“最大程度泛化”，而忽略了“训练数据集”。传统学术界只认为算法的创新才值得追求，训练数据集的 Scale 只是工程问题，不具备研究价值。因此主流学术界长期追求的目标其实是：模型获得智能的高效方法，而不是模型的智能能力。

而 OpenAI 则在深刻理解泛化能力的本质后，选择同时追求更大的训练数据集（训练数据集的 Scale ）和更大程度的泛化（模型参数的 Scale ）。

希望最快的 Scale 训练数据集，文本数据自然成了 OpenAI 的首选。因此过去五年， OpenAI 首先做的是在最容易 Scale 的单一模态文本上，把训练数据规模和模型参数量的极限拉满。LLM 只是起点，当文本数据被极限拉满后，我们有理由相信 OpenAI 会进一步扩大训练数据模态，其中包括可观测数据（特殊文本、图像、视频等）和不可观测数据（与虚拟世界和物理世界的互动数据）。

2.3 OpenAI 的技术路径选择逻辑总结

前面对于 OpenAI 技术理念本质的分析非常抽象，我们尝试对技术路径选择逻辑和历史行为进行了整体的梳理总结，如下图：

总结起来，OpenAI 认为：AGI 基础模型本质是实现对最大有效数据集的最大程度无损压缩。

在这个技术理解下，GPT 架构的 LLM 路线是过去 5 年的最优技术路径选择，模型参数量和训练数据量的 Scale 则是必然行为。

2.4 OpenAI 的技术路径选择争议

报告原文中对 OpenAI 技术路径的选择提出了

---

openai数据科学家

对于科学家这个职业，我们总是充满着敬畏和好奇心。他们是如何让世界变得更加美好的呢？在这个数字化时代，人工智能技术的飞速发展吸引了无数瞩目，而OpenAI正是其中的佼佼者。那么，什么是科学家？什么是OpenAI？本文将为读者详细介绍此两个话题，令你对他们的认识更为清晰。

什么是科学家？

首先，让我们从“科学家”这个定义开始。一般来说，科学家就是研究科学的人员，他们通过各种方式研究自然现象，解决疑难问题。随着人类文明的发展，科学研究逐渐成为了重中之重。从古希腊的阿里斯托芬到现代的霍金，科学家们一直不断探索和发现，推动了人类的前进。

然而，真正的科学家并不是单纯的学者、研究员或实验室工作者。他们不断思考，不断质疑，不断挑战自己的知识储备和假设。十分严谨的逻辑思维、系统**的分析能力，以及坚定不移的信念是科学家必备的素质。同时，对于前沿科学领域存在疑点或未知之事，科学家们会勇于尝试，不停追求答案。

除了并非纯粹的学者外，科学家也常常被描绘成一群“疯狂的科学家”。他们往往在研究相关领域的过程中，没有约束力的想象力和极大胆的推测，这种超出常规的做法经常会被人们质疑。这给科学家们和科学这个领域带来了不少的误解，但是如果我们看到他们的成就，这些误解难道是不值得被解答吗？

什么是OpenAI？

OpenAI，全名为OpenArtificialIntelligence，是由众多著名科学家及企业家创立的首个未盈利人工智能研究组织。由埃隆・马斯克（ElonMusk）、著名的计算机科学家YannLeCun等人领导，致力于推动人工智能的发展，并确保人类能够与人工智能在同一层面上共存。

OpenAI旨在通过开创**的研究、技术创新和社会引导等方面推动全球AI事业的发展。他们拥有强大的研究团队和技术支持体系，在视觉和语音领域等技术方面取得了卓越的成果。他们开发了人工智能平台GPT-2，其自动语言生成功能可以模仿人类创造自然流畅的文本，并得到了广泛关注。他们还与多个国际合作伙伴展开合作，共同推动人工智能领域的进步。

OpenAI的存在，让我们见证了人类对人工智能领域的发展追求和研究的一个高峰。更重要的是，他们对人类与人工智能共同共存的研究和探索，为未来的发展提供了有力的保证。

科学家和OpenAI的共同要素

尽管科学家和OpenAI都是各自独立的实体，但是它们之间也有许多关联和共**之处，不可忽视。以下是几个共同要素：

1.研究与探索：科学家和OpenAI都致力于通过研究和探索来推进自己所在的领域。他们极为严谨的科研精神，要求自己在理论推理和实验操作两个方面都精益求精。

2.创新与突破：无论是科学家还是OpenAI，他们都有着创新和突破的精神。他们不仅仅是追随者，更是创新者和领头人，不断挑战和颠覆传统。

3.分享与传播：科学家和OpenAI都非常重视分享和传播研究成果。他们希望将自己的研究成果分享给更多的人，让人们可以参与其中，推动科研领域的发展。

4.社会责任感：科学家和OpenAI都一直在讨论人工智能等技术所带来的社会问题。同样，伴随着他们的发展，也带来了社会的责任感。他们不仅仅是关注人工智能技术的飞速发展，更希望通过技术的应用来回报社会。

结语

本文的目的，是为读者解答“什么是科学家”和“什么是OpenAI”的问题。科学家和OpenAI都有着自身特有的风采和吸引力，他们不断追求技术的进步和社会的发展。希望读者通过了解它们之后，能够对正确定位科学家和OpenAI的作用和地位有所帮助。同时，也期待着科学家和OpenAI未来的发展可以带来更多的惊喜和突破。