ai技术分析报告,ai技术分析的学情分析心得体会学生心得,ai技术分析球员能力,ai技术包括哪些

　　本文来自微信公众号：OneMoreAI（ID：OneMoreAI1956），作者：Kiwi，头图来源：视觉中国

　　自 ChatGPT 发布以来，AI 领域的技术、产品和创业生态几乎在以周为单位迭代。OpenAI 作为这次 AI 热潮的导火索和行业事实的领先者（且可能长期保持），对行业生态有广泛和深远的影响。

　　本文从 OpenAI 的 AGI 愿景出发，首先分析了在该愿景的驱动下 OpenAI 是如何一步步依据 Scale、Generative Model 两个重要技术判断形成了我们所能观察到的 LLM 发展路线，并对此技术路线的底层逻辑进行了分析；在对愿景和技术选型分析的基础上，报告将 OpenAI 的历史行为与此技术路线进行了拟合，尝试解释了许多让人困惑的历史行为，并更进一步对其未来的行为进行了推演；最后报告对基于大模型的生态和产业链的发展给出了自己的分析并提出了一些供大家思考的问题。

　　这是我们对 OpenAI 进行全面、系统、深度逆向工程后的产物，提供了一种从底层愿景出发来分析 OpenAI 历史行为和未来行动预测的独特视角，希望能够对国内正在从事大模型研究、开发、投资的工作者们带来帮助。

　　一、OpenAI 的 AGI 愿景和对 GPT 技术路径的坚持

　　1. 1 OpenAI 的 AGI 愿景

　　在开始分析前，我们将 OpenAI 不同时期对自己 AGI 目标的描述进行回顾：

　　"Our goal is to ad【【微信】】ence in the way that is most likely to benefit humanity as a whole， unconstrained by a need to generate financial return."――2015年12月11日《Introducing OpenAI》

　　"Our mission is to ensure that artificial general intelligence―AI systems that are generally smarter than humans―benefits all of humanity."――2023年2月14日《Planning for AGI and beyond》

　　第一个变化是增加了对 AGI 的描述，指明了 AGI 的智慧程度会高于人类智能。

　　第二个变化是由不以财务回报为目的改为了普惠人类。

　　AGI 的概念目前并没有已形成共识的精准定义。前者变化是 OpenAI 基于过去几年的探索给出的判断，其追求 AGI 的本质没有改变。后者则是 OpenAI 在更深入的技术探索后，进行了股权结构和商业化策略的调整，背后逻辑后续会详细展开。

　　总体而言，鉴于 OpenAI 的历史言论和行动保持高度一致性，我们有理由相信：OpenAI 一直并将继续以追求普惠的 AGI 为第一目标――这个假设是本文后续进行生态推演的基本前提。

　　1.2 OpenAI 过去 5 年展现的外界难以理解的GPT"信仰"

　　在 AGI 愿景下，我们看到 OpenAI 在过去 5 年坚定地选择了用 GPT（Generati【【微信】】former）架构持续加注 LLM（【【微信】】）的技术路径。这个期间 OpenAI 孤独且惊人的巨大投入，让外部觉得这是信仰的程度。但如果理解了 OpenAI 的技术选择本质回头看，我们会发现这其实是 OpenAI 在对技术的深刻洞见下的理性判断。

　　OpenAI 在发展上可大致分为三个阶段：

　　1.2.1 阶段一: AGI 实现路径探索（2015年11月～2017年6月）

　　这个时期的 OpenAI 走向 AGI 的技术路径并没有收敛，开展了包括 OpenAI Gym（Robotics），OpenAI Five（Dota2）和一系列 Generative Model（生成式模型）的项目探索。

　　值得注意的是，这些项目使用的是 Unsuper【【微信】】（无监督学习）或RL（Reinforcement Learning， 强化学习），都不需要标注数据，有较好的可拓展性。Unsuper【【微信】】 和 RL 在 OpenAI 成立之初是一个难以实践更难以 Scale（规模化）的算法路径，OpenAI 却似乎只关注这个工业上不成熟的技术路径并尝试 Scale 。

　　研究这期间 OpenAI 的文章和 Ilya Sutskever（OpenAI 首席科学家）的演讲，可以窥见 OpenAI 当两个重要的技术判断：

　　重要技术判断1：Scale

　　Ilya 此期间的所有演讲都强调了 Scale 的重要性。其实回溯 2012 年让 Ilya 等人一战成名的 AlexNet，其算法核心本质也是利用 GPU 的并行计算能力将神经网络 Scale 。将基础算法规模化的理念贯穿了 Ilya 近十年的研究。合理推测，正因为对 Scale 的追求，Ilya 和 OpenAI 才会如此强调 RL 和 Generative Model 的重要性。

　　举例来说，同样是在 2015 年前后打 Dota2，AlphaGo 选择了结合搜索技术的变形式 RL 来提高算法表现，而 OpenAI Five 选择了纯粹的 RL 上 Scale 的方法（期间发布的RL Agent 在后来也起到了巨大的作用）。

　　后来 2019 年 Rich Sutton 发布的知名文章《The Bitter Lesson》也指出："纵观过去70年的AI发展历史，想办法利用更大规模的算力总是最高效的手段。"

　　也正是在算法 Scale的理念下，OpenAI 极度注重算法的工程化和工程的算法思维，搭建了工程算法紧密配合的团队架构和计算基础设施。

　　重要技术判断2: Generative Model

　　在 OpenAI 2016 年 6 月的发文《Generative Model》中分析指出："OpenAI 的一个核心目标是理解世界（物理和虚拟），而 Generative Model（生成式模型）是达成这个目标的最高可能性路径。"

　　而在 2017 年 4 月发布 Unsuper【【微信】】 算法的文章《Learning to Generate Re【【微信】】entiment》中指出，"真正好的预测与理解有关"，以及"仅仅被训练用于预测下一个字符之后，神经网络自动学会了分析情感" 。

　　这篇文章在当时没有受到太多关注甚至被 ICLR 2018 拒稿，但我们分析认为，这个研究成果对 OpenAI 后续的研究产生了深远的影响，也为下一阶段 OpenAI all-in GPT 路线打下了基础。

　　1.2.2 阶段二：技术路径收敛，探索GPT路径工程极限（2017年6月～2022年12月）

　　2017 年Transformer 横空出世，Transformer 对 language model 的并行训练更友好，补齐了 OpenAI 需要的最后一环。自此，OpenAI 确立了以GPT 架构的 LLM为主要方向，逐渐将资源转移至 LLM，开启了 GPT 算法路径的工程极限探索之途。这个阶段 OpenAI 对于 GPT 路径的巨额押注在当时外界看来是不可思议的举动。

　　2018 年 6 月 OpenAI 发布 GPT-1，两个月后 Google 发布 BERT 。BERT 在下游理解类任务表现惊人，不仅高于 GPT-1（117M），且基本导致 NLP 上游任务研究意义的消失。

　　在整个 NLP 领域学者纷纷转向 BERT 研究时， OpenAI 进一步加码并于 2019 年 2 月推出 GPT-2（1.5B）。GPT-2 虽然在生成任务上表现惊艳，但是在理解类任务的表现上仍然全面落后于 BERT。

　　在这样的背景下，OpenAI 依然坚持 GPT 路线并且大幅度加大 Scale 速度，于 2020 年 5 月推出了 GPT-3（175B）。GPT-3 模型参数 175B（百倍于 GPT-2），训练数据量 500B Tokens（ 50 倍于 GPT-2）。

　　GPT-3 直接导向了 OpenAI 股权架构的重构和商业化策略的转型。2019 年 3 月，OpenAI 由非盈利组织改组为有限盈利组织（所有股东 100x 盈利上限）。【【淘密令】】 在发文中指出"We’ll need to in【【微信】】s in upcoming years into large-scale cloud compute， attracting and retaining talented people， and building AI supercomputers. We want to increase our ability to raise capital while still ser【【微信】】， and no pre-existing legal structure we know of strikes the right balance. Our solution is to create OpenAI LP as a hybrid of a for-profit and nonprofit―which we are calling a ‘capped-profit’ company."由此可见 OpenAI 此时对于通过 GPT 探索 AGI 的技术路径的坚定程度。

　　商业化上，OpenAI 推出了商业化 API 接口。GPT-3 不仅生成式任务表现优越，在理解类任务上已经开始赶超，尤其是 few-shot-learning（少样本学习）和 zero-shot-learning（零样本学习）的能力引起了大量创业公司的注意。之后两年，基于 GPT-3 API 构建的应用生态持续发展并逐渐繁荣，诞生了一系列明星公司：Jasper（ 2022 年 ARR 达 9000 万美金），Repl.it，Copy.ai 等。GPT-3 发布及生态成型期间（2020-2022），OpenAI 一直没有推出下一代模型，而是开始重点研究 Alignment问题。

　　GPT-3 对语言已经展现了很强的理解能力，如果被有效使用可以做很多任务。但是 GPT-3 的理解能力不是 human-like 的，换句话说，让 GPT-3 做你要求它做的事情很难，即使它可以。随着模型底座的理解和推理能力增强，OpenAI 认为 Alignment 变得尤为重要。为了让模型准确且忠实地响应人类的诉求，OpenAI 于 2022 年 1 月发布 InstructGPT，并于 2022 年 3 月发布相关文章《Training Language Models to Follow Instructions with Human Feedback》详细阐述了用指令微调 align 模型的方法，后续 InstructGPT 迭代为被大家熟知的 GPT-3.5。GPT-3.5 上线后收到广泛好评，后来 OpenAI 直接将 GPT-3.5 替换掉 GPT-3 成为默认API接口。

　　至此，OpenAI 的 LLM 产品均以 API 的产品形态提供，并主要面向 B 端、研究人员和个人开发者市场。

　　1.2.3 阶段三：后 ChatGPT 阶段（2022.12至今）

　　2022 年 11 月 30 日，就在行业预期 GPT-4 即将发布之际，OpenAI 突然发布了开发用时不到 1 个月的对话式产品 ChatGPT，引爆了这一轮的 AI 热潮。据多方消息源称，ChatGPT 是 OpenAI 得知 Anthropic 即将发布 Claude（基于 LLM 的对话式产品，于2023 年 3 月 14 日发布 Early Access）后临时紧急上线发布的。我们有理由认为，ChatGPT 的火爆和随之引发的 AI 热潮，是在 OpenAI 预期和规划之外的。

　　GPT-4 的基础模型其实于 2022 年 8 月就已完成训练。OpenAI 对于基础理解和推理能力越来越强的 LLM 采取了更为谨慎的态度，花 6 个月时间重点针对 Alignment、安全性和事实性等问题进行大量测试和补丁。2023 年 3 月 14 日，OpenAI 发布 GPT-4 及相关文章。文章中几乎没有披露任何技术细节。同时当前公开的 GPT-4 API 是限制了 few-shot 能力的版本，并没有将完整能力的基础模型开放给公众。

　　ChatGPT 发布引发了一系列连锁反应：

　　C 端：ChatGPT 第一次让没有编程能力的 C 端用户有了和 LLM 交互的界面，公众从各种场景全面对 LLM 能力进行挖掘和探索。以教育场景举例，美国媒体的抽样调查称， 89% 的大学生和 22% 的 K-12 学生已经在用 ChatGPT 完成作业和论文。截止 2023 年 3 月，ChatGPT 官网的独立访客量超过 1 亿（未进行设备去重）。2023 年 3 月 23 日，ChatGPT Plugin 的发布，让更多的人认为 ChatGPT 可能会发展为新的超级流量入口（这是一个非常值得单独讨论的问题，由于本文主题今天暂不展开讨论）。

　　科技巨头。与 OpenAI 合作深度最深的 【【淘密令】】 一方面裁撤整合内部的 AI 部门，一方面全产品线拥抱 GPT 系列产品。Google 多管齐下，原 LaMDA 团队发布对话产品 Bard，PaLM 团队发布 PaLM API 产品，同时投资 OpenAI 最主要竞对 Anthropic 3 亿美金。Meta 发布 LLaMA 模型并开源，LLaMA+LoRA 模式是当前开源 LLM 中最活跃的生态（Alpaca-13B 与 【【微信】】）。Amazon 则和开源社区 HuggingFace 基于 LLM 生态展开更积极的合作。我们分析认为 OpenAI 目前与 Meta 的竞争更多在技术层面，对 Meta 的主营业务短期内没有冲击。然而OpenAI+【【淘密令】】 组合对于 Google 和 Amazon 却有业务层面的潜在巨大影响，后续会展开分析。

　　创业生态。一方面，ChatGPT 在 C 端迅速渗透激发了新一轮的 AI 创业热情，海量的 C 端应用案例也启发并加速了创业生态的发展。另一方面，LLM 能力边界与 OpenAI 产品边界的不确定性，让基于 GPT 模型基座构建的应用和传统应用担心自己的产品价值被湮没――我们会在后文拆解 OpenAI 行为逻辑以及 LLM 产业链生态后，对这个问题展开进一步讨论。

　　OpenAI：行业和生态的一系列连锁反应显然超出了 OpenAI 的预期，从 OpenAI 随后的动作我们推测核心影响有三：

　　（1）OpenAI可能产生了做 C 端的野心

　　C 端流量提供的商业化潜力和收集更多非公开数据的能力，对于 OpenAI 的模型训练、基础研究和生态发展都展现很高的价值。本月发布的 ChatGPT Plugin 就是典型的 C 端布局动作。

　　（2）OpenAI 可以通过适度商业化减少对巨额资本投入的依赖

　　OpenAI 的愿景之一是让 AGI 普惠人类社会，但是 AGI 研发需的巨大投入导致 OpenAI 不得不向科技巨头谋求资本投入――这里的矛盾冲突引来了学界对 OpenAI 的诟病，并直接或间接导致了其大量人才流失。适度的商业化有机会让 OpenAI 减少甚至摆脱对科技巨头的依赖。我们推测 OpenAI 的商业化战略会持续在普惠与可持续独立发展之间找平衡。这里的平衡点判断对后续的产业链分析至关重要。

　　（3）加强Alignment 和安全性的研究投入和动作

　　LLM 能力在 C 端和 B 端的迅速渗透也导致了 LLM 能力被恶意使用的风险及影响迅速扩大，安全问题的紧迫性增加。

　　同时当前 LLM 严重的 Hallucination（真假难辨的一本正经胡说八道）问题，阻碍了 B 端的深度应用，也对 C 端内容环境产生了不良影响。与人类的互动可以减少 Hallucination，但不一定是最本质的解决方案。通过 Alignment 研究，让模型准确且忠实得响应人类诉求，会成为 OpenAI 下一步研究的重点。

　　二、OpenAI 的技术路径选择（GPT 架构的 LLM ）是基于什么？

　　首先给结论，经过对大量的访谈、课程、论文和访谈学习，我们大胆推测：OpenAI 认为，AGI 基础模型本质是实现对最大有效数据集的最大程度无损压缩。

　　2.1 OpenAI 认为：AGI 的智能 ≈ 泛化能力

　　泛化能力（Generalization）是一个技术术语，指一个模型能够正确适应新的、以前未见过的数据的能力，这种能力来源于对训练数据学习并创建的分布。

　　Generalization refers to your model's ability to adapt properly to new， pre【【微信】】， drawn from the same distribution as the one used to create the model。

　　更通俗地说，泛化就是从已知推到未知的过程。所有深度学习模型进步的基础都是提升模型的泛化能力。

　　OpenAI 认为：AGI 智能的本质在于追求更强的泛化能力。泛化能力越强，智能水平越高。

　　需要特别注意的是，泛化能力不等于泛化效率，下一章节会进一步展开。这也是 OpenAI 成立之初与业界最大的非共识。

　　2.2 模型泛化能力 ≈ 模型泛化效率 × 训练数据规模

　　我们认为：如果模型的泛化效率越高，训练数据的规模越大，则模型的智能程度越高。

　　这一结论可以由严格的数学推导得到，但是由于笔者的数学能力限制了第一性的理解，在请教了专业人士后，给出了以下抽象理解公式：

　　模型智能程度（泛化能力） ≈ 模型泛化效率 × 训练数据规模

　　这里的数学和抽象论证建议阅读冠叔、周昕宇（https://zhuanlan.zhihu.com/p/619511222）和欣然（https://zhuanlan.zhihu.com/p/616903436）的相关文章/知乎，这里不展开。

　　2.2.1 模型泛化效率 ≈ 模型压缩效率

　　对完成某个任务有效方法的最小描述长度代表了对该任务的最大理解。因此一个模型的压缩效率可以近似量化为模型的泛化效率。

　　AGI 的任务可以理解为：通过对训练数据集的压缩，实现对训练数据集所代表真实世界的最大程度泛化。

　　一个 AGI 模型的最小描述长度可以量化为模型的压缩效率。

　　在这个理解下，GPT 模型参数量越大，模型的智能水平越高。（模型参数量大→模型压缩效率高→模型泛化效率高→模型智能水平高）

　　（1）GPT 模型是对训练数据的无损压缩（数学推论）

　　（2）GPT 模型参数量越大，压缩效率越高（数学推论）

　　（3）GPT 模型是 SOTA（state-of-the-art，最好/最先进）的无损文本压缩器（现状）

　　2.2.2 训练数据的规模化和多元化对提高模型泛化能力至关重要

　　前文中我们提到：AGI 的任务是对训练数据集的最大程度泛化。那为什么模型的泛化能力不等于泛化效率呢？

　　因为模型的泛化效率只追求了"最大程度泛化"，而忽略了"训练数据集"。传统学术界只认为算法的创新才值得追求，训练数据集的 Scale 只是工程问题，不具备研究价值。因此主流学术界长期追求的目标其实是：模型获得智能的高效方法，而不是模型的智能能力。

　　而 OpenAI 则在深刻理解泛化能力的本质后，选择同时追求更大的训练数据集（训练数据集的 Scale ）和更大程度的泛化（模型参数的 Scale ）。

　　希望最快的 Scale 训练数据集，文本数据自然成了 OpenAI 的首选。因此过去五年， OpenAI 首先做的是在最容易 Scale 的单一模态文本上，把训练数据规模和模型参数量的极限拉满。LLM 只是起点，当文本数据被极限拉满后，我们有理由相信 OpenAI 会进一步扩大训练数据模态，其中包括可观测数据（特殊文本、图像、视频等）和不可观测数据（与虚拟世界和物理世界的互动数据）。

　　2.3 OpenAI 的技术路径选择逻辑总结

　　前面对于 OpenAI 技术理念本质的分析非常抽象，我们尝试对技术路径选择逻辑和历史行为进行了整体的梳理总结，如下图：

　　总结起来，OpenAI 认为：AGI 基础模型本质是实现对最大有效数据集的最大程度无损压缩。

　　在这个技术理解下，GPT 架构的 LLM 路线是过去 5 年的最优技术路径选择，模型参数量和训练数据量的 Scale 则是必然行为。

　　2.4 OpenAI 的技术路径选择争议

　　报告原文中对 OpenAI 技术路径的选择提出了一些具有启发性的问题，由于篇幅问题，我们在此仅提出问题，更详细的信息欢迎大家到报告的原文进行进一步阅读并参与讨论。

　　AGI 的智能是否等于泛化能力？即对于通用任务的理解与泛化能力（ OpenAI 为代表），与复杂困难的科学任务的研究能力（ DeepMind 为代表），谁更能代表 AGI 的智能水平。

　　LLM 学到的是 Book AI？一些学者认为，LLM 在语言中学习到的知识和理解，和物理世界无法形成有效的映射，因此 LLM 的智能是浅薄的智能。

　　One Model Rules ALL？虽然 GPT 路线的大模型的泛化理解能力很高且在不断迭代，但是此路线导致了 Hallucination 的问题也会持续存在，那么在容错率接近0的高可靠性要求场景（如垂直复杂场景的API调用等）是否必须有不同垂直模型的空间？

　　指令微调和 RLHF 是不是解决 Alignment 问题的正确路径？一方面，指令微调和RLHF对于基础能力越来越强的LLM基座的Alignment的帮助有限。另一方面，指令微调通过牺牲reasoning性能换取与Alignment（Alignment Tax）。

　　GPT 路线是没有 Memory？当前的 GPT 系列模型在处理一些单次任务时表现出色，与 GPT 模型的前序交互信息无法自动写入下一次交互的 token。而AutoGPT等目前只能暴力回放历史，导致太多 token cost。这就导致 GPT 模型对于大量复杂的系统工程和连续的生产行为不友好。

　　三、基于 OpenAI 的技术选择本质，理解 OpenAI 的过去和未来

　　3.1 拟合：OpenAI 的历史行为解释

　　综合前文所述，OpenAI 的愿景是追求普惠的 AGI。而 OpenAI 的技术理念为：AGI 智能本质是追求的泛化性，因此 AGI 基础模型本质是实现对最大有效数据集的最大程度无损压缩。

　　基于此我们尝试对 OpenAI 的历史行为进行解释。过程中我们更感受到，【【淘密令】】 （商业）+ Ilya Sutskever（算法） + 【【微信】】（工程）组合的稀缺性。OpenAI 今天的成果是算法、工程、数据、产品、GTM 团队密切配合的结果。

　　3.1.1 技术

　　（1）为什么 Bert 在下游理解类任务表现出色（远高于 GPT-1 和 GPT-2 ）时，OpenAI 仍然坚持 GPT 路线？

　　如前文分析，OpenAI 追求的是模型的泛化能力。所有的有监督学习都是无监督语言模型的一个子集。那么为了特定任务短期效果提升而选择有监督学习无疑是不本质的做法。

　　早期 BERT 在理解类子任务上的高表现，是因为对特定数据集通过有监督学习，可以更快速得到对该任务的理解。当 GPT 等无监督模型的参数足够大且语料足够丰富时，通过无监督语言学习就可以完成其他有监督学习的任务。

　　因此 OpenAI 坚持 GPT 路线就是必然的简单选择。

　　（2）为什么过去持续 Scale，未来还会持续大幅 Scale 吗？

---

13岁男孩叛逆特别严重怎么办 14岁男孩叛逆特别严重怎么办

13岁男孩叛逆特别严重怎么办,13岁的男孩子叛逆,13岁男孩叛逆期特别厉害该怎么办,13岁男孩很叛逆怎么办

14岁男孩叛逆特别严重怎么办？14岁的男孩正处于青春期，这个时期是一个人生理、心理和社会行为发展的重要阶段。叛逆是青春期的一种正常现象，但一些孩子的叛逆特别严重，甚至导致家庭关系的破裂和对自身的危害。

14岁男孩叛逆特别严重怎么办？那么，如何帮助叛逆的男孩走出困境呢？看看以下内容：

首先，理解叛逆少年的行为。叛逆主要表现为一种逆反心理，他们可能会表现得非常冲动和无礼，拒绝听从父母的意见，甚至有时会做出不理性的决定。但这并不意味着他们不爱家人或者不尊重家庭成员，而是需要更多的理解和支持。

第二，建立与孩子的有效沟通。与孩子建立起一种温暖、平等和互相尊重的关系是非常重要的。父母应该试图走进孩子的内心，关注孩子的需要和感受，倾听他们的话语，帮助他们解决深层次的矛盾和问题。同时，在对孩子进行行为评价的同时，应该注意方式和措辞，以免激怒孩子。

和孩子沟通也是一门学问，我也是过来人，之前不懂得跟孩子怎么沟通，和孩子关系一直紧张，自从上了高途美好家庭课程，学了不少家庭教育知识，感觉很受用！和孩子关系逐渐缓解，现在也是无话不说，像朋友一样!