openai gpt 3,open ai gpt-3,open ai gpt-2,open ai gpt

机器之心报道

编辑：蛋酱

除了行业竞争层面的担忧，【【微信】】 首席科学家透露了不开源的另外一个原因：模型越强，安全隐患也越多。

昨天凌晨，【【微信】】 出人意料地发布了 GPT-4。

这次发布令科技界颇感意外，毕竟人们普遍认为 GPT-4 会在微软周四的「【【微信】】I」活动上宣布。

距离 ChatGPT 首次亮相才不过四个月，它便创造了「历史上增长最快的消费者应用程序」记录。如今 GPT-4 上线，这款产品的应对能力又上了一层楼。

震撼之余，很多研究者认真阅读了 GPT-4 的技术报告，却感到了失望：怎么没有技术细节呢？

一次违背创始精神的发布

在公告中，【【微信】】 分享了大量 GPT-4 基准和测试结果以及一些有趣的演示，但几乎没有提供有关用于训练系统的数据、算力成本或用于创建 GPT-4 的硬件或方法等信息。

比如，一种省流读 GPT-4 论文的结论是：「我们用的 Python。」

更有人打趣道：「我读到了 GPT-4 是基于 Transformer 架构的。」

许多 AI 领域的成员批评了这一决定，指出它破坏了 【【微信】】 作为研究型组织的创始精神，并使其他人更难复现其工作。

对 GPT-4 封闭模型的大多数初始反应都是负面的，但似乎愤怒已经不能改变其「闭源」的决定：

其实对于 【【微信】】 不开源的批判已持续了一段时间。连 【【微信】】 的创始团队成员马斯克都公开质疑过其「背离初心」：

就这件事，让马斯克至今仍感到困惑：「我不懂，当初投了近 1 亿美元的非营利机构怎么就变成了市值 300 亿的商业公司呢？」

Nomic AI 信息设计副总裁 Ben Schmidt 说道：「我认为可以停止称其『Open』了 ―― 介绍 GPT-4 的 98 页论文自豪地宣称他们没有披露关于训练集内容的任何信息。」

还有一些人认为， 【【微信】】 隐藏 GPT-4 细节的另一个原因是法律责任。AI 语言模型是在巨大的文本数据集上训练的，许多模型（包括早期的 GPT 系统）都会从网络上抓取信息，其中一个来源可能包括受版权保护的素材。目前已有几家公司正被独立艺术家和图片网站 Getty Images 起诉。

一些人表示，更重要的是，这会使针对 GPT-4 构成的威胁制定保障措施变得更困难。Ben Schmidt 也认为，由于无法看到 GPT-4 训练的数据，很难知道该系统可以在哪里安全使用并提出修复方案。

「众所周知，像 GPT-4 这样的神经网络是黑盒子。事实上，它们的操作是不可预测和难以理解的，这是关于是否应该使用它们、在何处使用它们的最重要问题之一。现在 【【微信】】 正逐步制定一个标准，进一步扩展了这个谜团。」Ben Schmidt 表示。

【【微信】】 首席科学家：开源 GPT-4 是不明智的

【【微信】】 的首席科学家兼联合创始人 Ilya 【【微信】】 对上述争议进行了回应，表示 【【微信】】 不分享更多 GPT-4 细节信息的原因是「害怕竞争和担心安全」：

「从竞争格局上看，外界的竞争很激烈。GPT-4 的开发并不容易，几乎集聚了所有的 【【微信】】 力量，经过很长时间的努力才产出了这个东西，而且有很多公司都想做同样的事情。」

「安全方面的原因不像竞争方面那样突出，但它也会发生变化。这些模型是非常高效的，而且它们变得越来越高效。某些时候，如果有人愿意，用这些模型造成巨大的伤害将会相当容易。随着这些能力越来越高，不公开它们是有道理的。」

当被问及「为什么 【【微信】】 改变了分享研究成果的方式」，【【微信】】 回答说：「坦率地说，我们错了。如果你像我们一样相信，在某个时候，AI 或 AGI 将变得极其强大、令人难以置信，那么开源就没有意义。这是一个坏主意，我完全相信在几年内，每个人都会清楚地认识到开源 AI 是不明智的。」

Lightning AI 首席执行官、开源工具 PyTorch Lightning 的创建者 William Falcon 对 【【微信】】 表示，自己能从商业角度理解这个决定：「作为一家公司，你完全有权这样做。」

但他也表示，【【微信】】 此举为更广泛的社区树立了一个「坏的模板」，可能会产生有害影响。

关于 【【微信】】 不共享其训练数据的原因，【【微信】】 的解释是：「我对此的看法是，训练数据是技术。我们不公开训练数据的原因与我们不公开参数数量的原因几乎相同。」当被问及 【【微信】】 是否可以明确声明其训练数据不包含盗版材料时，【【微信】】 没有回答。

【【微信】】 同意 【【微信】】 批评者的观点，即开源模型有助于保障措施的开发。「如果有更多人研究这些模型，我们就会了解更多，那就更好了，」他说。出于这些原因，【【微信】】 向某些学术和研究机构提供了访问其系统的权限。

接下来，我们期待什么？

由 GPT-4 引发的热议预计还会持续一阵，以至于人们可能会忽略一些其他动态。

比如，在昨日铺天盖地的讨论中，谷歌的发布就显得静悄悄。目前，Google Workspace 中已经全面集成了生成式 AI，更新了生成图片、演示文稿、电子邮件、文档等功能。可以想象的是，这将是一次生产力的大提升。

接下来，人们可以期待的还有很多：不久之后，微软 CEO 萨蒂亚?纳德拉将亲自登台演讲，介绍微软和 【【微信】】 的更多合作，比如基于 GPT-4 的 Office 套件。

消息来源：【【网址】】/articles/microsoft-rations-access-to-ai-hardware-for-internal-teams

让我们拭目以待。

参考链接：【【网址】】/2023/3/15/【【QQ微信】】/【【微信】】closed-research-ilya-sutske【【微信】】

openai发布gpt4 openai推出gpt-4 组织编码

openai发布会,openai gpt4,open ai gpt-2,opengpg

・“（该模型） 仍然存在很多问题和错误……但你确实可以看到微积分或法律等技能的飞跃，从某些领域的非常糟糕到相对于人类来说实际上相当好。 ”

・从长远来看，【【微信】】计划构建和部署可以处理多种媒体的系统，包括声音和视频。“我们可以采用所有这些通用知识技能，并将它们传播到各种不同领域。这将技术带入了一个全新的领域。”

人工智能研究机构【【微信】】 3月14日发布了备受期待的文本生成AI模型GPT-4。GPT-4在关键方面对其前代GPT-3进行了改进，例如提供更符合事实的陈述，并允许开发人员更轻松地规定其风格和行为。它是多模态的模型，可以理解图像内容。但是，GPT-4也有严重的缺陷，与GPT-3一样，该模型会产生“幻觉”并犯下基本的推理错误。

GPT-4发布后，多家媒体关注的焦点是，【【微信】】并没有透露很多细节，包括该模型有多大的参数，性能为什么更好。“GPT-4是该公司发布过的最机密的版本，标志着其从非营利性研究实验室全面转变为营利性科技公司。”《麻省理工科技评论》的文章称。

【【微信】】的首席科学家伊利亚・苏茨克沃（Ilya Sutskever）在公告发布一个小时后通过视频通话与GPT-4团队成员交谈时说：“你知道，我们目前无法对此发表评论。”“竞争非常激烈。”

为了更好地了解GPT-4的开发周期及其功能和局限性，科技媒体TechCrunch 14日采访了【【微信】】的联合创始人兼总裁格雷格・布罗克曼（Greg Brockman）。当被要求比较GPT-4和GPT-3时，布罗克曼说：“就是不同。”“（该模型） 仍然存在很多问题和错误……但你确实可以看到微积分或法律等技能的飞跃，从某些领域的非常糟糕到相对于人类来说实际上相当好。 ”

【【微信】】高层，总左到右为首席技术官米拉・穆拉蒂、首席执行官山姆・奥特曼，总裁格雷格・布罗克曼，首席科学家伊利亚・苏茨克沃。图片来源：Jim Wilson

到底有多大的训练参数？

测试结果显示，在美国大学先修课程微积分BC考试中，GPT-4获得4分（满分5分），而GPT-3获得1分。GPT-3.5是GPT-3和GPT-4的中间模型，也获得4分。模拟律师考试方面，GPT-4以排名前10%的成绩通过，GPT-3.5的分数徘徊在后10%左右。

GPT-4更有趣的方面之一是多模态。与GPT-3和GPT-3.5只能接受文本提示不同，GPT-4可以接受图像和文本提示来执行某些操作。这是因为GPT-4接受了图像和文本数据的训练，而其前代仅接受了文本训练。

GPT是Generati【【微信】】ormer（生成式预训练Transformer）的缩写。【【微信】】于2018年推出具有1.17亿个参数的GPT-1模型，2019年推出具有15亿个参数的GPT-2，2020年推出有1750亿个参数的GPT-3。ChatGPT是【【微信】】对GPT-3模型微调后开发出来的对话机器人。

但是，【【微信】】这次选择不透露GPT-4训练数据的具体规模。在新闻公告里，【【微信】】只表示，它使用与ChatGPT相同的方法取得了这些结果，通过人类反馈强化学习。这要求人类评分者对来自模型的不同响应进行评分，并使用这些分数来改进未来的输出。

【【微信】】表示，训练数据来自“各种许可、创建和公开可用的数据源，其中可能包括公开可用的个人信息”，但当被询问具体细节时，布罗克曼拒绝了TechCrunch的询问。据悉，训练数据之前曾让【【微信】】陷入关于版权的法律纠纷。

在接受《纽约时报》的采访时，布罗克曼则表示，【【微信】】的数据集是“互联网规模的”，这意味着它涵盖了足够多的网站，可以提供互联网上所有说英语的人的代表性样本。

“缓慢而有目的”地推广图像功能

GPT-4的图像理解能力令人印象深刻。例如，输入提示“这张图片有什么好笑的？一个面板一个面板地描述它”，加上一张三面板图像，显示一条假VGA电缆被插入【【微信】】，GPT-4给出了每个面板的详细描述并正确解释了这个笑话：这个图像中的幽默来自于荒谬地将过时的大的VGA连接器插入小的现代智能手机充电口。

“在过去几年里，一个好的多模态模型一直是许多大型技术实验室的圣杯。”开源大型语言模型BLOOM背后的人工智能初创公司HuggingFace的联合创始人托马斯・沃尔夫（ThomasWolf）说，“但它仍然难以捉摸。”

从理论上讲，结合文本和图像可以让多模态模型更好地理解世界。“它可能能够解决语言模型的传统弱点，比如空间推理。”沃尔夫说。尚不清楚GPT-4是否如此。

目前只有一个【【微信】】的合作伙伴可以使用GPT-4的图像分析功能――一款名为Be My Eyes的视障人士辅助应用程序级能力。系统消息本质上是为GPT-4的互动设定基调并建立界限的指令。例如，一条系统信息可能是这样的：“你是一个总是以苏格拉底方式回答问题的辅导员。你从不给学生答案，而总是试图提出正确的问题，帮助他们学会自己思考。”系统信息作为护栏，可以防止GPT-4偏离方向。

“真正弄清楚GPT-4的语气、风格和内容一直是我们的一个重要焦点。”布鲁克曼说，“我认为我们开始有点了解如何做工程，如何有一个可重复的过程，让你得到可预测的结果，对人们真正有用。”

布罗克曼还提到了Evals，这是【【微信】】刚刚开源的软件框架，用于评估其人工智能模型的性能，是【【微信】】致力于“健全”其模型的一个标志。Evals让用户开发和运行评估GPT-4等模型的基准，同时检查其性能，这是一种模型测试的众包方法。

“通过Evals，我们可以以一种系统的形式看到用户关心的（用例），能够进行测试。”布罗克曼说，“我们（开源）的部分原因是，我们正在从每3个月发布一个新模型转向不断改进。做东西应该要衡量，对吗？当我们制作新的版本时，我们至少可以知道这些变化是什么。”

新的上下文窗口

布罗克曼还谈到了GPT-4的上下文窗口（context window），它指的是模型在生成其他文本之前可以考虑的文本。【【微信】】正在测试GPT-4的一个版本，它可以“记住”大约50页的内容，是普通版GPT-4在其“记忆”中所能容纳的内容的五倍，是GPT-3的八倍。

布罗克曼认为，扩大的上下文窗口会带来新的、以前没有探索过的应用，特别是在企业中。他设想了一个为公司建造的人工智能聊天机器人，利用来自包括各部门员工的不同来源的背景和知识，以一种非常明智但对话性的方式回答问题。

这不是一个新概念。但布罗克曼提出的理由是，GPT-4的答案将比今天的聊天机器人和搜索引擎的答案有用得多。

“以前，该模型对你是谁、你对什么感兴趣等没有任何了解。”布洛克曼说，有了这种历史（更大的上下文窗口），肯定会让它更有能力......它会使人们能做的事更多。”

科学交流类似于产品新闻稿

即使看过了布罗克曼的采访，但GPT-4还有很多谜团没有解开。“【【微信】】现在是一家完全封闭的公司，其科学交流类似于产品新闻稿。”沃尔夫说。

《麻省理工科技评论》认为，当下，GPT-4与其他多模态模型并驾齐驱，包括来自人工智能研究机构DeepMind的Flamingo。Hugging Face也正在开发一种开源多模态模型，其他人可以免费使用和改编该模型。面对这样的竞争，【【微信】】将GPT-4更多地视为产品*，而不是研究更新。

目前，构建和服务聊天机器人非常昂贵，因为它是在更大量的数据上训练的，所以GPT-4会增加【【微信】】的成本。【【微信】】的首席技术官米拉・穆拉蒂（Mira Murati）告诉《纽约时报》，如果该服务产生过多流量，该公司可能会限制对该服务的访问。

但从长远来看，【【微信】】计划构建和部署可以处理多种媒体的系统，包括声音和视频。“我们可以采用所有这些通用知识技能，并将它们传播到各种不同领域。”布罗克曼说，“这将技术带入了一个全新的领域。”

许多其他公司正在排队等候。“对于大多数公司来说，启动这种规模的模型的成本是无法承受的，但是【【微信】】所采用的方法使大型语言模型对于初创公司来说非常容易获得。”Tola Capital的联合创始人谢拉・古拉提（Sheila Gulati）说， “这将在GPT-4之上催化巨大的创新。”