多模态 ai,transformer 多模态,多模态数据,多模态embedding

・GPT-4可以接受图像和文本输入，而GPT-3.5只接受文本；GPT-4在各种专业和学术基准上的表现达到“人类水平”，在事实性、可引导性和可控制方面取得了“史上最佳结果”；当任务的复杂性达到足够的阈值时，GPT-4比GPT-3.5更可靠，更有创造力，能够处理更细微的指令。

・【【微信】】承认，GPT-4并不完美，仍然会对事实验证的问题产生错乱感，也会犯一些推理错误，偶尔过度自信。【【微信】】将开源【【微信】】 Evals，用于创建和运行评估GPT-4等模型的基准。

3月14日，ChatGPT的开发机构【【微信】】正式发布其里程碑之作GPT-4。

GPT-4是一个多模态大模型（接受图像和文本输入，生成文本）。相比上一代的GPT-3，GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力：更具创造性和协作性；能够处理超过25000个单词的文本，允许长文内容创建、扩展对话以及文档搜索和分析等用例。

此外，GPT-4的高级推理能力超越了ChatGPT。在SAT等绝大多数专业测试以及相关学术基准评测中，GPT-4的分数高于ChatGPT。

【【微信】】花了6个月时间使GPT-4更安全、更具一致性。在内部评估中，与GPT-3.5相比，GPT-4对不允许内容做出回应的可能性降低82%，给出事实性回应的可能性高40%?。GPT-4引入了更多人类反馈数据进行训练，不断吸取现实世界使用的经验教训进行改进。

不过，【【微信】】表示，GPT-4仍然有许多正在解决的局限性，例如社会偏见、幻觉和对抗性prompt（提示）。

目前，【【微信】】在付费版的ChatGPT Plus上提供GPT-4，并为开发人员提供API（应用程序编程接口）以构建应用和服务。值得一提的是，微软的新必应（【【微信】】）早就用上了GPT-4。

【【微信】】还开源了Evals框架，以自动评估AI模型性能，允许用户报告模型中的缺点，帮助其改进。

“GPT-4 是世界第一款高体验，强能力的先进AI系统，我们希望很快把它推向所有人。”【【微信】】工程师在介绍视频里说。

【【微信】】在官网发布公告，宣布推出GPT-4。

比GPT-3.5更可靠，更有创造力

GPT是Generati【【微信】】ormer（生成式预训练Transformer）的缩写。【【微信】】于2018年推出具有1.17亿个参数的GPT-1模型，2019年推出具有15亿个参数的GPT-2，2020年推出有1750亿个参数的GPT-3。ChatGPT是【【微信】】对GPT-3模型微调后开发出来的对话机器人。

3月14日，【【微信】】在其官网上发布了推出GPT-4的公告。公告称，【【微信】】已正式推出GPT-4，这也是【【微信】】在扩大深度学习方面的最新里程碑。GPT-4是大型多模态模型，尽管在许多现实世界的场景中能力不如人类，但它可以在各种专业和学术基准上，表现出近似人类水平的性能。

例如：GPT-4通过了模拟的律师考试，分数约为全部应试者的前10%。而相比之下，GPT-3.5的分数大约是后10%。“我们团队花了6个月时间，利用对抗性测试项目以及基于ChatGPT的相关经验，反复对GPT-4进行调整。结果是，GPT-4在事实性（factuality）、可引导性（steerability）和拒绝超范围解答（非合规）问题方面取得了有史以来最好的结果（尽管它还不够完美）。”

【【微信】】表示，在过去两年里，他们重构了整个深度学习堆栈，并与Azure（微软云服务）合作，共同设计了一台超级计算机。一年前，【【微信】】训练了GPT-3.5，作为整个系统的首次“试运行”。他们发现并修复了一些错误，改进了之前的理论基础。“因此，我们的GPT-4训练、运行（自信地说：至少对我们来说是这样！）空前稳定，成为我们首个训练性能可以进行提前准确预测的大模型。随着我们继续专注于可靠扩展，中级目标是磨出方法，以帮助【【微信】】能够持续提前预测未来，并且为未来做好准备，我们认为这一点对安全至关重要。”

【【微信】】承认，在简单闲聊时，也许不太好发现GPT-3.5和GPT-4之间的区别。但是，当任务的复杂性达到足够的阈值时，它们的区别就出来了。具体来说，GPT-4比GPT-3.5更可靠，更有创造力，能够处理更细微的指令。

GPT-4相比GPT-3.5在各项考试中的成绩。

为了理解这两个模型之间的差异，【【微信】】在各种不同的基准上进行了测试，包括模拟为人类设计的考试。“我们还在为机器学习模型设计的传统基准上对GPT-4进行了评估。GPT-4大大超过现有的大语言模型，与多数最先进的（SOTA）模型并驾齐驱。”

许多现有的机器学习基准测试都是用英语编写的，为了初步了解GPT-4在其他语言上的能力，研究团队使用Azure Translate将MMLU基准――一套涵盖57个主题的14000个多项选择题――翻译成多种语言。“在测试的26种语言中的24种语言中，GPT-4的表现优于GPT-3.5和其他大模型（Chinchilla，PaLM）的英语表现，这种优秀表现还包括类似拉脱维亚语、威尔士语和斯瓦希里语等。”

多模态功能有多强大？

GPT-4可以接受文本和图像的提示语。比如，可以让用户指定任何视觉或语言任务，它可以生成文本输出（自然语言、代码等），给定的输入包括带有文字和照片的文件、图表或屏幕截图，GPT-4表现出与纯文本输入类似的能力。不过，目前图像输入仍然属于研究预览，不针对普通用户开放。

发现图片的可笑之处。

读懂图表并进行分析。

发现图片中的不寻常之处。

阅读文件并总结概要。

读懂网上的梗图。

【【微信】】表示，他们一直在努力实现AI的可控制性。与经典ChatGPT的固定语气和风格不同，开发者现在可以通过在系统消息中描述这些方向，来规定自己的AI的风格和任务。系统消息允许API用户在一定范围内大幅对用户体验进行定制。

仍然不是完全可靠的

不过，GPT-4仍然存在与早期GPT模型类似的限制。它仍然不是完全可靠的，比如会对事实产生“幻觉”，并出现推理错误。【【微信】】提醒，在使用语言模型的输出时，特别是在高风险的情况下，应该非常小心谨慎。

但相较于以前的模型，GPT-4大大减少了hallucinations（网络错觉）。在内部的对抗性事实性评估中，GPT-4的得分比GPT-3.5高40%。

“该模型在其输出中会有各种偏差，我们在这些方面已经取得了进展，但仍有更多工作要做。根据我们最近的博文，我们的目标是使我们建立的人工智能系统具有合理的默认行为，以反映广泛的用户价值观，允许这些系统在广泛的范围内被定制，并获得公众对这些范围的意见。”公告称。

【【微信】】还指出，GPT-4通常缺乏对其绝大部分数据截止后（2021年9月）发生的事件的了解，也不会从其经验中学习。它有时会犯一些简单的推理错误，或者过于轻信用户明显的虚假陈述。有时它也会像人类一样在困难的问题上失败，例如在它产生的代码中引入安全漏洞。GPT-4也可能在预测中自信地犯错。

GPT-4与过去的模型会存在类似风险，如产生有害的建议、错误代码或不准确信息。然而，GPT-4的额外能力还导致了新的风险面。“为了明确这些风险的具体情况，我们聘请了50多位来自人工智能对接风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家对该模型进行对抗性测试。”【【微信】】表示，这些领域专家的反馈和数据为缓解和改进模型提供了依据，比如他们已经收集了额外的数据，以提高GPT-4拒绝有关如何合成危险化学品的请求的能力。

此外，GPT-4在人类反馈的强化学习（RLHF）训练中加入了一个额外的安全奖励信号，通过训练模型来拒绝对此类内容的请求，从而减少有害产出。

与GPT-3.5相比，这些缓解措施大大改善了GPT-4的许多安全性能。与GPT-3.5相比，【【微信】】将模型对非法内容请求的响应倾向降低了82%，而GPT-4对敏感请求（如医疗建议和自我伤害）的响应符合【【微信】】政策的频率提高了29%。

【【微信】】强调，总的来说，模型级干预措施增加了诱发不良行为的难度，但仍然存在“越狱”的情况，以产生违反使用指南的内容。

付费用户将获得有使用上限的GPT-4权限

和之前的GPT模型一样，GPT-4基础模型的训练是为了预测文档中的下一个单词，并使用公开的数据（如互联网数据）以及【【微信】】授权的数据进行训练。这些数据来自于极大规模的语料库，包括数学问题的正确和错误的解决方案，弱的和强的推理，自相矛盾的和一致的声明，以及种类繁多的意识形态和想法。因此，当被提示有一个问题时，基础模型可以以各种各样的方式作出反应，而这些反应可能与用户的意图相去甚远。为了使其与用户的意图保持一致，【【微信】】使用人类反馈的强化学习对模型的行为进行微调。

【【微信】】正在开源其软件框架【【微信】】 Evals，用于创建和运行评估GPT-4等模型的基准，同时逐个样本检查其性能。用户可以应用它来跟踪不同模型版本（将定期推出）和不断发展的产品集成的性能。“我们邀请大家使用Evals来测试我们的模型，并提交最有趣的例子。”

ChatGPT Plus用户将获得有使用上限的GPT-4权限。【【微信】】将根据实际需求和系统性能调整确切的使用上限，但预计容量将受到严重限制。

【【微信】】还可能为更高的GPT-4使用量引入一个新的订阅级别，也希望在某个时候提供一定数量的免费GPT-4查询，使没有订阅的用户也可以尝试。

要获得GPT-4的API，需要去【【微信】】的官方等待名单上注册。获得访问权限后，用户目前可以向GPT-4模型发出纯文本请求（图像输入仍处于有限的测试阶段）。定价为每1k个prompt token 0.03美元，每1k个completion token 0.06美元。

openai发布史上最强gpt-4 openai推出gpt-4界面

openai强在哪

比想象中来得更快！

继ChatGPT引爆科技圈之后

15日凌晨

最新一代人工智能语言模型

GPT-4震撼发布

多模态大模型

直接升级ChatGPT

北京时间3月15日凌晨，人工智能初创公司OpenAI正式公布最新一代人工智能语言模型GPT-4。OpenAI在当天的声明中称，GPT-4的诞生，是OpenAI在放大深度学习方面的努力的最新里程碑。

据OpenAI博客表示，OpenAI已经创建了GPT-4，这是OpenAI努力扩展深度学习的最新里程碑。

GPT-4是一个多模态大模型（接受图像和文本输入，生成文本）。相比上一代的GPT-3，GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力：更具创造性和协作性；能够处理超过25000个单词的文本，允许长文内容创建、扩展对话以及文档搜索和分析等用例。

总体来说，此次GPT-4实现了几个方面的飞跃式提升：

强大的识图能力；

文字输入限制提升至2.5万字；

回答准确性显著提高；

能够生成歌词、创意文本，实现风格变化。

GPT-4比GPT-3.5

更可靠、更有创造力，

能够处理更细微的指令

在一次非正式的谈话中，GPT-3.5和GPT-4之间的区别可能很微妙。

当任务的复杂性达到一个足够的阈值时，区别就出来了――GPT-4比GPT-3.5更可靠、更有创造力，能够处理更细微的指令。为了理解这两种模型之间的区别，OpenAI在各种基准上进行了测试，包括最初为人类设计的模拟考试。OpenAI继续使用最近公开提供的测试（在奥赛和AP自由回答问题的情况下）或购买2022-2023年版的模拟考试。OpenAI没有针对这些考试进行专门的培训。考试中的少数问题在训练期间被模型看到，但OpenAI相信结果具有代表性。

输入图片

即可生成代码！

最令人感到惊艳的是，GPT-4的视觉输入功能。

GPT-4可以接受文本和图像的提示符，这与纯文本设置并行，即允许用户指定任何视觉或语言任务。具体而言，它生成文本输出(自然语言、代码等)给定由分散的文本和图像组成的输入。在一系列领域――包括带有文本和照片、图表或截图的文档――GPT-4显示了与仅文本输入类似的功能。此外，它还可以通过测试时技术来增强，这些技术是为只使用文本的语言模型开发的，包括很少的射击和提示。图像输入仍然是一个研究预览，不能公开使用。

但是

GPT-4仍然有许多

正在解决的局限性

例如社会偏见、幻觉

和对抗性prompt（提示）

《纽约时报》汇总了各方面专家第一时间对GPT-4的测试，得出了以下10个结论。

1

学会了更加精确

AI专家和风险投资公司Page One 【【微信】】 的合伙人克里斯・?尼科尔森?（Chris Nicholson）告诉GPT-4，他会讲英语，但不懂西班牙语。他要求提供一份可以教他西班牙语基础知识的教学大纲，而机器人提供了一个详细且组织良好的教学大纲。它甚至提供了广泛的学习和记忆西班牙语单词的技巧，尽管并非所有建议都中肯。

尼科尔森向老版本的ChatGPT寻求类似帮助，该版本依赖于GPT-3.5。它也提供了教学大纲，但建议更笼统且帮助不大。

“它已经突破了精确方面的障碍。”尼科尔森说，“包含了更多事实，而且它们往往是正确的。”

2

提高了准确性

当AI研究员兼职教授奥伦・埃齐奥尼（Oren Etzioni）第一次尝试GPT-4时，他问了一个直截了当的问题：“奥伦・埃齐奥尼和伊莱・?埃齐奥尼?（Eli Etzioni）之间有什么关系？”

老版本的ChatGPT对这个问题的回答一直出错。GPT-4拥有更广泛的知识，但它仍然会出错。虽然答案大部分是准确的，但已于去年8月完成训练的这个机器人并没有意识到，埃齐奥尼博士最近辞去了艾伦研究所的首席执行官一职。

3

可以用令人印象深刻的细节描述图像

GPT-4具有响应图像和文本的新功能。OpenAI总裁兼联合创始人格雷格・布罗克曼（Greg Brockman）演示了该系统如何细致地描述来自哈勃太空望远镜的图像。

它还可以回答有关图像的问题。如果给出冰箱内部的照片，它可以建议用手头的东西做几顿饭。

OpenAI尚未向公众发布图像识别功能，但一家名为Be My Eyes的公司已经在使用 GPT-4构建服务，可以更详细地了解在互联网上遇到的图像或在现实世界中拍摄的图像。

4

增加了严肃的专业知识

最近，北卡罗来纳大学教堂山分校的医学副教授兼心脏病专家阿尼尔・盖希（Anil Gehi）向聊天机器人描述了他一天前接待的一位患者的病史，包括患者术后出现的并发症。描述中包含几个外行人无法识别的医学术语。

当盖希医生问它应该如何治疗病人时，聊天机器人给出了完美的答案。?“这正是我们治疗病人的方式。”他说。当他尝试其他场景时，机器人给出了同样令人印象深刻的答案。

这些知识不太可能在每次使用机器人时都显示出来，仍然需要像盖希医生这样的专家来判断它的反应并执行医疗程序，但它可以在许多领域展示这种专业知识，从计算机编程到会计。

5

可以让部分编辑失业

当提供来自《纽约时报》的文章时，新的聊天机器人几乎每次都能对故事进行精确和准确的总结。如果在摘要中添加一个随机句子并询问机器人摘要是否不准确，它会指向那个被添加的句子。

埃齐奥尼说这是一项了不起的技能。?“要进行高质量的总结和比较，就必须对文本有一定程度的理解，并有能力表达这种理解。”他说，“那是一种高级形式的智力。”

6

正在培养一种幽默感

埃齐奥尼要求新机器人提供“关于歌手麦当娜的新颖笑话”。这个回答让他印象深刻，也让他笑了。

Material Loan的梗可能来自麦当娜的知名歌曲《Material Girl》。

除了公式化的笑话之外，新的机器人仍然很难写出任何东西。但它比老版本稍微有趣一点。

7

可以在一定程度上推理

埃齐奥尼给了新机器人一个谜题。

新系统似乎做出了适当的回应。但是答案没有考虑门的高度，这也可能会阻止坦克或汽车通过。老版本的ChatGPT更好地处理了这个问题，因为它认识到高度和宽度很重要。

OpenAI的首席执行官山姆・奥特曼（Sam Altman）表示，新的机器人可以做“一点点”推理。但它的推理能力在许多情况下都会崩溃。

8

可以通过标准化考试

OpenAI表示，新系统在美国41个州和地区的律师资格考试中获得的分数，排名前10%左右。根据该公司的测试，它还可以在SAT考试中获得1300分（满分1600分），在生物、微积分、宏观经济学、心理学、统计学和历史等先修课程高中考试中获得5分（满分5分）。

而更早的版本未能通过律师资格考试，在大多数大学先修考试中的得分也没有那么高。

9

不擅长讨论未来

尽管新机器人似乎可以对已经发生的事情进行推理，但当被要求对未来做出假设时，它就不那么熟练了。它似乎借鉴了其他人所说的话，而不是进行新的猜测。

当埃齐奥尼问新机器人，“NLP（自然语言处理）中需要解决的重要问题是什么？未来十年的研究？”它无法提出全新的想法。

10

它仍然有“幻觉”

新机器人仍在编造东西，这个问题被称为“幻觉（hallucination）”，困扰着所有领先的聊天机器人。因为系统不了解什么是真什么是假，它们可能会生成完全错误的文本。

当被要求提供描述最新癌症研究的网站地址时，它有时会生成不存在的互联网地址。

OpenAI表示：“我们期待着GPT-4通过为许多应用提供动力，成为改善人们生活的宝贵工具。还有很多工作要做，我们期待着通过社区建设的集体努力来改进这一模式，在此基础上进行探索，并为该模型做出贡献。”

人工智能这个“雪球”

一旦滚动起来

迭代也将是指数级加速

将如何改变人类的未来？

来源：科创上海