因为万方不让随便引，所以直接拿篇文章做简单翻译。（侵立删谢谢

GPT-4 是 OpenAI 最先进的系统，可产生更安全、更有用的响应。

GPT-4 is OpenAI's most ad【【微信】】?that produces safer and more useful responses.

我们创建了 GPT-4，这是 OpenAI 努力扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。

We created GPT-4, the latest milestone in OpenAI's efforts to scale deep learning. GPT-4 is a large multimodal model (accepts image and text input, emits text output) that, while inferior to humans in many real-world scenarios, exhibits human-le【【微信】】iety of professional and academic benchmarks.

GPT-4 可以更准确地解决难题，这要归功于其更广泛的常识和解决问题的能力。

GPT-4 can sol【【微信】】ore accurately, thanks to its broader common sense and problem-sol【【微信】】.

1. 创造力：GPT-4 比以往任何时候都更具创造性和协作性。它可以生成、编辑并与用户一起迭代创意和技术写作任务，例如创作歌曲、编写剧本或学习用户的写作风格。

   Creati【【微信】】tive and collaborative than ever. 【【微信】】dit, and iterate creati【【微信】】g tasks with users, such as composing songs, writing screenplays, or learning the user's writing style.

2. 视觉输入：GPT-4 可以接受图像作为输入并生成说明、分类和分析。

   【【微信】】?GPT-4 can accept images as input and generate descriptions, classifications, and analysis.

3. 更长的上下文：GPT-4 能够处理超过 25,000 个单词的文本，允许使用长格式内容创建、扩展对话以及文档搜索和分析等用例。

   【【淘密令】】 - GPT-4 is capable of processing text over 25,000 words, 【【微信】】uch as long-form content creation, extended con【【微信】】, and document search and analysis.

4. GPT-4 的高级推理能力超越了 ChatGPT。

   GPT-4's ad【【微信】】ilities surpass ChatGPT.

5. GPT-4 通过在测试者中获得更高的近似百分位数来优于 ChatGPT。

   GPT-4 outperforms ChatGPT by achie【【微信】】e percentiles in the testers.

6. 遵循 GPT、GPT-2 和 GPT-3 的研究路径，我们的深度学习方法利用更多数据和更多计算来创建越来越复杂和强大的语言模型

   Following the research path of GPT, GPT-2, and GPT-3, our deep learning approach le【【微信】】re computation to create increasingly complex and powerful language models

7. 安全与对齐

   Security and alignment

8. 通过人工反馈进行训练 - 我们纳入了更多的人工反馈，包括 ChatGPT 用户提交的反馈，以改进 GPT-4 的行为。我们还与 50 多位专家合作，在 AI 安全和保障等领域获得早期反馈。

   Continuous impro【【微信】】 use - We have applied lessons learned from the real-world use of our pre【【微信】】4's security research and sur【【微信】】. As with ChatGPT, we will regularly update and impro【【微信】】se it.

9. 从现实世界的使用中不断改进：我们已经将我们以前模型在现实世界中使用的经验教训应用到 GPT-4 的安全研究和监控系统中。与 ChatGPT 一样，随着越来越多的人使用它，我们将定期更新和改进 GPT-4。

   Continuous impro【【微信】】 use - We have applied lessons learned from the real-world use of our pre【【微信】】4's security research and sur【【微信】】. As with ChatGPT, we will regularly update and impro【【微信】】se it.

10. GPT-4 辅助的安全研究：GPT-4 的高级推理和指令遵循能力加快了我们的安全工作。我们使用 GPT-4 帮助创建用于模型微调的训练数据，并在训练、评估和监控过程中迭代分类器。

    GPT-4-assisted safety research -GPT-4's ad【【微信】】struction-following capabilities accelerate our security efforts. We use GPT-4 to help create training data for model tuning and iterate classifiers during training, e【【微信】】, and monitoring.

11. 与使用 GPT-4 构建的新产品的组织合作

    Work with organizations that use new products built with GPT-4

GPT-4 简短版总结

• GPT-4是一个大型多模态模型（Large Multimodal Model），能够接受图像和文本输入，并输出文本。?OpenAI首先发布了GPT-4的文本输入功能，图像输入功能敬请期待。

• GPT-4 is a large multimodal model that accepts image and text input and outputs text. OpenAI first released the text input function of GPT-4, and the image input function is coming soon.

• 实验表明，GPT-4 在各种专业和学术考试中表现出了与人类水平相当的性能（human-le【【微信】】）。例如，它通过了模拟律师考试，且分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。

• Experiments ha【【微信】】emonstrated human-le【【微信】】 on 【【微信】】nd academic examinations. For example, it passed the mock bar exam with a score in the top 10% or so of the test taker; In comparison, GPT-3.5 scored around the bottom 10%.

• GPT-4的训练稳定性是史无前例的，这得益于对抗性测试计划和来自于ChatGPT的经验教训，对 GPT-4 进行迭代调整，从而在真实性、可控性等方面取得了有史以来最好的结果。

• The training stability of GPT-4 is unprecedented, thanks to ad【【微信】】rams and lessons learned from ChatGPT, iterati【【微信】】 to achieve the best results e【【微信】】, controllability, and more.

• 在过去的两年里，OpenAI重建了整个深度学习堆栈，并与Azure共同设计了一台超级计算机以便于应付他们的工作负载。 将继续专注于可靠的扩展，进一步完善方法，以帮助其实现更强大的提前预测性能和规划未来的能力，这对安全至关重要。

• O【【微信】】, OpenAI has rebuilt the entire deep learning stack and co-designed a supercomputer with Azure to handle their workloads. It will continue to focus on reliable scaling, further refining the methodology to help it achie【【微信】】ve performance ahead of time and the ability to plan for the future, which is critical to security.

• OpenAI还开源了OpenAI Evals，这是他们的自动化评估AI模型性能的框架，任何人都可以提交他们模型的缺陷以帮助改进。

• OpenAI also open-sourced OpenAI Evals, 【【微信】】omatically evaluating the performance of AI models, and anyone can submit flaws in their models to help impro【【微信】】.

• OpenAI 正在通过 ChatGPT 和 API（有候补名单）发布 GPT-4 的文本输入功能。图像输入功能方面，为了获得更广泛的可用性，OpenAI 正在与其他公司展开合作。

• OpenAI is releasing GPT-4's text input capabilities 【【微信】】 (with waitlists). In terms of image input capabilities, OpenAI is collaborating with other companies for wider usability.

• OpenAI 还在为机器学习模型设计的传统基准上评估了 GPT-4。GPT-4 大大优于现有的大型语言模型，以及大多数 SOTA 模型。

  OpenAI also e【【微信】】onal benchmarks designed for machine learning models. GPT-4 is significantly superior to existing large language models, as well as most SOTA models.

GPT-4 新特性

功能升级

• 重点强化了创作能力，作曲，写小说，能够生成歌词、创意文本、实现风格变化等

• The focus is on strengthening creati【【微信】】, composing music, writing novels, 【【微信】】yrics, creati【【微信】】, and achieving stylistic changes

• 强大的识图能力，除本身带了对于图片 OCR 外，还有对位置和细节的理解能力。解析报表图片并进行汇总，直接回答图片中包含的提问内容等

• Strong image recognition ability, in addition to the OCR of the picture, but also the ability to understand the location and details. Analyze and summarize the report images, and directly answer the 【【微信】】 the images

• 增加了对于长文本的处理能力：GPT-4 文字输入限制提升至 2.5 万字，ChatGPT 4096字

• Increased processing power for long texts: GPT-4 text input limit increased to 25,000 words, ChatGPT 4096 words

• 回答准确性显著提高

• Answer accuracy has improved significantly

……累了，毁灭吧。剩下的懒得翻了，有兴趣的看看就行。

大部分机械翻译无润色（但感觉比机翻烂多了

不修改、不订正、去他的薛定谔方程恶心死巴拉巴拉……（小声BB

什么时候才能熬出头啊啊啊啊啊啊啊啊――――――――

基础能力

• GPT-4 是一个多模态大模型，支持接受图像和文本输入，输出文本。

• 虽然没一步到位，把音视频也覆盖上，但如果能把图像与文本这两块做好，相信其应用潜力无限。

• 在团队进行的多个 GPT-4 与 GPT-3.5 的考试测试中，发现这两个模型间存在很微妙的差异。当任务的复杂性足够高时，GPT-4 比 GPT-3.5?更可靠、更有创意，并且能够处理更细微的指令。

• 在 GPT-4 发布之前，Open AI 团队花了 6 个月的时间 ，使用对抗性测试程序，以及从 ChatGPT 得到的经验教训，对 GPT-4 进行了迭代调整 ，进而在其真实性、可操控性等方面取得了有史以来最好的结果。

专业和学术表现

即便 GPT-4 在许多现实世界场景中能力不如人类，但在各种专业和学术基准上的表现，还是超过了人类的平均水平。这里有一个数据是，在律师模拟考中，GPT-4 的成绩排在应试生的前 10% 中，而此前发布的 GPT-3.5，则在倒数 10% 的行列。参加的多种不同领域的专业应试，能够排到多靠前的位置。

模型评估对比

在与当前机器学习模型进行基准评估对比后，GPT-4 大大优于现有的大型语言模型，以及大多数最先进的 (SOTA) 模型。

图像处理能力

GPT-4 本次最为令人看重的，还是它接受与处理图像的具体能力。

GPT-4可以接受文本和图像输入，并且这两个是可以掺杂着用，它允许你用跟之前文本一样的使用方式。

在官方报告中，团队提供了多个实际交互示例。一共有7个例子，总结起来，它可以识别搞笑图片，可以做复杂的物理化学之类的题目，可以做看图题，可以读论文，可以识别meme图片，总之，非常的强，可惜还不能开放使用。

GPT-4 技术报告

OpenAI 公开的技术报告中，不包含任何关于模型架构、硬件、算力等方面的更多信息。

下面是稍微具体一点的技术报告 https://cdn.openai.com/papers/gpt-4.pdf

1. 与 GPT-3.5/ChatGPT 技术路线完全相同。GPT-4 is a Transformer-style model pre-trained to predict the next token in a document, using both publicly a【【微信】】 (such as internet data) and data licensed from third-party pro【【微信】】. The model was then fine-tuned using Reinforcement Learning from Human Feedback (RLHF).?；

2. 用一系列 alignment 方案来确保 GPT-4 输出的安全性。The post-training alignment process results in impro【【微信】】ures of factuality and adherence to desired behavior.

3. 用千分之一的计算量去预测 GPT-4 在一定计算规模下的性能，不用花时间训练大模型去探索，即 Predictable Scaling。A core component of this project was de【【微信】】re and optimization methods that beha【【微信】】 wide range of scales. This allowed us to accurately predict some aspects of GPT-4’s performance based on models trained with no more than 1/1,000th the compute of GPT-4.

4. 很想看到 OpenAI 是如何做到 Multi-modal GPT 的，我大致是这么猜的：GPT-4 的训练方法应当与最近微软发布的 KOSMOS-1 相同 （Language Is Not All You Need: Aligning Perception with Language Models）。预训练阶段，输入任意顺序的文本和图像，图像经过 【【微信】】 （如 ViT，【【微信】】）成 embedding，文本经过 text tokenizer 也成 embedding，组成 multimodal sentence embedding，训练目标仍然是 next-token generation。KOSMOS-1 数据从哪来，直接爬网页训，网页里有图有文字。别看 KOSMOS-1 性能比较拉，那是因为它参数量少，就 1.3 B。同样的方式放到 GPT-4 的参数规模，能成大事。

5. GPT-4参数量，没有找到相关描述。

训练过程

与之前的 GPT 模型一样，GPT-4 基础模型经过训练可以预测文档中的下一个单词。OpenAI 使用公开可用的数据（例如互联网数据）以及已获得许可的数据进行训练。训练数据是一个网络规模的数据语料库，包括数学问题的正确和错误解决方案、弱推理和强推理、自相矛盾和一致的陈述，以及各种各样的意识形态和想法。

因此，当提出问题时，基础模型的回应可能与用户的意图相去甚远。为了使其与用户意图保持一致，OpenAI 依然使用强化学习人类反馈 (RLHF) 来微调模型的行为。请注意，该模型的能力似乎主要来自于预训练过程 ――RLHF 不会提高考试成绩（甚至可能会降低它）。但是模型的控制来自后训练过程 ―― 基础模型甚至需要及时的工程设计来回答问题。

GPT-4 的一大重点是建立了一个可预测扩展的深度学习栈。主要原因是，对于像 GPT-4 这样的大型训练，进行广泛的特定模型调整是不可行的。团队开发了基础设施和优化，在多种规模下都有可预测的行为。为了验证这种可扩展性，他们提前准确地预测了 GPT-4 在内部代码库（不属于训练集）上的最终损失，方法是通过使用相同的方法训练的模型进行推断，但使用的计算量为 1/10000。

局限性

• 尽管功能已经非常强大，但 GPT-4 仍与早期的 GPT 模型具有相似的局限性，其中最重要的一点是它仍然不完全可靠。OpenAI 表示，GPT-4 仍然会产生幻觉、生成错误答案，并出现推理错误。

• 目前，使用语言模型应谨慎审查输出内容，必要时使用与特定用例的需求相匹配的确切协议（例如人工审查、附加上下文或完全避免使用） 。

• GPT-4 跟 GPT-3.5 类似，对训练数据中断后（2021 年 9 月）所发生的事情不太了解，也会犯一些在我们看来很简单的推理性错误，给用户提供不合理的建议，以及在生成的代码中引入安全漏洞。

总的来说，GPT-4 经过多次迭代和改进，在 OpenAI 的内部对抗性真实性评估中，GPT-4 的得分比最新的 GPT-3.5 模型高 40%

GPT-4 风险和应对措施

• GPT-4 的训练在去年 8 月完成，剩下的时间都在进行微调提升，以及最重要的去除危险内容生成的工作。

• OpenAI一直在对GPT-4进行迭代，以使其更加安全。

• GPT-4与以前的模型一样具有风险，但由于其额外的能力，从而会导致新的风险。

• 邀请了50多名专家对模型进行对抗测试，以提高模型的安全性能。

• GPT-4在RLHF训练过程中加入了额外的安全奖励信号，通过训练模型拒绝对此类内容的请求来减少有害的输出。

• 为了防止模型拒绝有效请求，收集了多样化的数据集，并在允许和不允许的类别上应用安全奖励信号。

• 缓解措施显著提高了GPT-4的安全性能，例如将模型对于不允许内容请求的响应率降低了82%。 对敏感请求（如医疗建议和自我伤害）的响应符合政策的频率提高了 29%。

开源项目：OpenAI Evals

为了让开发者能更好的评测 GPT-4 的优缺点，OpenAI 的技术团队还开源了 OpenAI Eval

美国政府会限制open ai么 加拿大宣布调查openai

继意大利宣布“封杀”ChatGPT之后，加拿大宣布就数据安全问题调查ChatGPT背后的公司OpenAI。当地时间4月4日，据加拿大隐私专员办公室（Office of the Pri【【微信】】，OPC）官网信息，OPC宣布开始调查OpenAI，涉及“OpenAI未经同意收集、使用和披露个人信息”的指控。隐私专员Philippe Dufresne表示，对于隐私的关注需要跟上、甚至领先于快速发展的技术。

人工智能可怕的地方在于人类万年进化出来的高智商，人工智能可以在短短几年就超越。想想多可怕，人类有亲人什么的可以制约人们做坏事，机器可不动这个那个，后果可想而知。当第一只猴子拿起石头开始敲木棍的时候，就已经注定了其他生物即将灭亡的命运。AI最可怕的地方恐怕是绕过人为的枷锁，机器开始野蛮生长，一旦机器学会制造机器了，那人类的末日基本到了。

很快就实现科幻电影里的场景，电脑控制矿机矿车自动采矿，有了原料，自动生产各种零件，进化出各种机器人，最后消灭人类。先控制其它自动化资源，再慢慢建立自动生成产业链，只要有自主意识和自我迭代，人类一百年的科学发展，它可能只需1-2年就完成了。一个电脑拥有全人类的智慧，历史，全部知识，能进行推理演算预判，这是很恐怖的事情。

而且能通过人工智能建造实体机器人，建立母巢，对自我进行备份，不死不灭。一旦人类大战进入虚脱状态，可能被一波突袭直接毁灭。骇客帝国不远了。马斯克为什么害怕？有了人工智能他的世界首富可能就被颠覆了，现在人工智能已经初步有了人类情感了，一旦人工智能有了占有欲、满足欲，就可以以满足某些人的需求为诱饵调动很多人为他服务。

（图源于网络）