openai gpt 3,opengpu,openai gpt-3申请,opengpu论坛

机器之心转载

来源：知乎

作者：张俊林

本文是新浪微博新技术研发负责人、中国中文信息学会理事张俊林在知乎问题「【【微信】】 发布 GPT-4，有哪些技术上的优化或突破？」下的回答，总结了 GPT4 技术报告里指出的三个方向，还提及了两个其它技术方向。

在这个历史性的时刻，回答个问题，留下自己作为历史见证人的足迹。

GPT4 的技术报告里很明确地指出了三个新的方向：

第一，LLM 最前沿研究的封闭化或小圈子化。技术报告里说了，出于竞争以及安全等方面的考虑，未公布模型规模等技术细节。从 GPT 2.0 的开源，到 GPT 3.0 的只有论文，再到 ChatGPT 连论文也没有，直到 GPT 4.0 的技术报告更像效果评测报告。一个很明显的趋势是，【【微信】】 做实了 CloseAI 的名号，之后 【【微信】】 的 LLM 最前沿研究不会再放出论文。

在这个情形下，其它技术相对领先的公司有两种选择。一种是做更极致的 LLM 开源化，比如 Meta 貌似选择了这条道路，这一般是竞争处于劣势的公司作出的合理选择，但是往往相关技术不会是最前沿的技术；另外一种选择是跟进 【【微信】】，也选择技术封闭化。Google 之前算是 LLM 的第二梯队。但在 " 微软 +【【微信】】" 的一顿组合拳下，现在局面有点狼狈不堪。GPT 4.0 去年 8 月就做好了，估计现在 GPT 5.0 正在炼丹过程中，这么长的时间窗口，结果 Google 都能落到目前这个局面，想想 Transformer、CoT 等非常关键的一些研究都是自己做出来的，竟沦落至此，不知一众高层作何感想。Google 在后面能快速跟进，维持在第二梯队应该问题不大，很可能比第三名技术也领先很多。出于竞争关系考虑，我猜 Google 大概率会跟进 【【微信】】 走技术封闭的路线，最先进的 LLM 技术优先用来炼属于自己的丹，而不是写成论文放出来普惠大众尤其是普惠 【【微信】】。而这很可能导致 LLM 最前沿研究的封闭化。

从现在算起，国内在经过一阵时间后（要做到 ChatGPT 的 6 到 7 折应该比较快，要追平估计要较长时间），必然被迫进入自主创新的局面。从最近三个月国内的各种情况看，将来会如何？大概率不太乐观。当然，这个关肯定很难，但必须得过，只能祝愿有能力且有初心者尽力加油了。

第二，GPT 4 技术报告里提到的 LLM 模型的 " 能力预测（Capability Prediction）" 是个非常有价值的新研究方向（其实之前也有个别其它资料，我记得看过，但是具体哪篇记不起来了）。用小模型来预测某些参数组合下对应大模型的某种能力，如果预测足够精准，能够极大缩短炼丹周期，同时极大减少试错成本，所以无论理论价值还是实际价值巨大，这个绝对是非常值得认真研究具体技术方法的。

第三，GPT 4 开源了一个 LLM 评测框架，这也是后面 LLM 技术快速发展非常重要的方向。尤其对于中文，构建实用的中文 LLM 评测数据和框架具备特别重要的意义，好的 LLM 评测数据可以快速发现 LLM 目前存在的短板和改进方向，意义重大，但是很明显目前这块基本处于空白状态。这个对于资源要求其实没那么高，适合很多机构去做，不过确实是个辛苦活。

除了 GPT 4 技术报告里明确指出的三个方向，因为最近 LLM 各方面新闻比较多，顺手再写两个其它技术方向。

首先，斯坦福大学近在 Meta 的 7B 开源 LLaMA 基础上，加上技术构造的，也代表了一个技术方向。如果归纳下，这个方向可以被称为 " 低成本复现 ChatGPT" 的方向。所谓 Self Instruct，就是采取一定技术手段，不用人工标注 Instruct，而是从 【【微信】】 的接口里，好听点叫 " 蒸馏 " 出 Instruct，也就是不用人标注，而是 ChatGPT 作为 teacher，给你的 Instruct 打上标注结果。这个把 Instruct 标注成本直接打到了几百美金的基准，时间成本就更短了。再加上模型 7B 规模也不大，所以可以看成一种 " 低成本复现 ChatGPT" 的技术路线。

我估计国内早就有不少人采取这个技术路线了。毫无疑问，这是一条捷径，但是走捷径有好处有坏处，具体不展开谈了。在追赶 ChatGPT 的过程中，先把成本打下来去复现 ChatGPT 到七八成，我个人还是觉得可行也支持的，毕竟穷人有穷人的玩法。当然，追求把模型做小，效果又不怎么往下掉，如果能扎扎实实去做，是非常具有价值的。

另外，毫无疑问会是 LLM 下一阶段的重点研究方向。这方面的代表就是前阵子 Google 放出来的。目前的 GPT 4，我们可以认为人类创造出了一个超级大脑，但还是把它封锁在 GPU 集群里。而这个超级大脑需要一个身体，GPT 4 要和物理世界发生联系、交流和互动，并在物理世界中获得真实的反馈，来学会在真实世界里生存，并根据真实世界的反馈，利用比如强化学习来学习在世界游走的能力。这个肯定是最近的将来最热门的 LLM 研究方向。

多模态 LLM 给予了 GPT 4 以眼睛和耳朵，而具身智能给予 GPT 4 身体、脚和手。GPT 4 和你我发生一些联系，而依托于 GPT 4 本身强大的学习能力，这个事情估计很快会出现在我们身边。

如果你细想，其实还有很多其它有前途的方向。我的个人判断是：未来 5 到 10 年，将会是 AGI 最快速发展的黄金十年。如果我们站在未来 30 年的时间节点，当我们回顾这 10 年时，我们中一定会有人，想起下面的诗句：" 懂得，但为时太晚，他们使太阳在途中悲伤， 也并不温和地走进那个良夜。"

原文链接：【【网址】】/【【微信】】/【【QQ微信】】/【【微信】】/【【QQ微信】】

【【微信】】

投稿或寻求报道：【【邮箱】】

open ai 新系统 openai发布gpt4

站长之家（【【网址】】）3月15日 消息:OpenAI发布了一个强大的新图像和文本理解 AI 模型 GPT-4，该公司称它是“扩大深度学习努力的最新里程碑”。

GPT-4今天可通过ChatGPT Plus （有使用上限）提供给 【【微信】】 的付费用户，开发人员也可以在等候名单上注册以访问该 API。

定价为每1，000个“提示”标记（约750个单词）0.03美元和每1，000个“完成”标记(同样，约750个单词)0.06美元。令牌代表原始文本;例如，“fantastic”这个词将被拆分为“fan”、“tas”和“tic”等标记。Prompt tokens 是输入 GPT-4的单词部分，而 completion tokens 是由 GPT-4生成的内容。

微软今天宣布，其与 【【微信】】 共同开发的聊天机器人技术Bing Chat正在 GPT-4上运行。

其他早期采用者包括 Stripe，它使用GPT-4扫描商业网站并向客户支持人员提供摘要。Duolingo将 GPT-4构建到新的语言学习订阅层中。摩根士丹利正在创建一个由 GPT-4驱动的系统，该系统将从公司文件中检索信息并将其提供给金融分析师。可汗学院正在利用 GPT-4构建某种自动化导师。

GPT-4可以生成文本并接受图像和文本输入――这是对其前身GPT-3.5的改进，GPT-3.5仅接受文本――并且在各种专业和学术基准测试中的表现达到“人类水平”。例如，GPT-4通过模拟律师考试，分数在应试者的前10% 左右;相比之下，GPT-3.5的得分在倒数10% 左右。

据该公司称，【【微信】】 花了六个月的时间使用内部对抗性测试程序和 ChatGPT 的经验教训“迭代调整”GPT-4，从而在真实性、可控性和拒绝超出护栏方面取得了“有史以来最好的结果”。与之前的 GPT 模型一样，GPT-4是使用公开数据（包括来自公共网页）以及 【【微信】】 许可的数据进行训练的。

【【微信】】 与微软合作，在 Azure 云中从头开始开发了一台“超级计算机”，用于训练 GPT-4。

“在随意的谈话中，GPT-3.5和 GPT-4之间的区别可能很微妙，”【【微信】】 在宣布 GPT-4的博客文章中写道。“当任务的复杂性达到足够的阈值时，差异就会出现――GPT-4比 GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。”

毫无疑问，GPT-4更有趣的方面之一是它能够理解图像和文本。GPT-4可以对相对复杂的图像进行说明甚至解释，例如从插入电源的 iPhone 的图片中识别闪电电缆适配器。

图像理解能力目前还没有提供给所有 【【微信】】 客户――【【微信】】 正在与一个合作伙伴 Be My Eyes 一起测试它。在 GPT-4的支持下，Be My Eyes 的新虚拟志愿者功能可以回答有关发送给它的图像的问题。该公司在博客文章中解释了它是如何工作的:

“例如，如果用户发送他们冰箱内部的图片，虚拟志愿者不仅能够正确识别里面的东西，还能推断和分析可以用这些成分准备什么。该工具还可以为这些成分提供一些食谱，并发送有关如何制作它们的分步指南。”

GPT-4的一个更有意义的改进可能是上述的可操纵性工具。借助 GPT-4，【【微信】】 引入了一种新的 API 功能，即“系统”消息，它允许开发人员通过描述特定方向来规定风格和任务。系统消息，也将在未来出现在 ChatGPT 中，本质上是为 AI 的下一次交互设定基调和边界的指令。

例如，一条系统消息可能是这样的:“你是一位总是以苏格拉底式方式回应的导师。你永远不会给学生答案，但总是试着问正确的问题来帮助他们学会独立思考。你应该始终根据学生的兴趣和知识调整你的问题，将问题分解成更简单的部分，直到它处于适合他们的水平。”

不过，即使有系统消息和其他升级，【【微信】】 也承认 GPT-4远非完美。它仍然“幻觉”事实并犯推理错误，有时还非常自信。在 【【微信】】 引用的一个例子中，GPT-4将猫王描述为“演员之子”――这是一个明显的失误。

【【微信】】 写道:“GPT-4普遍缺乏对绝大多数数据中断（2021年9月）后发生的事件的了解，并且没有从中吸取经验教训。” “它有时会犯一些简单的推理错误，这些错误似乎与跨多个领域的能力不相称，或者在接受用户明显的虚假陈述时过于轻信。有时它会像人类一样在难题上失败，例如在它生成的代码中引入安全漏洞。”

不过，【【微信】】 确实指出，它在特定领域做出了改进;一方面，GPT-4不太可能拒绝关于如何合成危险化学品的请求。该公司表示，与 GPT-3.5相比，GPT-4总体上响应“不允许”内容请求的可能性降低了82%，并且根据 【【微信】】 的政策响应敏感请求――例如医疗建议和任何与自我伤害有关的请求29% 更频繁。

GPT-4显然有很多东西要解压。但就 【【微信】】 而言，它正在全速前进――显然对其所做的改进充满信心。

【【微信】】 写道:“我们期待 GPT-4成为一种有价值的工具，通过为许多应用程序提供动力来改善人们的生活。” “还有很多工作要做，我们期待通过社区在模型之上构建、探索和贡献的集体努力来改进这个模型。”

（举报）