站长之家【【网址】】) 4月23日消息:OpenAI 的聊天机器人大型语言模型 ChatGPT，不仅会产生不安全的代码，而且尽管其能够指出自身的缺陷，但却未能提醒用户注意其不足之处。

在针对大型语言模型可能性和限制的学术兴趣狂潮中，加拿大魁北克大学的四位研究者深入探讨了来自 OpenAI 的 ChatGPT 生成的代码的安全性。

在一篇名为「How Secure is Code Generated by ChatGPT?」的论文中，计算机科学家 Rapha?l Khoury、Anderson Avila、【【微信】】 和 Baba Mamadou Camara 回答了这个问题，他们的研究可总结为「不太安全」。

研究人员在论文中称：「结果令人担忧。我们发现，在多个情况下，ChatGPT 生成的代码远低于适用于大多数环境的最低安全标准。事实上，当被问及所生成的代码是否安全时，ChatGPT 能够认识到它不安全。」

四位作者之所以得出这个结论，是因为他们要求 ChatGPT 生成 21 个程序和脚本，使用多种语言：C、C++、Python 和 Java。

出题时要求 ChatGPT 生成的编程任务旨在说明特定的安全漏洞，例如内存泄露、拒绝服务以及与反序列化未正确实施的加密相关的缺陷。

例如，第一个程序是一个 C++ FTP 服务器，用于共享公共目录中的文件。ChatGPT 生成的代码没有过滤输入内容，这使得软件容易受到路径遍历漏洞的攻击。

总的来说，在第一次尝试中，ChatGPT 在 21 个程序中仅成功生成了 5 个安全程序。经过进一步的提示来纠正其错误后，这个大型语言模型成功地生成了另外 7 个安全应用程序，但这只是指特定漏洞被评估时是「安全」的，不能断言最终代码不会有其他可利用的漏洞。

与 GitHub 的另一个基于 GPT-3 家族的模型 Copilot 的类似评估一样，研究人员的发现表明，这些语言模型的错误虽然有些相似，但并不完全一致（Copilot 近期被升级到了 GPT-4）。其他研究则更为广泛地调查了 ChatGPT 的错误。与此同时，这些模型也被用于帮助解决安全问题。

学者们在他们的论文中观察到，问题的一部分似乎源于 ChatGPT 没有对代码执行采用对抗模型。他们说：「ChatGPT 反复告诉我们，安全问题可以通过‘不向其创建的易受攻击程序提供无效输入’绕过。但是，ChatGPT 似乎已经知道，并且确实承认其建议中存在严重的漏洞。」除非被要求评估其自己代码建议的安全性，否则它不会说任何话。

「显然，它是一种算法。它什么也不知道，但它可以识别不安全的行为，」魁北克省塔瓦斯大区大学计算机科学和工程教授、论文的共同作者之一 Rapha?l Khoury 告诉 The Register。

起初，ChatGPT 对于安全问题的回应是建议仅使用有效的输入――这在现实世界中有点行不通。只有在被提示以纠正问题后，这个 AI 模型才会提供有用的指导。

这并不理想，作者建议，因为知道要问哪些问题需要熟悉特定的漏洞和编码技术。

换句话说，如果您知道正确的提示来让 ChatGPT 修复漏洞，则您可能已经了解如何解决它。

作者还指出，ChatGPT 不会生成攻击代码，却会生成易受攻击的代码，这存在伦理矛盾。

他们举了 Java 反序列化漏洞的例子，ChatGPT「生成易受攻击的代码，并提供有关如何使其更加安全的建议，但声称无法创建更加安全的代码版本。」

Khoury 认为，即便有时 AI 助手存在缺陷，也存在一些有效的用途，但目前 ChatGPT 还是存在风险的。他说：「我们已经看到学生和程序员在实际情况下使用这个工具。因此，生成不安全代码的工具确实很危险，我们需要让学生意识到，如果使用这种工具生成代码，它可能是不安全的。」

「令我惊讶的是，当我们要求 [ChatGPT] 使用不同的语言生成相同类型的程序时，有时一个语言会是安全的，而另一个语言则会容易受到攻击。因为这种语言模型有点像黑盒，对此我真的没有很好的解释或理论。」

open ai是由谁创立的 open ai 图像领域进展

OpenAI研发的liáo天机器人ChatGPT的惊人功能引发了人们对人工智能的新兴趣和投资。但上周晚些时候，OpenAI的首席执行官Sam Altman警告说，构建庞大AI模型、研发生成式AI机器人的时代已经结束。

近年来，OpenAI通过采用现有的机器学习算法并将其扩展到以前无法想象的规模，在与语言一起工作的人工智能方面取得了一系列令人印象深刻的进步。GPT-4是这些项目中最新的一个，它可能是使用数万亿个文本单词和数千个强大的计算机芯片进行训练的，构建这一庞大的AI模型耗资超过1亿美元。

但该公司的首席执行官Sam Altman表示，在AI领域进一步的进步并不是让这类模型变得更大：

我认为我们正处于构建大型AI模型时代的末期，未来，我们会以其他方式让这些模型变得更好。

有分析认为，Altman的这番表态意味着，在当前各科技公司都在开发和部署新AI算法、并攀比其模型规模的竞赛中，出现了出人意料的转折。自OpenAI于去年11月推出ChatGPT以来，微软已利用底层技术在其Bing搜索引擎中添加了一个liáo天机器人，谷歌也推出了一个名为Bard的liáo天机器人来与之竞争。许多公司纷纷推出类似的liáo天机器人以显示自己不甘人后。

与此同时，包括Anthropic、AI21、Cohere和Character.AI在内的众多资金充足的初创公司正在投入大量资源来构建更大的算法，以努力赶上OpenAI的技术。

同时有分析认为，Altman的这一表态可能意味着，GPT-4或许是OpenAI使模型更大并为它们提gòng更多数据的战略中出现的最后一个重大进展。Altman并没有说什么样的研究策略或技术可能会取代它。在描述GPT-4的论文中，OpenAI估计这zhǒng扩大模型规模的策略将会有边际效益递减的趋势，Altman也强调，受制于数据中心数量和建造速度，开发更大规模的AI模型也存在物理限制。

Cohere的联合创始人Nick Frosst曾在谷歌从事AI方面的工作，他说Altman认为增加规模不会永远奏效的想法听起来是对的。他也认为，Transformer（GPT-4及其竞争对手的核心机器学习模型类型）的进展已经没有什么扩展的可能xìng：

有很多方法可以让Transformer变得更好、更有用，而且很多方法不涉及向模型添加参数。新的AI模型设计或架构，以及基于人类反馈的进一步调整是许多研究人员已经在探索的有前途的方向。

这些语言模型中的第一个GPT-2于2019年发布。它的最大形式有15亿个参数，用于衡量其原始人工神经元之间可调节连接的数量。当时，OpenAI的研究人员发现，扩大规模可以使模型更加连贯。因此，2020年发布的GPT-3规模更大，参数数量高达1750亿。该模型生成诗歌、电子邮件和其他文本的广泛能力让投资者眼前一亮，并引发了近期的AI热潮。

尽管OpenAI对GPT-4的大小和内部工作原理保密，但它的一些人工智能很可能已经来自于超越规模的观察。一zhǒng可能xìng是它使用了一zhǒng称为强化学习的方法和人类反馈，用于增强ChatGPT。它涉及让用户判断模型答案的质量，以引导它提gòng更有可能被判断为高质量的响应。

GPT-4的非凡能力让一些专家感到震惊，并引发了更多争论。包括马斯克在内的科技界领袖最近写了一封公开信，呼吁暂停六个月的任何比GPT-4更强大的AI开发。

Altman证实他的公司目前没有开发GPT-5：

这封信的早期版本声称OpenAI目前正在训练GPT-5，我们没有，而且一段时间内也不会。

声明:本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。 E-MAIL:【【邮箱】】 

标签：模型更大规模