chatgpt 插件 chatgpt midjourney
3月23日，OpenAI 宣布推出ChatGPT中插件功能，自从ChatGPT公布以来，用户和开发人员都有插件集成在ChatGPT的需求，使得模型能够解锁可以解锁大量可能的用例
随后英伟达 AI 研究科学家，师从李飞飞的 Jim Fan 在 Tweeter 发文：” 如果 ChatGPT的发布被称为 iPhone时刻 ，那么 ChatGPT 插件可以被视为 iOS App Store“
ChatGPT 可以被看作 AI 模型的操作系统，现在OpenAI 提供了插件集成入口以及规范，开发者可以根据规范，和功能需求开发插件，然后集成在 ChatGPT 上，供自己或者其他用户使用。
插件诞生原因
传统的大语言模型存在局限性，学习的唯一信息来自于它们的训练数据，而这个数据可能过时，不具有实时性。
插件可以赋予模型的“眼睛和耳朵”，使它们能够访问最近、个人化或过于特定而无法包含在训练数据中的信息。响应用户明确的请求。
目前 OpenAI 开始向申请【【淘密令】】 名单中的用户和开发人员扩展插件 开放 alpha 访问权限，最初考虑少数开发人员和 ChatGPT Plus 用户
OpenAI官网提供的 ChatGPT 插件有三类：
Web 浏览器
用户在对话框中提出问题后，Web浏览器插件 借助 Bing搜索API从网络检索内容，然后基于这些内容 ChatGPT 再进行统一汇总 给出答案
ChatGPT 返回结果会显示访问过的网站，并标注其引用其来源。
例如提出【今年的奥斯卡获奖者与最近上映的电影相比，票房销售情况如何？】问题
Snipaste_2023-03-25_01-13-18
由于模型与外界联网，为了避免检索出有问题的内容，针对安全问题OpenAI也做了大量优化：
1，借助微软API，保证信息来源可靠性和真实性；
2，为了保证浏览足迹的安全性，插件在独立服务中，与其他部分分开进行。
image-20230325012503170
代码解释器
是为 ChatGPT 模型提供 一个沙盒和防火墙执行环境中工作的Python解释器，并提供一些临时磁盘空间
解释器插件运行的代码将在持久会话中进行评估，该会话在聊天对话期间保持活动状态，随后的调用可以基于之前的结果构建。
例如在 代码解释器插件 中提出问题【一块砖的重量是五个GPU加上一块砖的30%。在一公吨中有100块砖和200个GPU，那么一块砖的重量是多少？】
插件会给出求解思路、代码实现、以及问题答案
image-20230325013114031
代码解释器的一些特性
解决数学问题，包括定量和定性的
进行数据分析和可视化
在不同格式之间转换文件
例如，不需要代码，只通过指令，将csv 中数据转化为图表
image-20230325013724658
检索
检索插件使ChatGPT能够访问个人或组织信息授权的信息来源。
允许用户通过自然语言提出问题或表达需求，从其数据源、如文件、笔记、电子邮件或公共文档）中获取最相关的文档片段。
可以理解为，将自己的数据喂给ChatGPT ，并提出自己需求，让ChatGPT帮自己处理；
开发者可以部署他们自己的插件版本，并将其注册到ChatGPT。检索插件利用 开发者选择的向量数据库（Milvus、【【微信】】、Qdrant、Redis、Weaviate或【【微信】】）来索引和搜索文档。
信息来源可以使用Webhooks，与数据库同步，打造服务于自己数据的插件
AI 界中的 AppStore
除了官网提供的*插件外，OpenAI 还 鼓励开发者一起加入开发
ChatGPT第一批第三方插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak Wolfram 和 Zapier创建，涵盖衣食住行各个方面；
Expedia ：将您的旅行计划变为现实
FiscalNote ：提供并使用户能够访问市场领先的实时数据集，包括法律、政治和监管数据和信息。
Instacart：从您喜爱的本地商店订购。
KAYAK：搜索航班、住宿和租车
【【淘密令】】：从数千家在线商店搜索和比较价格
OpenTable：提供餐厅推荐，并提供直接预订。
Speak：使用Speak，您的AI语言导师，学习如何用另一种语言说任何事情。
Wolfram：通过 Wolfram|Alpha 和 Wolfram 语言，访问计算、数学、精选知识和实时数据。
Zapie：与超过5,000个应用程序进行交互，如Google Sheets、Trello、Gmail、HubSpot、Salesforce等。
借助第三方插件，可以实现许多不可思议的事情
例如借助ChatGPT插件 提出【本周末想在旧金山吃纯素食品。你能给我一个星期六的好餐厅建议和一个简单的星期天食谱（只是配料）吗？请使用 WolframAlpha计算食谱的卡路里。最后在 Instacart上订购食材】
首先，ChatGPT 利用 OpenTable 插件给出推荐的具体餐厅、食谱
周日，这里有一份简单的纯素食谱，其成分如下：?
鹰嘴豆沙拉
1 罐鹰嘴豆，沥干并冲洗干净
1 个黄瓜，切丁
1 个红甜椒，切丁
1/4 红洋葱，切碎
1/4 杯新鲜欧芹，切碎
2汤匙橄榄油
2汤匙柠檬汁
盐和胡椒粉调味
其次，借助 Wolfram|Alpha 插件计算出食谱的卡路里消耗
鹰嘴豆沙拉食谱的总卡路里约为 862 卡路里。以下是成分及其卡路里含量的明细：
1 罐鹰嘴豆：536 卡路里
1 个黄瓜：27 卡路里
1 个红甜椒：37 卡路里
1/4 个红洋葱：11 卡路里
1/4 杯新鲜欧芹：5.5 卡路里
2 汤匙橄榄油：239 卡路里
2 汤匙柠檬汁：6.6 卡路里
你只需要发出简单对话请求，从食谱推荐、到卡路里计算再到打包食材加入购物车，生成下单链接；一系列操作自动帮你完成；而这一切得益于 ChatGPT 插件 的拓展性
同时，OpenAI给出了ChatGPT插件的具体构建方法，插件由 mainfest 文件描述，其中包括插件功能的机器可读描述、如何调用它们，以及面向用户的文档，示例如下：
创建插件步骤：
构建一个 API，
创建一个 OpenAPI 规范文档记录您的 API，并创建一个链接到 OpenAPI 规范和包括一些特定于插件的元数据的清单文件 ?mainfest
插件启用。开始对话前，用户可以选择启用哪些第三方插件。已启用插件的文档将作为对话上下文显示给语言模型，使得该模型能够根据需要调用适当的插件 API 来满足用户意图。
也不是所有人都能开发插件，只有申请过 【【淘密令】】 ，通过后的极少数开发人员才有权限
申请入口：
【【网址】】/【【淘密令】】/plugins
苹果手机如何调用chatgpt接口 chatgpt苹果和安卓系统都可以用吗
苹果手机如何调用科学计算器,苹果手机如何调用callkit,苹果手机如何调用pad摄像头,苹果手机如何调用美颜相机AI的iPhone时刻到来！ChatGPT 接入插件功能
ChatGPT更新插件功能，AI迎来AppStore！2023年3月24凌晨，OpenAI宣布ChatGPT中初步实现对插件的支持。插件专门为大语言模型设计，以安全为核心原则，能够帮助ChatGPT访问最新的信息，运行计算，以及使用第三方服务。OpenAI插件会将ChatGPT直接连接到第三方应用程序。插件能够使ChatGPT参与开发者定义的API互动，增强ChatGPT的能力，使其能够执行各类广泛场景的任务。目前已有Expedia（酒旅预定）、KAYAK（航班租车）、Klarna Shopping（比价）、OpenTable（餐厅预定）、Wolfram(计算和实时数据)等是一个插件提供服务。OpenAI 开始向开发人员提供开发 ChatGPT 插件的权限，接下来使用 OpenAI 模型的开发者还可以将这些 ChatGPT 插件集成到自己的程序上。
OpenAI多样化的插件使得ChatGPT与互联网产生了连接，能够检索新的实时信息、预定酒店餐旅等服务、在线比价和购物。我们认为此举将再次颠覆现有的互联网行业，正如黄仁勋所说所有开发软件的工程师都会逐渐觉醒，或者是被现实教育，并逐步将类似于ChatGPT这类工具整合到自己开发的应用程序中，或整合到其他服务中。如果说OpenAI开放API接口是OpenAI向互联网产品提供服务的，那么OpenAI开放插件则是OpenAI向全球互联网平台发起的第一次挑战，AI as a service的大趋势会加速互联网行业的迭代。从GPT开放接口、发布GPT-4再到发布插件，AI正已超预期的速度改变我们的生活方式和工作流，我们认为OpenAI为代表的AI公司将持续催化本轮创新周期，建议持续关注TMT版块和有海外产品布局的公司如昆仑万维、汤姆猫、宝通科技、美图（港股通）、阜博集团、万兴科技（计算机团队覆盖）等标的接入ChatGPT插件动向。
投资建议：看好科技版块机会，创新周期开启AI牛！我们认为展望未来十年人工智能行业从算力到应用或将迎来全新发展机会并带来巨大的产业变化，以GPT-4为代表的相关技术或将有效提升交互体验和MR内容形态，从而提升XR设备的应用场景并推动XR设备的普及化进程。此外我们正处于多个科技技术发展的变革节点（Web3/机器人/MR/AIGC）之上，我们认为科技行业多个技术已经从0-1的概念期走向1-N的落地成熟期，而在此期间多种技术进步和落地或将交织产生巨大的“化学反应”，带来新一轮的科技产业变革。
伴随多模态大模型GPT4和 Copilot的发布以及后续API接口的开放，未来GPT自身的技术迭代（GPT4.5/5）或将催化更多涉及多模态大模型应用的诞生，因此我们推荐关注多模态大模型的应用场景如：
1）电商：营销、运营、商品推荐与个性化导购，客服的全面应用革新。海外典型【Shopify】，国内建议关注【蓝色光标】【易点天下】【三人行】【值得买】【光云科技】【青木
股份】【浙文互联】【中文在线】【联络互动】；
2）搜索与搜索广告：交互式搜索创新，海外典型【微软】，国内建议关注【三六零（计算机覆盖）】【昆仑万维】；
3）游戏：海外典型【Unity】【Roblox】，国内建议关注【三七互娱】【巨人网络】【恺英网络】【神州泰岳】【汤姆猫】【姚记科技】【宝通科技】【盛天网络】【吉比特】；
4）虚拟数字人：虚拟人在渲染真实度与智能大幅提升下，应用场景有望快速拓宽，海外引擎【Unity】，国内建议关注【芒果超媒】【汤姆猫】【蓝色光标】【中文在线】【风语筑】【捷成
股份】【奥飞娱乐】【遥望科技】；
5）生产力：工作流的本质变化，海外典型【微软】，建议关注【金山办公（计算机覆盖）】【万兴科技（计算机覆盖）】【美图】；
6）教育：大模型的智能提高带来教育场景渗透空间飞速提升，海外典型【Speak】【Duolingual】，国内建议关注【科大讯飞（计算机覆盖）】【汉王科技（计算机覆盖）】【传智教育】；
7）呼叫中心与客服：应答、互动能力提升，多模态让客服机器人可以在多种内容形式上互动，海外典型【Five9】【Snap】【【【微信】】】，国内建议关注【焦点科技】【宏景科技】【神州数码】；$汤姆猫(SZ300459)$$蓝色光标(SZ300058)$$昆仑万维(SZ300418)$
