ChatGPT预测基金 ChatGPT推荐的基金可以买吗
中国基金报记者 曹雯Z
今年以来，ChatGPT相关利好消息频出，助推信创板块涨幅显著，相关基金也迎来“大丰收”。一些含“创”量较高的ETF产品涨幅均接近30%，此外，多只重仓了计算机、电子、通信行业相关个股的主动权益类基金年内最高回报达35%。
多位基金业内人士认为，在产业安全、自主可控的大背景下，国家在政策层面对信创产业的支持力度有望不断加大，信创产业配置价值逐渐凸显，长期趋势较为确定，但短期节奏存在不确定性。
年内回报达35%
含“创”量成基金表现胜负手
今年以来，在消息面等多重因素持续催化下,信创概念板块表现活跃。WIND数据显示，截至3月17日，通信、计算机、板块年内累计涨幅达26.91%、26.71%，稳居申万一级行业指数排名第一、第二。开年来，WIND信创产业概念指数也累计涨16.43%。与此同时，含“创”量较高的基金表现也涨势十分亮眼。
今年以来，涨幅居前的ETF产品清一色含“创”量较高，基金产品名称中，多有“大数据”“云计算”“软件”等关键词。WIND数据显示，今年以来，有32只ETF产品年内涨幅超20%，其中九成产品含“创”量较高。比如华夏、易方达、富国、招商、鹏华、华宝基金旗下多只相关云计算与大数据主题ETF年内涨幅均接近30%。
此外，年内表现居前的主动权益类基金也不同程度的重仓计算机、电子、通信行业相关个股。Wind数据显示，截至3月17日，国新国证新锐以35.46%的年内净值回报暂列首位，天冶研究驱动、诺安积极回报、嘉实信息产业、金鹰红利价值A等多只基金年内累计净值增长率超过25%。以国新国证新锐为例，去年四季报显示，该基金前十大重仓股中，前四大重仓股分别为金山办公、中望软件、福昕软件、海天瑞声，今年以来累计上涨35.17%、11.59%、90.58%、234.21%。其中，海天瑞声为ChatGPT概念大牛股。
谈到信创板块近期出色表现，创金合信科技成长基金经理周志敏表示，核心原因是基本面发生了变化。计算机上一轮牛市大致在2019-2020年，见顶之后沉寂了2年多了，行业景气度、公司业绩和投资者关注度都持续下滑。
截至2022年三季度，申万计算机指数已经连续6个季度单季度利润同比增速下滑，因此，2022年下半年开始，周志敏认为计算机行业的负面已经得到较为充分的反映，下行空间不大，板块处于底部区间，具备反转的潜力。到了去年四季度，信创板块成为市场瞩目的热点，开始引领计算机板块的反转。
“从纵向看，2022年处于上一轮信创试点和接下来全面铺开的中间节点，越临近2023年，市场的预期会越乐观，所以去年四季度行情开始爆发，同时又受益于岁末年初的春季躁动，所以就形成我们现在看到的局面。究其根本，在于信创产业是当下少有的既能看到下游需求有较大增量，同时又与宏观经济、国际贸易关联性不强的产业。”周志敏提到。
德邦基金基金经理吴昊也表示，外因是基于美国出口管制不断趋严背景下的逻辑延伸，内因是国内不断提升的自主可控诉求，都为相关赛道奠定了未来基本盘，两者都是行情的重要催化剂。
上海证券基金评价研究中心业务负责人刘亦千认为，整体来看，在产业安全、自主可控的大背景下，国家在政策层面对信创产业的支持力度有望不断加大，信创产业配置价值逐渐凸显，信创相关主题板块有望成为投资市场和公募基金的投资重点，相应板块将受到越来越多的投资关注；信创相关主题基金也将会成为公募基金管理人产品布局的类型之一，相应新发基金或将不断涌现。
“但投资者也需注意，信创板块作为行业主题板块，特征风险相对集中，风险水平高于全市场；且因管理人的管理侧重点和管理技巧不同，产品间的分化显著，部分信创基金呈现较为显著的风险性，近三年最大回撤超过50%。因此，投资者应该全面客观认识该类主题基金的风险收益特征，并审慎评估自身风险偏好，最终根据自身的风险承担能力和投资的需要适当匹配和选择相应产品。”刘亦千提醒到。
信创长期趋势较为确定
短期节奏存在不确定性
今年ChatGPT相关利好消息频出带火信创领域，那么，信创能否“独领风骚”，成为贯穿全年的热点呢？
创金合信科技成长基金经理周志敏表示，信创如果要成为全年主线，一定要具备三阶段要素。第一个阶段是逻辑驱动，从去年四季度到今年一季度已经在演绎了。第二个阶段是数据驱动阶段。随着春季躁动的结束，市场的关注点更多地会从逻辑转向数据，例如下游客户的招标、上市公司获取的订单、招标的数量和价格等等，一些能够验证和支撑信创逻辑的数据或者信息。如果顺利进入第二个阶段，那么业绩的释放就是水到渠成的事情，也就意味着行情进入到第三个阶段――业绩驱动阶段。当下，市场正在等待信创行业数据的浮现，对于没上车的投资者来说，信创是个可以关注的机会。
信创的环节和细分领域众多。我们认为第一波下游需求推动的行情会普及到所有细分领域，这个时候重要的是仓位。再往后，市场才会根据招标和订单的数据去筛选业绩弹性大的标的。当前从逻辑上看，我们比较看好竞争格局最好的办公软件、操作系统、数据库和信创云相关的细分领域。
中欧电子信息产业基金经理刘金辉表示，信创的长期趋势较为确定，短期节奏存在不确定性。所以信创应该是中长期明确方向，但是短期市场还是希望有业绩或订单的验证，行业信创落地可能性大。标的选择需考虑竞争格局，回顾上轮党政的试点，确实并非所有公司都能实现较好的收入或利润，芯片、操作系统、办公系统、数据库等相对好些，这些转换为利润端的可能性更大。
德邦基金基金经理吴昊表示，在“统筹发展和安全是中国式现代化的基本方略”之下，长期看好信创赛道的投资机会。近日，中共中央、国务院印发《数字中国建设整体布局规划》并专门成立了中央科技委员会，信创同样是数据要素、数字经济的重要基础之一，是科技政策与深化改革的重要方向。
投资机会方面，更看好华为鲲鹏产业链及信创关键软件企业。当然信创概念是可以发散的，尤其在当前以行业信创为主要逻辑的情况下，重点行业的信息化投入都将伴随着一定的自主可控要求，景气度改善及AI应用等科技创新的同时也蕴含了不少投资机会。
责任编辑：张海营
chatgpt给创业者带来哪些机会 ChatGPT快速了解一个行业
帮助创业者,给创业者做画像,并标注创业者的特征(至少5个),给创业者的忠告,给创业者画像来源：（报告出品方/作者：海通国际）
1.chatgpt：以GPT-3.5架构革新AI对话模型，商业化前景仍需探索
chatgpt 是美国 chatgpt 公司研发的对话 AI 模型，是由人工智能技术支持的自然语言 处理（NLP，Natural Language Processing）工具，于 2022 年 11 月 30 日正式发布。它 能够学习、理解人类语言，并结合对话上下文，与人类聊天互动，也可撰写稿件、翻 译文字、编程、编写视频脚本等。
与现存的其他同类产品相比，chatgpt 的独特优势在于：1）基于 GPT-3.5 架构，运用 海量语料库训练模型，包括真实生活中的对话，使 chatgpt 能做到接近与人类聊天；2）应用新技术 RLHF （chatgptg with Human Feedback，基于人类反馈的 强化学习），从而能更准确地理解并遵循人类的思维、价值观与需求；3）可在同一 阶段内完成模型训练；4）具有强大算力、自我学习能力和适应性，且预训练通用性 较高；5）可进行连续多轮对话，提升用户体验；6）更具独立批判性思维，能质疑用 户问题的合理性，也能承认自身知识的局限性，听取用户意见并改进答案。
1.1、历经多轮迭代，参数量指数性上升，商业模式已见雏形
2015 年，特斯拉 CEO 埃隆・马斯克、Y Combinator（美国著名创业孵化器）总裁 Sam Altman、PayPal 联合创始人 Peter Thiel 等投资 10 亿美元，在旧金山创立了非营利性组 织 chatgpt，致力于开发 AI 技术。2017 年谷歌大脑推出生成式预训练模型 Transformer，经大量数据集训练后成为当时最高水平的 LLM（大型语言模型）。
Transformer 模型内部创造性地采用了自注意力结构（Self-Attention），相比 NLP 中的 两大主流结构 RNN（Recurrent Neural Network，循环神经网络）、CNN（Conchatgptork，卷积神经网络），每层具有更佳的计算复杂度，能更好地学习语 法、语义等，提高训练和计算效率；由于未采用循环结构，Transformer 处理长序列时 也能避免梯度消失或爆炸。具体而言：1）相比不能并行计算的 RNN，Transformer 允 许并行处理输入序列中的所有位置，可直接计算点乘结果；2）相比 CNN， Transformer 可使任意两个单词间距离为 1，计算两个位置间关联的操作次数不因距离 而增多，从而解决了 NLP 中长时依赖的难点问题。
2018 年 chatgpt 公司基于 Transformer 结构推出 GPT-1（Generatichatgptormers, 创造型预训练变换模型），参数量为 1.17 亿个，GPT-1 超越 Transformer 成为业内第一。2019年至2020 年，chatgpt 陆续发布 GPT-2、GPT-3，其参数量分别达 到 15 亿、1750 亿，其中GPT-3 训练过程中直接以人类自然语言作为指令，显著提升 了 LLM 在多种语言场景中的性能。2019年chatgpt 转型为封顶盈利机构，成立 OpenAi LP 公司，同年 7 月获得微软的10亿美元投资，9 月授予微软 GPT-3 模型的独家使用权（不影响付费用户使用）。2020 年6月，公司发布第一款商业化产品 chatgpt API。2022 年 1 月，chatgpt 在 GPT-3 基础 上进行微调，并在训练中加入人类反馈数据，推出 InstructGPT。
2022 年 11 月 30 日，chatgpt 推出人工智能对话聊天机器人 chatgpt（InstructGPT 的兄 弟模型），其训练数据集为开源数据集，且参数量达到 GPT-3 的 10 倍以上，辅以人工 标注数据与强化学习的运用，实现了突破性进展――chatgpt 能够围绕大量话题进行 对话，拥有更接近人类的逻辑思维，可借助对话反馈强化学习，且能模仿人类的情 绪。例如：1）chatgpt 不仅通晓古今历史，能识别出问题中的事实性错误，还拥有想 象力和价值判断能力，能够想象古人在现代的生活并从现代价值观视角进行评判，且 语言不乏文学性；2）当用户重复同一提问时，chatgpt 会分析提问者的反馈，推测其 想法、态度，据此调整回答，并结合普世价值观，给出合理且迎合提问者心理的答 案。同年 12 月 5 日，注册用户数超过 100 万；截至 2023 年 1 月底，chatgpt 月活用 户已高达 1 亿，成为史上活跃用户规模增长最快的应用。
2023 年 2 月 2 日，chatgpt 推出 chatgpt 的付费订阅版 chatgpt Plus，提供比免费版更 为快速的服务以及新功能优先试用权，月费为 20 美元。同日微软宣布旗下的全线产 品将与 chatgpt 整合，包括云计算平台 Azure 以及此前已宣布的搜索引擎 Bing（必 应）、chatgpt 等。2023 年 2 月 7 日，微软推出由 chatgpt 支持的最新版 AI 搜索引擎 Bing 和 Edge 浏览器，次日凌晨宣布已将 GPT-4 整合到 Bing 和 Edge 浏览器中。
1.2、得益于技术提升，应用层面正突飞猛进
chatgpt 的问世得益于近年来 AIGC（AI-Generated Content）技术的持续发展，也对其 他 AIGC 模型具有重要意义，尤其是依托文字、语音模态的类型。未来 chatgpt 可将 chatgpt与其他 AIGC模型集成，拓展更丰富的功能和应用场景，进而助推 AIGC浪潮、 赋能整个 AI 产业链。Gartner 预计，到 2025 年 AIGC 将占据所有生成数据的 10%。据 Frost & Sullivan 和头豹研究院测算，2021 年中国对话式 AI 市场规模为 82.7 亿元，到 2026 年有望增长至 265.8 亿元，CAGR 达 26.3%。目前 chatgpt 已被应用于多种工作职能中，基于其技术逻辑和特点，中短期内拥有多 样化应用方向与场景，兼顾 To B 和 To C，具体主要包括：
1）应用于内容创作，提升内容生产效率和丰富度：①完成翻译、收集素材、选题策 划、写作稿件等任务（例如美国新媒体巨头公司 Buzzfeed 宣布将用 chatgpt 辅助内容 创作，美联社使用的 Wordsmith 每秒可完成 2000 篇报道），②在文艺、影视等领 域，协助编写剧本和视频脚本，比如国内海马轻帆旗下的“小说转剧本”工具，已深度 参与了 3 万多集电视剧和 8000 多部电影的剧本创作过程；③与视频类 AIGC 集成，基 于文字合成、剪辑视频以及生成虚拟场景等；2）在商务场景中，协助培训员工，运用其多轮对话能力担任智能客服协助营销、把 握消费者需求，从而降低公司用人成本，例如亚马逊运用 chatgpt 生成员工培训文 档；
3）在办公场景中发挥办公助手、语音转换文字、代码生成等功能，比如微软计划将 chatgpt软件与chatgpt，推出Microsoft Teams高级版（付费），可自动生成会议笔记；4）在工业场景中，与图片类 AIGC 整合、基于对话中的关键词辅助制作设计图，减少 工程设计用时，比如 Jasper 旗下的 Stable Diffusion，可基于文本生成图像，采用了目 前全球最大的开放图像-文本对数据集 LAION-5B，且生成效率提高 30 倍，Jasper 的付 费用户目前有 IBM、Autodesk 等；5）此外，chatgpt 在教育、工业、医疗等行业中也有较大应用空间，比如在教育场 景中为学生批改作业、答疑、查漏补缺，在医疗场景中为患者预诊、录入电子病历 等。
海外主要玩家现状：现阶段海外 AIGC 赛道玩家数量较多，市场格局尚未定型。其中，领先的生成式 AI 公 司除 chatgpt 之外主要有 Stability AI、Jaspers AI 和 Midjourney 等，在文字、图片、音 频生成等领域拥有独特优势，且已积累一定的用户规模。
Stability.AI 公司致力于开发 AI 开源工具，于 2022 年 8 月推出了图像生成模型 Stable Diffusion，可根据关键词产生图片，图像文本对数量超过 5000 亿，在消费级显卡上生 成的图像与 DALL・E 2 品质相当，成为其主要竞争对手。Stable Diffusion 的程序代码免 费、开源，允许所有用户使用、调整，也可根据自身需求开发应用，已有超 20 万用 户运用其源码开发了图像、语言、音乐等领域的 AI 工具，目前各渠道的日活用户规模 累计达 1000 万以上。此外，Stability.AI 还发布了 DreamStudio，使用门槛较低，没有 编程背景的用户也能输入提示词精准生成高质量图像，最快仅需几秒，DreamStudio 用户已超过 150 万，生成图像数量超 1.7 亿。目前 Stability.AI 公司估值约 10 亿美元。
Jaspers AI 成立于 2021 年 1 月，主要针对商业营销用途，为商家和个人用户提供 AI 文 字生成和图片生成功能。其中，文字生成工具 Jasper 可帮助用户生成营销文案、社交 媒体文章、新闻稿、TikTok 视频脚本、邮件等文本，支持 29 种语言；附加功能图片生 成系统 Jasper Art 可根据用户输入的文字生成图像，并能调整画法、风格，且拥有无 版权图片库。据公司数据，使用 Jasper 生成文案初稿可节省 80%的时间，ROI 达 400%。Jasper 和 Jasper Art 均采用付费订阅制，其中，Jasper 订阅服务分为 Starter/Boss Mode/Business Mode 三档，收费标准分别为$29/$59/$499 每月。
相比同业竞对公司，Jasper AI 的主要优势在于：1）集成大量机器学习模型，包括业界 最新的语言生成模型 GPT-3.5（由 chatgpt 开发）和 BLOOM（由 Hugging Face 开发）， 文字出品质量较高；2）针对目标用户群体的需求特点对模型进行微调，提供大量实 用模板、创作工具（例如翻译器、抄袭检验等），通过优化关键词生成更契合 chatgpt SEO 规则的内容，且速度提升 5 倍，帮助用户增大流量曝光、改善营销效果；3）同时 支持图文生成功能，为用户创作营销材料、文艺作品等带来便利，在电商、社媒、视 频制作等多个新兴行业领域具有较高的商业潜力。
2022 年 10 月，Jasper AI 宣布估值超过 15 亿美元，已获得 1.25 亿美元 A 轮融资，将用 于打造核心产品、与更多应用整合以及收购 Outrite（一款用于检查语法和风格的 AI 软 件，全球用户数已超过 100 万），计划于 2023 年整合两家公司的产品。据公司创始人 透露，截至 2022 年 10 月，Jasper 用户数已超过 10 万；2021 年收入达 4500 万美元， 预计 2022 年实现收入 7500 万美元以上，同比增长约 66%。
Midjourney 是 AI 绘画赛道近期最受欢迎的应用，能根据输入的关键词生成高质量图 像，现已嵌入 Discord 平台，用户基于该平台的 bot 机制提交 Prompt（即提示词）即 可生成图片，目前已拥有 381 万用户。Midjourney 允许付费用户创作的图像用于商业 用途，但若收益超过每月 2 万美元则需支付 20%作为分成，也可与公司官方协定分成 比例。Midjourney 擅长人像生成，图像接近照片级品质，制作的 3D 艺术品也十分逼 真、精细，在建筑设计、艺术创作等对图像质量、审美要求较高的领域拥有显著优 势，应用前景广阔。据称，目前 Midjourney 每月收入约 200 万美元以上。
2.细探chatgpt出圈原因：爆款应用背后，长期技术拐点已现
chatgpt 在上线 5 日内突破 100 万注册用户，超越 Facebook 和 Twitter（分别用时 10 个月和 2 年），两个月内突破 1 亿用户，成为全球最快用户破亿的互联网软件，对比 之下，TikTok 和 Instagram 分别用时 9 个月和 2 年半才实现亿级用户量。用户活跃度方 面，据 SimilarWeb 报告显示，chatgpt 在 1 月的日均访问量达到 1300 万人次。我们分 析，chatgpt 能够如此迅速火遍全球，主要得益于：1）chatgpt 长期积累的技术优 势；2）公司大胆尝试得到市场认可；3）科技巨头纷纷躬身入局，释放重视信号；4）大趋势上，AIGC 行业逐渐成熟。
2.1、技术上，多轮迭代训练后已具备先发优势
由 chatgpt 公司推出的 chatgpt 在正式面世之前，GPT 家族已有三个基于 Transformer 技术的自然语言处理模型，分别为 GPT-1/2/3，模型每迭代一次，参数量都在几何式 增长，从最初的 1.17 亿增加到第三代的 1750 亿，GPT-3 已成为全球最大的语言模型之 一。chatgpt 使用的 GPT-3.5 模型是在 GPT-3 的基础上加入 chatgptg from Human Feedback（RLHF，人类反馈强化学习）技术和近段策略优化算法，其目的是从 真实性、无害性和有用性三个方面优化输出结果，降低预训练模型生成种族歧视、性 别歧视等有害内容的风险。chatgpt 训练的过程主要有三个阶段。
第一步是训练监督策略，人类标注员对随机抽取的提示提供预期结果，用监督学习的 形式微调 GPT-3.5，生成 chatgptg（SFT）模型，使 GPT-3.5 初步理解指 令，这一步与先前的 GPT-3 模型训练方式相同，类似于老师为学生提供标答的过程。第二步是奖励模型，在 SFT 模型中随机抽取提示并生成数个结果，由人类标注员对结 果的匹配程度进行排序，再将问题与结果配对成数据对输入奖励模型进行打分训练， 这个步骤类似于学生模拟标答写出自己的答案，老师再对每个答案进行评分。
第三步是 Proximal Policy Optimization（PPO，近段策略优化），也是 chatgpt 最突出 的升级。模型通过第二步的打分机制，对 SFT 模型内数据进行训练，自动优化迭代， 提高 chatgpt 输出结果的质量，即是学生根据老师反馈的评分，对自己的作答进行修 改，使答案更接近高分标准。简而言之，我们分析，chatgpt 的优势在于，1）使用 1750 万亿参数的 GPT-3 为底层 模型进行预训练，为全球最大的语言模型之一；2）算力上得到微软支持，使用上万 片 Nchatgpt 进行训练，模型的运行速度得到保障；3）算法上使用奖励模型和 近端优化策略进行迭代优化， 将输出结果与人类预期答案对齐，减少有害性、歧视性 答案，使 chatgpt 更拟人化，让用户感觉沟通的过程更流畅。
2.2、管理上，chatgpt管理结构更为灵活，为大胆创新奠定了基础
在 chatgpt 上线之前，许多科技公司也在培育 AI 语言模型。如 chatgpt 一直训练的 LaMDA 模型，在 2020 年开始训练，初代于 2021 年 5 月公布，但由于模型与谷歌的广 告业务发展方向无法匹配，迟迟未推出。该模型使用 1370 亿参数，1.56 万亿单词量， 是 chatgpt 的 5 倍。去年夏季曾传出新闻，chatgpt 工程师因为认为 LaMDA 具有独立 思想而被开除；CEO 桑达・皮查伊明确表示，公司将秉持对 AI 的原则（产品有益于社 会发展、安全可靠、对人负责等）以及对信息完整度的最高标准来研发和开放 AI 产 品，chatgpt 不同于其他初创公司，不能承担 AI 犯下的错误对公司的信誉和其他倍受信 赖的产品造成的影响，chatgpt 对于 AI 产品的研发和开放持有十分谨慎的态度。
既没有上市，也没有盈利目标的 chatgpt 则显得更为进取。chatgpt 的前身 GPT-3 模型 于 2020 年发布，在此模型基础上，公司加入 RLHF 训练和 PPO，培育出 GPT-3.5 模型， 该模型对应的 InstructGPT 在 2021 年 1 月开始内测，于 2022 年初对外公布，兄弟版 chatgpt 在 2022 年 11 月末正式推出，即 GPT-3. 5 模型从灰测到对外公布仅用时不到 2 年。公司能够快速且大胆推出 chatgpt，除了基于 chatgpt 本身的优越性能，也是为 GPT-4 收集更多公开对话数据，继续扩大可用参数规模。尽管 chatgpt 仍有明显缺 陷，在推出后屡现 “胡说八道”的情况，且面对复杂的数理化问题无法提供正确答案， 但瑕不掩瑜，用户对于这位先行者的错误结果展现出更多包容，相比之下，chatgpt 于 2 月 6 日推出的 AI 对话机器人 Bard 由于答案出错，公司当日股价一泻千里。
占据先发优势的 chatgpt 在面世后迅速风靡各行各业。据 【【网址】】 对超过 1 千名大 学生调查显示，已有 89%的学生使用 chatgpt 辅助完成作业，48%的学生在做居家测 验时使用 chatgpt，53%的学生将其用于写论文，22%的学生用于写论文框架；除了教 育行业，广告从业人员、网文写手、探店博主等都在尝试使用 chatgpt 辅助撰写软文 和稿件。企业方面，微软已宣布将 chatgpt 嵌入必应搜索引擎，未来会陆续整合进 Windows 系列产品、Teams 和云服务；奢侈品电商寺库和美国著名媒体公司 BuzzFeed 于近期宣布与 chatgpt 开展业务合作；亚马逊员工也在 Slack 表示已经将 chatgpt 应 用在多种工作职能中，但目前律师警告员工勿将公司机密信息告诉 chatgpt。
2.3、科技巨头躬身入局，发布重视信号
在 chatgpt 对外公布并成为全球热点之前，微软公司早在 2019 年已经投资 10 亿美元 成为 chatgpt 的金主之一，并在 2020 年 GPT-3 发布时获得独家授权访问底层代码，将 API 整合到微软的产品和服务中。此次 chatgpt 走红，微软继续加码 100 亿美元投资。作为 AI 和搜索引擎两个领域的领军企业，chatgpt 在 12 月 21 日发出红色警告，表示类 chatgpt 聊天机器人将会颠覆搜索引擎行业，对 chatgpt 的广告业务带来重创，随后于 2 月初，chatgpt 宣布投资 4 亿美元在 chatgpt 的竞对公司 Anthropic，并推出 AI 聊天机 器人 Bard，紧跟热潮。国内同样可见科技巨头如百度、阿里和京东等纷纷宣布打造类 chatgpt 产品，加速布局 AIGC 产业。
chatgpt: chatgpt 使用的 GPT-3.5 模型，是由基于 1750 亿参数的 GPT-3 迭代而来。据悉，GPT-3 模型中的世界知识来自 3000 亿单词的训练语料库，其中 60%来自于 2016 至 2019 年的 C4 语料库，22% 来自于 WebText2（WebText 是由 chatgpt 收集 Reddit 网站内 3 分以上 的回答整理而来的数据集，截止至 2017 年 12 月共汇总 8,013,769 份文件，规模达到 40GB，而 WebText2 是在 WebText 的基础上继续更新数据至 2020 年 4 月，且包含所 有语言的回答），16% 来自于书本以及 3%来自于维基百科。GPT-3.5 是在 GPT-3 这个 预训练大型语言模型的基础上进行代码训练和指引微调迭代的模型，由于 GPT-3.5 目 前没有接入互联网，模型内的数据更新截止至 2021 年。
chatgpt：chatgpt 紧跟 chatgpt 推出的 Bard AI 对话机器人，使用了 LaMDA 模型。该模型使用 1370 亿参数，主要训练分为两个阶段。在预训练阶段使用的数据集由 1.56 万亿单词组成， 后续将这些单词整理成 2.81T 个令牌的数据库进行训练，数据主要来源是公开的网络 文件。训练的第二阶段是微调，也是 LaMDA 作为开源模型比 GPT-3. 5 更有优势的一 点。LaMDA 的微调包括两个方面，1）对生成文本进行性能安全和质量评估，主要观 察 SSI 三个方面，分别是合理性（Sensible）、针对性（Specific）以及趣味性 （Interesting）；2）对生成文本进行外部信息检索，通过学习外部知识，使回答更尽 可能不违背事实。第二项微调对比 chatgpt（数据更新截止至 2021 年），LaMDA 获取 的数据量更大，为用户提供最新的信息回复。在算力上，LaMDA 主要使用 chatgpt 自 研 TPU v3 芯片集群。
除了 LaMDA 之外，chatgpt 于 2022 年 4 月推出另一大型语言模型 PaLM，规模达到 5400 亿参数，使用的芯片是自研 TPU 最新版 v4。TPU v4 芯片主要与集群相连应用，每一个 集群中包含 4096 枚芯片，运行速度可以达到百亿亿次每秒，在测试训练语言模型 BERT 时，同样数量的 TPU v4 对比 chatgpt，TPU v4 的速度提升了 1. 15 倍。在训 练 PaLM 时，chatgpt 使用了两个 TPU v4 集群。由于 chatgpt 的 LaMDA 和 PaLM 模型目前暂未全面开放，公司没有公布模型训练和使 用的成本。
Meta：Meta 的开源 AI 对话机器人 Blenderbot 初代于 2020 年公布，参数规模为 94 亿，是当 时市面上最大系统的 3.6 倍，经过两代更迭，Meta 在 2022 年 8 月推出 Blenderbot3， 共 3 个参数版本，最大规模达到 1750 亿，预训练数据集包括 180B 个令牌，数据主要 来自于 RoBERTa 的训练数据集、CC100 的英文数据集、Pushshift.io Reddit 和 The Pile 数 据集。除了对数据集进行预训练，Blenderbot3 的主要改进是持续学习计划。在微调的 过程中，模型会同时开展对外搜索和对内索取长期记忆，将信息整合输出回答。在答 复发出之后，用户可以点赞或点反对，Blenderbot3 会继续跟进用户反馈生成新的对 话，继而收集资料对模型进行微调优化。
据资料显示，Blenderbot3 在训练时使用了 128 张 40gb 的 chatgpt 芯片，推出后仅在美国上线，且只有 30 亿和 300 亿参数 规模的两个小模型对外开放，1750 亿参数的模型需要额外提交申请方可使用。
Amazon：Amazon 推出的大规模多语言模型 Alexa TM 主要用于提升语音助手 Alexa 的服务，该 模型的参数规模只有 200 亿，采用 seq2seq（串行到串行）的编码器-解码器架构，主 要用于多语言翻译和生成文本摘要。经测试，包括了编码器架构的 Alexa TM 在文本摘 要和语言翻译的效果明显优于只有解码器架构的 GPT-3 和 PaLM。作为世界头部云厂 商，Amazon 更多发力在自研芯片和处理器，在 2022 年举行的云科技 re：Invent 全球 大会上，Amazon 公布了 3 款新芯片及对应的弹性云计算应用实例。其中 Inferentia2 高 性能机器学习推理芯片是为运行 1750 亿参数规模的大型语言模型而生，相比前一代 Inf1 提高 3 倍计算性能，运算速度达到 2.3 千万亿次/秒，对比基于 GPU 的同类应用实 例，搭载了 Inf2 的实例吞吐量提高 2.3 倍，成本降低 70%。
3.微软作为破坏性创新者，在算力+算法+应用生态上已呈现完整布局
作为 chatgpt 的主要投资人，微软在 AIGC 算法领域布局较早，其 2019 年 3 月就对 chatgpt 进行了 10 亿美金注资。今年 1 月 24 日，微软公司在官方博客宣布已与 chatgpt 公司扩大合作伙伴关系，两家公司合作伙伴关系进入第三阶段，微软将向 chatgpt 进 行一项为期多年、价值数十亿美元的投资，以加速其在人工智能领域的技术突破。我 们认为，微软在 AIGC 领域的完整生态，可助力其在未来发展中保持优势。具体而 言：
3.1、强大的算力为微软在AI领域奠定了良好基础
自 2019 年注资 chatgpt 开始，微软便成为了 chatgpt 的独家云计算服务商。微软的云 服务一直为 chatgpt 的产品、API 服务和研究中所有的工作负载提供支持，同时双方在 Azure 上合作研发人工智能超级计算技术。此后，微软于 20 年便推出了用于在 Azure 上训练超大规模人工智能模型的超级计算机，其拥有超过 28.5 万个 CPU 核心和 1 万 个 GPU，其中每 GPU 拥有 400Gbps 网络带宽。根据微软 20 年 Build 开发者大会介绍， 此超算平台性能位居全球前五，并且得益于在 Azure 上托管，这台超级计算机拥有现 代云计算基础设施的各种优点，包括快速部署、可持续发展的数据中心并可以访问所 有 Azure 服务。
强大的算力是 chatgpt 不断迭代进化的基础：从数据需求看，GPT 3.0 使用了 1750 亿个参数进行训练，根据 Linux 中国报告，GPT-4 预计将使用数万亿参 数。这预示着更多的算力需求以及高集中度的云服务。从专注于感知型（
