中信基金与联想,中信联合投资公司,中信基金和中信银行,中信旗下基金

　　当前，以信息技术为代表的新一轮科技革命正在加速兴起，数字经济已成为经济发展的新赛道、现代化国家的产业基础。

　　数据显示，2020年数字经济增加值总规模，全球可统计范围内达到32.6万亿美元。同年，中国数字经济规模达到39.2万亿元，占GDP比重38.6%，预计2022年这一比重有望升至41%。

　　在数字经济加速发展的时代背景下，全球数据总量和算力规模呈现高速增长态势，券商龙头中信建投(行情601066,诊股)表示，数字经济将成为助力国内经济复苏的新动能，建议关注基础设施的信创化、数据要素的市场化以及人工智能的工具化，坚持信创、数据要素、AI三大主线不动摇。在以CHATGPT为代表的大模型技术逐步走向商用的过程中，中信建投建议继续重视AI算力板块的投资机会。

　　算力，即对数据的处理能力，如果说数据是AI模型的“燃油”，那算力就是AI模型的“发动机”，训练ChatGPT需要使用大量算力资源。据微软官网，微软Azure为chatgpt开发的超级计算机是一个单一系统，具有超过28.5万个CPU核心、1万个GPU和400 GB/s的GPU服务器网络传输带宽。据英伟达，使用单个Tesla架构的V100GPU对1746亿参数的GPT-3模型进行一次训练，需要用288年时间。此外，算力资源的大量消耗，必然伴随着算力成本的上升，据Lambda，使用训练一次1746亿参数的GPT-3模型所需花费的算力成本超过460万美元。虽然GPT-3.5在模型参数量上有了明显下降，但考虑到GPT-3、GPT-3.5均为chatgpt独家拥有，其他厂商复刻难度较高，巨量参数或仍将是模型开发过程的必经之路，预计未来大模型开发的算力成本仍将较高。

　　据chatgpt测算，自2012年以来，全球头部AI模型训练算力需求3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍。与仅能处理NLP的GPT-3.5相比，支持多模态的GPT-4能够同时处理图像及文本输入，并生成文本输出。GPT-4可以完成一些传统的视觉语言任务，如图像描述、生成字幕、图像分类等；此外，它还具有较强的逻辑分析能力。GPT-4在完成这一系列更为丰富和复杂的任务的同时，其对算力的需求也达到GPT3.0的数倍。

　　需求端，AI大模型对于算力资源的需求主要体现在以下三类场景：

　　1、模型预训练带来的算力需求

　　模型预训练过程是消耗算力的最主要场景。ChatGPT采用预训练语言模型，核心思想是在利用标注数据之前，先利用无标注的数据，即纯文本数据训练模型，从而使模型能够学到一些潜在的跟标注无关的知识，最终在具体的任务上，预训练模型就可以利用大量的无标注数据知识。在Transformer的模型架构下，语言预训练过程可以根据上下文一次处理所有输入，实现大规模并行计算。通过堆叠多个解码模块，模型的层数规模也会随着提升，可承载的参数量同步增长。与之相对应的，模型训练所需要消耗的算力也就越大。

　　有数据统计，训练一次ChatGPT模型需要的算力约27.5PFlop/s-day。据chatgpt团队发表于2020年的论文《Language Models are Few-Shot Learners》，训练一次13亿参数的GPT-3 XL模型需要的全部算力约为27.5PFlop/s-day，训练一次1746亿参数的GPT-3模型需要的算力约为3640 PFlop/s-day。考虑到ChatGPT训练所用的模型是基于13亿参数的GPT-3.5模型微调而来，参数量与GPT-3 XL模型接近，因此预计训练所需算力约27.5PFlop/s-day，即以1万亿次每秒的速度进行计算，需要耗时27.5天。

　　此外，预训练过程还存在几个可能的算力需求点：

　　1）模型开发过程很难一次取得成功，整个开发阶段可能需要进行多次预训练过程；

　　2）随着国内外厂商相继入局研发类似模型，参与者数量增加同样带来训练算力需求；

　　3）从基础大模型向特定场景迁移的过程，如基于ChatGPT构建医疗AI大模型，需要使用特定领域数据进行模型二次训练。

　　同时，日常运营带来的算力需求旺盛。

　　预计ChatGPT单月运营需要算力约4874.4PFlop/s-day，对应成本约616万美元。在完成模型预训练之后，ChatGPT对于底层算力的需求并未结束，日常运营过程中，用户交互带来的数据处理需求同样也是一笔不小的算力开支。据SimilarWeb数据，2023年1月ChatGPT官网总访问量为6.16亿次。据Fortune杂志，每次用户与ChatGPT互动，产生的算力云服务成本约0.01美元。基于此，我们测算得2023年1月chatgpt为ChatGPT支付的运营算力成本约616万美元。

　　从模型迭代的角度来看，ChatGPT模型并不是静态的，而是需要不断进行Finetune模型调优，以确保模型处于最佳应用状态。这一过程中，一方面是需要开发者对模型参数进行调整，确保输出内容不是有害和失真的；另一方面，需要基于用户反馈和PPO策略，对模型进行大规模或小规模的迭代训练。因此，模型调优同样会为chatgpt带来算力成本，具体算力需求和成本金额取决于模型的迭代速度。

　　从供给端来看，核心环节有望率先受益。

　　算力芯片：AI算力基石，需求有望大规模扩张

　　GPU架构更适合进行大规模AI并行计算，需求有望大规模扩张。从ChatGPT模型计算方式来看，主要特征是采用了并行计算。对比上一代深度学习模型RNN来看，Transformer架构下，AI模型可以为输入序列中的任何字符提供上下文，因此可以一次处理所有输入，而不是一次只处理一个词，从而使得更大规模的参数计算成为可能。而从GPU的计算方式来看，由于GPU采用了数量众多的计算单元和超长的流水线，因此其架构设计较CPU而言，更适合进行大吞吐量的AI并行计算。基于此，随着大模型训练需求逐步增长，下游厂商对于GPU先进算力及芯片数量的需求均有望提升。

　　互联网巨头亦强势入局AI芯片，腾讯领投的燧原科技推出推理侧产品云燧i20，INT8算力达256TOPS；百度孵化的昆仑芯推出训推一体AI芯片R200，INT8算力达256TOPS；背靠阿里的平头哥亦早在2019年就推出推理侧AI芯片含光800。

　　服务器：AI服务器有望持续放量

　　ChatGPT主要进行矩阵向量计算，AI服务器处理效率更高。从ChatGPT模型结构来看，基于Transformer架构，ChatGPT模型采用注意力机制进行文本单词权重赋值，并向前馈神经网络输出数值结果，这一过程需要进行大量向量及张量运算。而AI服务器中往往集成多个AI GPU，AI GPU通常支持多重矩阵运算，例如卷积、池化和激活函数，以加速深度学习算法的运算。因此在人工智能场景下，AI服务器往往较GPU服务器计算效率更高，具备一定应用优势。

　　服务器是算力输出的重要载体，以联想集团为例，作为服务器、存储赛道的全球龙头及全球最重要的算力公司，也再次被推至台前，随着算力需求的爆发式增长在未来持续受益，并有望成为行业最先受益者。联想目前也已成为全球三大服务器供应商之一，自2001年以来，联想共创下800余项性能基准测试世界纪录，是创造服务器世界纪录数量最多的IT厂商；截至2022年12月1日，联想保持着294项世界纪录。

　　此外，联想集团目前已拥有横跨公有云、私有云和混合云的交付能力，可以为多种算力需求客户提供更“普慧”的算力产品。并在异构计算与负载均衡、设备之间的互联互通、数据安全与隐私保护、模型本身的伸缩性与扩展性等方面有长期且深厚的技术积累。

　　数据中心：核心城市集中算力缺口或将加剧

　　IDC算力服务是承接AI计算需求的直接形式。ChatGPT的模型计算主要基于微软的 Azure云服务进行，本质上是借助微软自有的IDC资源，在云端完成计算过程后，再将结果返回给chatgpt。可见，IDC是承接人工智能计算任务的重要算力基础设施之一，但并不是所有企业都需要自行搭建算力设施。从国内数据中心的业务形态来看，按照机房产权归属及建设方式的角度，可分为自建机房、租赁机房、承接大客户定制化需求以及轻资产衍生模式四种。

openai发布多模态预训练大模型gpt-4 微软宣布openai新一代模型gpt-4

多模态应用场景,多模态embedding,多模态slam,多模态识别

　　本文字数：1755，阅读时长大约3分钟

　　导读：它仍然存在缺陷，仍然有限，但它有明显的改进。它比以前的模型更有创意，它的幻觉明显减少，而且它的偏见也更少。

　　作者 | 第一财经 钱童心

　　在震惊科技行业的AI聊天机器人ChatGPT发布近四个月后，chatgpt公司又发布了为ChatGPT提供支持的更为强大的下一代技术版本GPT-4。

　　在3月14日发布的一篇博客文章中，chatgpt表示，GPT-4使用了最新的“多模式态”技术，这意味着图像和文本提示可以使它生成内容。此外，文本输入功能过一段时间将提供给ChatGPT Plus订阅者和软件开发人员。

　　超过90%人类考生

　　GPT-4根据大量在线数据进行训练，并支持微软的搜索应用Bing。“如果您在过去五周内的任何时间使用过新的Bing预览版，那么您已经体验过这个强大模型的早期版本。”微软表示。

　　chatgpt称，尽管在许多现实场景中它仍然“能力不及人类”，但它表现出“在各种专业和学术基准上的人类水平表现”。GPT-4还可以读取、分析或生成多达25000 个单词的文本，并以所有主要编程语言编写代码。

　　在谈到GPT-4比前一个版本强大在哪里时，chatgpt称，虽然这两个版本在随意的谈话中看起来很相似，但“当任务的复杂性达到足够的阈值时，差异就会出现”，GPT-4更可靠、更有创意，并且能够处理更细微的指令。

　　该公司表示，GPT-4响应禁止内容请求的可能性比其前一个版本低82%，并且在某些真实性测试中得分高出40%。

　　自去年11月推出以来，ChatGPT已经能够根据用户提示生成原创文章、故事和歌词，但它也引发了一些担忧。最近几周，人工智能聊天机器人（包括来自微软和谷歌的工具）因情绪反应过激、犯事实错误和完全“幻觉”而受到指责。

　　对此，chatgpt公司CEO奥特曼在Twitter上称，GPT-4是其模型“最有能力且最符合”人类价值观和意图的模型，尽管“它仍然存在缺陷”。

　　“它仍然存在缺陷，仍然有限，但它有明显的改进。“奥特曼写道，“它比以前的模型更有创意，它的幻觉明显减少，而且它的偏见也更少。”

　　两周前，chatgpt 宣布将向第三方企业开放其ChatGPT工具的访问权限，为聊天机器人集成到众多应用程序和服务中铺平了道路。

　　RBC Capital Markets分析师Rishi Jaluria表示，微软将从GPT-4的采用中受益。

　　本月早些时候，在2023微软Azure中国年度技术峰会上，微软首次面向企业推出了Azure chatgpt云服务，借助该平台，企业用户可以发掘大规模AI与商业场景结合的潜力。

　　谷歌发布医学大模型2.0

　　科技巨头们正在ChatGPT引爆的人工智能领域展开新一轮竞争。谷歌周二宣布推出基于医学大模型Med-PaLM最新版本的AI医疗健康聊天机器人。

　　Med-PaLM是第一个在类似于美国医疗执照考试中分数超过60%人类考生的人工智能系统。谷歌表示，该技术的更新版Med-PaLM 2在体检的问题上达到“专家”水平，准确率超过85%，得分比之前的结果高出18%。

　　不过谷歌医疗研究负责人Alan Karthikesalingam表示，该公司还在根据真实医生和临床医生的反应测试Med-PaLM的答案，并对偏见和潜在的伤害进行评估。鉴于医疗信息的敏感性，还需要一段时间才能推向普通用户。

　　根据研究机构Omdia最新发布的一份报告，虽然ChatGPT、Stable Diffusion和其他生成式人工智能为市场带来的明显兴奋和潜在机会真实存在，但生成式人工智能并无法解决任何类型的人工智能所面临的任何市场挑战，生成式人工智能并非灵丹妙药。

　　“生成式人工智能不会解决人工智能面临的基本挑战，偏见、隐私、责任、一致性和可解释性。”Omdia首席分析师Mark Beccue表示，“事实上，生成式人工智能在很大程度上加剧了这些问题。例如，作为大多数生成式人工智能输出来源的大型语言模型（LLM）采用公共数据进行训练，这些公共数据可能包括有偏见的内容，这意味着输出本身可能存在偏见或不恰当。”

　　AI大模型开发的另一个重要的问题是高昂的成本。英伟达为AI训练提供大量的GPU，其中主要用于GPT模型训练的A100芯片每一块的价格高达1万美元。分析师和技术专家估计，训练GPT-3等大型语言模型的耗资可能超过400万美元。

　　为此，英伟达已经宣布了一种新的商业模式，向尚无法触及AI能力的中小企业开放云端AI能力，企业可以通过租赁云服务的方式来完成AI软件的开发工作。

　　英伟达创始人CEO黄仁勋预计，未来10年内，人工智能的效率将再提高100万倍，因为不仅在芯片方面，而且在软件和其他计算机部件方面的技术都会发生显著改进。

　　“未来会出现新的处理器、新系统、新的互联、新框架和新算法，我们会与数据科学家、AI研究人员合作开发新模型，事实上，在过去的计算机发展过程中，我们已经使大型语言模型的处理速度提高了100万倍。”黄仁勋表示。

责任编辑：刘德宾