我国6g技术已获新突破中国6g技术取得突破

互联资讯 2023-04-27 22:48:02 0

淘宝搜：【天降红包222】领超级红包，京东搜：【天降红包222】
淘宝互助，淘宝双11微信互助群关注公众号【淘姐妹】

我国6g技术取得突破,中国6g技术,中国6g技术大获成功,中国启动6g技术研发

获悉，中国航天科工二院25所完成了国内首次太赫兹轨道角动量的实时无线传输通信实验，实现重大技术突破，为我国6G(第六代通信技术)发展提供重要保障和支撑。

6G关键技术取得重要突破!

据报道，本次实验利用高精度螺旋相位板天线在110GHz频段实现4种不同波束模态，通过4模态合成在10GHz的传输带宽上完成100Gbps无线实时传输，最大限度提升了带宽利用率。

太赫兹通信作为实现6G愿景的关键技术，已得到全球通信业认可。此前，美国联邦通信委员会(FCC)投票，一致决定开放面向未来6G网络服务的“太赫兹”频谱，用于创新者开展6G技术试验。

与5G相比，6G的通信能力将是其10倍以上，5G向6G的发展将是从万物互联迈向“万物智联，数字孪生”的过程，最终实现物理世界、虚拟世界以及人的三维联动。在5G技术刚刚普及的今天，我国已经率先实现了6G技术的关键技术突破，这无疑将为全球通信革命带来新的活力。

工信部加快推进6G发展，挖掘市场机会

近日，中国网，工业和信息化部总工程师、新闻发言人赵志国表示，下一步，工信部将重点做好三方面工作，做优做强信息通信业，为推动经济社会高质量发展提供坚实支撑。一是夯实数字设施底座。研究出台推动新型信息基础设施建设协调发展的政策措施，推进一体化推进新型基础设施建设。

二是加快技术产业创新。推动6G、光通信、量子通信等关键核心技术加速突破，加大人工智能、区块链、数字孪生等前沿技术研发力度。三是深化行业融合应用。大力推进5G等新一代信息通信技术在垂直行业、信息消费、社会民生等领域的融合应用。

从最新进展来看，继5G之后，中国6G技术依然领先全球。在这个新纪元中，6G技术将引领全球通信革命，为人类的生活带来更多的便捷和智能。6G将带动通信各产业链迎来更高程度的科研突破、更大的资本开支和更宽广的市场前景。

研究机构MarketResearchFuture预计，2040年全球6G市场规模超过3400亿美元，其间复合年均增长率将达58.1%。该机构认为，中国将是全球最大的6G市场之一，全球有近50%的6G专利申请来自中国，位居第一。

微美全息提前掘金万物智联大时代

尽管当前尚处6G技术早期研究阶段，但随着6G产业发展的深化，卫星互联网、高速无线传输、网络及数据中心节能等板块有望迎接新的发展机会。据了解，拥有5G背景的科技公司且具有深厚技术基础优势的微美全息(WIMI.US)，长期以来加快布局人形机器人、5G、元宇宙、量子计算等前沿领域，在国家工信部号召下，全面推进6G应用技术研发，无疑也会在6G浪潮到来时分一杯羹。

6G是通信、计算、感知、人工智能、区块链、安全、卫星等技术的内生融合，将成为数字经济领域的科技制高点，对数字产业化和产业数字化发展有着非常强的带动作用。因此微美全息推进6G技术将推动数字经济的发展，将为各行各业提供新的发展机遇。例如在教育领域，基于6G技术将使得在线教育质量得到提高，微美全息让更多的人享受到优质的教育资源。在交通领域，6G技术将使得自动驾驶汽车成为现实，为人们出行带来更多的便捷。

值得注意的，瞄准6G通信的热点需求，紧跟国际通信技术前沿，微美全息的研发团队正在着手研究6G智能全息无线电技术。据悉，6G智能全息无线电通过干涉测量和计算全息技术实现电磁空间的重构，一方面实现无线通信更高分辨率的空时频全维复用，另一方面实现无线通信成像和感知的融合。微美全息的6G智能全息无线电技术将助力构建人、机、物智慧互联、高效互通的新型网络，最终实现“万物智联、数字孪生”的美好愿景。

结语

6G技术是继5G之后的下一代无线通信技术，其传输速度和网络连接的稳定性将比5G更快、更稳定。当前我国5G建设全球领先，且6G研发进展已领先全球。面临巨大的市场空间和经济收益，微美全息秉持初心如磐，奋楫笃行，共建共赢数字化未来。

综上，我国在6G技术领域的关键技术突破，标志着中国在全球通信革命中的领导地位。摘取这个新成果，6G技术将为全球通信革命带来新的活力，为人类的生活带来更多的便捷和智能。那么大家不妨共同期待6G技术新纪元的到来，为全球通信革命贡献中国力量。

人工智能大模型之chatgpt原理解析 chatgpt大模型训练带来高算力需求

人工智能模型是什么意思,人工智能模块,人工智能模拟,人工智能模组

摘要

Open AI公司推出的ChatGPT以最快速度（5天）突破百万用户，并不断更新迭代，2023年3月推出最新版本Chat GPT4.0，产生现象级效应。本文基于专利视角分析ChatGPT相关技术创新路径，阐述主要技术创新点，详细分析国、内外主要申请人的专利布局情况，探讨专利分析角度下的GPT技术局限性，从而期望对国内大模型技术发展有所启示。

Open AI与ChatGPT

OpenAI成立于2015年，是由美国著名创业孵化器Y Combinator的总裁Sam Altman和特斯拉的CEO马斯克（Elon Musk）发起的让全人类受益的非盈利组织。OpenAI承诺开源所有技术，鼓励研究人员公开发表工作成果，将专利（如果有的话）与全世界共享[1]，避免使用危害人类或过度集中权力的AI或AGI（通用人工智能）[2]。2018年，因公司经营理念问题，马斯克与OpenAI分道扬镳。在研发AI模型的过程中，OpenAI面临越来越大的经济压力，最后不得不在2019年转变为盈利性公司，之后获得了微软10亿美元的投资。2022年1月,路透社援引的Semafor报告称，微软正考虑投资100亿美金给OpenAI（总估值290亿美金）[3]。

ChatGPT是OpenAI于2022年11月推出的人工智能聊天机器人程序，该程序是在GPT-3.5（一种自然语言预训练大模型）基础内核上使用监督学习和强化学习进行训练所得到的模型。在监督学习过程中，ChatGPT收集了全新的人类对话语料，并将其与GPT-3.5的监督学习语料合并。在强化学习过程中，ChatGPT首先训练了一个得分模型来对模型输出进行排序，然后用该得分模型来对生成模型输出进行反馈，并优化该生成模型。最终由强化学习得到的模型即为ChatGPT。ChatGPT以文字方式互动，可以实现与人类对话交互，还可以实现文本生成、自动问答、自动摘要等在内的多种任务。

ChatGPT的成功来源于更早期发布的GPT-3模型以及对RLHF的优化。GPT是Generati【【微信】】rmer（生成型预训练变换模型）的缩写。它是基于Transformer架构（2017年由谷歌提出），GPT的主要优势在于它可以通过预训练大量语料数据来获得对语言任务的预测能力，而不需要大量的人工标注数据。它具有良好的语言生成能力，可以生成文本、回答问题、对话等多项语言任务。RLHF（Reinforcement Learning from Human Feedback人类反馈强化学习）[4][5]是一项涉及多个模型和不同训练阶段的复杂概念，包括以下三个步骤：预训练一个语言模型（LM）；聚合问答数据并训练一个奖励模型（Reward Model，RM）；用强化学习（RL）方式微调LM。

2023年3月15日，多模态预训练大模型GPT-4[6]正式发布，能够处理文本、图像两种模态以及25000个单词的超长文本输入，并通过文本输出。GPT-4能够很好的支持图像输入，能够理解图片中的幽默之处，并且具备理解长上下文的能力，在各种专业和学术基准测试上表现出人类水平，包括通过模拟律师考试，分数约为全体考生的前10%。相对于以前的GPT-3.5模型，GPT-4明显减少了“幻觉”，在团队内部对抗性设计的事实性评估中，GPT-4的得分比GPT-3.5高19个百分点。但是，考虑到GPT-4这样的大模型的竞争格局和安全影响，OpenAI并未公开有关架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法或类似内容的更多详细信息。目前，ChatGPTPlus版本已经使用GPT-4模型。

智谱AI团队研究发布的《ChatGPT团队背景研究报告》[7]称，2023年2月，ChatGPT团队规模不足百人（共87人）。分析发现，其显著特征是“年纪很轻”、“背景豪华”、“聚焦技术”、“积累深厚”、“崇尚创业”和“华人抢眼”。该团队平均年龄为32岁，“90后”是主力军。他们引领的这一波大型语言模型技术风潮，充分说明了那些经常被认为研发经验不足的年轻人，完全有可能在前沿科技领域取得重大突破。团队成员绝大多数拥有名校学历，且具有全球知名企业工作经历。华人学者欧阳龙参与了与ChatGPT相关的7大技术项目中的4大项目的研发，他是InstructGPT论文的第一作者，是RLHF论文的第二作者，可见他是这两个关键技术项目的核心人员。

专利视角下的ChatGPT相关技术创新路径

1）OpenAI专利分析

在世界著名的DWPI摘要数据库中，以申请人（OpenAI）、发明人（InstructGPT、GPT-3等技术对应论文作者）、结合“NLP”、“语言”、“训练”等关键词进行检索，发现OpenAI公司作为权利人的专利数量为零，同时采用多种商业数据库进行搜寻，均未发现OpenAI名下任何专利。

分析其原因，OpenAI在成立之初作为非盈利组织，期望开源所有技术，专利制度作为公开换保护的一种方式，申请专利对于非盈利组织不是必须的，而OpenAI转变为盈利性公司后，考虑到ChatGPT、GPT-3、GPT-4属于黑盒模型，且模型的训练花费庞大，开发和部署都很复杂，对于其他公司或科研院所而言很难复现，不通过专利也能实现技术保护，通过商用API(Application Programming Interface,应用程序编程接口）等方式即可获利，另一方面，对于训练语料获取、模型算法而言，可能会涉及专利不授权客体问题，不能进行专利保护，而即使不涉及客体问题的，由于训练等步骤的不可见性，在专利授权后也很难进行维权，因此OpenAI公司有可能通过商业秘密进行技术保护。

根据OpenAI官网公开的ChatGPT技术原理图分析得知，ChatGPT的训练过程分为以下三个阶段[8]：

图1 ChatGPT技术原理图

第一阶段：训练监督策略模型。首先会在数据集中随机抽取问题，由标注人员给出高质量答案，然后用人工标注好的数据来微调GPT-3.5模型，获得SFT（Super【【微信】】）模型。

第二阶段：训练奖励模型（Reward Model，RM）。在数据集中随机抽取问题，使用第一阶段生成的模型生成多个不同的回答。标注人员对输出进行打分排序，使用排序结果数据来训练奖励模型。

第三阶段：采用强化学习中的PPO（Proximal Policy Optimization，近端策略优化）[9]来优化策略。首先使用第一阶段中的初始权重构造一个初始的PPO模型。针对在数据集中采样的新的问题，使用PPO模型生成回答，并用第二阶段训练好的RM模型给出回报分数。PPO策略可以会通过回报分数计算出策略梯度，并更新PPO模型参数。

2）国外主要申请人专利分析

随着2017年谷歌Transformer模型的提出，预训练语言模型开始显著发展，因此本文关于预训练语言模型技术的检索主要针对2017年之后申请的专利。在DWPI摘要数据库中，针对关键词“language model”、“train”、“fine-tune”进行简单检索，共有2600多篇专利文献。检索结果仅针对专利摘要进行检索，且为专利同族合并后的结果。

图2 预训练语言模型技术申请人来源国家

在预训练语言模型领域，中国企业发展迅速。百度、阿里、腾讯、华为都是主要申请人，且均在海外展开布局，国外申请人主要集中在微软、谷歌和三星。但是还应注意到，国外一些公司针对神经网络、编解码器结构改进的专利技术方案，在摘要中并没有提到语言模型，但是神经网络等是可以应用到语言模型中的，因此实际上关于预训练语言模型技术的申请量会更多。

为了更全面地了解国外申请人在中国的布局情况，针对全文数据再次检索，并统计合并同族的结果。

图3 国外申请人在中国的申请量

谷歌多年来陆续提出Transformer、BERT、T5等模型，目前针对Transformer申请相关美国专利（US2018341860A1，专利名“基于注意的序列转换神经网络”），并在中美欧日韩等多个国家布局。BERT、T5虽未申请专利，但是我们经检索发现，其专利布局涵盖了基于上述模型衍生的下游任务，在多语言翻译、文本语音转换、完型填空、稀疏表示、情感分类等领域有所技术改进。2021年，谷歌提出了SwitchTransformer[10]模型，采用了稀疏激活技术，拥有1.6万亿参数，相同资源情况下，训练速度比由谷歌开发的最大语言模型T5-XXL快了4倍，谷歌就该模型申请相关PCT国际专利申请WO2022150649A1（【【微信】】ITCHLAYERS），目前并未进入任何国家阶段。谷歌也在模型训练、微调等方面开展专利布局。

图4 谷歌部分专利

基于BERT模型，微软于2020年提出了DeBerta模型，并提交申请相关美国专利“具有解开注意力和多步解码的高效变压器语言模型”（US2021334475A1），利用多步解码来更好地重建掩蔽标记并改善预训练收敛来促进预训练的自然语言模型的自训练。2021年提出的LORA模型主要涉及神经网络模型的低秩自适应，冻结了预训练的模型权重（相关美国专利US2022383126A1）。此外，微软也在下游任务进行专利布局，例如其申请的PCT国际专利申请WO2022221045A1涉及多任务模型，包括例如共享编码器、多个任务特定编码器和用于多个任务的多个任务特定线性层等。

在Patentics的英文全文库中以“DeepMind”（DeepMind为Google旗下前沿人工智能企业）作为申请人，language model作为关键词进行检索，检索结果为27篇。DeepMind侧重于对神经网络的改进。中国专利“针对使用对抗训练的表示学习的推理的大规模生成神经网络模型”（CN113795851A），训练可以是基于损失函数，该损失函数包括基于由鉴别器神经网络处理的输入对的样本部分和潜在部分的联合鉴别器损失项和仅仅基于输入对的样本部分或潜在部分中的一个部分的至少一个单一鉴别器损失项，该专利在中美等国均有布局，根据英文库中检索得到的专利查找其中文同族，可以确定DeepMind在中国申请使用渊慧科技有限公司名称。

图5 DeepMind部分专利布局情况

由图5可以看出，DeepMind在多模态方面也有所布局，涉及冻结语言模型的多模态少样本学习以及使用多模态输入选择操作。多模态的语言模型是一种能够同时处理不同类型的数据，如文本、图像、音频和视频的人工智能技术。多模态语言模型的目标是实现跨模态的理解、生成和交互，从而提高人机对话和信息检索的效果。谷歌近期申请了基于UI的多模态模型，例如美国专利US2023031702A1通用用户界面转换器（VUT），处理三种类型的数据：图像、结构（视图层次）和语言，并且执行多个不同的任务，诸如UI对象检测、自然语言处理、屏幕摘要、UI可敲击性预测。微软的PCT国际专利申请WO2022187063A1则公开了一种视觉与语言的跨模态加工方法，基于视觉语义特征集和文本特征集来训练目标模型，以确定输入文本和输入图像之间的关联信息。

国内相关技术发展情况

在Patentics的中文数据库中，以“预训练”、“大规模”、“语言模型”、“微调”、“零/少样本”、“知识图谱”等作为关键词进行简单检索，共检索出12292篇专利，我们可以看出国内预训练大模型技术自2018年后开始迅速发展，鉴于目前21年、22年申请的专利未全部公开，实际上该领域的专利申请数量可能更多。

图6 语言大模型技术中国专利申请量趋势

图7 人工智能大模型技术中国专利主要申请人[11]

图8 语言大模型技术中国申请人在美国的申请量

1）国内语言模型相关专利

2019年3月，百度提出文心大模型ERNIE，随后百度在知识图谱、语言理解与生成技术、以及机器翻译、对话系统、摘要生成、长文本语义、文本纠错等领域都进行布局。其中知识图谱包括实体知识图谱、行业知识图谱、事件图谱、关注点图谱以及多模态图谱。

华为与清华大学、哈尔滨工业大学、中国人民大学等高校均有合作，语言模型包括自回归模型，并在模型训练方法、量子电路进行模型复数运算、降低训练PLM所需资源、文本向量等方向进行专利布局。

图9给出了国内语言模型相关专利发展情况。其中，中国专利CN110717339A通过构建词语片段、句子以及文章三个不同层级的无监督或弱监督预训练任务，使得语义表示模型可以从海量数据中学习到词语片段、句子以及文章不同层次的知识，增强了通用语义表示的能力，提升NLP任务的处理效果，百度公司的这项专利还获得了第二十三届2022中国专利奖优秀奖。

图9 国内语言模型相关专利发展情况

针对多模态模型，百度的中国专利CN115374798A提出将跨语言预训练目标和跨模态预训练目标无缝地组合在统一的框架中，从可用的英文图像字幕数据、单语语料库和平行语料库在联合嵌入空间中学习图像和文本。华为的中国专利CN115688937A将不同模态的数据的特征表示映射到同一个离散空间中，可以基于该离散空间对多模态的特征表示进行建模，得到兼容多模态输入数据的模型。

2）国内人机交互应用相关专利

而针对类似于ChatGPT的人机交互应用，国内申请人也有相应的专利布局，但未进行海外布局。

表1 国内主要公司的技术布局情况

专利分析角度下的GPT技术局限性

目前免费版ChatGPT使用GPT-3.5版本（以下称为ChatGPT-3.5），具有出色的上下文对话能力，但是尚不能进行多模态交互，缺乏解决数学问题的能力，并且对于一些专业领域缺少足够的数据进行训练，导致无法常常无法生成适当回答。例如，笔者尝试用ChatGPT-3.5阐述美国专利US2021334475A1的技术方案，它可以完整地描述出专利的发明名称、技术方案等，但是这个专利文本实际上是微软公司于2020年6月24日申请的名为“具有解开注意力和多步解码的高效变压器语言模型”，公开日为2021年10月28日，ChatGPT-3.5的回答完全文不对题。至少ChatGPT-3.5无法做到专利号和发明内容的简单对应，这可能是缺少相关专利语料造成的。

图10 ChatGPT-3.5聊天截图

鉴于微软将GPT-4整合进NewBing中，笔者通过NewBing的聊天功能搜索美国专利US2021334475A1。虽然它能够完整的给出所有信息，但是除了发明名称是正确的，申请日、公开日、申请人、发明人信息都是错误的（见图11）。就此次结果而言，New Bing更倾向于在搜索的基础上对信息作出完整的补充，并不能保证真实性。

图11 New Bing聊天功能截图

需要注意的是，New Bing在多次尝试后，也会给出错误的答案（见图12）。

图12 New Bing聊天功能截图

ChatGPT-3.5以及NewBing都不能完整的提供专利文件信息，那么针对法律条款是否能获得较好效果呢？笔者分别向ChatGPT-3.5和NewBing询问“专利的技术方案是无法实现的，需要用到中国专利法的哪个法条”，ChatGPT给出的答案类似于使用大量法律文献训练模型的结果，虽然看似准确，但涉及的条款及其规定都不是中国专利法的内容，而NewBing则是搜索加工的结果，找到了适合的条款，但是法条规定的内容与该条款毫无关系。因此，ChatGPT-3.5和NewBing都不能保证生成内容的准确性。

图13 ChatGPT-3.5与New Bing聊天功能对比

探究其原因，GPT-3.5只是基于本地的语料库进行搜索，没有联网，所以对于很多无法获取的信息会进行杜撰，缺乏准确性，但是GPT-4和New Bing是具有联网形态的大语言模型，回答问题时会首先通过用户的询问在互联网上搜索相关的语料进行补充，所以可以杜绝部分杜撰的情况，但是对于非常见的问题，或者是信息缺失的情境下，还是会有编造的风险。

此外，ChatGPT的训练和部署都需要大量算力来支持，因此可能需要更轻量化的模型。对于国内企业而言，需要通过加深国内产学研合作方式推动大模型发展。根据公开资料检索发现，鹏城实验室与华为合作开发盘古大模型，与百度合作开发鹏城-百度・文心大模型；另一方面，华为把科研院所、产业厂商等结合起来，以期更好地让大模型产业形成正向的闭环回路。

对国内大模型技术发展的启示

1）强调原始创新，发展大模型可持续演化

大模型的未来需要原始性创新,也需要自我生长,向可持续、可进化的方向发展。人工智能技术近年来呈指数型发展趋势，在当今政治经济环境下，我们更应强调原始创新的重要性，掌握根技术，但也不能拘泥于闭门造车，要求事事从零起步，要重视国际国内合作交流，实现大模型的可持续演化。

2）建设大模型研发设施

如今的人工智能研究，已经突破单兵作战，“小作坊”式的埋头钻研无法在当下竞争日益激烈的环境中产出突破性科研成果。ChatGPT的横空出世也是基于前期几十亿美金的投入，大成果的产出必须依托大平台。国内应大力扶持高端科研平台，从数据、算力、工程创新能力三方面，三位一体加快建设大科学设施集群。

3）人才队伍培养

科技创新的竞争本质是科技人才的竞争。从前文分析可知，OpenAI的成功除了大量算力的投入，更重要的是聚集了大量顶尖的科学家和工程师。面向全球吸引具备攻克技术难关能力的杰出人才，选拔具备国际影响力的领军人才，培育具备较高发展潜力的青年人才，将会是国内人工智能发展的重要手段。

4）差异化竞争，安全伦理性加强

大模型技术的红利期还很长，ChatGPT的火爆出圈并不代表国内完全丧失先机，只能做跟跑者。文本语言类大模型，OpenAI走在前列，但在多模态大模型领域，世界各国科学家还在攻克技术难题。国内要想在新一轮人工智能科技创新中成为领跑者，就必须要学会差异化竞争，做出中国特色。大模型技术的演化一定会越来越强调科技伦理治理、系统安全性，在安全伦理方面的建设，突出中国价值观，也是我们需要关注的重点。

参考文献

[1]Greg Brockman etal. Introducing OpenAI. URL https://openai.com/blog/introducing-openai/, 2015.

[2] OpenAI Charter. URL https://openai.com/charter, 2018.

[3] 2023年1月10日路透社报道. URL https://www.reuters.com/technology/microsoft-talks-in【【微信】】owner-semafor-2023-01-10/, 2023.

[4] Paul F Christiano et al. Deep Reinforcement Learning from Human Preferences.URL Deep Reinforcement Learning from Human Preferences, 2017.

[5] Nisan Stiennon et al. Learning to summarize from human feedback. URL https://arxiv.org/abs/1706.03741, 2019.

[6] OpenAI. GPT-4 Technical Report. URL https://arxiv.org/abs/2303.08774, 2023.

[7] 智谱研究&AMiner. ChatGPT团队背景研究报告. URL https://originalfileserver.【【微信】】.cn/sys/【【微信】】/ai10/pdf/ChatGPT-team-background-research-report.pdf, 2023.

[8] OpenAI. Introducing ChatGPT. URL https://openai.com/blog/chatgpt, 2022.

[9] John Schulman et al. Proximal Policy Optimization Algorithms. URL https://arxiv.org/abs/1707.06347, 2017.

[10] William Fedus. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. URL https://arxiv.org/abs/2101.03961, 2021.

[11] IPRdaily. 中国人工智能大模型企业发明专利排行榜（TOP 50）. URL http://www.iprdaily.cn/article1_33676_20230320.html, 2023