有用+1 已投票

中文名

文心大模型 ^[9] 

外文名

Big Model ERNIE

别    名

文心 ^[6] 

隶属公司

百度

官    网

https://wenxin.baidu.com/

编辑 播报

文心大模型持续围绕“产业级”、“知识增强”两大特性，延续“降低应用门槛”的发展路线，进行创新突破。在模型层，文心大模型涵盖基础大模型、任务大模型、行业大模型的三级体系，全面满足产业应用需求；在工具与平台层，全面升级大模型开发套件、文心API和提供全流程开箱即用大模型能力的EasyDL和BML开发平台，全方位降低应用门槛；新增产品与社区层，包括AI艺术与辅助创作平台“文心一格”、产业级搜索系统“文心百中”和D谷社区，让更多人零距离感受到最先进的AI大模型技术带来的新体验。 ^[30] 

编辑 播报

1、知识增强：从大规模知识和海量数据中融合学习，提升了学习效率、可解释性及模型效果

2、产业级：源于产业实践，服务于产业实践，满足真实场景中的应用需求

1、模型效果优：所需标注数据少，在各场景上的效果处于业界领先水平

2、生成能力强：拥有丰富的AI内容生成（AIGC）能力

3、应用门槛低：文心大模型提供了丰富的平台与工具，包括大模型开发套件、API以及内置文心大模型能力的EasyDL和BML开发平台

编辑 播报

文心大模型与各行业企业联手，在通用大模型的基础上学习行业特色数据与知识，建设行业AI基础设施。 ^[40] 

截至2022年11月，文心已累计发布11个行业大模型，涵盖电力、燃气、金融、航天、传媒、城市、影视、制造、社科等领域，实现显著效果提升，产业生态初步形成 ^[41]  ，正在成为加速推动行业智能化转型升级的重要力量 ^[41]  。文心行业大模型是百度与行业头部企业、机构联合探索出的行之有效的大模型产业落地方式，让大模型在实际应用场景中“不但能用还便捷好用”。 ^[30] 

航天-百度 ・ 文心大模型 ^[10] 

航天-百度・文心由百度和中国探月与航天工程联合研发。百度CTO王海峰介绍，作为世界上首个航天领域大模型，航天-百度・文心可以将航天领域的数据和知识融合学习，对航天数据进行智能的采集、分析和理解，助力深空智能感知、规划和控制等技术突破。 ^[10] 

国网-百度 ・ 文心大模型 ^[11] 

国网-百度 ・ 文心由百度和国家电网联合研发。在能源电力行业，百度与国家电网合作，共同探索了行业大模型机制。基于通用文心大模型，百度与国网的专家们一起，引入电力业务积累的样本数据和特有知识，并且在训练中，结合双方在预训练算法和电力领域业务与算法的经验，设计电力领域实体判别、电力领域文档判别等算法作为预训练任务，让文心模型深入学习到了电力专业知识，在国网场景任务应用效果提升。 ^[11] 

浦发-百度 ・ 文心大模型 ^[11] 

浦发-百度 ・ 文心由百度和浦发银行联合研发。文心大模型结合浦发场景积累的行业数据与知识，双方技术和业务专家一起设计了针对性的财报领域判别、金融客服问答匹配等预训练任务，让文心大模型学习到金融行业的知识，在浦发典型任务应用效果显著提升。 ^[11] 

人民网-百度・文心大模型 ^[31] 

针对新闻行业内容繁杂、信息提取难度极大等痛点，人民网与百度在传媒行业场景、大数据和AI算法上合作，引入人民网舆情数据中心积淀的行业知识， 顺应内容与技术发展，联合研发知识增强的传媒行业大模型，打造全媒体时代内容科技创新引擎，加速传媒行业的智能化升级。 ^[31] 

人民网-百度・文心能够大幅度提升传媒行业自然语言处理任务的效果，并在诸多媒体行业的下游任务中得到了验证。例如，新闻摘要生成任务上，人工测评可用率提升约7%；新闻内容审核分类、舆情分析等任务上，相对通用大模型，媒体行业大模型取得了4-6%的效果提升。

该行业大模型已经在新闻内容分类、新闻情感分析、新闻摘要生成等多个媒体场景得到应用。 ^{[31]  [42]} 

冰城-百度・文心大模型 ^[45] 

面对城市建设、管理、服务内容繁杂、事项广泛，人力消耗巨大等挑战，冰城哈尔滨与百度结合城市发展需求、人工智能算力、算法、数据，联合研发了加速数字政府建设、支撑高质量数字化发展的智慧城市大模型冰城-百度・文心，赋能城市精准治理，致力于打造辐射全国的城市智能化标杆。

目前，冰城-百度・文心大模型已在哈尔滨智慧城市的具体应用场景，如市长热线工单分类、投诉工单信息抽取等场景中得到验证，取得了显著的效果提升。在政府管理更加场景化、服务更加个性化的数字政府背景下，文心大模型的引入正在支持哈尔滨城市治理、产业发展、公共服务等多领域实现智能化转型。 ^[45] 

电影频道-百度・文心大模型 ^[43] 

电影频道-百度・文心由电影频道与百度联合研发，通过结合双方在视频修复数据、AI技术与大算力上的优势，全方位提升视频修复效率和观感体验效果，以AI技术加速超高清视频产业的智能化发展进程。测试数据显示，使用电影频道-百度・文心大模型每天可修复视频28.5万帧，解决了绝大部分视频画面的修复问题。即便是需要进一步精修，修复速度也能提升3-4倍。 ^[43] 

深燃-百度・文心大模型 ^[32] 

针对燃气行业中槽车作业、园区生产等场景存在安全隐患的痛点，深圳燃气与百度进行深度合作，在行业数据、AI算法和算力上优势互补，联合建设燃气行业大模型，确保工作人员进行安全作业、消除安全隐患，助力燃气行业智能化升级。使用深燃-百度・文心大模型，在燃气行业场景的工业巡检、环境巡检两个子场景下，准确率平均提升2.5% 、召回率平均提升4.5%，所需标注数据相比传统模型下降90%，泛化能力大幅提升， 同时能够减少算力消耗和训练时间。 ^[32] 

TCL-百度・文心大模型 ^[32] 

面对电子制造行业产线繁多、质检工艺复杂且精度要求高的痛点，TCL和百度在行业数据、AI算法及大算力上实现优势互补，共同构建TCL-百度・文心电子制造行业大模型，不仅变革了传统质检算法流程，同时大幅提升了模型研发与运营效率，实现了成本的降低和业务效率的提升。使用TCL-百度・文心大模型，在TCL两个产线检测mAP指标平均提升10%以上；训练样本减少到原有训练样本的30%～40%，产线指标即可达到原有效果，新产线冷启动效率可提升3倍，产线上线开发周期降低30%。 ^[32] 

泰康-百度・文心大模型 ^[32] 

结合泰康与百度在保险行业的特有知识、AI算法和大算力上的经验优势，双方联合建设了面向保险行业的大模型泰康-百度・文心，在医疗保险理赔中提供信息的自动化识别和提取，助力保险产业智能化升级。该模型在4类医疗票据上的平均字段识别率可达到90%以上，在多行字段、印章遮挡等复杂场景下，OCR结构化信息抽取表现依旧强劲。基于泰康-百度・文心大模型，能够加强健康险理赔各环节自动化能力建设，实现理赔支付全流程时效提升。 ^[32] 

吉利-百度・文心大模型 ^[44] 

立足于汽车行业知识庞杂、客服人力需求大等业务痛点，吉利与百度融合了双方在通用人工智能科研与汽车领域AI应用的优势，联合研发了聚焦于汽车行业的大模型， 共同推进汽车产业通用智能化，在降低AI应用落地成本的同时，进一步提升汽车行业AI应用的效果与价值。 ^[44] 

共建模型的智能客服知识库扩充任务人工评估可利用率相对基线提升24.37%，能大幅提高问答的泛化水平，提高客服系统的智能化体验； 除此以外，在车载语音系统短答案生成、汽车领域知识库构建等生成任务上的效果均有20%-35%的提升，可辐射至多个汽车行业场景。

该模型已经在包括智能客服系统、车载语音系统、领域知识库构建等汽车行业场景得到应用。 ^[42] 

辞海-百度・文心大模型 ^[32] 

针对人文社科知识庞杂、数据海量、知识提炼精度高效率低等行业痛点，上海辞书出版社与百度携手，将预训练大模型与《辞海》建设相融，吸纳无数人文社科专家学者们的智慧结晶，推出面向人文社科领域的大模型， 有望在人文社科领域发挥通用人工智能的价值，加速传统行业数字化、信息化、智能化建设。

该模型在知识挖掘-词条发现任务的F1值提升3.4%，有效地提升了信息抽取的效率，助力领域知识图谱构建；除此以外，该模型在词条管理-同名条目去重、版权保护-侵权检测等理解任务上的效果均取得显著提升， 可广泛应用于多个人文社科行业的场景。

该模型应用场景包括知识挖掘、词条管理、版权保护等人文社科行业场景。 ^[32] 

ERNIE 3.0 ^[15] 

ERNIE 3.0首次在百亿级和千亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化知识和无结构文本之间的信息共享，大幅提升了模型对于知识的记忆和推理能力。在此基础上，ERNIE 3.0提出了将通用语义表示与任务语义表示相结合的模型框架，该框架融合自编码和自回归等不同的任务语义表示网络，既可同时处理语言理解和语言生成任务，还能做无标注数据的零样本学习（Zero-shot Learning）和有标注数据的微调训练（【【微信】】）。

ERNIE 3.0刷新情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学运算等54个中文NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上, 以超越人类水平0.8个百分点的成绩登顶全球榜首。 ^[15] 

鹏城-百度・文心(ERNIE 3.0 Titan)参数规模达到2600亿，相对GPT-3的参数量提升50% 。沿袭了ERNIE 3.0的海量无监督文本与大规模知识图谱的平行预训练算法及兼顾语言理解与语言生成的统一预训练框架。在此基础上，鹏城-百度・文心中提出了可控学习和可信学习算法。在可控学习方面，模型具备了不同类型的零样本生成能力。使用者可以将指定的体裁、情感、长度、主题、关键词等属性自由组合，无需标注任何样本，便可生成新的类型的文本。在可信学习方面，鹏城-百度・文心通过自监督的对抗训练，让模型学习区分数据是真实的还是模型伪造的，使得模型对生成结果真实性具备判断能力，从而让模型可以从多个候选中选择最可靠的生成结果，显著提升了生成结果的可信度。

鹏城-百度・文心首创了大模型在线蒸馏技术，显著降低了大模型应用成本。其在训练过程中周期性地将知识信号传递给若干个学生模型同时训练，保证了学生模型的效果和尺寸丰富性，方便不同性能需求的应用场景使用。其参数压缩率可达99.98%。压缩版模型仅保留0.02%参数规模就能与原有模型效果相当。

鹏城-百度・文心在60多项任务中取得最好效果，在其中30多项小样本和零样本任务上大幅刷新业界基准。知识推理任务上，鹏城-百度・文心相对OpenAI GPT-3准确率绝对提升8%。在行业领域，仅利用少量标注数据甚至无需标注数据，就能解决新场景的任务已成为AI工业化大规模应用的关键。 ^[15] 

ERNIE 3.0 Zeus ^[11] 

ERNIE 3.0 Zeus是ERNIE 3.0系列模型的最新升级。其除了对无标注数据和知识图谱的学习之外，还通过持续学习对百余种不同形式的任务数据学习。实现了任务知识增强，显著提升了模型的零样本/小样本学习能力。ERNIE 3.0 Zeus在学习过程中使用统一范式的多任务学习，建模数据中不同粒度的语义信息。为了进一步学习特定任务的相关知识，ERNIE 3.0 Zeus提出了层次化提示（Prompt）学习技术。在数据构造时通过层次化的Text Prompt库将百余种不同的任务统一组织成自然语言的形式，和海量无监督文本以及百度知识图谱联合学习。此外训练过程引入了层次化的 Soft Prompt 建模了不同任务之间的共性与特性，进一步提升了模型对于不同下游任务的建模能力。

ERNIE 3.0 Zeus可以支持智能创作、摘要生成、问答、语义检索、情感分析、信息抽取、文本匹配、文本纠错等各类自然语言理解和生成任务。基于ERNIE 3.0 Zeus对外发布了业界首个开放的千亿参数的中文生成API，供各行各业的开发者调用和开发，使用其强大的零样本和小样本学习能力。 ^[11] 

ERNIE 3.0 Tiny ^[47] 

首个基于多任务知识注入的下游无关蒸馏的轻量级大模型，ERNIE 3.0 Tiny在兼顾模型的效果与性能同时，表现出出色的泛化性优势。ERNIE 3.0 Tiny在 20个中英文数据集上取得SOTA效果。 ^[47] 

ERNIE-Health ^[26] 

ERNIE-Health依托百度文心ERNIE先进的知识增强预训练语言模型打造，通过医疗知识增强技术进一步学习海量的医疗数据，精准地掌握了专业的医学知识。ERNIE-Health利用医疗实体掩码策略对专业术语等实体级知识学习，学会了海量的医疗实体知识。同时，通过医疗问答匹配任务学习病患病状描述与医生专业治疗方案的对应关系，获得了医疗实体知识之间的内在联系。ERNIE-Health以超越人类医学专家水平的成绩登顶中文医疗信息处理权威榜单CBLUE冠军，并在多个医疗NLP任务上取得世界领先效果。 ^[26] 

ERNIE-Finance在海量金融领域文本和通用文本上进行训练，使得模型学习了金融领域知识，在金融问答，金融事件主体抽取等一系列金融领域任务上提升显著。为提升ERNIE在金融文本领域的效果，ERNIE-Finance提出了多数据源，多任务模型分支策略，使模型在训练过程中顶层结构学习金融领域知识，底层结构可以同时获得来自金融文本和通用文本的知识。

PLATO ^[17] 

PLATO (Towards Buildingan Open-DomainChatbot 【【微信】】g) 是世界首个基于隐变量的生成式开放域对话大模型，利用隐变量建模开放域对话中的一对多关系（一个输入对应多个正确输出），采用Unified Transformer框架共享生成模型中的编码器和解码器参数，通过课程学习方式提升模型训练效率，在精细化构建的大规模高质量对话语料上基于飞桨深度学习框架训练的对话大模型。 PLATO具备接近真人水平的多轮流畅对话能力，开放域对话效果达到世界领先水平。

PLATO-1： 百度NLP于2019年10月预发布了通用领域的对话生成预训练模型PLATO，在ACL 2020正式展示，参数规模约1亿。

PLATO-2： 2020年6月底发布，参数规模扩大到16亿，涵盖中英文版本，可就开放域话题深度畅聊。PLATO-XL：2021年9月发布，参数规模110亿，当前最大规模的中文对话预训练生成模型。 ^[17] 

ERNIE-UIE是基于文心ERNIE大模型专门训练的通用信息抽取模型。ERNIE-UIE使用单模型同时建模实体、关系、事件、情感等多种信息抽取任务，具备跨领域和跨任务迁移能力。用户可使用自然语言自定义抽取目标，无需训练模型即可实现开放域环境下的关键信息提取。

ERNIE-Search ^[16]