开箱即用的思维方式,开箱即用的前端图片压缩方案,开箱即用的前端框架,开箱即用是什么意思英文

点击上方“Java基基”，选择“设为星标”

做积极的人，而不是积极废人！

每天?14:00?更新文章，每天掉亿点点头发...

源码精品专栏

?

• 原创 | Java 2021?超神之路，很肝~

• 中文详细注释的开源项目

• RPC 框架 Dubbo 源码解析

• 网络应用框架 Netty 源码解析

• 消息中间件 【【微信】】 源码解析

• 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析

• 作业调度中间件 Elastic-Job 源码解析

• 分布式事务中间件 TCC-Transaction 源码解析

• Eureka 和 Hystrix 源码解析

• Java 并发源码

来源：GitHubDaily

• 平价模型，强大能力

• 完整 ChatGPT 克隆方案

• 训练数据集开源

• RLHF算法复现

• 快速上手

• 系统性能优化与开发加速

• 系统基础设施 Colossal-AI

• 减少内存冗余的 ZeRO + Gemini

• 使用 LoRA 低成本微调

• 低成本量化推理

• 开放协作

在过去的短短几个月，以 ChatGPT、GPT4 为代表的 AI 应用和大模型火爆全球，被视为开启了新的科技工业革命和 AGI （通用人工智能）的新起点。

不仅科技巨头间你追我赶，争相推出新品，许多学术界、工业界的 AI 大佬也纷纷投入投身相关创业浪潮。

生成式 AI 正以“天”为单位，快速迭代，持续狂飙！

然而，OpenAI 并未将其开源，它们背后的技术细节有哪些？如何快速跟进、追赶并参与到此轮技术浪潮中？如何降低 AI 大模型构建和应用的高昂成本？如何保护核心数据与知识产权不会因使用第三方大模型 API 外泄？

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 知名开源项目 Colossal-AI 率先建立了包含监督数据集收集->监督微调->奖励模型训练->强化学习微调的完整 RLHF 流程。

以 LLaMA 为基础预训练模型，推出 ColossalChat，是目前最接近 ChatGPT 原始技术方案的实用开源项目 !

开源地址：https://github.com/hpcaitech/ColossalAI

包含以下内容

1. Demo：可直接在线体验模型效果，无需注册或 waitinglist；

2. 训练代码：开源完整 RLHF 训练代码，已开源至含 7B 和 13B 两种模型；

3. 数据集：开源 104K 中、英双语数据集；

4. 推理部署：4bit 量化推理 70 亿参数模型仅需 4GB 显存；

5. 模型权重：仅需单台服务器少量算力即可快速复现；

6. 更大规模模型、数据集、其他优化等将保持高速迭代添加。

ColossalChat 仅需不到百亿参数，在大语言模型的基础上进行 RLHF 微调，即可掌握中、英双语能力，达到与 ChatGPT 和 GPT-3.5 类似的效果。

例如常识问答：

中文应答：

写一封邮件：

写个算法：

基于 Spring Boot + MyBatis Plus + Vue & 【【微信】】 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

• 项目地址&#【【网址】】/YunaiV/【【微信】】

• 视频教程&#【【网址】】/video/

尽管 ChatGPT 和 GPT-4 等 GPT 系列模型非常强大，但是它们不太可能被完全开源。幸运的是，开源社区一直在不断努力。

例如 Meta 开源了 LLaMA 模型，该模型的参数量从 70 亿到 650 亿不等，130 亿参数即可胜过 1750 亿的 GPT-3 模型在大多数基准测试的表现。但是由于没有被指令微调（instruct tuning），因此实际生成效果不够理想。

斯坦福的 Alpaca 通过调用OpenAI API，以 self-instruct 方式生成训练数据，使得仅有 70 亿参数的轻量级模型以极低成本微调后，即可获得媲美 GPT-3.5 这样千亿参数的超大规模语言模型的对话效果。

但是现有开源方案都可以被视为只得到了人类反馈强化学习（RLHF）中第一步的监督微调模型 ，没有进行后续的对齐和微调工作。同时 Alpaca 的训练数据集过小，语料只有英文，也在一定程度上限制了模型的性能。

而 ChatGPT 和 GPT-4 的惊艳效果，还在于将 RLHF 引入训练过程，使得生成内容更加符合人类价值观。

RLHF的三个阶段

基于 LLaMA 模型，Colossal-AI 首个开源包含完整 RLHF 流程的类Chat模型复现方案 ColossalChat，是目前最接近 ChatGPT 原始技术路线 的实用开源项目!

基于 Spring Cloud Alibaba + Gateway + Nacos + 【【微信】】 + Vue & 【【微信】】 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

• 项目地址&#【【网址】】/YunaiV/【【微信】】

• 视频教程&#【【网址】】/video/

ColossalChat 开源了包含约 10 万条问答的中、英双语数据集。该数据集收集并清洗了社交平台上人们的真实提问场景作为种子数据集，利用 self-instruct 技术扩充数据，花费约 900 美元进行标注。

对比其他 self-instruct 方法生成的数据集，该数据集的种子数据更加真实、丰富，生成的数据集涵盖的话题更多。该数据可以同时用于微调和 RLHF 训练。通过高质量的数据，ColossalChat 能进行更好地对话交互，同时支持中文。

ColossalChat 数据集收集流程

RLHF-Stage1 是 super【【微信】】，即使用上文提到的数据集进行模型微调。

RLHF-Stage2 训练了奖励模型，它通过对于同一个 prompt 的不同输出进行人工排序，得到对应分数，监督训练奖励模型。

RLHF-Stage3 使用了强化学习算法，是训练流程中最复杂的一部分：

RLHF-Stage3算法流程图

在 PPO 部分，ColossalChat 分为两个阶段进行：首先是 Make Experience 部分，利用 SFT 、Actor、RM、Critic 模型计算生成 Experience 存入 buffer 中；之后是参数更新部分，利用 Experience 计算策略损失和价值损失。

在 PTX 部分，ColossalChat 计算 Actor 输出 response 和输入语料的回答部分的交叉熵损失函数，用来在 PPO 梯度中加入预训练梯度，以保持语言模型原有性能防止遗忘。最后将策略损失、价值损失和 PTX 损失加和进行反向传播和参数更新。

ColossalChat 开源了基于 LLaMA 模型，复现训练 ChatGPT 三个阶段的完整代码。

第一阶段，训练 SFT 模型：

第二阶段，训练奖励模型：

第三阶段，使用 RL 训练：

在获得最终模型权重后，还可通过量化降低推理硬件成本，并启动在线推理服务，仅需单张约 4GB 显存的 GPU 即可完成 70 亿参数模型推理服务部署。

ColossalChat 能够快速跟进 ChatGPT 完整 RLHF 流程复现，离不开 AI 大模型基础设施 Colossal-AI 及相关优化技术的底座支持，相同条件下训练速度 相比 Alpaca 采用的 FSDP(Fully Sharded Data Parallel) 可提升两倍以上 。

AI 大模型开发系统 Colossal-AI 为该方案提供了基础支持，它可基于 PyTorch 高效快速部署 AI 大模型训练和推理，从而降低 AI 大模型应用的成本。

Colossal-AI 由加州伯克利大学杰出教授 James Demmel 和新加坡国立大学校长青年教授尤洋领导开发。

自开源以来，Colossal-AI 已经多次在 GitHub 热榜位列世界第一，获得 GitHub Star 约两万颗，并成功入选 SC、AAAI、PPoPP、CVPR、ISC 等国际 AI 与 HPC 顶级会议的官方教程。

Colossal-AI 支持使用无冗余优化器 (ZeRO) 提高内存使用效率，低成本容纳更大模型，同时不影响计算粒度和通信效率。自动 Chunk 机制可以进一步提升 ZeRO 的性能，提高内存使用效率，减少通信次数并避免内存碎片。

异构内存空间管理器 Gemini 支持将优化器状态从 GPU 显存卸载到 CPU 内存或硬盘空间，以突破 GPU 显存容量限制，扩展可训练模型的规模，降低 AI 大模型应用成本。

Colossal-AI 支持使用低秩矩阵微调（LoRA）方法，对 AI 大模型进行低成本微调。LoRA 方法认为大语言模型是过参数化的，而在微调时，参数改变量是一个低秩矩阵。

因此，可以将这个矩阵分解为两个更小的矩阵的乘积。在微调过程中，大模型的参数被固定，只有低秩矩阵参数被调整，从而显著减小了训练所需的参数量，并降低成本。

GPTQ量化

为降低推理部署成本，Colossal-AI 使用 GPTQ 4bit 量化推理。在 GPT/OPT/BLOOM 类模型上，它比传统的RTN(rount-to-nearest) 量化技术能够获得更好的 Perplexity 效果。

相比常见的 FP16 推理，它可将显存消耗降低75%，只损失极少量的吞吐速度与 Perplexity 性能。

以 ColossalChat-7B 为例，在使用 4bit 量化推理时，70 亿参数模型仅需大约 4GB 显存即可完成短序列（生成长度为 128 ）推理，在普通消费级显卡上即可完成（例如 RTX 3060 Laptop），仅需一行代码即可使用。

如果采用高效的异步卸载技术(offload)，还可以进一步降低显存要求，使用更低成本的硬件推理更大的模型。

尽管已经进一步引入RLHF，但由于算力和数据集有限，在部分场景下的实际性能仍有提升空间。

幸运的是，不同以往 AI 大模型与前沿技术仅由少数科技巨头垄断，PyTorch、Hugging Face 和 OpenAI 等开源社区与初创企业在本轮浪潮中也起到了关键作用。

借鉴开源社区的成功经验，Colossal-AI 欢迎各方参与共建，拥抱大模型时代！

可通过以下方式联系或参与：

1. 在 GitHub 发布 issue 或提交 pull request (PR)

2. 加入 Colossal-AI 用户微信或 Slack 群交流

3. 发送正式合作提案到邮箱 youy@comp.nus.edu.sg

开源地址：https://github.com/hpcaitech/ColossalAI

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

最近更新《芋道 SpringBoot 2.X 入门》系列，已经 101 余篇，覆盖了?MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、【【微信】】、权限、WebSocket、Dubbo、RabbitMQ、【【微信】】、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例，以及超 6W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复?666?领取，更多内容陆续奉上。

---

tik tok变现 tiktok 小程序变现方式

用Chat gpt的13种变现玩法

Chat gpt作为一种强大的自然语言处理技术，可以被应用于许多领域。无论是商业、娱乐还是学术，都可以利用Chat gpt来实现更高效、更便捷的工作流程。

本文将介绍13种基于Chat gpt的变现玩法，帮助您利用这一技术赚取更多的收益。

1、卖账号：

随着Chat gpt的应用不断扩大，对于自然语言处理技术的需求也越来越大。对于那些没有开发能力但需要使用Chat gpt机器人的人来说，购买已有的Chat gpt机器人账号成为了一种便捷且经济的选择。

2、代写文章：

随着人们对高质量内容的需求越来越高，利用Chat gpt生成的文章可以大大减少人工写作的成本，并且为客户提供更快捷、更优质的写作服务，因此市场需求持续增长。

3、做社群：

由于Chat gpt可以创建虚拟的聊天机器人，这使得它成为了一种创建在线社群的强大工具。对于那些想要获取更多有价值信息的用户，加入具有丰富内容和独特服务的社群是他们的一个理想选择，因此社群市场需求也越来越大。

4、做直播：

随着直播行业的快速发展，利用Chat gpt生成的虚拟主持人和聊天机器人可以大大丰富直播内容，让直播更加有趣和互动，这种趋势在未来还会持续扩大。

5、开发者：

随着Chat gpt在商业应用中的需求不断增加，开发者利用Chat gpt来改进他们的应用程序、网站或软件，已经成为一个越来越重要的趋势。这种趋势在未来还会不断扩大，因此市场需求也会随之增加。

6、蹭热点引流：

随着社交媒体和互联网的不断发展，对于吸引更多的用户和粉丝的需求越来越高。利用Chat gpt可以对当前的热门话题进行分析和概括，创造出有趣的内容，以此来吸引更多的用户，这也是一种市场需求。

7、百度问答+文库：

百度问答项目目前比较卷，大量的人涌入其中。对于那些需要获取更多有价值信息的人来说，百度问答和文库是一个很好的选择，因此对于回答和解释大量问题的需求也越来越高。

8、Chat gpt+ai绘画：

由于数字和艺术领域的不断发展，利用Chat gpt和AI绘画生成艺术品的市场需求也越来越高。利用Chat gpt生成的文本和AI绘画可以创造出有趣、独特和吸引人的图像，可以用于制作各种艺术品或者商业用途，从而满足客户的需求。

9、Chat gpt+数字人、做短视频：

数字人是一种虚拟的人物形象，可以用于代替真人进行各种演出或者宣传。利用Chat gpt生成的文本和语音，可以为数字人提供有趣、独特的表现方式。这种趋势在数字娱乐和广告行业中已经得到广泛应用，市场需求也在不断增长。

10、提高效率：

随着企业运营的不断扩大，提高效率和降低成本已经成为一个越来越重要的课题。利用Chat gpt可以自动化各种工作流程，从而提高效率和减少成本，这种趋势在未来还会不断扩大，因此市场需求也会随之增加。

11、在线问诊：

随着人们对医疗服务的需求越来越高，利用Chat gpt为患者提供在线问诊服务已经成为一个越来越流行的趋势。这种趋势在未来还会不断扩大，因此市场需求也会随之增加。

12、制作PPT：

在商业和学术领域中，演示文稿已经成为一个重要的传播工具。利用Chat gpt生成高质量的PPT演示文稿，可以大大提高工作效率和减少制作成本，因此市场需求也会随之增加。

总结

以上是每个玩法市场需求的详细介绍。Chat gpt技术的不断发展已经为商业应用提供了很多创新解决方案，使得Chat gpt成为了一种非常有价值的技术。对于那些具有开发能力或创意的人来说，利用Chat gpt技术来实现商业变现已经成为了一个非常有吸引力的选择。

随着Chat gpt技术的不断完善和应用场景的扩大，我相信这种趋势将会不断加速发展。