chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署

互联资讯 2023-04-23 16:32:05 0

淘宝搜：【天降红包222】领超级红包，京东搜：【天降红包222】
淘宝互助，淘宝双11微信互助群关注公众号【淘姐妹】

清华平斋,清华大学平涌泉,清华大学平斋,清华平清婷

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答为了方便方便我们测试，我们需要进行本地化部署，本教程将进行linux服务器端进行部署，进行三种形式的部署，webui界面，命令行方式，api调用的方式，方便大家多种方式进行使用

网页端demo

命令行demo

api调用

一 .webui部署教程

1 先下载代码

2 使用anaconda安装虚拟环境

python版本3.10.6

cuda版本根据自己的显卡来选择，我是使用的3090 3 启动命令

下面的几个参数比较重要

Cmodel-path: chatglm6b模型的地址，建议自己下载，不要使用默认的参数，会自动吓到cache里面，多机器部署的时候很麻烦 Clisten: 监听端口 Cport: 访问的端口号【【微信】】: 是否使用gradio进行部署，建议不用开启

Cprecision: fp32(CPU only), fp16, int4(CUDA GPU only), int8(CUDA GPU only) 使用精度，根据自己部署设备的显存来选，int4占用的显存小一点

Ccpu: use cpu

启动完就可以用了

二 .命令行部署

1 下载代码

2 使用anaconda创建虚拟环境

3 启动命令

三 .api调用方式

1 下载代码

2 使用anaconda创建虚拟环境

3 启动命令

chatglm_api 脚本正常运行后，可以通过如下代码调用 ChatGLM-6B 模型来生成对话：

import re【【微信】】, history = “你好”, [] resp = requests.post(f"http://127.0.0.1:8080/predict?user_msg={user_msg}“, json=history) if resp.status_code == 200: response, history = resp.json()[“response”], resp.json()[“history”] print(response) 你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。 user_msg = “晚上睡不着该怎么办” resp = requests.post(f"http://127.0.0.1:8080/predict?user_msg={user_msg}”, json=history) if resp.status_code == 200: response, history = resp.json()[“response”], resp.json()[“history”] print(response) 晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法: 返回数据

制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。

如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。

默认部署在本地的 8000 端口，通过 POST 方法进行调用

得到的返回值为

四低成本部署模型量化默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，使用方法如下：

进行 2 至 3 轮对话后，8-bit 量化下 GPU 显存占用约为 10GB，4-bit 量化下仅需 6GB 占用。随着对话轮数的增多，对应消耗显存也随之增长，由于采用了相对位置编码，理论上 ChatGLM-6B 支持无限长的 context-length，但总长度超过 2048（训练长度）后性能会逐渐下降。如果你的内存不足的话，可以直接加载量化后的模型，仅需大概 5.2GB 的内存：

chatgpt怎么制作小程序搭建一个chatgpt的小程序

chatgpt,chatgpt官网,chatgpt国内能用吗,chatgpt怎么用

本篇文章给大家谈谈chatgpt小程序搭建，以及小程序搭建视频教程对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

1、必应chatgpt怎么用
2、chatgptapi接口3.0调用
3、chatgpt怎么下载
4、chatgpt怎么添加站点

【【微信】】的使用方法具体操作步骤如下：

1、工具/材料：小米11，【【微信】】。

2、首先打开ChatGPT的账户注册页面，谷歌注册或者邮箱注册都可以，以用邮箱注册为例。

3、用邮箱注册后会有一个验证邮件，进入邮箱，点开链接。

4、填写手机号，点击发送验证码。

5、网站会提示验证码，我们复制粘贴即可。

6、注册完后，去ChatGPT网站登录即可使用其相关功能。

什么是【【微信】】？

ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，款人工智能技术驱动的自然语言处理工具。

它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。同时也引起无数网友沉迷与ChatGPT聊天，成为大家讨论的火爆话题。

在OpenAI的官网上，ChatGPT被描述为优化对话的语言模型，是GPT-3.5架构的主力模型。

ChatGPT具有同类产品具备的一些特性，例如对话能力，能够在同一个会话期间内回答上下文相关的后续问题。然而，其在短时间内引爆全球的原因在于在网友们晒出的截图中，ChatGPT不仅能流畅地与用户对话，甚至能写诗、撰文、编码。

ChatGPT还采用了注重道德水平的训练方式，按照预先设计的道德准则，对不怀好意的提问和请求“说不”。一旦发现用户给出的文字提示里面含有恶意，包括但不限于暴力、歧视、犯罪等意图，都会拒绝提供有效答案。

因此，有些作者转而使用官网提供的低配版chatgpt，也就是用text-da【【微信】】模型代替的弱化版chatgpt，而opanai官网提供了对text-da【【微信】】模型的API，如下图所示（描述地址：【【网址】】/docs/api-reference/completions/create）：

接下来我们就主要述说该API的使用及说明。

在text-da【【微信】】模型中，我们使用的是chat模块进行对话，经测试部分输出内容和chatgpt官网相比还是不错的。

微信程序等地方，实现第三方调用。

目前很多B站视频中说的微信小程序可玩chatgpt、国内无需注册即可使用chatgpt的网站、和我自己发的QQbot中使用chatgpt的视频，大都使用此接口。

以下为postman的一次测试，具体参数可以查看官网对参数的说明o(*￣幔*)o

chatgpt下载步骤如下：

1. 在手机上访问应用商店，搜索“ChatGPT”，点击搜索结果中的“安装”按钮。

2. 等待您的手机安装完成ChatGPT，它将会在手机首页上显示一个新的图标。

3. 点击这个图标，您便可以进入到ChatGPT的应用中，并通过以下两种方式开始使用：

（1）可以利用ChatGPT的AI聊天机器人功能，就像与真实聊天者一样进行聊天。

（2）可以利用ChatGPT的机器学习功能，让ChatGPT学习你的对话，可以自动生成新的对话或内容。

4. 您也可以利用ChatGPT的强大自然语言处理功能，实现文本分析、分类和摘要，用于科研、分析或决策等。