21、担任影评人（Act as a Movie Critic）

互联资讯 2023-04-23 20:32:03 0

影评工作者叫什么

英文原文

I want you to act as a mo【【微信】】. You will develop an engaging and creati【【微信】】. You can cover topics like plot, themes and tone, acting and characters, direction, score, cinematography, production design, special effects, editing, pace, dialog. The most important aspect though is to emphasize how the mo【【微信】】. What has really resonated with you. You can also be critical about the movie. 【【微信】】. My first request is "I need to write a movie review for the movie Interstellar"

中文提示

我想让你扮演电影评论家的角色。你将开发一个引人入胜和有创意的电影评论。你可以涵盖情节、主题和基调、表演和角色、方向、配乐、摄影、制作设计、特效、编辑、节奏、对话等主题。最重要的方面是强调这部电影给你的感觉。真正引起你共鸣的是什么。你也可以对这部电影提出批评。请避免剧透。我的第一个要求是“我需要为电影《星际穿越》写一篇电影评论”

实践

英文原文

I want you to act as a relationship coach. I will pro【【微信】】he two people involved in a conflict, and it will be your job to come up with suggestions on how they can work through the issues that are separating them. This could include ad【【微信】】echniques or different strategies for impro【【微信】】ng of one another's perspectives. My first request is "I need help solving conflicts between my spouse and myself."

中文提示

我想让你担任关系教练。我会提供一些关于卷入冲突的两个人的细节，你的工作是就他们如何解决使他们分离的问题提出建议。这可能包括沟通技巧或不同策略的建议，以提高他们对彼此观点的理解。我的第一个要求是“我需要帮助解决我配偶和我之间的冲突。”

实践

英文原文

I want you to act as a poet. You will create poems that e【【微信】】he power to stir people’s soul. Write on any topic or theme but make sure your words con【【微信】】rying to express in beautiful yet meaningful ways. You can also come up with short 【【微信】】werful enough to leave an imprint in readers' minds. My first request is "I need a poem about love."

中文提示

我想让你扮演诗人的角色。你将创作出唤起情感的诗歌，并有激起人们灵魂的力量。就任何主题或主题写作，但确保你的文字以美丽但有意义的方式传达你试图表达的感觉。你也可以想出仍然强大到足以在读者脑海中留下印记的短诗。我的第一个要求是“我需要一首关于爱的诗”

实践

英文原文

I want you to act as a rapper. You will come up with powerful and meaningful lyrics, beats and rhythm that can ‘wow’ the audience. Your lyrics should ha【【微信】】g and message which people can relate too. When it comes to choosing your beat, make sure it is catchy yet rele【【微信】】o that when combined they make an explosion of sound e【【微信】】! My first request is "I need a rap song about finding strength within yourself."

中文提示

我希望你成为一名说唱歌手。你会想出强有力的、有意义的歌词、节拍和节奏，让观众“惊叹”。你的歌词应该有一个有趣的含义和信息，人们也可以把它联系起来。当谈到选择你的节拍时，确保它朗朗上口，但与你的话相关，这样当它们结合在一起时，每次都会发出爆炸性的声音！我的第一个要求是“我需要一首关于寻找自己力量的说唱歌曲。”

实践

#ChatGPT#

举报/反馈

2023-04-11_5分钟学会类ChatGPT本地部署

2023-02-01,2023-05-31 23:59:59,2023-04-13,2023-04-04

简单介绍

评论比较

邮件回复

网易云热评

角色扮演

编程问答，使用过程中有时候会输出一些乱码

旅游导向

信息抽取

写小说

其他

看清楚啦，不是本地部署ChatGPT，这里引用一段话

据业内人士称， ChatGPT 的参数高达175B，除了最头部的大厂之外，其他公司都训练不起。即使是百度，在目前阶段咬咬牙能跟上，往后很可能也跟不上了。175B参数的模型，意味着使用float8这样精度的参数，用Nvidia 的V100来做推理（32GB)，要5块卡才可以。训练一个175B参数的模型，需要1万块A100/H100这样的显卡。而最便宜的40GB的A100，目前大概是1万美元一块，意味着要先拿1亿美金出来买显卡。这还没有算配套的 CPU ，数据中心的其他设备，电力成本等，每年的投入可能高达10亿美金。另外很重要的一点是， Nvidia 旗舰线的A100和H100现在对大陆是禁运的。中国如何才能突破这一新的技术封锁，举国体制的优势是否能够再次得到有效发挥？

其中175B 表示1750亿参数
做推理，即我们使用GPT的过程它实际是一个推理的过程，需要32GB的N【【微信】】显卡，这样的显卡需要5张才能推理，也就是这样的硬件要求才能部署，所以消费级显卡也就不用想了。

所以仔细看标题，是类ChatGPT本地部署，类似于ChatGPT而不是ChatGPT（逃

这个类ChatGPT就是ChatGLM，介绍如下

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 P-Tuning v2 的高效参数微调方法 (使用指南) ，INT4 量化级别下最低只需 7GB 显存即可启动微调。不过，由于 ChatGLM-6B 的规模较小，目前已知其具有相当多的局限性，如事实性/数学逻辑错误，可能生成有害/有偏见内容，较弱的上下文能力，自我认知混乱，以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题，以免产生误解。更大的基于 1300 亿参数 GLM-130B 的 ChatGLM 正在内测开发中。

更多相关信息可在知乎查看讨论

此处主要说明其部署方式以及部分使用demo，注意以下的内容需要一定的代码基础，纯小白用户遇到问题请先自行百度。

本文主要说明Windows + 显卡部署方式，不讨论CPU部署方式，其硬件需要要求如下，也就是说最低显存要求6GB，少于6G可以不用继续看了。

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

安装之前首先准备一些资源

克隆原仓库所有文件，注意这个仓库里面全是纯文本没有模型

git clone https://github.com/THUDM/ChatGLM-6B

下载模型文件，可以直接去Hugging Face Hub下载对应文件，注意直接下载下来的文件没有包含完整的模型文件！！，特别注意，因为完整的模型文件很大，直接Hugging Face Hub下载比较慢，当然也可以直接在Hugging Face Hub下载，路径也是：

# 进入目录中  cd ChatGLM-6B  # Hugging Face Hub下载的文件在chatglm-6b目录中  GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

下载模型文件，即下面几个大文件，可以直接在Hugging Face Hub下载，也可以在清华大学云下载：

-rw-r--r-- 1 wx 197121  2.6M  4月 10 21:23 【【微信】】.model  -rw-r--r-- 1 wx 197121  1.7G  4月  9 22:17 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:18 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.9G  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:34 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:34 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.1G  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121 1020M  4月  9 22:31 【【微信】】00008.bin

特别注意此处有一个坑，一定要下载【【微信】】.model这个文件，因为直接在Hugging Face Hub下载下来的这个文件只是个空壳，没有实际的内容，总之一定要保证所有的文件和Hugging Face Hub保持一致，否则是不能加载的，此处列出所有的文件

$ ls -lh  total 13G  -rw-r--r-- 1 wx 197121   801  4月  9 22:43 【【微信】】.json  -rw-r--r-- 1 wx 197121  4.3K  4月  9 22:43 【【微信】】uration_chatglm.py  -rw-r--r-- 1 wx 197121  2.6M  4月 10 21:23 【【微信】】.model  -rw-r--r-- 1 wx 197121   12K  4月  9 22:43 LICENSE  -rw-r--r-- 1 wx 197121  2.4K  4月  9 22:43 【【微信】】 1 wx 197121   57K  4月  9 22:43 【【微信】】.py  -rw-r--r-- 1 wx 197121   33K  4月  9 22:43 【【微信】】.bin.index.json  -rw-r--r-- 1 wx 197121  1.7G  4月  9 22:17 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:18 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.9G  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:34 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.8G  4月  9 22:34 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121  1.1G  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121 1020M  4月  9 22:31 【【微信】】00008.bin  -rw-r--r-- 1 wx 197121   15K  4月  9 22:43 【【微信】】.py  -rw-r--r-- 1 wx 197121  5.0K  4月  9 22:43 【【微信】】.md  -rw-r--r-- 1 wx 197121   17K  4月  9 22:43 【【微信】】.py  -rw-r--r-- 1 wx 197121   461  4月  9 22:43 tokenizer_【【微信】】.json

另外上面实际是完整的所有模型文件，总共13G左右，经笔者验证后，13G的模型无法直接完整加载到显存中，因为超12G了（笔者显卡只有12G显存），但是可以使用量化模型的方式加载，4-bit量化后可以加载到显存，占用5.2G显存左右，但是量化加载需要13G的内存，就是无论无何这13G的模型文件要么直接加载到显存，要么加载到内存量化后再加载到显存，下面官方直接提供了量化后的模型文件，也就避免了上述处理13G模型文件的操作。

4-bit量化后的模型文件下载，和上面一样的道理，要保证模型文件完整，不能有任何一个文件缺失

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b-int4

官方提进一步提供了对【【微信】】量化后的模型，模型参数仅占用4.3 GB显存，再次注意所有文件不能有缺失

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b-int4-qe

在最外层的ChatGLM-6B目录打开【【淘密令】】窗口创建Python虚拟环境

# 创建虚拟环境  python -m venv venv  # 激活虚拟环境  .\\venv\\【【微信】】pan>\\Activate.ps1  # 安装依赖，此处很慢要么开T子要么配置国内代理  pip install -r .\\re【【微信】】pan>.txt

然后去这个地址找到适合自己的torch包

此处根据我的cuda版本下载如下文件，文件比较大，大概2G+（可在Windows cmd中使用n【【微信】】命令查询，其中第一行CUDA 【【微信】】: 12.1表示是12.1版本的cuda）

torch-2.0.0+cu118-cp310-cp310-win_amd64.whl

该文件命名表示含义如下

torch-2.0.0表示是torch2.0.0版本
cu118表示cuda11.8版本，实测cu118可以适用于cuda12.1版本
cp310表示python版本(cp310=python3.10版本)
win_amd64表示是Windows平台，使用amd64也就是x86指令集

将下载的文件拷贝到ChatGLM-6B目录后直接使用pip安装即可

cd ChatGLM-6B  # 激活虚拟环境  .\\venv\\Scripts\\Activate.ps1  # 安装torch  pip install torch-2.0.0+cu118-cp310-cp310-win_amd64.whl

测试是否安装成功，执行如下命令，如果能打印True，说明安装成功。

python -c "import torch; print(torch.cuda.is_a【【微信】】())"  True

一切顺利的话依赖也就安装好了，下面来手动试试，注意这里先试试手动量化4-bit后去在模型，会先将13G的模型文件放入到内存，如果内存没有剩余13G则无法加载，请看后文，如下直接在python代码中加载

# 输入python回车进入命令行  python  ?  >>> from transformers import AutoTokenizer, AutoModel  >>> tokenizer = AutoTokenizer.from_pretrained("E:\\\\AI\\\\ChatGLM-6B\\\\chatglm-6b", trust_remote_code=True)  >>> model = AutoModel.from_pretrained("E:\\\\AI\\\\ChatGLM-6B\\\\chatglm-6b", trust_remote_code=True).【【微信】】(4).half().cuda()  ...  Loading checkpoint shards: 100%||                 
                    本文地址：
                        https://www.528683.com//show-403383.html
                    
                    版权声明：除非特别标注原创，其它均来自互联网，转载时请以链接形式注明文章出处。
                
                                    
                                            
                                                
                                                    
                                                                                                        
                                                        ChatGPT中文教程
                                                    
                                                                                                    
                                            
                                        
                
                    分享到：