vicuna小羊驼 小羊驼模型云部署
前段时间，斯坦福发布了Alpaca，是由Meta的LLaMA 7B微调而来，仅用了52k数据，性能可以与GPT-3.5匹敌。
现在UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿/130亿参数的【【微信】】，俗称「小羊驼」（骆马）。小羊驼号称能达到GPT-4的90%性能，下面来体验一下。
很多人提到各种问题，试了几个网盘。传了7b的权重（最新版v1.1），方便大家食用。
7b-v1.1: 小羊驼模型7b-v1.1 （访问码：aj2u）
13b-v1.1:小羊驼模型13b-v1.1 （访问码：p3nk）
留着备用 7b-v0： （访问码：3vug）
项目地址：
【【微信】】/FastChat: The release repo for "【【微信】】: An Open Chatbot Impressing GPT-4"项目权重采用llama权重+delta权重打patch的方式生成。
推荐使用下面版本的transformers
cd FastChat git pull pip install -e . # 会自动安装对应版本的transformers # 留着备用 # pip install git+https://github.com/huggingface/transformers@cae78c46d1.下载权重
pip install pyllama -U python -m llama.download --model_size 7B python -m llama.download --model_size 13B该方式支持断点续传。下载没速度后，ctrl+c停掉重新打开。
注意这里的【【淘密令】】_model，不要误删了。
下载后的文件列表如下（7B大小13G，13B大小25G，fp16）：
2. 权重格式转换
转换脚本如下，
脚本的位置如下图所示：
python con【【微信】】o_hf.py --input_dir https://zhuanlan.zhihu.com/p/ --model_size 7B --output_dir https://zhuanlan.zhihu.com/p/output/7B python con【【微信】】o_hf.py --input_dir https://zhuanlan.zhihu.com/p/ --model_size 13B --output_dir https://zhuanlan.zhihu.com/p/output/13B转换后的权重文件列表如下：
git clone https【【网址】】/lmsys/【【微信】】 git clone https【【网址】】/lmsys/【【微信】】 # 留着备用 # git clone https【【网址】】/lmsys/【【微信】】 # git clone https【【网址】】/lmsys/【【微信】】如下图，标记带有LFS的，单独点击下箭头下载。
lmsys/【【微信】】 ・ Hugging Face下载好后的权重列表如下（待更新到v1.1）：
python3 -m fastchat.model.apply_delta --base https://zhuanlan.zhihu.com/p/pyllama_data/output/7B --target vicuna_data/vicuna-7b-v1.1 --delta lmsys/【【微信】】 python3 -m fastchat.model.apply_delta --base https://zhuanlan.zhihu.com/p/pyllama_data/output/13B --target vicuna_data/【【微信】】 --delta lmsys/【【微信】】 # 留着备用 # python3 -m fastchat.model.apply_delta --base https://zhuanlan.zhihu.com/p/pyllama_data/output/7B --target vicuna_data/vicuna-7b --delta lmsys/【【微信】】/ # python3 -m fastchat.model.apply_delta --base https://zhuanlan.zhihu.com/p/pyllama_data/output/13B --target vicuna_data/vicuna-13b --delta lmsys/【【微信】】/7B模型合成需要30G内存，7B模型合成需要60G内存，内存不够的请增加swap大小。
羊驼模型文件列表如下：
python3 -m fastchat.serve.【【微信】】a_data/vicuna-7b-v1.1 python3 -m fastchat.serve.【【微信】】a_data/【【微信】】 --load-8bit # 多gpu支持 python3 -m fastchat.serve.【【微信】】a_data/vicuna-7b-v1.1 --num-gpus 2 # v0 留着备用 # python3 -m fastchat.serve.【【微信】】a_data/vicuna-7b # python3 -m fastchat.serve.【【微信】】a_data/【【微信】】t 13B需要28G显存，无法直接使用，可以使用--load-8bit
从图中可以看出羊驼模型对中文支持力度有限。
PS: 更新7b-v1.1后，中文理解能力依旧堪忧。
开3个终端窗口。
第一个窗口：
python3 -m fastchat.serve.【【微信】】 # 有些同学会报错"【【微信】】: Unrecognised argument(s): encoding" # 原因是python3.9以前不支持logging.basicConfig的utf-8参数 # 作者在最新版做了兼容处理，git pull后pip install -e .第二个窗口：
python3 -m fastchat.serve.【【微信】】name 'vicuna-7b-v1.1' --model-path vicuna_data/vicuna-7b-v1.1第三个窗口：
python3 -m fastchat.serve.【【微信】】port 8000测试：
curl http://localhost:8000/v1/chat/【【微信】】 \\ -H "Content-Type: application/json" \\ -d '{ "model": "vicuna-7b-v1.1", "messages":[{"role": "user", "content": "Hello!"}] }' {'model': 'vicuna-7b-v1.1', 'prompt': "A chat between a curious user and an artificial intelligence assistant. The assistant gi【【微信】】, detailed, and polite answers to the user's 【【微信】】. USER: 讲一个笑话 ASSISTANT: 为什么鸟儿不会把头发打成湿雨？\ \ 因为它们已经把它们的头发打成了鸟儿！</s>USER: 不好笑，请修改这个笑话 ASSISTANT:", 'temperature': 0.7, 'max_new_tokens': 512, 'stop': None}多轮对话上下文关联测试：
curl http://localhost:8000/v1/chat/【【微信】】 \\ -H "Content-Type: application/json" \\ -d '{ "model": "vicuna-7b-v1.1", "messages":[{"role": "user", "content": "讲一个笑话"},{"role":"assistant","content":"为什么鸟儿不会把头发打成湿雨？\ \ 因为它们已经把它们的头发打成了鸟儿！"},{"role": "user", "content": "这个笑话不 好笑，修改部分内容重新生成一个笑话"}] }'开3个终端窗口。
第一个窗口：
python3 -m fastchat.serve.【【微信】】 # 有些同学会报错"【【微信】】: Unrecognised argument(s): encoding" # 原因是python3.9以前不支持logging.basicConfig的utf-8参数 # 作者在最新版做了兼容处理，git pull后pip install -e .第二个窗口：
python3 -m fastchat.serve.【【微信】】name 'vicuna-7b-v1.1' --model-path vicuna_data/vicuna-7b-v1.1第三个窗口：
python3 -m fastchat.serve.【【微信】】port 8000测试：
bing chatgpt 使用指南 chatgpt会取代绘画吗
AIGPT是一款非常强大的人工智能技术的语言处理工具软件，它具有 AI绘画功能、AI写作、写论文、写代码、哲学探讨、创作等功能，可以说是生活和工作中的好帮手。
我们都知道使用ChatGPT是需要账号以及使用魔法的，其中的每一项对我们初学者来说都是非常不利的，但是AIGPT很给力的地方就是不需要我们注册OpenAI账户也无需我们去使用魔法就能轻松快捷的使用上人工智能工具。
注意：手机端跟pc端的数据是不相通的
以Windows安装为示例：还是非常简单的 详细图文教程 可查看 AIGPT中文版（无需魔法，直接使用）安装使用教程
1.双击运行 exe文件
2.选择安装路径 > 安装 > 等待安装
3.安装完成 运行程序
4.注册使用 （随便注册，没有限制，但是不可注册已存在的账户）
5.安装结束登录后直接使用
快捷方式 ：选择展开提问 可以实现快速的创作功能 下面以写小说为例
这里我选择了创作中的 "写一篇科幻小说" 效果如下
首先进入AI绘画界面 （下方是描述一些绘画的大体方向，右方我们还可以选择 生成的类型 以及生成的个数大小等。）> 选择类型 （提供了 通用、二次元、虚拟建模、真实景物、人物写真等）。
AI二次元效果图
类型： 二次元动漫
描述：一个扎着马尾辫的姑娘，头发是五颜六色的，可爱类型
那小伙伴也会问了 那生成后怎么保存在我本地呢 我该怎么获取到这张图片呢？
首先 点击生成好的图片 当然你可以选择下方单个的 最后选择 下载按钮即可。
进入首页 就提示我们它的功能是：
1.写代码、文案、论文、小说、根据描述绘图
2.内容润色、翻译、写诗词
3.扮演面试官、书籍、电影角色、陪聊、解忧讲故事等还是蛮全能的。
根据描述 绘画出你想要的图片 可直接下载。
当然了 它也给大家推荐了30张已经绘制好的图片 供你选择下载
其它功能 可以自行测试使用。
