chatgpt离线部署 chatgpt 本地搭建教程
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
- 一、准备阶段
- 0、注册Open AI账号
- 1、创建API密钥
- 2、国内云服务器
- 3、国外云服务器
- 4、镜像网站代码
- 5、效果
- `重要:部署时会修改glibc库,为了防止云服务器被搞坏,请提前进行备份或者创建快照`
- `重要:部署时会修改glibc库,为了防止云服务器被搞坏,请提前进行备份或者创建快照`
- `重要:部署时会修改glibc库,为了防止云服务器被搞坏,请提前进行备份或者创建快照`
- 二、开始部署
- 1、部署HTTP代理
- 2、安装【【微信】】环境
- 3、安装pnpm
- 4、更新make、gcc、g++
- 5、安装Docker
- 6、部署镜像网站
- 7、使用反向代理部署网站
国内云服务器主要用来部署镜像网站,,国外服务器主要用来部署HTTP/HTTPS代理,因为,所以最好有一个在美国的服务器,部署完成后就能达到快速访问ChatGPT的效果。
参考链接【【网址】】/10247.html
参考链接【【网址】】/weixin_44825557/【【微信】】tails/129345140
链接:【Tencent云服务器】
【【微信】】服务器有些新地区刚开比较划算,性能基本能满足搭建梯子和HTTP代理
GitHub地址:chatgpt-mirror 蓝奏云:https://wwvb.【【微信】】.com/ik7Wy0tbx1vg 密码:ccng
我是使用自己的域名部署了一个网站,可以直接在浏览器输入网址后访问,这里就不放出来了,因为我这种部署方式用的是自己的API密钥,目前免费额度只有5$ ,太多人用很快就没了,你们可以用自己的API key,这个会在后面讲到!!![/狗头保命]
该项目明确表明需要用到 否则构建时会出现问题
安装好nvm和【【微信】】后
在上述步骤中会出现一些报错,例
这是因为【【微信】】 18.0依赖与高版本的glibc库,所以需要进行更新,从报错可知,我需要的最高版本为,所有我需要安装这个版本
因为我采用的是用docker容器的方式部署,所以需要安装docker
此时输入便可以访问网址,记得在云服务器管理后台开放该端口
若出现如下错误,可执行
此时可以将之前创建的容器进行删除,同时云服务器那边只需要开发和端口
使用宝塔后台添加网站 添加反向代理 此时直接访问配置好的网站名便可访问镜像网站。
chatgpt 大模型 ChatGPT 模型版本
chatgpt怎么下载,chatgpt国内能用吗,chatgpt怎么用,chatgpt怎么读书接上回:【【网址】】/nlpstarter/article/details/129834424推荐一个在本地部署中文类ChatGPT大模型的开源项目【【网址】】/nlpstarter/article/details/129834424
之前在推荐了一个中文类ChatGPT的大模型,感兴趣的可以看一下上面的链接。今天看到最新推出了13B版本的模型,迫不及待下载体验了。再贴一下项目地址:
项目名称:中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs) 项目地址:GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs)
根据官方的发布文档说明,本次主要更新了以下内容:
- 重磅更新了13B版本的LLaMA和Alpaca模型,其中Alpaca模型是类ChatGPT的交互模型
- 官方进一步细化了评测方法,以GPT-4作为评分员,对7B版本和13B版本进行了效果对比,最后7B版本总平均分是49分,13B版本是71分,看起来提升还是很大的。
- 另外官方还提供了谷歌colab的在线转换脚本,方便低资源用户进行模型转换
获取和转换模型的步骤和之前完全一致,这里就不详细说了,还是进入到大家最关心的测试环节!
顺便插播一句:13B版本肯定是要比7B慢一些的,但是几乎不会有太大的体感,量化模型的整体输出还是非常顺畅的,没有什么卡壳的情况。
和7B一样,答的还是很切题的,甚至可以在聊几轮过后让它写一个小作文。
这道题上次答的不尽人意,这次也是一样。说明目前的训练数据以及模型规模不足以让模型能够很好的掌握数学运算和推理问题。
这道题上次答的还行,不过整体上看起来并不像是在做宫保鸡丁。这回似乎也不是很好,材料里有猪肉。
上一次的信写的还是可以的,这回我增加了难度。可以看出
- 信件的内容更加丰富了
- 令我惊讶的是,居然可以让他按照我的要求重新改一份,而且是由针对性的修改。为什么觉得惊讶呢,是因为官方并没有使用多轮的数据,不知道是因为LLaMA模型自带的上下文理解能力还是其他的一些magic。
- 整体的上下文理解比7B更加准确,对细节把控的更好
官方这次给出了10大类的任务评测。里面包含一个文学方面的内容,我也试着进行了一些提问。可以看出事实性非常好,而且能够联系上下文进行简要的剖析。
我用GPT-4给上面的对话进行了打分,可以看出GPT-4对这段对话很满意,对四段对话都给出了9/10的高分。?
虽然官方没有评测这个类别,我觉得还是可以评一下的,看看机器有没有共情能力。从以下的截图中可以看出,机器还是提供了一些情感建议的,点赞。
官方也没有评测这个类别,我也试试。看似是有一些模仿能力,但是中间夹杂着一些奇怪的emoji符号,看样子是训练数据里没有类似的数据供拟合。?
可以看到13B在事实性方面,上下文理解方面得到了进一步的进化,在书信、写作等长文本能力上也得到了很大的进步。但是也能看到目前模型在数值推理等场景还是做的很差。这部分能力似乎是各种任务里比较困难的部分了,光靠简单的精调数据去拟合应该是远远不够的。不过,考虑到目前的模型量级以及训练数据量来看还是可以的。期待未来更多更好的模型出现。