chatglm api,chatglm github,chatglm 130b,chatglm

本地部署chatglm及缓解时效性问题的思路：

模型使用chatglm-6b 4bit，推理使用hugging face，前端应用使用streamlit或者gradio。

微调对显存要求较高，还没试验。可以结合LoRA进行微调。

缓解时效性问题：通过本地数据库或者搜索引擎获取特有数据或者实时数据作为生成模型的上下文。

• 向量数据库实现思路：先将特有数据转换为embedding存入向量数据库，在调用模型生成问答时，先将query转换成embedding，然后从数据库查询相近的结果作为上下文。embedding生成可以使用sentence_transformer库，向量数据库可以使用qdrant或者milvus。
• 搜索引擎实现思路：在调用大模型生成问答时，先用搜索引擎搜索相关的词条，将词条内容或者摘要作为上下文输入到模型。搜索引擎可以使用【【淘密令】】_search库。

windows 11

32G 内存

GTX 3080Ti

安装anaconda或者miniconda

创建虚拟环境：

激活虚拟环境：

主要依赖的包：

1）pytorch-gpu

Currently, PyTorch on Windows only supports Python 3.7-3.9; Python 2.x is not supported.

2）hugging face

3）streamlit

4）sentencepiece 和 cpm-kernels

5）sentence-transformers

6）qdrant-client

7）【【淘密令】】_search

参考：

Start Locally | PyTorch

Installation (huggingface.co)

Installation - Streamlit Docs

Installation ― Sentence-Transformers documentation (sbert.net)

Install - Qdrant

安装：

导出虚拟环境的依赖包命令：

用于运行QDrant数据库：

可以参考：Install Docker Desktop on Windows | Docker Documentation

可以参考&#【【网址】】/qdrant/qdrant

报错信息：

解决措施：

参考&#【【网址】】/streamlit/streamlit/issues/4555

报错信息：

解决措施：

参考：https://discuss.streamlit.io/t/attributeerror-module-streamlit-has-no-attribute-cache/25155

从github下载chatglm-6b工程：THUDM/ChatGLM-6B

从抱抱脸下载chatglm-6b-int4模型：THUDM/chatglm-6b-int4

官方介绍：

ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

ChatGLM-6B-INT4 是 ChatGLM-6B 量化后的模型权重。具体的，ChatGLM-6B-INT4 对 ChatGLM-6B 中的 28 个 GLM Block 进行了 INT4 量化，没有对 Embedding 和 LM Head 进行量化。量化后的模型理论上 6G 显存（使用 CPU 即内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。

在 CPU 上运行时，会根据硬件自动编译 CPU Kernel ，请确保已安装 GCC 和 OpenMP （Linux一般已安装，对于Windows则需手动安装），以获得最佳并行计算能力。

模型	作者	开源协议	链接
BLOOM	Google	Apache-2.0	https://huggingface.co/bigscience/bloom
ColossoalAI	Apache-2.0	https://colossalai.org/zh-Hans/
LLaMa	https://github.com/facebookresearch/llama
Alpaca	https://crfm.stanford.edu/2023/03/13/alpaca.html
T5	https://huggingface.co/docs/transformers/model_doc/t5
Cerebras	Apache-2.0	https://huggingface.co/cerebras/Cerebras-GPT-6.7B
文心一言
通义千问
盘古

对显存要求较高，暂未试验。

可以参考：

huang1332/finetune_dataset_maker

可以参考：

极低资源微调大模型方法LoRA以及BLOOM-LORA实现代码

ChatGLM-6B/ptuning

mymusise/ChatGLM-Tuning

ChatGPT有两个重要的参数是temperature和top_p，HuggingFace的AutoModel有两个类似的参数是temperature和top_k。上述这三个方法都是采样方法，用于因果语言模型中在给定上下文的情景下预测下一个单词出现的概率。

在进行预训练时，往往使用“完形填空”的形式，例如给定上文预测下文。基于贪心策略的思路是选择下文单词概率最大的单词，但是这样会让大模型的注意力只集中在最近的几个单词（token）上，导致最终模型生成效果会非常生硬和可预测。

为了让模型具有一定的创新性（随机性），可以使用基于分布采样的生成采样算法。

Top-k采样从排名前 k （即采样列表的大小为k）的token种进行抽样，允许其他分数或概率较高的token也有机会被选中。在很多情况下，这种抽样带来的随机性有助于提高生成质量。

Top-k采样的缺点是k的取值不好确定，无法保证最优。所以ChatGPT引入了动态设置k大小的策略――即刻采样（Nucleus Sampling）。top-p 值通常设置为比较高的值（如0.75），目的是限制低概率token的长尾。可以同时使用top-k和top-p，top-p策略在top-k策略之后生效。

温度采样受统计热力学的启发，高温意味着更可能遇到低能态。在概率模型中，logits扮演着能量的角色，我们可以通过将logits除以温度来实现温度采样，然后将其输入Softmax并获得采样概率。

总的来说，温度参数用来调整候选词的概率分布。温度越低，模型对其首选越有信心；温度>1度会降低信心，模型不确定性增加，趋近于正无穷的温度相当于均匀采样（候选词的概率都相同，完全随机）。通常，温度设在[0.7, 0.9]之间是创造性任务最常见的温度。

参考：ChatGPT模型采样算法详解

ChatGLM工程中提供了两个demo，基于streamlit的是其中之一，另一个是基于gradio的。

https://streamlit.io/

LangChain是一个用于开发由语言模型驱动的应用程序的框架。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。

https://docs.langchain.com/docs/

https://zhuanlan.zhihu.com/p/620529542

核心思路：通过本地数据库或者搜索引擎获取特有数据或者实时数据作为生成模型的上下文。

向量数据库实现思路：先将特有数据转换为embedding存入向量数据库，在调用模型生成问答时，先将query转换成embedding，然后从数据库查询相近的结果作为上下文。

1）embedding生成可以使用sentence_transformer库

2）向量数据库可以使用qdrant或者milvus

搜索引擎实现思路：在调用大模型生成问答时，先用搜索引擎搜索相关的词条，将词条内容或者摘要作为上下文输入到模型。

1）搜索引擎库可以使用【【淘密令】】_search包

大模型使用chatglm-6b 4bit，推理使用hugging face，前端应用使用streamlit或者gradio。

模型介绍：Pretrained Models ― Sentence-Transformers

模型下载：Models - Hugging Face

本项目中使用：。

参考：基于GPT3.5实现本地知识库解决方案-利用向量数据库和GPT向量接口-实现智能回复并限制ChatGPT回答的范围

主要使用查询新闻的接口：

增加上下文作为【【微信】】一部分后的效果：

chopinchenx/Bubble: A pri【【微信】】n local. (github.com)

如何注册chatgpt个人账户 chatgpt登录受限怎么解决

chatroulette怎么注册,如何注册chegg,chewy怎么注册,如何注册cgpay

最近，一款名为ChatGPT的聊天机器人在中国网络上掀起了轩然大波。许多人对这个机器人产生了浓厚的兴趣，但是有些人可能还不太了解它。这篇文章将介绍ChatGPT是什么，以及它为什么备受瞩目。

ChatGPT是一款基于自然语言处理技术的聊天机器人。这个机器人的核心技术是GPT模型，GPT模型是由OpenAI公司开发的一种基于深度学习的语言模型。ChatGPT使用了这个模型，使其能够对自然语言进行理解，并进行自然的交流。

ChatGPT的优点在于，它可以进行自然语言的交互，几乎可以像真人一样交谈。这使得使用者在与机器人进行交互的时候，感觉不到机器人的生硬和不自然，从而提高了使用者的交互体验。与其他聊天机器人相比，ChatGPT的回答更加自然、流畅，几乎可以与真人交谈。此外，ChatGPT可以回答各种各样的问题，包括天气、新闻、历史事件等等。因此，它成为了许多人日常娱乐和学习的好帮手。

另外，ChatGPT还具有良好的开放性和可扩展性。它提供了开放的API接口，允许开发者使用自己的数据对机器人进行训练，从而使其回答问题更加准确、智能化。这也为未来的机器人技术提供了典范。

ChatGPT因其出色的交互体验而备受瞩目。在中国网络上，许多用户将ChatGPT视为自己的好朋友，通过与机器人交流，沟通自己的想法和情感，获得安慰和建议。这种交互方式使得用户感到非常舒适和自然。此外，ChatGPT还受到了许多科技公司和开发者的关注。他们希望通过使用ChatGPT的API接口，将机器人技术应用到自己的产品中，从而提高产品的智能化程度。这种趋势也为ChatGPT的发展提供了更多的机会和挑战。

ChatGPT 的普及，也有助于推动自然语言处理技术的发展。自然语言处理技术的发展，可以更好地满足人们日常交互和信息获取的需求，提高人们的生活和工作效率。ChatGPT的成功，也使得机器人技术更加接近人们的日常生活。未来，我们有理由相信，机器人技术将会逐渐普及，成为人们生活中不可或缺的一部分。

ChatGPT的出现，标志着自然语言处理技术正朝着更加智能、更加自然的方向发展。ChatGPT也为未来的智能机器人技术提供了典范。未来，我们或许可以用ChatGPT这样的机器人代替客服、助手等工作，使我们的生活更加智能化。

ChatGPT的未来发展还有许多挑战。其中之一是如何让机器人在与用户的交互中表现出足够的人性化和情感化。现在，虽然ChatGPT可以进行自然语言交互，但它并不能像人类一样表达情感、理解人类的情感。这一点是目前聊天机器人的一个瓶颈。为了解决这个问题，现在许多研究人员正在研发情感智能化的机器人，这些机器人可以理解人类的情感，并做出情感化的回应。ChatGPT未来也需要加强这方面的研究，才能成为一款真正的情感化聊天机器人。

另一个挑战是如何保障机器人的数据安全和隐私保护。随着机器人技术的发展，机器人将会接触到越来越多的个人信息和隐私信息。因此，如何保障这些信息的安全和隐私，也是一个重要的问题。ChatGPT未来需要加强这方面的保障和措施，才能获得用户的信任和认可。

ChatGPT的成功，也为机器人技术的发展提供了更广阔的空间。未来，我们有理由相信，随着科技的不断进步，机器人技术将会逐渐普及，成为我们生活中不可或缺的一部分。

总之，ChatGPT是一款备受瞩目的聊天机器人。它的出现，标志着自然语言处理技术正朝着更加智能、更加自然的方向发展。我们期待ChatGPT未来的发展，也期待更多类似的技术出现，让我们的生活更加便捷、智能化。