是的，Think+Bot是基于模型的。是一个基于Transformer的自然语言处理模型，它是Open团队开发的，可以生成高质量的自然语言文本。Think+Bot使用了模型来理解用户输入，并生成有意义的回复。它可以进行智能对话、问答、情感分析等任务。Think+Bot的设计旨在为用户提供更加自然、流畅的交互体验，帮助用户解决问题、获取信息等。同时，Think+Bot还可以不断学习和优化自己的回复，以提高其准确性和质量。

---

llama.cpp：树莓派都能运行的类chatgpt项目

树莓派 cea dmt,树莓派实例,树莓派rtc,树莓派cpolar

热门话题：

• RMSNorm实现/修复：
• 缓存输入提示以加快初始化速度：
• 创建标志：

主要目标是在 MacBook 上使用 4 位量化来运行模型

• 纯 C/C++ 实现，不依赖其他库
• 首选 Apple silicon - 通过 ARM NEON 进行优化
• 支持 x86 架构的 AVX2
• 混合 F16/F32 精度
• 支持 4 位量化
• 在 CPU 上运行

这是在一个晚上破解的 - 我不知道它是否正确工作。 请不要根据此实现的结果对模型做出结论。 据我所知，它可能完全错误。这个项目是为了教育目的。 新功能可能主要通过社区贡献添加。

支持的平台：

• [X] Mac OS
• [X] Linux
• [X] Windows (通过 CMake)
• [X] Docker

以下是使用 LLaMA-7B 的典型运行：

这里还有一个演示，展示在单个M1 Pro MacBook上同时运行LLaMA-7B和whisper.cpp的情况：

以下是LLaMA-7B模型的步骤：

目前最好使用Python 3.9或Python 3.10，因为尚未为Python 3.11发布wheel。

在运行较大的模型时，请确保您有足够的磁盘空间来存储所有中间文件。

由于模型目前完全加载到内存中，因此您需要足够的磁盘空间来保存它们，并且需要足够的RAM来加载它们。目前，内存和磁盘要求相同。

model	original size	chatgpt (4-bit)
7B	13 GB	3.9 GB
13B	24 GB	7.8 GB
30B	60 GB	19.5 GB
65B	120 GB	38.5 GB

如果您想获得更像 ChatGPT 的体验，可以通过传递 参数来运行交互模式。 在此模式下，您可以随时通过按下 Ctrl+C 来中断生成，并输入一行或多行文本，这些文本将被转换为标记并附加到当前上下文中。您还可以使用参数 指定反向提示。这将导致在生成中遇到反向提示字符串的确切标记时，提示用户输入。一个典型的用法是使用一个提示符，让 LLaMa 模拟多个用户之间的聊天，比如 Alice 和 Bob，然后传递 。

这是一个例子，使用以下命令进行 few-shot 交互：

请注意使用 来区分用户输入和生成的文本。

你可以通过termux在Android设备上轻松运行文件。 首先，获取Android NDK，然后使用CMake构建：

在您的设备上安装termux，并运行以获取访问SD卡的权限。最后，将二进制文件和模型文件复制到您的设备存储中。以下是在Pixel 5手机上运行交互式会话的示例：

• 必须安装并在您的系统上运行Docker。
• 创建一个文件夹以存储大型模型和中间文件（例如，我使用/llama/models）

我们为此项目提供了两个Docker镜像：

1. ：此镜像包括主可执行文件和将LLaMA模型转换为ggml并转换为4位量化的工具。
2. ：此镜像仅包括主可执行文件。

下载模型、将它们转换为ggml并进行优化的最简单方法是使用--all-in-one命令，该命令包括完整的Docker镜像。

完成后，您就可以开始玩了！

或者使用轻量级图像：

• 我们目前不知道量化对生成文本质量的影响有多大
• 可能令牌采样可以得到改进
• 实际上，加速框架目前未被使用，因为我发现对于解码器的典型张量形状，与ARM_NEON内部实现相比没有任何好处。当然，有可能我只是不知道如何正确使用它。但无论如何，您甚至可以使用“LLAMA_NO_ACCELERATE=1 make”禁用它，因为当前实现不会调用任何BLAS调用

• 贡献者可以打开PR
• 协作者可以将分支推送到仓库中，并将PR合并到分支中
• 根据贡献邀请协作者
• 非常感谢管理问题和PR的任何帮助！
• 确保阅读此内容：边缘推理

• 避免添加第三方依赖项，额外的文件，额外的头文件等
• 始终考虑与其他操作系统和架构的交叉兼容性
• 避免花哨的现代STL构造，使用基本的循环，避免模板，保持简单
• 代码风格没有严格的规则，但尽量遵循代码模式（缩进，空格等）。垂直对齐使事物更易读和批量编辑
• 清除任何尾随空格，使用4个空格缩进，括号在同一行，，
• 查看good first issues以获取适合首次贡献的任务