庆云古诗词

庆云古诗词

清华团队推出对话机器人ChatGLM,支持在个人电脑上部署和调优|清华大学|机器人

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

清华的ai机器人,清华机器人导师,清华学生机器人,清华的智能机器人

  IT之家 3 月 22 日消息,在 ChatGPT 的核心团队中,不乏清华大学毕业进入 OpenAI 的开发者,就在 GPT-4 发布的同一天,清华大学顶尖的 NLP 团队,也公开了自研的类 ChatGPT 的大模型 ―― 中英双语对话模型 ChatGLM-6B,初具问答和对话功能,现已开启邀请制内测(内测申请网址?http://chatglm.cn),后续还会逐步扩大内测范围。

  官方博客中提到,这是一个初具问答和对话功能的千亿中英语言模型,并针对中文进行了优化。该模型基于 General Language Model(GLM)架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

  具体来说,ChatGLM-6B 具备以下特点:

  •   充分的中英双语预训练:ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量,兼具双语能力。

  •   优化的模型架构和大小:吸取 GLM-130B 训练经验,修正了二维 RoPE 位置编码实现,使用传统 FFN 结构。6B(62 亿)的参数大小,也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。

  •   较低的部署门槛:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的显存进行推理,结合模型量化技术,这一需求可以进一步降低到 10GB(INT8)和 6GB(INT4),使得 ChatGLM-6B 可以部署在消费级显卡上。

  •   更长的序列长度:相比 GLM-10B(序列长度 1024),ChatGLM-6B 序列长度达 2048,支持更长对话和应用。

  •   人类意图对齐训练:使用了监督微调(Super【【微信】】)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(RLHF)等方式,使模型初具理解人类指令意图的能力。输出格式为 markdown,方便展示。

  因此,ChatGLM-6B 具备了一定条件下较好的对话与问答能力。当然,ChatGLM-6B 也有相当多已知的局限和不足:

  •   模型容量较小:?6B 的小容量,决定了其相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时,ChatGLM-6B 可能会生成不正确的信息;她也不擅长逻辑类问题(如数学、编程)的解答。

  •   可能会产生有害说明或有偏见的内容:?ChatGLM-6B 只是一个初步与人类意图对齐的语言模型,可能会生成有害、有偏见的内容。

  •   较弱的多轮对话能力:?ChatGLM-6B 的上下文理解能力还不够充分,在面对长答案生成,以及多轮对话的场景时,可能会出现上下文丢失和理解错误的情况。

  •   英文能力不足:?训练时使用的指示大部分都是中文的,只有一小部分指示是英文的。因此在使用英文指示时,回复的质量可能不如中文指示的回复,甚至与中文指示下的回复矛盾。

  •   易被误导:?ChatGLM-6B 的“自我认知”可能存在问题,很容易被误导并产生错误的言论。例如当前版本模型在被误导的情况下,会在自我认知上发生偏差。即使该模型经过了 1 万亿标识符(token)左右的双语预训练,并且进行了指令微调和人类反馈强化学习(RLHF),但是因为模型容量较小,所以在某些指示下可能会产生有误导性的内容。

  该团队称,一直在探索、尝试和努力,GLM 系列模型取得了一丝进展,但离国际顶尖大模型研究和产品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)都还有明显差距。中国大模型研究在原创算法、AI 芯片和产业上的追赶与突破需要大家的一起努力,更需要我们对下一代 AI 人才的培养与锻炼。

  IT之家附 ChatGLM-6B 的对话效果展示:


chatgpt使用详细初级教程视频 chatgpt plus有什么优势

chatgpt,chatgpt官网,chatgpt国内能用吗,chatgpt开源

最近,你是否听过一个词――ChatGPT。然而,随着其短时间内迅速蹿红,不法分子利用其热度或者技术实施违法犯罪行为,也需要我们引起重视。

今天,小编为您揭秘几种有关ChatGPT的*手段→

山寨版捞金*

随着ChatGPT爆火,国内也涌现了一批名字中包含“ChatGPT”的微信公众号、小程序产品。这些产品使用ChatGPT的官方图标当头像,主要的服务方式是先免费试用,一旦免费次数用尽就开始收取费用

通过验证,ChatGPT官方平台回复与微信小程序软件比对,答案完全不一致。

目前,ChatGPT的开发者、人工智能研究机构OpenAI并没有在中国大陆提供有关ChatGPT的服务,也没有相应的公司运营。

钓鱼邮件*

目前境外有人使用ChatGPT创建一个完整的感染链:不同以往的广撒网式的网络钓鱼,它在提问者的诱导下可以生成针对特定人或者组织的“鱼叉式”网络钓鱼邮件,此类钓鱼邮件更具有欺骗性和迷惑性,这就导致邮件接收方更容易上当受骗,接收者一旦点击该邮件,系统就会被恶意代码感染中毒。

与此同时,在ChatGPT推出几周后,不法分子对ChatGPT的恶意利用也带来了更多的数据安全问题,目前外国已有相关机构证明该机器人可能被用于编写恶意软件,从而逃避防病毒软件的检测,或利用其拟人的聊天对话能力,冒充真实的人或者组织骗取他人信息等。

编造谣言工具

根据研究机构测试发现,如果对着ChatGPT提出误导性叙述的问题,它能在几秒钟内改编信息,产生大量令人信服却没有来源根据的内容。

一旦ChatGPT被不法分子利用,将可能导致ChatGPT衍生成为互联网上制造和传播网络谣言的工具。

温馨提示

ChatGPT的信息,也是来源于互联网;而互联网中信息并不总是准确的,请大家务必擦亮眼睛,辨别网上信息真伪,合法合规使用软件,切勿泄露个人信息!

海量资讯、精准解读,尽在新浪财经APP