庆云古诗词

庆云古诗词

ChatGPT会是下一个奇遇点吗 chatgpt游戏测试

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

chatgpt是什么意思,chatgpt怎么下载,chatgpt怎么用,chatgpt怎么读

人与人争,有输有赢。人与机器争,一旦输了,就再也赢不了了

各界对ChatGPT的热度不减。这周,美国《新英格兰医学杂志》发表了C. Haug和J. Drazen(曾任杂志主编近20年)联合署名、题为“临床医学中的人工智能和机器学习,2023”,回顾医学AI的历史,展示最新医学ChatGPT应用,并宣布将陆续刊登AI评论文章。文章调子积极,并以如下的句子结尾“人工智能和机器学习不会让卫生专业人员失业。相反,会让卫生专业人员更好地完成工作,将时间留给大家都重视的人与人间的交流”。这话读起来有些“此地无银三百两”的味道。

杂志的同一期上,还有一篇由P. Lee,S. Bubeck和J. Petro联合署名(前两人来自微软公司)、题为“GPT-4作为医学AI聊天机器人的好处、局限和风险”的文章,给出了4个具体的例子,包括:人与GPT-4关于服用二甲双胍的对话,GPT-4根据医患对话而整理的病历,GPT-4回答美国医生执照考试的考题、并给出答题的依据和推理过程,以及医生和GPT-4就慢阻肺诊治的对话。不知怎的,文章读起来感觉像是宣传GPT-4的软广告。

3月8日的《纽约时报》刊登了由N. Chomsky,I. Roberts and J. Watumull联合署名、题为“ChatGPT的虚假承诺”的文章。首位作者是前MIT退休教授、语言学大师。文章的观点尖锐:“ChatGPT 及其同类产品在本质上无法平衡创造力与约束。它们要么过度生成(制造真相和谎言,认可道德和不道德的决定)或生成不足(表现出对任何决定的不承诺和对后果的漠不关心)。鉴于这些系统的不道德、伪科学和语言无能,我们只能为它们的流行而哭泣或大笑”。笔者读了三遍才有些感觉。

给笔者印象最深的是一篇题为“GPT 就是 GPT:初看大型语言模型影响劳动力市场的潜力”的学术性(严谨、客观)文章。作者是T. Eloundou, S. Manning, P. Mishkin和 D. Rock,其中前三位来自创造ChatGPT 的美国OpenAI公司,第四位是美国宾夕法尼亚大学助理教授。文章尚未正式发表,而是以预印本的方式,于3月27日挂网()。文章试图估计GPT-4对各行各业的影响,说白了,就是对哪些职业会形成威胁,威胁有多大。文章长达35页纸,现摘要如下。

  • 受影响最大的职业:数学家,文案人员,新闻记者,临床数据管理员,会计,律师助理 …

  • 受影响最小的职业:运动员,厨师,服务员,修理工,钳工,管工,电工,泥瓦匠,屠夫 …

  • 受影响最大的技能:数学,计算机编程,写作 …

  • 受影响最小的技能:明辨式思维(critical thinking),科学,启发和讨论式教学,…

上述研究结果,多数是容易理解的。唯独数学家为何受影响大,让人感到意外。也许OpenAI的作者们最了解ChatGPT背后的数学机理?也许这里说的是普通应用型数学家,而不是所谓研究高深问题的数学家?

一位智者曾说:“人与人争,有输有赢。人与机器争,一旦输了,就再也赢不了了,非常残酷”。笔者的理解是:人的能力提升速度,是以年记的。机器的能力提升速度,是以小时、分、甚至是秒记的。不在一个量级上。难怪4天前,美国一批学者和产业人士带头呼吁暂停AI研发6个月。恐怕已经太晚了。

作者:榆木疙瘩

长按下方二维码下载识林App

识林版权所有,未经许可不得转载


ChatGPT实现原理 ChatGPT算法原理

chatgpt,chatgpt是什么意思,chatgpt怎么下载,chatgpt使用

原标题:【】AIGC之ChatGPT工作原理

文章来源地址【【网址】】/blog/361223.html

AIGC是什么

文章来源地址【【网址】】/blog/361223.html

AIGC - AI Generated Content (AI生成内容),对应我们的过去的主要是 UGC(User Generated Content)和 PGC(Professional user Generated Content)。

文章来源地址【【网址】】/blog/361223.html

AIGC就是说所有输出内容是通过AI机器人来生成产出相关内容,主要区别是过去主要是普通用户和某一领域专业用户(人)生产内容,AIGC主要是依赖于人工智能(非人类)生成内容,这个就是AIGC的核心意思。

文章来源地址【【网址】】/blog/361223.html

(版权认定:UGC和PGC是有版权概念的,版权归属于负责生成内容的人,AIGC目前美国法规认为是没有版权概念的,就是内容不属于调用的人,也不属于这个AI机器,所以没有版权归属这件事。)

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

AIGC可以生成什么内容

文章来源地址【【网址】】/blog/361223.html

目前AIGC主要可以生成文本内容和图片内容(目前视频生成有一些产品,但是没有文本和图片生成这么成熟),所以我们主要集中在文本和图片的AIGC的介绍。

文章来源地址【【网址】】/blog/361223.html

AIGC在文本内容方面,主要可以通过 Q&A (提问回答)得形式进行互动,能够按照人类想要的“提问”生产输出符合人类预期的内容。

文章来源地址【【网址】】/blog/361223.html

一般我们可以把AI当做一个全知全能的“高级人类”,以“文本AIGC”来抡,你可以向它提出问题(Prompt),然后它做出相应回答。所有提问和回答都可以涉及到方方面面,包括不限于? 百科知识/创意文案/小说剧本/代码编程/翻译转换/论文编写/教育教学/指导建议/聊天陪伴 等等等等场景不一而足,场景都需要你去想,可以理解它是一个拥有全地球知识的“百晓生”,什么都可以问它或者跟它交流。

文章来源地址【【网址】】/blog/361223.html

比如我们用大名鼎鼎的 ChatGPT 来进行提问:

文章来源地址【【网址】】/blog/361223.html

对于“图片AIGC”来说,你可能脑子里有无数创意,但是自己不会绘画,无法把脑子里的Idea变成实实在在的图片,那么,“图片AIGC”能够帮助你按照你脑子想要的东西,你告诉它,然后它能够帮助你通过图片绘画的形式给你画出来,让你一下子把自己的“创意”变成了图片现实。

文章来源地址【【网址】】/blog/361223.html

比如我们用非常好用的“图片AIGC” 工具 Midjourney 来画画:

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

AIGC底层是什么

文章来源地址【【网址】】/blog/361223.html

AIGC底层主要依赖的是AI技术,AI技术本质主要是让机器拥有像人类一样的智能(Artificial Intelligence),所以就需要让机器能够像人类一些学习和思考,所以目前大部分实现AI的底层技术叫做“机器学习”(Machine Learnin)技术。

文章来源地址【【网址】】/blog/361223.html

机器学习技术主要有很多应用场景,比如现在非常常用的包括 人脸识别(手机解锁/支付宝支付/门禁解锁等)、语音识别(小爱同学/小度/Siri)、美颜换脸(主播美颜/美颜相机)、地图导航、气象预测、搜索引擎、NLP(自然语言处理)、自动驾驶、机器人控制、AIGC 等等。

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

机器如何进行学习

文章来源地址【【网址】】/blog/361223.html

机器学习可以简单理解为是模拟人类学习的过程,我们来看一下机器是如何模拟人类学习的。

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

我们再看看所谓的“机器学习”:

文章来源地址【【网址】】/blog/361223.html

对于人类学习来说,我们看到的事物和遇到的事物就是我们的“资料”(语料),然后我们通过“学习总结归纳”(学习算法),最后变成了“知识经验智慧”(模型),然后遇到事情的时候我们就会调用这些“知识经验方法论”做出相应的反应决策动作(预测推理);

文章来源地址【【网址】】/blog/361223.html

对于机器学习来说,给它输入大量的“语料”(看到遇到的事物),然后通过机器学习算法(总结归纳抽取相似点),最后形成了“模型”(知识经验方法论),然后再遇到一些需要判断决策的时候,我们就会把要判断决策的事物给“模型”,然后就会告诉我们输出结果(推理推测结果);

文章来源地址【【网址】】/blog/361223.html

从抽象层来说,我们会发现,本质来说,“人类学习”和“机器学习”内在本质是比较像的。

文章来源地址【【网址】】/blog/361223.html

我们来看一个计算机里概要的机器学习的过程:

文章来源地址【【网址】】/blog/361223.html

里面核心步骤就是:“训练数据 ? 训练算法 ? 模型 ? 预测 ? 输出结果”,其中最终产出物是“模型”(Model,模型文件),然后主要是前置的“训练模型”和后置的“模型预测”,然后产生对应结果。

文章来源地址【【网址】】/blog/361223.html

上面这个过程我们我们可以简单理解为:“模型”就是一只小狗,饲养员就是那个“训练算法”,饲养员在场下对那个小狗通过一些指令和奖惩措施进行反复训练(训练算法),小狗就会学会一些技能(模型),一旦学会了,小狗就可以出去表演,表演的过程就是预测。

文章来源地址【【网址】】/blog/361223.html

所以我们会看到,里面如果“模型”中的特征(知识经验)越多,最终在“预测”阶段就越准确,如果模型越小,或者中间的特征数据越少,可能最终预测结果准确率会降低。(类似一个人遇到的事情越多,总结的经验就越多,俗话说的“人生没有白走的路没有白踩的坑” 大概就是这个逻辑)

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

机器学习的分类

文章来源地址【【网址】】/blog/361223.html

机器学习(Machine Learnin)经过几十年的研究,在技术实现得种类非常多,可以从大类上面分为:基于学习策略、基于学习方法、基于学习方式、基于学习目标等进行分类。

文章来源地址【【网址】】/blog/361223.html

基于学习策略的分类:主要有模拟人脑工作原理的“符号学习”和“神经网络学习”两个主要流派;另外一个学习策略的流派是基于数学统计分析得机器学习方法。

文章来源地址【【网址】】/blog/361223.html

基于学习方法的分类:机器学习主要有,归纳学习、演绎学习、类比学习、分析学习,它是类似于人脑的“符号学习”得学习方法分类。

文章来源地址【【网址】】/blog/361223.html

基于学习方式的分类:主要有,有监督学习(带老师指导)、无监督学习(自学)、强化学习(通过环境奖惩反馈进步)。

文章来源地址【【网址】】/blog/361223.html

机器学习分类中,我们重点关注的是“学习策略”和“学习方式”为主的分类,学习策略是关注是基于“数学统计分析”的机器学习还是基于“神经网络”的机器学习。另外一个是学习方法,主要是关注 有监督学习、无监督学习和强化学习。

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

机器学习的发展

文章来源地址【【网址】】/blog/361223.html

机器学习技术主要经历了从兴起到深度学习三个大技术时代,第一个是兴起时代,然后是传统的机器学习时代,最后是基于神经网络的深度学习时代,以下简单按照我个人理解做了一个发展阶段分类。

文章来源地址【【网址】】/blog/361223.html

兴起阶段:1943年诞生了感知机模型(MCP),一位心理学家和一位数理逻辑学家 提出了人工神经网络的概念和人工神经元的数学模型,算开创了人工神经网络得研究时代。然后从60年代到80年代之间,有了机器学习概念和模式识别等,属于整个研究的兴起探索阶段,这个阶段各种方向的探索都在进行,百花齐放。

文章来源地址【【网址】】/blog/361223.html

第一阶段:传统机器学习(Machine Learnin),从1980年召开第一届技术学习研讨会开始,虽然同步也有神经网络得研究,但是可以简单理解为大行其道的主要是基于数学和统计分析为主的方式得机器学习,特别是在1990年到2001年之间,从理论到实践都经过了很大的发展。这个时间段一直到2006年,在信息行业主要流行的传统机器学习包括 传统隐马尔可夫模型(HMM)、条件随机场(CRFs)、最大熵模型(MaxEnt)、Bboosting、支持向量机(SVM)、贝叶斯(Bayes)等等,具体实践中落地包括 线性回归、逻辑回归、SVM、决策树、随机森林、朴素贝叶斯 等等落地的算法。这些算法的因果逻辑和中间计算过程都是清晰明确的,基本是清晰可信的,不足就是最终效果有上限,可能最终“智能”效果有时候就不够。

文章来源地址【【网址】】/blog/361223.html

第二阶段 V1:“深度学习”(Deep Learnin),2006年机器学习教父级人物Hinton发表了深层神经网络的论文正式开启了基于神经网络得“深度学习”的阶段,可以简单认为“深度学习”是传统机器学习的另外一条路线,它主要区别是在“学习策略”方面的路线不同,传统机器学习主要是依赖于“数学统计分析”为主的方法,过程结果可推导;深度学习主要是也依赖于让计算机模拟人脑一样神经网络连接一样的方式进行运算。

文章来源地址【【网址】】/blog/361223.html

第二阶段 V2:Transformer 模型(Transformer model),2015年提出了Attention机制,2017年Google发表了论文《Attention Is All You Need》,2018年基于这篇论文在第二阶段神经网络的基础之上提出了Transformer模型,它基于encoder-decoder架构,抛弃了传统的RNN、CNN模型,仅由Attention机制(注意力机制)实现,并且由于encoder端是并行计算的,训练时间大大缩短。Transformer模型广泛应用于NLP领域,机器翻译、文本摘要、问答系统等等,最近几年比较主流的Bert和GPT模型就是基于Transformer模型构建的。

文章来源地址【【网址】】/blog/361223.html

我们看一下深度学习基本的发展历史:

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

传统机器学习和深度学习的区别

文章来源地址【【网址】】/blog/361223.html

深度学习与传统机器学习不太一样,所以它主要是用来定义不同网络框架参数层的神经网络,所以主有很多神经网络训练方式,包括 无监督预训练网络(Unsuper【【微信】】orks)、卷积神经网络(Con【【微信】】orks)、循环神经网络(Recurrent Neural Networks)、递归神经网络 (Recursi【【微信】】)等等;

文章来源地址【【网址】】/blog/361223.html

神经网络叫做“深度学习”主要是看里面所谓神经网络的层数,1-2层叫做浅层神经网络,超过5层叫做深层神经网络,又叫做深度学习”。

文章来源地址【【网址】】/blog/361223.html

其中,应用比较多的主要 卷积网络(CNN - Con【【微信】】orks)、循环神经网络(RNN - Recurrent Neural Networks)+递归神经网络(RNN - Recursi【【微信】】)、长短期记忆RNN(LSTM - Long short-term memory) 和为了解决 LSTM/RNN 中的一些问题的解决办法加入Attention机制的Transformer框架。

文章来源地址【【网址】】/blog/361223.html

深度学习在计算机视觉(CV、如图像识别)、自然语言处理(NLP)、自动驾驶、机器人控制 等方面比传统机器学习效果更好。

文章来源地址【【网址】】/blog/361223.html

在训练数据规模比较小的情况下,传统机器学习型算法表现还可以,但是数据增加了,传统机器学习效果没有增加,会有一个临界点;但是对于深度学习来说,数据越多,效果越好。所以也是越来越逐步“深度学习”取代“传统机器学习”的过程了。

文章来源地址【【网址】】/blog/361223.html

传统机器学习和深度学习的效果性能对比图:

文章来源地址【【网址】】/blog/361223.html

传统机器学习和深度学习的处理过程区别:(传统机器学习特征是清晰的,深度学习内部特征是黑盒)

文章来源地址【【网址】】/blog/361223.html

深度学习中使用的神经网络,大概的工作机制是模拟人类的脑子工作机制,比如我们通过眼睛看到一个物体的过程:

我们再看看基于神经网络得“深度学习” 进行学习的过程:

文章来源地址【【网址】】/blog/361223.html

从上面神经网络工作过程我们可以看出,基于神经网络的“深度学习”整个过程基本跟传统机器学习是完全不同的。

文章来源地址【【网址】】/blog/361223.html

还有一个区别就是传统机器学习在训练的时候,基本可以使用传统CPU运算就可以了,但是在深度学习方面,因为神经网络层数多,计算量大,一般都需要使用 GPU或AI计算芯片(AI卡)进行运算才行,这个也就是我们常说的“算力”。

文章来源地址【【网址】】/blog/361223.html

深度学习在大规模数据计算方面算力消耗成本惊人,以ChatGPT为例,传闻大概运算花费了英伟达(NVIDIA)的A100型号GPU一万张,目前京东A100的卡销售价格大约为人民币10万元,ChatGPT大概训练算力成本粗略预估为10亿人民币左右,对于ChatGPT公布的数据来看,一次大模型的训练大约需要1200万美元,所以除了比拼算法,算力更是很重要的决定性因素。

文章来源地址【【网址】】/blog/361223.html

(ChatGPT 训练使用的 N【【微信】】)

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

GPT的形成过程

文章来源地址【【网址】】/blog/361223.html

上面我们概要介绍了传统机器学习和深度学习的基本知识,GPT可以理解为是深度学习的一种演化进步升级。

文章来源地址【【网址】】/blog/361223.html

基于上面深度学习的逻辑,我们宏观看一下深度学习的神经网络包括哪些(偏专业内容,可以跳过):

文章来源地址【【网址】】/blog/361223.html

深度学习我们可以理解为:分类方式主要是基于“机器学习策略”是“神经网络”的策略,“学习方式”主要是 监督学习、无监督学习(也可能包含强化学习)等不同场景结合产生的“机器学习”方式叫做“深度学习”。

文章来源地址【【网址】】/blog/361223.html

GPT属于神经网络模型(深度学习领域)的一个迭代升级版本,任何科技的发展进步都不是一撮而就得,而是站在巨人的肩膀上的结果一点点更新迭代,从GPT的发展诞生过程我们能够大概了解变化和关联性:

文章来源地址【【网址】】/blog/361223.html

(神经网络开始到GPT迭代的时间轴)

文章来源地址【【网址】】/blog/361223.html

[ 神经网络模型(1943年提出)? ? RNN(Recurrent Neural Networks 循环神经网络, 1986年提出) ? LSTM((Long short-term memory 长短期记忆网络, 1997年提出)? DL(Deep Learning 深度学习概念 2006年提出) ? Attention(注意力机制, 2015年提出) ? Transformer (2018年提出) ? GPT (Generati【【微信】】rmer 生成型预训练变换模型, 2018年设计)? GPT-1~4(模型迭代升级, 2018~2023年)]

文章来源地址【【网址】】/blog/361223.html

我们再看看GPT本身迭代的进展时间点:

文章来源地址【【网址】】/blog/361223.html

从上面发展节奏来看,对于GPT来说,其中对它影响最大的主要是 Transformer 模型的诞生,加上全球巨大的语料和强悍算力,才具备了让GPT超越时代的特殊能力。

文章来源地址【【网址】】/blog/361223.html

Transformer 框架的优点,transformer架构完全依赖于Attention机制(注意力机制),解决了输入输出的长依赖问题,并且拥有并行计算的能力(Multi-head),大大减少了计算时间。self-attention模块,让源序列和目标序列首先“自关联”起来,这样的话,源序列和目标序列自身的Embedding(单词嵌入)表示所蕴含的信息更加丰富,而且后续的FFN(前馈网络)层也增强了模型的表达能力。Muti-Head Attention模块使得Encoder端拥有并行计算的能力。简单说就是相关性高,还能并行计算,所以是一个非常优秀的神经网络模型。

文章来源地址【【网址】】/blog/361223.html

Transformer 框架基本工作结构图 :

(Encoder-Decoder 结构)

(Encoder-Decoder 内部实现)

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

文章来源地址【【网址】】/blog/361223.html

GPT是什么意思

文章来源地址【【网址】】/blog/361223.html

GPT的全称是 Generati【【微信】】rmer(生成型预训练变换模型),它是基于大量语料数据上训练,以生成类似于人类自然语言的文本。其名称中的“预训练”指的是在大型文本语料库上进行的初始训练过程,其中模型学习预测文章中下一个单词,它可以完成各种自然语言处理任务,例如文本生成、代码生成、视频生成、文本问答、图像生成、论文写作、影视创作、科学实验设计等等。

文章来源地址【【网址】】/blog/361223.html

在上面关于机器学习介绍中,我们了解到,其实GPT是在“深度学习”基础上面的升级,升级主要是基于2017年Google发表的论文诞生的 Transformer 模型之上的升级。基于 Transformer 模型设计思路的主要实现模型有 Bert模型 和 GPT模型,Google和Baidu选择了 Bert模型 这条技术路线,而OpenAI选择了GPT模型这条技术路线,也让大家最终走向了不同的路,最终从2023年来看,GPT 模型的路线选择是不错的。

文章来源地址【【网址】】/blog/361223.html

我们上面讲到机器学习中的“模型”会决定最终“预测”结果是否接近于准确,那我们是否可以简单理解为,如果我“模型”越大(知识经验越丰富),意味着我们