先说下背景，有一天我在想 ChatGPT 对于成熟的开发者来说已经是一个非常靠谱的助手了，身边也确实有很多同事把它作为一个离不开的助理担当。

但是如果我只是略微懂一点前端知识的新人，了解 HTML、CSS、JS 相关的知识，想开发一个安卓 App ，我应该如何利用 ChatGPT 这样的工具呢？

想法思路

如果让我现在直接去用 ChatGPT 开发一个 App 肯定也不靠谱，毕竟过程中还得看问题，对于比较新晋的开发者来说，debug 也是一个非常上头的工作。但是如果让他帮我生成一个微信小程序，那就能顺利拿捏住了，后面再利用其他工具直接把这个小程序转为 App 就可以了。

思路确定，说搞就搞！

给ChatGPT描述需求

我发现虽然现在ChatGPT能够非常友好的帮助开发者完成各项任务，但是有一个非常重要的前提就是你需要懂得如何有效的给出命令，让他能够理解你的需求描述。这一点非常重要，我个人认为大家平时的工作中也需要有意识地训练自己的文字、语言表达能力。

我这里为了让整个流程更简单一些，我直接让ChatGPT帮我生成一个时钟小程序，能够以大号字体显示当前的时间，另外我希望时间字体是宇宙蓝，背景是纯黑色。

为了让ChatGPT能够更快理解我的描述，我将需求重新排了一个格式：

代码需求：开发一个微信小程序功能描述：屏幕中间显示当前的日期和时间，日期在上，时间在下。时间的显示需要大号字体，字体颜色为宇宙蓝，整个背景是全屏纯黑色。

接下来就是ChatGPT的表演了：

小程序需求实现

因为我后续需要将小程序转为 App，经过技术的调研，发现现在 FinClip 是可以直接将小程序转为 App ，并且这个工具可以兼容微信代码，于是我直接在 FinClip 创建小程序项目，为方便后续的小程序转 App，开发工具也使用使用的 FIDE。

下面我们看看在上面的实现情况：

直接把 ChatGPT 生成的代码复制粘贴到开发工具对应的页面中，不要太爽。

快速生成App

前面也说到了假设我是个只懂 HTML、CSS、JS 相关知识的小白型开发者，直接上手 App 是有难度的，但是做一个小程序是基本能应付的，这里就可以借用 FinClip 开发工具的小程序转 App 功能。

整个过程跟着弹窗的提示操作就好，没有太大的难度。

后续系统会生成一个工程文件，放到 Android Studio 也能正常打开，并能后续根据自己的需求进行优化更改。

个人感想

市面中出现了越来越多的 Ai 工具，例如 ChatGPT 还可以用到文字创作、想法启迪等很多场景中，我们只要用的恰当，会实打实的帮我们提升工作的效率。

以上是我以一个完全小白的开发者角度使用 ChatGPT 开发小程序再用其他工具转 App 的实现路径。

另外，实践发现 GPT3.5 可能出现给的代码无法运行的情况，GPT4.0 是没问题的，如果大家使用3.5给出的代码无法用，可以用4.0试试，欢迎大家拍砖。

chat gpt可能带来的商业模式 chatgpt能催生哪些新行业

原标题：万字综述梳理ChatGPT----一文搞懂弄潮儿ChatGPT技术原理、行业现状、投资前景

感谢大佬们以前的写的文章给我提供了素材和思路，欢迎大家转发交流，您的点赞关注收藏是对我最大的鼓励噢，本文为博主原创文章，转载请附上原文出处链接和声明。

www.yii666.com

www.yii666.com

随着计算机技术的飞速发展，人工智能已经成为当前最热门的研究领域之一。在人工智能领域中，自然语言处理是一个重要的分支。它研究如何使计算机和人类能够以自然语言的方式进行交流。 新年伊始，你可能会想，人工智能领域最热门的技术是什么？那应该是 ChatGPT。它就像一个六角战士，可以聊天、编写代码、修复错误、创建表单、发表论文、做作业、翻译，甚至是谷歌搜索引擎的有力竞争者。 2022年12月1日，OpenAI推出人工智能聊天原型ChatGPT，ChatGPT是一种由OpenAI开发的预训练语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中GPT是Generati【【微信】】rmer（生成型预训练变换模型）的缩写。它是基于Transformer架构，并使用了大量的文本数据进行训练，以实现对自然语言的理解和生成。ChatGPT具有出色的语法理解能力和语义理解能力，并且能够生成高质量的文本。因此，它被广泛应用于聊天机器人、问答系统、机器翻译等多领域。 近期ChatGPT突然爆火，在2个月内达到1亿活跃用户 ，是历史上增长最快的消费者应用程序。甚至有懂技术和懂赚钱的商业鬼才利用ChatGPT国内注册和使用的壁垒来赚钱，几天怒赚几百W（慕！），可见ChatGPT对当今风靡的程度。 接下来让我们揭开ChatGPT神秘的面纱吧！

ChatGPT是由OpenAI团队研发创造，OpenAI是由创业家埃隆・马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得・蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，其总部位于美国加利福尼亚州，并拥有多位硅谷重量级人物的资金支持，启动资金高达10亿美金。OpenAI的使命是使人工智能技术对人类产生积极影响，并帮助人类应对其带来的挑战。 OpenAI的研究方向包括人工智能、机器学习、自然语言处理、强化学习等多领域。该机构拥有一支顶尖的研究团队，并与世界各地的研究机构和企业合作，以推动人工智能技术的发展。OpenAI 的ChatGPT是生成式人工智能技术（AIGC）。 AI模型可大致分为决策式/分析式AI（Discriminant/Analytical AI）和生成式AI （Generative AI）两类。决策式AI：学习数据中的条件概率分布，根据已有数据进行分析、判断、预测，主要应用模型有用于推荐系 统和风控系统的辅助决策、用于自动驾驶和机器人的决策智能体。生成式AI：学习数据中的联合概率分布，并非简单分析已有数据而是学习归纳已有数据后进行演技创造，基于历史进行模仿式、缝合式创作，生成了全新的内容，也能解决判别问题。

ChatGPT爆火的背后是人工智能算法的迭代升级。神经网络的爆发使人工智能广泛应用:2015年左右开始繁荣爆发，神经网络是实现AI深度学习的一种重要算法，是通过对人脑的基本单元神经元的建模和链接，探索模拟人脑系统功能的模型，并研发出的一种具有学习、联想、记忆和模式识别等具有智慧信息处理功能的人工系统。典型的应用场景为自然语言处理（NLP）和机器视觉(CV)，其中具有代表的两个模型分别是循环神经网络(RNN)和卷积神经网络(CNN)。 国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI，部分公司已有成型产品。

• 谷歌:面对ChatGPT构成的威胁,谷歌的CEO在公司内部发布“红色警报”。注资3亿美元投资竞品Anthropic公司，同时批准谷歌搜索引擎中加入AI聊天机器人。
• 微软: OpenAl的最大投资方,开始利用ChatGPT提高产品竞争力，将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务等产品中。
• 亚马逊：ChatGPT受到重点关注，已广泛运用在各种工作职能中，包括回答面试问题、编写软件代码和创建培训文档。
• 美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作，股价一夜暴涨近120%，两天时间市值飙升3倍。
• 百度：1月10日，百度宣布将升级百度搜索的“生成式搜索”能力，智能解答用户的搜索提问；2月7日，百度宣布将在3月份完成其ChatGPT产品的内测，面向公众开放，该项目名字为文心一言（ERNIEBot）。
• 腾讯：2月3日，腾讯公布一项人机对话专利，能够实现机器与用户之间自然且顺畅的沟通。该项专利与这段时间爆火的人工智能聊天机器人 ChatGPT 的原理十分相似。
• 科大讯飞：科大讯飞在回答投资者提问时表示，科大讯飞有坚实的相关技术积累，多年来始终保持关键核心技术处于世界前沿水平（如科大讯飞于 2022 年获得 CommonsenseQA 2.0、【【微信】】 等多个认知智能领域权威评测的第一）。且在认知智能领域重点技术和以教育、医疗为代表的专业领域，应用落地效果整体处于业界领先水平。

最近大火的ChatGPT的计算逻辑来自于一个算法名字叫Transformer。它来源于2017年的一篇科研论文《Attention is all your need》。Transformer算法在神经网络中具备跨时代的意义。Transformer具备跨时代的意义的原因是算法上添加了注意力机制，这种机制具备突破性的原因在于 1、突破了RNN 模型不能并行计算的限制； 2、相比CNN模型，关联所需的操作次数不随距离增长； 3、模型解释力度明显加强。从结果上看， 根据CDSN数据，Transformer的综合特征提取能力、远距离特征捕获能力、语义特征提取能力，全部明显增强，因此此算法正逐步取代RNN算法，也是ChatGPT算法的底座。

从Transformer提出到GPT的诞生，再到GPT2的迭代标志Open AI成为营利性公司，以及GPT3和ChatGPT的“出圈”；再看产业界，第四范式涉及到多个重要领域比如生物医疗，智能制造纷纷有以Transformer落地的技术产生。

ChatGPT 是基于GPT-3.5（Generati【【微信】】rmer 3.5）架构开发的对话AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演练，或用于收集大量对话数据。 GPT是OpenAI开发的一种预训练语言模型。它采用了Transformer网络结构，并在语言任务领域中具有很高的表现。GPT的主要优势在于它可以通过预训练大量语料数据来获得对语言任务的预测能力，而不需要大量的人工标注数据。它具有良好的语言生成能力，可以生成文本、回答问题、进行对话等多项语言任务。

• 第一代：从有监督到无监督GPT-1。2018年，OpenAI推出了第一代生成式预训练模型GPT-1，此前，NLP任务需要通过大规模数据集来进行有监督的学习，需要成本高昂的数据标注工作，GPT-1的关键特征是：半监督学习。先用无监督学习的预训练，在8个GPU上花费了1 个月的时间，从大量未标注数据中增强AI系统的语言能力，获得大量知识，然后进行有监督的微调，与大型数据集集成来提高系统在NLP任务中的性能。只需要极少的微调，就可以增强NLP模型的能力，减少对资源和数据的需求。同时，GPT-1也存在明显的问题，一是数据局限性，GPT-1是在互联网上的书籍和文本上训练的，对世界的认识不够完整和准确；二是泛化性依然不足，在一些任务上性能表现就会下降。
• 第二代：更大更高更强的GPT-2。2019年推出的GPT-2，与GPT-1并没有本质上的不同（注意这一点），架构相同，使用了更大的数据集WebText，大约有40 GB的文本数据、800万个文档，并为模型添加了更多参数（达到惊人的 15 亿个参数），来提高模型的准确性，可以说是加强版或臃肿版的GPT-1。进一步证明了无监督学习的价值，以及预训练模型在下游NLP任务中的广泛成功，已经开始达到图灵测试的要求。
• 第三代：跨越式进步的GPT-3。2020年，GPT-3的这次迭代，出现了重大的飞跃，成为与GPT-2迥然不同的物种。首先，GPT-3的体量空前庞大，拥有超过 1750 亿个参数，是GPT-2的 117 倍；其次，GPT-3不需要微调，它可以识别到数据中隐藏的含义，并运用此前训练获得的知识，来执行下游任务。这意味着，哪怕从来没有接触过的示例，GPT-3就能理解并提供不错的表现。因此，GPT-3也在商业应用上表现出了极高的稳定性和实用性，通过云上的 API访问来实现商业化。这种入得了实验室、下得了车间的能力，使得GPT-3成为2020年AI领域最惊艳的模型之一。
• 第四代：基于理解而生成的GPT-3.5 (InstructGPT)。出现了颠覆式的迭代，产生了技术路线上的又一次方向性变化：基于人工标注数据+强化学习的推理和生成。GPT-3虽然很强，但无法理解人类指令的含义（比如写一段博文、改一段代码），无法判断输入，自然也就很难给出高质量的输出答案。所以OpenAI通过专业的标注人员（听说40个博士标注人员）标注了12.7K的样本，给出相应指令/问题的高质量答案，在基于这些数据来调整GPT-3.5的参数，从而让GPT -3.5具备了理解人类指令的能力。在人工标注训练数据的基础上，再使用强化学习来增强预训练模型的能力。强化学习，简单理解就是做对了奖励、做错了惩罚，不断根据系统的打分来更新参数，从而产生越来越高质量的回答，使得模型具备从人类的反馈中强化学习并重新思考的能力，这是一条通向通用人工智能AGI的路径。

学习资料：ChatGPT怎么变得这么强？华人博士万字长文拆解GPT-3.5ChatGPT背后的超神模型：GPT-1到GPT-3.5是如何演化的？一文讲清chatGPT的发展历程、能力来源和复现它的关键之处

作为一个大型语言模型，ChatGPT是通过大量的数据和算法训练得到的。下面是大致的技术路径：

• 数据收集：OpenAI使用大量的网络文章和书籍等数据作为ChatGPT的训练数据，这些数据经过精心筛选和清洗，以确保其质量和可靠性。
• 自然语言处理技术：对原始数据进行预处理和标记化，使用技术如分词、词性标注、句法分析、实体识别等技术。
• 机器学习技术：OpenAI使用大量的机器学习算法对数据进行训练，包括深度学习技术如神经网络，递归神经网络等，还包括传统的机器学习算法如支持向量机、决策树等。
• 算法优化：通过对算法进行改进和优化，以提高模型的性能和准确性。例如，使用更复杂的模型、改进梯度下降算法等。
• 模型评估：OpenAI使用大量的评估指标来评估我的性能和准确性，以确保ChatGPT可以为用户提供高质量的服务。
• 持续更新：ChatGPT会不断地进行更新和优化，以提高准确性和性能，同时也会随着时间推移而适应新的数据和技术趋势。

我让ChatGPT帮我推荐论文，竟然没有InstructGPT，感觉不是很满意结果，之后我又运用多种方式来提问他，最后选出我认为入门必读的10篇论文。

1. Transformer

ChatGPT 使用的预训练模型 GPT，而Transformer是GPT的核心组成部分。

• Title：Attention Is All You Need
• 英文摘要

The dominant se【【微信】】dels are based on complex recurrent or con【【微信】】orks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and con【【微信】】. Experiments on two machine translation tasks show these models to be superior in 【【微信】】e parallelizable and requiring significantly less time to train. Our model achieves 28.4 【【微信】】ish-to-German translation task, impro【【微信】】est results, including ensembles by o【【微信】】. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.

• 简介

该文章是一篇由Google Brain的研究人员于2017年发表在NIPS会议上的论文。该论文介绍了一种新的神经机器翻译模型Transformer，并且该模型在机器翻译任务上表现出了非常好的性能。Transformer模型使用了self-attention机制来计算输入序列中各个位置之间的依赖关系，避免了传统的循环神经网络模型中需要进行逐步迭代的计算，大大加快了模型的训练速度。在传统的机器翻译模型中，通常使用编码器-解码器（Encoder-Decoder）结构来进行翻译。编码器将输入序列（例如英文句子）转换为一系列隐藏状态，然后解码器使用这些隐藏状态来生成输出序列。在这个过程中，编码器和解码器之间通常使用循环神经网络进行连接。但是，这种结构在长序列的情况下容易产生梯度消失和梯度爆炸等问题，导致模型性能下降。Transformer模型通过引入self-attention机制，避免了循环神经网络的限制。Self-attention机制可以将输入序列中各个位置之间的依赖关系进行并行计算，使得每个位置都可以直接参考输入序列中所有其他位置的信息。这样可以更好地捕捉序列中的长程依赖关系，从而提高模型的性能。 Transformer的主要优点在于它不依赖于传统的循环神经网络，因此具有更高的并行计算能力和更好的处理长序列数据的能力。回到ChatGPT，它是在Transformer架构的基础上进行改进和扩展，并在大量的文本数据上进行预训练，以提高对自然语言的理解能力。ChatGPT使用了两个模型组成：一个用于语言理解，一个用于文本生成。它可以通过输入文本来预测输出文本，并且能够生成高质量的文本。

Transfomer优秀学习资料：Transformer的细节到底是怎么样的？ - 月来客栈Transformer模型详解（图解最完整版）

1. GPT 这是GPT的原始论文，介绍了使用无监督的方式进行预训练的思想，该思想在各种自然语言处理任务上都获得了很好的效果，为ChatGPT的开发提供了基础。 GPT-1的训练分为无监督的预训练和有监督的模型微调，下面进行详细介绍。

• Title：Impro【【微信】】nding by Generative Pre-Training

• 英文摘要 Natural language understanding comprises a wide range of di【【微信】】ual entailment, question answering, semantic similarity assessment, and document classi?cation. Although large unlabeled text corpora are abundant, labeled data for learning these speci?c tasks is scarce, making it challenging for discriminati【【微信】】erform adequately. We demonstrate that large gains on these tasks can be realized by generati【【微信】】guage model on a diverse corpus of unlabeled text, followed by discriminative ?【【微信】】?c task. In contrast to pre【【微信】】, we make use of task-aware input transformations during ?ne-tuning to achie【【微信】】hile requiring minimal changes to the model architecture. We demonstrate the effecti【【微信】】n a wide range of benchmarks for natural language understanding. Our general task-agnostic model outperforms discriminati【【微信】】t use architectures speci?cally crafted for each task, signi?cantly impro【【微信】】e art in 9 out of the 12 tasks studied. For instance, we achie【【微信】】ts of 8.9% on commonsense reasoning (Stories Cloze Test), 5.7% on question answering (RACE), and 1.5% on textual entailment (MultiNLI).

• 简介 该论文提出了一种名为Generative Pre-Training的预训练方法，旨在提高自然语言处理任务中的语言理解能力。这种方法利用了大量的未标记数据来训练模型，这种训练方式被称为预训练。 具体来说，Generative Pre-Training的思路是，利用Transformer等深度神经网络模型，在大规模未标记语料上进行预训练。在预训练中，模型学习使用无监督任务来学习语言表示，例如利用掩码语言模型和下一句预测任务等。在这个过程中，模型可以学习语言中的各种语言知识和语言规则，包括语义、语法、词义等等。这些学习到的知识可以用于后续监督训练的微调，从而提高模型在这些任务上的性能。 Generative Pre-Training方法的优点是，它可以在大规模未标记语料上进行训练，从而可以提高模型的泛化能力。此外，通过预训练，模型可以学习到更为通用的语言表示，可以用于多个自然语言处理任务。

1. GPT-2 GPT-2的目标旨在训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络进行过多的结构的创新与设计，只是使用了更多的网络参数和更大的数据集。下面我们对GPT-2展开详细的介绍。

• Title：Language Models are Unsuper【【微信】】rs

• 英文摘要 Natural language processing tasks, such as question answering, machine translation, reading comprehension, and summarization, are typically approached with super【【微信】】pecific datasets. We demonstrate that language models begin to learn these tasks without any explicit super【【微信】】 new dataset of millions of webpages called WebText. When conditioned on a document plus 【【微信】】, the answers generated by the language model reach 55 F1 on the Co【【微信】】xceeding the performance of 3 out of 4 baseline systems without using the 127,000+ training examples. The capacity of the language model is essential to the success of zero-shot task transfer and increasing it impro【【微信】】-linear fashion across tasks. Our largest model, GPT-2, is a 1.5B parameter Transformer that achie【【微信】】lts on 7 out of 8 tested language modeling datasets in a zero-shot setting but still underfits WebText. Samples from the model reflect these impro【【微信】】erent paragraphs of text. These findings suggest a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations.

• 简介 GPT-2的学习目标是使用无监督的预训练模型做有监督的任务。该论文使用了无监督学习的方法，通过预先训练来完成多种自然语言处理任务，从而为各种应用场景提供服务。GPT-2的核心思想概括为：任何有监督任务都是语言模型的一个子集，当模型的容量非常大且数据量足够丰富时，仅仅靠训练语言模型的学习便可以完成其他有监督学习的任务。 主要贡献是验证了通过海量数据和大量参数训练出来的词向量模型有迁移到其它类别任务中而不需要额外的训练。但是很多实验也表明，GPT-2的无监督学习的能力还有很大的提升空间，甚至在有些任务上的表现不比随机的好。尽管在有些zero-shot的任务上的表现不错，但是我们仍不清楚GPT-2的这种策略究竟能做成什么样子。GPT-2表明随着模型容量和数据量的增大，其潜能还有进一步开发的空间，基于这个思想，诞生了我们下面要介绍的GPT-3。

  GPT1和GPT2对比： 1.GPT1使用了双向Transformer，而GPT2使用了单向Transformer。 2.GPT1通过了两个阶段的微调来适应不同的自然语言处理任务，而GPT2使用了多任务学习来进行微调。 3.GPT1是在BE

  本文地址： https://www.528683.com//show-400753.html

  版权声明：除非特别标注原创，其它均来自互联网，转载时请以链接形式注明文章出处。
  • ChatGPT中文教程
  分享到：