stanford大学,stanford分型,stanforda型主动脉夹层,stanford怎么发音

• Alpaca 在线体验
• 查语病
• 写代码
• 连续对话能力
• 原理简要分析
• 一些有意思的观察
• 总结

最近 ChatGPT 大热，让人惊叹其强大的对话、上下文理解、代码生成等等能力，3 月 15 日 OpenAI 又放出了能实现图像理解的多模态大模型 GPT-4，直让人感觉通用人工智能 （AGI）仿佛离自己不远了。有生之年看到人类命运共同体能有这样的进展我是由衷的高兴，并不自觉地给 OpenAI 点了一个赞：

但另一方面由于 GPT 系列模型 & ChatGPT 均未开源，再加上高昂的训练成本所构成的坚不可摧的护城河，让普通人 & 公司望而却步，说实话，还是挺让人焦虑的。当然焦虑的不止国内的研发人员，今天惊喜的发现斯坦福大学开源了学术版的 ChatGPT, 他们命名为 Alpaca （羊驼，没错，说的就是神兽），目前放出了在线体验网址、数据生成代码、训练过程和超参，不久就会放出模型权重参数以及完整的训练代码。详情如下：

• 在线体验网址：
• 模型介绍文章： Alpaca: A Strong Instruction-Following Model
• Github 代码地址：

代码刚放出来不久，我先 mark 一下，趁代码量还比较少的时候赶紧看看，否则后面代码越多看不过来 。简单看了下这个开源库，发现一些挺有意思的现象，待会分享，先说下 Alpaca 的体验。

比如写这篇文章的时候，突然不清楚上文写的 “再加上高昂的训练成本所构成的坚不可摧的护城河” 一句是否有语病，我就尝试把它扔给 Alpaca 替我检查一下，测试其智能程度，此外再验证下它是否能识别中文，效果如下：

第一个红框中输入我的问题，第二个红框是 Alpaca 的回答，它不仅指出 “坚不可摧的护城河” 没有语病，还把这句话翻译了一下。保险起见我还到 Google 中搜了一下，确认有句子是这样用的，那我只能默认它是对的 。

另外注意到第二个红框下还有 “Upchatgpt” 和 “Downchatgpt” 两个按钮，用来给回答进行反馈。

给它出了一道简单的编程题，LeetCode 中的链表反转问题，让它用 Python 实现一下：

居然写对了，能运行 ！算是一个小惊喜。说明这个模型虽然轻便，但也有足够强的能力。

为了测试 Alpaca 的连续对话能力，我仍然从代码的角度进行提问；我首先让它写非常简单的 python 代码，可能 5 ~ 10 行的样子，它顺利的完成了：

之后我让它将代码写复杂一些，我在提问的时候说的是 “make it more complex”, 其中 “it” 需要它理解了上下文，才能知道我指的是它前面所写的简单代码：

我表扬它 “Good”，它还回我一句 “Perfect”，商业互吹这是... 但是回复的时候偷懒，只给了思路，但是没有具体的 code, 因此我决定 CPU 它一下：“Talk is cheap, show me the code”:

果然，它给了一个稍微复杂的 code... 还挺好玩。

功能体验就介绍到这。

Alpaca 本身的介绍 blog： 其实说的非常清晰了，模型的训练流程基本可以用下图来概括：

它使用 52K 个 intruction-following examples 来微调 Meta 的大语言模型 LLaMA 7B （Meta 开放了模型权重以及 Inference 代码，详见 ），从而生成了 Alpaca 7B。

但是这 52K 个 intruction-following examples 是如何生成的呢？Alpaca 团队使用 提供的 175 个 seed tasks，这些 seed tasks 长这样：

调用 OpenAI 的 text-dachatgpt 模型，利用 OpenAI 的模型来产生有价值的 instructions！

不得不说，有点机智，这种方式很像蒸馏训练啊。将 OpenAI 性能完备的模型作为 Teacher，来指导参数更少的 Alpaca 模型进行训练，大幅降低了训练成本 。其中调用 OpenAI API 的成本不到 500 美刀，另外微调 7B 参数的 LLaMA 模型，使用云服务商提供的 8 块 80GB A100 显卡，训练 3 小时，消费不到 100 美刀。因此整体成本是小于 600 美刀。

相对来说，确实方便了独立的研究人员、学术机构以及大部分公司。

在前言中曾说查看 这个库时发现一些有意思的现象。那是因为我在 PR () 中发现，这些研发人员看东西都超细致....

比如上面小哥发现 prompt.txt 行号标错了：

这都能注意到，当时我就震惊了！也许是运行代码时发现的错误也说不定，but nechatgpt。

本文简要介绍了 Alpaca, 一个关于 ChatGPT 的学术版开源实现。最近想复现 ChatGPT 的工作有很多，我目前关注的几个除了 Alpaca, 还有：

• OpenChatKit:
• ChatRWKV:

好想自己有多个分身，以有涯随无涯，殆矣！

最后：可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号, 可以及时获取最新原创技术文章更新.

siri为什么这么人性化 siri为什么只会说这几句话

siri为什么这么人性化声音,siri为什么比别的强,siri为什么变笨了,siri为什么比较智能

正文摘要:

作为智能语音助手的潮流引导者，当iPhone 4s搭载着Siri发布时，所有人都被震撼到了：没有顾客想过有一天你可以同你的手机对话，让它成为你的私人助理。可惜，Siri发布的第二天，乔布斯就去世了。与此同时，苹果严格的“隐私保护”政策、封闭的生态系统和一年一更新的“逆天”速度也让Siri的境况雪上加霜。也许，是因为Siri 的未来，连苹果自己都看不清吧！
Siri为什么这么蠢究竟是怎么一回事，跟随小编一起看看吧。

不久前，一白曾经在一篇文章的结尾留了一枚彩蛋：

这个彩蛋虽然好笑，却也让更多人看到了：Siri这个曾经世界第一的智能语音助手，越来越蠢了……

作为智能语音助手的潮流引导者，当iPhone 4s搭载着Siri发布时，所有人都被震撼到了：没有顾客想过有一天你可以同你的手机对话，让它成为你的私人助理。

彼时，乔布斯和Siri的开发团队曾经做出了这样的设想：在未来，Siri将成为一个人工智能体，拥有人类般细腻复杂的情感和思想――团队中的每个人都坚信，Siri将在宇宙中留下属于自己的痕迹！

可惜，Siri发布的第二天，乔布斯就去世了。整个团队迅速陷入了群龙无首的状态，并分裂成两大派系：一支想把Siri打造成人工智能助手；另一支则想把Siri整合成强大的综合搜索引擎。随着派系之间冲突的加剧，不断有团队成员离职、另立山头。

曾经那个团结一致、世界一流的天才团队，早已不复存在。

与此同时，苹果严格的“隐私保护”政策、封闭的生态系统和一年一更新的“逆天”速度也让Siri的境况雪上加霜。

不少提供语音助手服务的公司都会向开发者们提供所有的语音样本――毫无疑问，这有助于让产品更加“人性化”，但是，这与苹果的隐私政策相悖。所以，在很长一段时间内，开发者都无法为Siri开发第三方的应用服务……

最神奇的是，在如今这个服务商恨不得为自己的产品进行及时更新的时代，Siri还在坚持一年一次大幅度更新的“逆天”频率！

也许，是因为Siri 的未来，连苹果自己都看不清吧！

Siri为什么这么蠢相关阅读：

ChatGPT让谷歌拉响“红色警报”，内部吐槽：我们起大早赶晚集

圣诞节前，《纽约时报》报道，因为 ChatGPT 在全球爆红，谷歌CEO Sundar Pichai 在公司内部发布了“红色警报” (Code Red)。

在 ChatGPT 刚发布时，有首批测试网友发言宣称“ChatGPT 太强了，能够替代谷歌搜索”，当时谷歌高层对此置之脑后，表示不太担心。

然而仅仅过了不到一个月，谷歌高层对于此事件的态度就180度大转弯――很显然，Pichai 的判断是 ChatGPT 真的对谷歌带来了巨大的威胁。

在最近一周时间里，硅星人和多位目前正在或曾在谷歌 AI、搜索等部门从事模型开发、产品设计和商业推进的员工进行了沟通。

通过这些匿名对话，我们试图了解本次“红色警报”事件究竟是怎么回事，有多严重，以及谷歌对于 ChatGPT，对于聊天机器人对搜索引擎的替代威胁，究竟是怎么看的。

何为红色警报？

一些受访谷歌员工告诉硅星人：

谷歌为 ChatGPT 亮起“红色警报”这件事，并不是一件特别稀有的事情；其“致命性”，并没有外界所想象的那么高。

事实上，谷歌在过去曾经多次为公司产品和内部生产系统发出“红色警报”。

在硅谷，科技公司惯用这样的一套“颜色警报”系统，其灵感来自于《星际迷航》的飞船防御警报，按照紧迫程度从低到高，包括绿、蓝、黄、红等颜色（如下图）。包括谷歌、LinkedIn 以及许多知名硅谷科技公司，都在使用这套颜色警报系统。

具体对于谷歌来说，公司的内部系统、产品、生产系统出现问题时，都会使用这套颜色警报来标注其紧迫性：

黄色警报 (Code Yellow)指的是近期内可能会对系统或产品造成威胁的事件。

“比方说我们的某个产品的硬盘就快不够用了，或者我们在用的某个第三方 API 要 deprecate（弃用）了，这样的时候我们就有可能会发布 code yellow，”一位前谷歌员工告诉硅星人。

在谷歌，黄色警报的意思可以理解为：我们面临（或者预计将会面临）这个问题，但是情况并不严重。大家要注意到这个事情的存在，特定的人员在工作时间里需要将其作为主要优先级，但是还没到加班加点修复的程度，只要在警报期内工作时间内完成即可。

这里就提到了警报期的概念：通常黄色警报可以持续更长的时间，几周、一个季度，甚至更长时间都有――这主要是因为黄色警报所针对的往往都是时效较长，没那么紧迫的问题。

红色警报就不一样了，它代表的是当前、紧急、直接的危机。

“红色警报对应的是真实生产环境的重大事故，比方说整个搜索或者 Gmail 产品，或者产品的一个重要的功能，在意料之外的情况下突然挂了，那就要发 code red 了，就算加班不睡觉也得赶紧修，”一位谷歌员工说道。

“但是红色警报不会持续很久，问题解决就可以取消了，听同事说最长也就几天。”

通常当红色警报发出的时候，修复的代码可以立即推送到生产系统里，无需经过测试系统审核试运行等常规流程。因为当红色级别的事故发生时，解决事故是第一优先级，有其它 bug 的话可以后续再修复。

多位谷歌现员工告诉硅星人，这次并不是公司里的生产系统或产品真的遇到了问题，而是一次带有比喻性质的红色警报。

众所周知，从感恩节开始到12月和圣诞节这一个月的“假日季”里，大部分科技公司都进入放假休息的节奏和状态了，不会有太多太正经的事情需要做，员工们进入放假心态，也都已经比较放松了。

按照红色警报的惯例，它的持续时间不会很长，最多也就几天――就算形势再紧迫，也不能不让大家踏踏实实过圣诞节吧？

当然，这并不意味着 ChatGPT 对谷歌所造成的威胁就结束了。

而 Pichai 拉响这次警报，大概的意思是：

“你们要把这次 ChatGPT 对谷歌带来的威胁，当做和谷歌搜索宕机事故一样的严重性看待。”

Pichai 以及谷歌高层，其实是希望“敲醒”谷歌公司内部负责同类技术和产品开发的团队，让他们赶紧上上心，别再“梦游”了……

在红色警报持续的时间里，谷歌公司内部负责研发同类技术和产品开发的团队，也在紧锣密鼓地开会商讨对策，尽快制定出大方向和时间轴，为节后的工作铺平道路。

这次红警事件，谷歌员工怎么看？

一位接近谷歌大规模语言模型团队的员工向硅星人透露，从理论上 ChatGPT 本身对谷歌无法构成任何实质性的威胁。

“理论上，ChatGPT 不是什么新鲜事。它背后的基础模型 GPT3/GPT3.5 早就问世了，谷歌对于这些 OpenAI 模型的能力也是有了解的。要说 OpenAI 的大模型和类似模型（包括谷歌模型）之间技术差距，没办法很准确地形容，总的来说没多大差距。”

“换句话说，谷歌在大语言模型、聊天机器人的技术上，跟 ChatGPT 是平起平坐的，或者跟 OpenAI 的核心技术相比起来，没有落后的太夸张。”该员工表示。

然而在现实世界里，“理论上”往往是不管用的。

事实上，ChatGPT 完成了之前 GPT-3 和 OpenAI API（基于 GPT-3 的商业产品）发布的时候都没能完成的壮举――它成为了第一个从AI学术界破圈进入主流用户群体的产品。

大家应该对最近爆红的 ChatGPT 不陌生了。所有的媒体都在报道它，每一个网友都在注册使用它，还有更多没有机会注册的网友，通过科技博主和媒体持续对它进行关注。网友们分享和 ChatGPT 之间的各种神奇对话，一度占领了所有海外社交媒体平台，以及相当大比例的国内社交网络科技圈的话题，成为了最受欢迎的内容种类。

也正是 ChatGPT 破圈进入主流这件事，让谷歌紧张了。

这两个模型，在实际上已经具备了和 ChatGPT 基本相同的能力。而且在去年谷歌已经通过官方演示和小范围内测应用，向公众展示了这两个模型在多轮对话、文本生成、跨模态搜索等多种任务上的强大能力。

（我本人当时也参与了 LaMDA 对话能力内测，这也是为什么前几天 ChatGPT 突然爆红的时候，我并没有感觉非常惊讶。）

既然谷歌已经有自己的同类产品，甚至比 ChatGPT 问世还早，它为什么这次要这么紧张呢？

一位接近谷歌大语言模型团队的员工表示，谷歌现在的问题是：从去年 I/O 大会到现在，LaMDA 发布已经有一年半的时间了，却仍然没有像 ChatGPT 那样面向公众大规模开放。

而谷歌这次突然发布红色警报，希望解决的也正是这个起大早赶晚集的问题。

说白了，谷歌认识到：LaMDA/MUM 明明更早发布，却落后于 ChatGPT，是一个重大的错误，其严重性和紧迫性，应该被当作真实生产环境事故一样对待。

至于是什么导致了谷歌在 AI 产品上不敢冒进？答案比较复杂，但总的来说有两条：

原因其一：谷歌在 AI 道德的议题上，目前处于一种害怕冒进的状态。

前几年谷歌内部发生了多起 AI 道德丑闻，包括女性少数族裔研究员的论文被公司打压、为外国政府开发敏感技术产品（和极权暧昧）等。结果，这家公司害怕在道德上“再次出问题”。

这一情况，在前段时间 ChatGPT 爆红之后外媒对谷歌缺乏反应的报道中也有所体现。当时这些外媒报道指出，谷歌担心开发出竞品投放到市场之后，因为模型调校不佳再次发生事故，对本就难以维持的公司道德形象进一步造成打击

原因其二：即便谷歌发布了 ChatGPT 的竞品，这样的产品也会对谷歌当前的商业模式造成颠覆。

这一条更好理解了，简直是大公司的通病了。

谷歌的核心营收来源是广告。搜索广告、结果排序、页面广告，以及其他任何广告展示方式――无论如何，只有当广告位存在，广告能够被展示的时候，谷歌才能赚钱。

所有的聊天机器人，以及在前几年非常流行的“对话即服务/即界面” (conchatgpt/interface) 的概念当中，都是不应该包含广告的。

仔细想想：你跟一个朋友对话的时候，如果他时不时地突然地跟你念两句广告词……那不是瞬间出戏了吗？

从这一点上来看，LaMDA 商业化进展慢，落后于 ChatGPT/OpenAI，并不是谷歌 LaMDA 团队的错。

举例：作为一个更早的“聊天机器人”产品，Google Assistant 在商业化上至今没有头绪，苹果 Siri 被用户骂太蠢，亚马逊Alexa 则因为老是忍不住帮用户买东西而被用户指责过于激进。夹在中间的 Google Assistant 好不容易取得一个平衡，打破这个平衡未免太可惜了。

但是需要明确的是，聊天机器人商业化这件事，并不是没法做――只是对于负累太多的大公司来说难做而已。

对于 OpenAI 以及更小更新的创业公司来说，它们真的可以随便做……

一位熟悉 OpenAI 研究水平的谷歌员工表示，如果 OpenAI 想要在 ChatGPT 的基础上加入搜索功能，并不是一件非常难的事，“也许一两个季度”就可以开发完成。

事实上，业内已经有不少创业公司在基于现成大语言模型的聊天机器人基础上，增加搜索的功能/模块了。比如 Perplexity、YouChat 等等，都在做这样的事情。

别提小公司，就连大公司也在虎视眈眈：别忘了 OpenAI 之前已经和微软签了战略合作协议。

而 OpenAI 有大模型和聊天机器人，微软有必应搜索。单独看这两个东西，对谷歌都构不成实质性的威胁。但如果它们来一个“强强联手”，那就不好说了。

“ChatGPT 现在还不能搜索，这是没错。”前述员工表示，“但是就算没有搜索，从我们的测试分析来看，ChatGPT 已经能够比较好地回答相当大一部分的谷歌搜索提问了。”

――也许这才是谷歌拉响红色警报的真实内在原因。

在 ChatGPT 和谷歌搜索，在 OpenAI 和谷歌两家公司的身上，我们也许正在亲眼目睹小公司对大公司的又一次技术颠覆。在硅谷，最近几年，这样的事情已经越来越罕见。

好在谷歌已经意识到了自己正在面临生死存亡级别挑战的事实。

接下来它究竟是渡过难关，还是被 ChatGPT 以及后续产品技术所颠覆和取代，就要看这家公司里的成千上万名聪明人，能否在有限的时间里，尽快开发出一个既能在道德上过得去，又不会蚕食自己核心广告收入来源的新产品了。

亦或者，收购 OpenAI 也未尝不可。毕竟谷歌不缺钱，之前也收过 DeepMind。只是在越来越严苛的美国科技反垄断大势之下，谷歌能否最终得偿所愿，就要看监管者的心情了。

注：封面图来自于派拉蒙，版权属于原作者。如果不同意使用，请尽快联系我们，我们会立即删除。