transform,transfers,transformation,transfer翻译

2017年下半年发布的这篇名为《Attention is all you need》的神级论文中提出了Transformer神经网络架构，成为今天自然语言处理和人工智能的重要底层技术。

3月底的时候，OpenAI的创始人Ilya Sutskever在采访中这样说到：

• 提问者：在2017年，"Attention Is All You Need"一文引入了自注意力机制和转换器（Transformer）。GPT项目是在什么时候开始的？当时对转换器是否有一些直觉？

• ILYA：当时的背景是 - 从OpenAI早期开始，我们就一直在探索能预测你想要的下一样东西的方式。我们用当时很有限的神经网络进行了探索，希望能有一个神经网络能预测下一个单词，就能解决无监督学习的问题，这被认为是机器学习的圣杯。

但是，我们的神经网络在当时无法胜任。我们当时用的是循环神经网络。当转换器（Transformer）出现时，真的就是论文刚发出来的第二天，我们立刻意识到转换器解决了循环神经网络的限制，解决了学习的长距离依赖。

这是个技术决策，但我们立刻切换到了转换器（Transformer）技术。从此之后，GPT就一直使用Transformer底层技术直到今天，而且它的效果越来越好。

这最终产生了GPT-3以及我们（OpenAI）今天取得的成绩。

由此可见，将这篇论文封为神级论文应该是没有什么争议了。来自Google Brain的8名作者的名字写在了论文的最前面，让我们一起看看这些人从2017年后都在干些什么吧？

Ashish 【【微信】】在2021年底离开谷歌，创立了Adept AI Labs - 其产品虽然尚未发布，但从公开的信息看也是一家要直接和ChatGPT竞争的底层大模型公司。目前已经获得了4.15亿美元的融资，且估值超过10亿美元。不过在Ashish在2022年底又离开了Adept去创办一家神秘的新公司，应该也是和AI相关；

在谷歌工作了20年之后，Noam Shazeer也在2021年底离开了，和他的朋友Daniel De Freitas一起创立了character.ai - 这是一家虚拟人聊天AI公司，能生成各种不同人格的虚拟人支持陪聊。目前已经获得了近2亿美元的融资，也是一家独角兽公司，而且公司仅有20多名员工；

作为论文中的唯一女性作者，Niki Parmar在2021年底离开谷歌后成为了Adept AI Labs的CTO。不过，Niki也是刚离开了Adpet去参与一家神秘的新公司，估计还是和Ashish一起。在Adept已经融了这么多资金的情况下，两位创始人一起离开去创办新公司，估计背后有很多的drama…

Jakob Uszkoreit被许多人认为是发明Transformer架构的主要人物。他在2021年7月离开谷歌，创办了Incepti【【微信】】 这是一家生物科技+AI的公司，旨在利用神经网络设计mRNA。目前已经获得了2000万美元的融资，公司规模刚刚超过20人；

Llion Jones是8人中目前唯一还在谷歌工作的。他声称对论文作出了最有意义的贡献 - 写下了Attention is all you need这个响亮的标题

Aidan Gomez于2019年9月离开Google Brain，气候创办了Cohere AI - 也是一家AI方面的底层大模型公司，目前已经获得了近4亿美元的融资，员工人数超过180名；

Lukasz Kaiser也是知名的机器学习系统Tensor Flow的共同创造者之一，他在2021年6月离开谷歌并加入了OpenAI；

Illia Polosukhin在2017年2月离开谷歌，其后创办了NEAR Protocol - 这是一家区块链底层技术公司，目前估值约为20亿美元；

看完上面这些信息，让人感慨的事情有两点：

• 最先发明出Transformer这项今天来看有划时代意义底层技术的Google如今反而在AI领域落后于OpenAI；

• 当初写这篇论文的8位研究员中6名在创业，一人在OpenAI，仅剩一人还在Google；

---

谷歌旗下ai公司deepmind 谷歌研发deepmind

谷歌ai中国公司,谷歌ceo eric,谷歌ai团队,谷歌ai负责人

随着 Google DeepMind 的“Sparrow”将在今年晚些时候进入“私人测试版”，人工智能世界正在兴奋地嗡嗡作响。ChatGPT 病毒式传播，让 OpenAI 广受欢迎。微软甚至达成了一项价值 100 亿美元的交易，将 ChatGPT 集成到其现有的软件产品中。麻雀可能是谷歌正在寻找的答案。但是，Sparrow 到底是什么？它与 ChatGPT 相比如何？

Sparrow 是一种语言模型，它在互联网文本数据上进行训练并针对对话进行了优化。它利用强化学习和人类反馈来改善其行为并降低不安全和不适当答案的风险。Sparrow 旨在解决语言模型的一些典型问题并使它们更有用。

通过 Google 访问互联网，Sparrow 将能够将最新信息整合到其响应中。这种选择相关来源和检索信息的能力将 LM 对自然语言的掌握提升到一个新的水平，并有可能彻底改变搜索引擎。Sparrow 还可以引用 ChatGPT 目前无法引用的来源。

尽管有这些令人印象深刻的功能，为什么 Sparrow 没有产生同样的影响？

Sparrow 实际上是在 ChatGPT 之前构思出来的，如果 DeepMind 能够利用这一优势超越其主要竞争对手，它本可以获得与 OpenAI 相同的知名度和投资者兴趣。然而，DeepMind 退缩了，Sparrow 也悄无声息了。

的确，大多数人并不关心 AI 研究。他们关心的是他们是否可以使用人工智能。OpenAI 很好地利用了这一事实，但 DeepMind 似乎也意识到了这一点。

为什么 Google 至今没有对 ChatGPT 做出回应，甚至没有在 OpenAI 之前推出类似的模型？

谷歌尚未发布其研究的