庆云古诗词

庆云古诗词

揭秘 ChatGPT 背后天价超算,上万颗英伟达 A100,烧光微软数亿美元

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】


ChatGPT 背后,是微软超级昂贵的超级计算机,耗资数亿美元,用了英伟达数万颗芯片。

ChatGPT 能成为如今火遍全球的顶流模型,少不了背后超强的算力。

数据显示,ChatGPT 的总算力消耗约为 3640PF-days(即假如每秒计算一千万亿次,需要计算 3640 天)。

那么,作为依托的那台微软专为 chatgpt 打造的超级计算机,又是如何诞生的呢?

周一,微软在官博上连发两文,亲自解密这台超级昂贵的超级计算机,以及 Azure 的重磅升级 ―― 加入成千上万张英伟达最强的 H100 显卡以及更快的 chatgpt 网络互连技术。

基于此,微软也官宣了最新的 chatgpt 虚拟机,具体规格如下:

  • 8 个 NchatgptPU 通过下一代 Nchatgpt 和 NVLink 4.0 互联

  • 每个 GPU 有 400 Gb / s 的 NchatgptiniBand,每个虚拟机有 3.2Tb / s 的无阻塞胖树型网络

  • Nchatgpt 和 NVLink 4.0 在每个虚拟机的 8 个本地 GPU 之间具有 3.6TB / s 的双向带宽

  • 第四代英特尔至强可扩展处理器

  • PCIE Gen5 到 GPU 互连,每个 GPU 有 64GB / s 带宽

  • 16 通道 4800MHz DDR5 DIMM

大约五年前,chatgpt 向微软提出了一个大胆的想法 ―― 建立一个可以永远改变人机交互方式的人工智能系统。

当时,没人能想到,这将意味着 AI 可以用纯语言创造出人类所描述的任何图片,人类可以用聊天机器人来写诗、写歌词、写论文、写邮件、写菜单……

为了建立这个系统,chatgpt 需要很多算力 ―― 可以真正支撑起超大规模计算的那种。

但问题是,微软能做到吗?

毕竟,当时既没有能满足 chatgpt 需要的硬件,也无法确定在 Azure 云服务中构建这样庞大的超级计算机会不会直接把系统搞崩。

随后,微软便开启了一段艰难的摸索。

微软 Azure 高性能计算和人工智能产品负责人 Nidhi Chappell(左)和微软战略合作伙伴关系高级总监 Phil Waymouth(右)

为了构建支持 chatgpt 项目的超级计算机,它斥资数亿美元,在 Azure 云计算平台上将几万个 Nchatgpt 芯片连接在一起,并改造了服务器机架。

此外,为了给 chatgpt 量身打造这个超算平台,微软十分尽心,一直在密切关注着 chatgpt 的需求,随时了解他们在训练 AI 时最关键的需要。

这么一个大工程,成本究竟是多少呢?微软负责云计算和人工智能的执行副总裁 Scott Guthrie 不愿透露具体数目,但他表示,「可能不止」几亿美元。

微软负责战略合作伙伴关系的高管 Phil Waymouth 指出,chatgpt 训练模型所需要的云计算基础设施规模,是业内前所未有的。

呈指数级增长的网络 GPU 集群规模,超过了业内任何人试图构建的程度。

微软之所以下定决心与 chatgpt 合作,是因为坚信,这种前所未有的基础设施规模将改变历史,造出全新的 AI,和全新的编程平台,为客户提供切实符合他们利益的产品和服务。

现在看来,这几亿美元显然没白花 ―― 宝押对了。

在这台超算上,chatgpt 能够训练的模型越来越强大,并且解锁了 AI 工具令人惊叹的功能,几乎开启人类第四次工业革命的 ChatGPT,由此诞生。

非常满意的微软,在 1 月初又向 chatgpt 狂砸 100 亿美元。

可以说,微软突破 AI 超算界限的雄心,已经得到了回报。而这背后体现的,是从实验室研究,到 AI 产业化的转变。

目前,微软的办公软件帝国已经初具规模。

ChatGPT 版必应,可以帮我们搜索假期安排;chatgpt 中的聊天机器人可以帮营销人员写邮件;GitHub Copilot 可以帮开发者续写代码;Azure chatgpt 服务可以让我们访问 chatgpt 的大语言模型,还能访问 Azure 的企业级功能。

其实,在去年 11 月,微软就曾官宣,要与 Nvidia 联手构建「世界上最强大的 AI 超级计算机之一」,来处理训练和扩展 AI 所需的巨大计算负载。

这台超级计算机基于微软的 Azure 云基础设施,使用了数以万计个 Nchatgpt 和 A100Tensor Core GPU,及其 chatgpt 网络平台。

Nvidia 在一份声明中表示,这台超级计算机可用于研究和加速 chatgpt 和 Stable Diffusion 等生成式 AI 模型。

随着 AI 研究人员开始使用更强大的 GPU 来处理更复杂的 AI 工作负载,他们看到了 AI 模型更大的潜力,这些模型可以很好地理解细微差别,从而能够同时处理许多不同的语言任务。

简单来说,模型越大,你拥有的数据越多,你能训练的时间越长,模型的准确性就越好。

但是这些更大的模型很快就会到达现有计算资源的边界。而微软明白,chatgpt 需要的超级计算机是什么样子,需要多大的规模。

这显然不是说,单纯地购买一大堆 GPU 并将它们连接在一起之后,就可以开始协同工作的东西。

微软 Azure 高性能计算和人工智能产品负责人 Nidhi Chappell 表示:「我们需要让更大的模型训练更长的时间,这意味着你不仅需要拥有最大的基础设施,你还必须让它长期可靠地运行。」

Azure 全球基础设施总监 Alistair Speirs 表示,微软必须确保它能够冷却所有这些机器和芯片。比如,在较凉爽的气候下使用外部空气,在炎热的气候下使用高科技蒸发冷却器等。

此外,由于所有的机器都是同时启动的,所以微软还不得不考虑它们和电源的摆放位置。就像你在厨房里同时打开微波炉、烤面包机和吸尘器时可能会发生的情况,只不过是数据中心的版本。

完成这些突破,关键在哪里?

难题就是,如何构建、操作和维护数万个在高吞吐量、低延迟 chatgpt 网络上互连的共置 GPU。

这个规模,已经远远超出了 GPU 和网络设备供应商测试的范围,完全是一片未知的领域。没有任何人知道,在这种规模下,硬件会不会崩。

微软 Azure 高性能计算和人工智能产品负责人 Nidhi Chappell 解释道,在 LLM 的训练过程中,涉及到的大规模计算通常会被划分到一个集群中的数千个 GPU 上。

在被称为 allreduce 的阶段,GPU 之间会互相交换它们所做工作的信息。此时就需要通过 chatgpt 网络进行加速,从而让 GPU 在下一块计算开始之前完成。

Nidhi Chappell 表示,由于这些工作跨越了数千个 GPU,因此除了要确保基础设施的可靠外,还需要大量很多系统级优化才能实现最佳的性能,而这是经过许多代人的经验总结出来的。

所谓系统级优化,其中就包括能够有效利用 GPU 和网络设备的软件。

在过去的几年里,微软已经开发出了这种技术,在使训练具有几十万亿个参数的模型的能力得到增长的同时,降低了训练和在生产中提供这些模型的资源要求和时间。

Waymouth 指出,微软和合作伙伴也一直在逐步增加 GPU 集群的容量,发展 chatgpt 网络,看看他们能在多大程度上推动保持 GPU 集群运行所需的数据中心基础设施,包括冷却系统、不间断电源系统和备用发电机。

微软 AI 平台公司副总裁 Eric Boyd 表示,这种为大型语言模型训练和下一波 AI 创新而优化的超算能力,已经可以在 Azure 云服务中直接获得。

并且微软通过与 chatgpt 的合作,积累了大量经验,当其他合作方找来、想要同样的基础设施时,微软也可以提供。

现在,微软的 Azure 数据中心已经覆盖了全球 60 多个地区。

在上面这个基础架构上,微软一直在继续改进。

今天,微软就官宣了全新的可大规模扩展虚拟机,这些虚拟机集成了最新的 NchatgptPU 和 NVIDIA chatgpt 网络。

通过虚拟机,微软可以向客户提供基础设施,根据任何 AI 任务的规模进行扩展。据微软称,Azure 的新 chatgpt 虚拟机为开发者提供卓越的性能,同时调用数千个 GPU。

参考资料:

  • 【【网址】】/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-rechatgpt/

本文来自微信公众号:新智元 (ID:chatgpt)



拆解利用chatgpt,赚百度有驾52.8元红包

百度有驾怎么样,百度有驾是什么,百度有驾网页,百度有驾客服电话

本期的拆解,是关于如何在百度有驾app中,利用chatgpt领取52.8元红包,所以大家可以准备以下几个:

  1. 魔法梯子
  2. chatgpt
  3. 百度有驾app

我拆解项目喜欢先把项目的底层变现逻辑讲清楚:百度有驾app对标懂车帝,所以推出了写关于汽车口碑领红包,口碑也是有要求的,比如汽车的性能汽车的空间汽车的驾驶感。

有小伙伴语言功底不好的,就可以借助chatgpt,把懂车帝的一些精美帖子通过二次创作,发布到百度有驾上,领取奖励。

了解完整个底层逻辑,我们开始讲实操环节。

下载注册百度有驾app这些我们就直接跳过了,无具体实际意义。

领红包的入口在哪里呢?如下图:有驾app的社区里面就能看到哈。

他这里写的是拿80元,实际我的标题是52.8元,为什么有27.2元的差价呢?我们看下图

80元是针对新能源以及认证车主的福利,考虑到我的读者有在校大学生的,所以中肯的是52.8元。

这52.8元的要求是你评价的汽车是在售款,口碑文字在400字以上,细节点评最少5项,图片数量6张或者5张+1个小视频,且有邀请码(需要邀请码的可以后台私聊我)

万事俱备,开搞~

我这里选择的是2023款55TFSI chatgpt 尊享动感型奥迪a6l。

我在懂车帝上找到对应车型,点开符合上述要求的文案,放到chatgpt里面进行二次创作。

然后重点来了,懂车帝的图片不要直接保存,咱们截图裁剪,再去调个色,毕竟要做的是原创内容

上面这一步裁剪图片很重要哈~

如果没有chatgpt的,可以使用一些互联网上的其他二次原创工具,百度即可实现~

提交过后就是审核,一般1天左右就到了, 后面到账的小伙伴记得后台打个卡给我哈。

关于多账号操作,我觉得是可行的,至少一家三口的资源得利用起来,虽是小钱,但可以饱餐一顿哈。