今日要点：

• 苹果MR头显或在6月发布
• 揭秘ChatGPT背后天价超算
• 斯坦福70亿参数羊驼爆火，LLaMA杀疯了
• Diffusion+目标检测，华人团队提出GLIGEN完美控制对象的空间位置

FT称，库克6月将在全球开发者大会（WWDC）上扔出重磅炸弹：混合现实（MR）头显。据称，这款头显配备了双4K OLED显示屏，以及先进的眼动和手动追踪传感器。预计售价约为3000美元（约2万），是Meta机皇【【微信】】的3倍。

此前曾有报道曝出，苹果新款头显名字可能叫「Reality Pro」。而苹果内部对「Reality Pro」寄予了厚望，希望它成为「本年热门产品」。据说为了实现这个目标，还延误了iOS 17和macOS 14项目的进度。

苹果运营团队希望推出一款「第一版」类似滑雪护目镜的头显。用户可以通过改进后的FaceTime观看身临其境的3D视频、进行交互式锻炼，或与逼真的Avatar聊天。硬件方面，苹果MR头显将配备Mac级别的M2芯片，设备内外共10多个摄像头，据称「拥有头显市场有史以来最高的分辨率」。苹果内部专门为其开发了一个操作系统，内部名称叫Borealis，对外公开称xrOS。除此之外，新款头显还有视频、隔空打字、以及召唤Siri的功能。

参考链接：【【网址】】/【【淘密令】】/data/landingshare?preview=1&【【微信】】=1&isBdboxFrom=1&context=%7B%22nid%22%3A%22news_8599763761806314438%22%2C%22【【微信】】%22%3A%22bjh%22%7D

周一，微软在官博上连发两文，解密那台微软专为【【微信】】打造的超级昂贵的超级计算机，以及Azure的重磅升级――加入成千上万张英伟达最强的H100显卡以及更快的InfiniBand网络互连技术。

基于此，微软也官宣了最新的ND H100 v5虚拟机，具体规格如下：

• 8个N【【微信】】PU通过下一代N【【微信】】和NVLink 4.0互联
• 每个GPU有400 Gb/s的N【【微信】】iniBand，每个虚拟机有3.2Tb/s的无阻塞胖树型网络
• N【【微信】】和NVLink 4.0在每个虚拟机的8个本地GPU之间具有3.6TB/s的双向带宽
• 第四代英特尔至强可扩展处理器
• PCIE Gen5到GPU互连，每个GPU有64GB/s带宽
• 16通道4800MHz DDR5 DIMM

为了构建支持【【微信】】项目的超级计算机，它斥资数亿美元，在Azure云计算平台上将几万个N【【微信】】芯片连接在一起，并改造了服务器机架。这么一个大工程，成本究竟是多少呢？微软负责云计算和人工智能的执行副总裁Scott Guthrie不愿透露具体数目，但他表示，「可能不止」几亿美元。

参考链接：【【网址】】/【【淘密令】】/data/landingsuper?context=%7B%22nid%22%3A%22news_9095332816756706272%22%7D

Meta的LLaMA模型开源，让文本大模型迎来了Stable Diffustion时刻。今天，斯坦福发布了一个由LLaMA

7B微调的模型【【微信】】，训练3小时，性能比肩GPT-3.5。【【微信】】是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：

• 在8个80GB A100上训练了3个小时，不到100美元；
• 生成数据使用【【微信】】的API，500美元。

斯坦福大学计算机科学副教授Percy Liang称，由于缺乏透明度/无法完全访问像GPT 3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在 【【微信】】 （LLaMA 7B + text-da【【微信】】）上迈出了一小步。为了评估【【微信】】，斯坦福研究人员对自生成指令评价集的输入进行了人工评估（由5位学生作者进行）。这个评价集是由自生成指令作者收集的，涵盖了多样化的面向用户的指令，包括电子邮件写作、社交媒体和生产力工具等。他们对GPT-3.5（text-da【【微信】】）和【【微信】】 7B进行了比较，发现这两个模型的性能非常相似。【【微信】】在与GPT-3.5的比较中，获胜次数为90对89。鉴于模型规模较小，且指令数据量不大，取得这个结果已经是相当惊人了。除了利用这个静态评估集，他们还对【【微信】】模型进行了交互式测试，发现【【微信】】在各种输入上的表现往往与GPT-3.5相似。

参考链接：【【网址】】/【【淘密令】】/data/landingsuper?context=%7B%22nid%22%3A%22news_8705581916264206917%22%7D&【【微信】】=1&p_from=4

随着Stable Diffusion的开源，用自然语言进行图像生成也逐渐普及，许多AIGC的问题也暴露了出来，比如AI不会画手、无法理解动作关系、很难控制物体的位置等。其主要原因还是在于「输入接口」只有自然语言

，无法做到对画面的精细控制。最

近来自威斯康星大学麦迪逊分校、哥伦比亚大学和微软的研究人员提出了一个全新的方法GLIGEN，以grounding输入为条件，对现有「预训练文本到图像扩散模型」的功能进行扩展。为了保留预训练模型的大量概念知识，研究人员没有选择对模型进行微调，而是通过门控机制将输入的不同grounding条件注入到新的可训练层中，以实现对开放世界图像生成的控制。目前GLIGEN支持四种输入。

实验结果也显示，GLIGEN 在 COCO 和 LVIS 上的【【微信】】性能大大优于目前有监督layout-to-image基线。

总的来说，这篇论文：

1. 提出了

一种新的text2img生成方法

，赋予了现有text2img扩散模型新的grounding可控性；

2. 通过保留预训练的权重和学习逐渐整合新的定位层，该模型实现了开放世界的grounded text2img生成与边界框输入，即综合了训练中未观察到的新的定位概念；

3. 该模型在layout2img任务上的【【微信】】性能明显优于之前的最先进水平，证明了大型预训练生成模型可以提高下游任务的性能

参考链接：【【网址】】/s?id=1760327149160845154