庆云古诗词

庆云古诗词

open ai模型 ai模型自训练自迭代

互联资讯 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】


原标题:终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张

机器之心报道

机器之心编辑部

扩散模型的时代结束了。

在 AI 画图的领域,人们一直关注的是扩散模型,人们一直在尝试不断改进,推出了 Stable Diffusion、Midjourney、DALL-E 等技术,并在其基础上构建应用。不过最近,OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。

与高调推出 ChatGPT 、GPT-4 不同,这次 OpenAI 在上个月偷偷上传了一篇论文《 【【淘密令】】 》,也不能说是偷偷,只是这次没有媒体大张旗鼓的报道,就显得这项研究有些低调。论文内容主要是关于图像生成领域的。

作者阵容也非常强大,有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋r。宋r将于 2024 年 1 月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。此外还包括 OpenAI 联合创始人、首席科学家 Ilya Sutskever。

前面我们已经提到,OpenAI 的这项研究主要是图像生成方面的,大家或多或少的都听过这项技术,例如最近热门的 Midjourney 和 Stable Diffusion,它们大都采用扩散模型,由于其生成的图片效果惊艳,很多人都将其视为最好的工具。但扩散模型依赖于迭代生成过程,这导致此类方法采样速度缓慢,进而限制了它们在实时应用中的潜力。

OpenAI 的这项研究就是为了克服这个限制,提出了 【【淘密令】】,这是一类新的生成模型,无需对抗训练即可快速获得高质量样本。与此同时,OpenAI 还发布了 【【淘密令】】 实现以及权重。

  • 论文地址:【【网址】】/pdf/2303.01469.pdf
  • 代码地址:【【网址】】/openai/consistency_models

具体而言,【【淘密令】】 支持快速 one-step 生成,同时仍然允许 few-step 采样,以权衡计算量和样本质量。它们还支持零样本(zero-shot)数据编辑,例如图像修复、着色和超分辨率,而无需针对这些任务进行具体训练。【【淘密令】】 可以用蒸馏预训练扩散模型的方式进行训练,也可以作为独立的生成模型进行训练。

研究团队通过实验证明 【【淘密令】】 在 one-step 和 few-step 生成中优于现有的扩散模型蒸馏方法。例如,在 one-step 生成方面,【【淘密令】】 在 CIFAR-10 上实现了新的 SOTA FID 3.55,在 ImageNet 64 x 64 上为 6.20。当作为独立生成模型进行训练时,【【淘密令】】 在 CIFAR-10、ImageNet 64 x 64 和 LSUN 256 x 256 等标准基准上的表现也优于 single-step、非对抗生成模型。

有网友将其视为扩散模型的有力竞争者!并表示 【【淘密令】】 无需对抗性训练,这使得它们更容易训练,不容易出现模式崩溃。

还有网友认为扩散模型的时代即将结束。

更有网友测试了生成速度,3.5 秒生成了 64 张分辨率 256×256 的图片,平均一秒生成 18 张。

接下来我们看看 Consistency Model 零样本图像编辑能力:

图 6a 展示了 Consistency Model 可以在测试时对灰度卧室图像进行着色,即使它从未接受过着色任务的训练,可以看出,Consistency Model 的着色效果非常自然,很逼真;图 6b 展示了 Consistency Model 可以从低分辨率输入生成高分辨率图像,Consistency Model 将 32x32 分辨率图像转成 256x256 高分辨率图像,和真值图像(最右边)看起来没什么区别。图 6c 证明了 Consistency Model 可以根据人类要求生成图像(生成了有床和柜子的卧室)。

Consistency Model 图像修复功能:左边是经过掩码的图像,中间是 Consistency Model 修复的图像,最右边是参考图像:

Consistency Model 生成高分辨率图像:左侧为分辨率 32 x 32 的下采样图像、中间为 Consistency Model 生成的 256 x 256 图像,右边为分辨率为 256x 256 的真值图像。相比于初始图像,Consistency Model 生成的图像更清晰。

模型介绍

【【淘密令】】 作为一种生成模型,核心设计思想是支持 single-step 生成,同时仍然允许迭代生成,支持零样本(zero-shot)数据编辑,权衡了样本质量与计算量。

我们来看一下 【【淘密令】】 的定义、参数化和采样。

首先 【【淘密令】】 建立在连续时间扩散模型中的概率流 (PF) 常微分方程 (ODE) 之上。如下图 1 所示,给定一个将数据平滑地转换为噪声的 PF ODE,【【淘密令】】 学会在任何时间步(time step)将任意点映射成轨迹的初始点以进行生成式建模。【【淘密令】】 一个显著的特性是自洽性(self-consistency):同一轨迹上的点会映射到相同的初始点。这也是模型被命名为 【【淘密令】】(一致性模型)的原因。

【【淘密令】】 允许通过仅使用 one network 评估转换随机噪声向量(ODE 轨迹的端点,例如图 1 中的 x_T)来生成数据样本(ODE 轨迹的初始点,例如图 1 中的 x_0)。更重要的是,通过在多个时间步链接 【【淘密令】】 模型的输出,该方法可以提高样本质量,并以更多计算为代价执行零样本数据编辑,类似于扩散模型的迭代优化。

在训练方面,研究团队为 【【淘密令】】 提供了两种基于自洽性的方法。第一种方法依赖于使用数值 ODE 求解器和预训练扩散模型来生成 PF ODE 轨迹上的相邻点对。通过最小化这些点对的模型输出之间的差异,该研究有效地将扩散模型蒸馏为 【【淘密令】】,从而允许通过 one network 评估生成高质量样本。

第二种方法则是完全消除了对预训练扩散模型的依赖,可独立训练 【【淘密令】】。这种方法将 【【淘密令】】 定位为一类独立的生成模型。

值得注意的是,这两种训练方法都不需要对抗训练,并且都允许 【【淘密令】】 灵活采用神经网络架构。

实验及结果

实验数据集包括 CIFAR-10 、ImageNet 64x 64 、LSUN Bedroom 256 x 256 、 LSUN Cat 256 x 256。首先该研究在 CIFAR-10 上进行了一系列实验。结果图 3 所示。

Few-Step 图像生成

接着该研究在 ImageNet 64x 64、LSUN Bedroom 256 x 256 数据集上进行实验,结果如图 4 所示。

表 1 表明,CD( consistency distillation )优于 Knowledge Distillation、DFNO 等方法。

表 1 和表 2 表明 CT( consistency training ) 在 CIFAR-10 上的表现优于所有 single-step、非对抗性生成模型,即 VAE 和归一化流。此外,CT 在不依赖蒸馏的情况下获得与 PD ( progressi【【微信】】 )相当的质量,用于 single-step 生成。

图 5 提供了 EDM (Karras et al., 2022) 样本(顶部)、single-step CT 样本(中)和 two-step CT 样本(底部)。

了解更多内容,请参考原论文。返回搜狐,查看更多

责任编辑:


突发!美股跳水,黄金突然崩了!这板块却炸了!拜登最新发声!马斯克出手,杀入AI大战!

美股跳水对黄金的影响,美股暴跌 黄金,美股大跌黄金股会涨吗,美股黄金大跌a股会受影响吗

中国基金报记者 郭玟君

美股高开低走,银行股普涨;摩根大通利润“狂飙”52%,股价大涨7.6%;热门中概股多数下跌。

马斯克成立X.AI加入AI大战!【【微信】】首席执行官称,马斯克等人呼吁暂停AI研发的公开信缺乏“技术细节”。

法国总统马克龙表示,成为盟友不意味着成为附庸;欧盟计划对俄罗斯实施第11轮制裁;阿拉伯多国代表就叙利亚重返阿盟问题展开磋商;

美股高开低走

银行股普涨

零售销售数据疲软显示经济正在失去动力,抵消了花旗等银行业财报超预期的积极影响,美股高开低走集体收低。截止收盘,道琼斯指数下跌144.38点,跌幅0.42%报33885.31点;标普500指数下跌8.67点,跌幅0.21%,报4137.55点;纳斯达克综合指数下跌42.81点,跌幅0.35%,报12123.46点。道指本周累涨1.19%,纳指本周累涨0.29%,标普500指数本周累涨0.79%。

银行股多数上涨,摩根大通涨7.52%,高盛涨1.44%,花旗涨4.8%,摩根士丹利涨1.2%,美国银行涨3.38%,富国银行跌0.05%。

科技股涨跌不一,苹果跌0.21%,亚马逊涨0.11%,奈飞跌2.18%,谷歌涨1.34%,脸书涨0.52%,微软跌1.28%。

美国3月零售销售环比降1%,预期降0.4%,前值自降0.4%修正至降0.2%;核心零售销售环比降0.8%,预期降0.3%,前值自降0.1%修正至持平。

美国3月进口物价指数环比降0.6%,预期降0.1%,前值降0.1%修正为降0.2%;同比降4.6%,预期降4.10%,前值降1.10%。

美国3月工业产出环比升0.4%,预期升0.2%,前值自持平修正至升0.2%;制造业产出环比降0.5%,预期降0.1%,前值自升0.1%修正至升0.6%。

美国4月密歇根大学消费者信心指数初值为63.5,预期62,前值62。

美国4月一年期通胀率预期为4.6%,预期3.7%,前值3.6%。

美国2月商业库存环比升0.2%,预期升0.3%,前值由降0.1%修正至降0.2%。

美联储古尔斯比:通胀正在下降,仍存在一些明显的粘性;个人关注的是信贷条件的发展情况,工资不是通胀的领先指标,我们花太多时间将工资增长视为价格指标,需要关注价格,而不是工资;今天的零售数据可能会有一些滞后性。

美联储理事沃勒:最近的数据显示美联储在通胀目标上没有取得太大进展,利率需要进一步上升,政策需要在相当长一段时间内保持紧缩。

摩根大通利润“狂飙”52%

股价大涨7.6%

摩根大通第一季度净利息收入飙升49%,推动利润同比增长52%,涨幅超预期。公司股价收涨7.6%,创下自2020年11月以来的最大单日涨幅。

摩根大通第一季度业绩大幅超出预期,提振了整个行业的乐观情绪。

摩根大通利润较上年同期增长52%,至126亿美元,合每股4.10美元,远高于市场普遍预期。华尔街的普遍预期是该行将盈利102亿美元,合每股3.41美元。营收为创纪录的383亿美元,较上年同期增长25%,超过362亿美元的预期。

业绩如此强劲,主要是因为在美联储加息的推动下,摩根大通净利息收入较去年增长49%,至209亿美元。

该行表示,现在预计今年全年将达约810亿美元。1月的预测为730亿美元。存款较去年底增长2%。

摩根大通首席执行官杰米・戴蒙周五在声明中表示,美国经济继续保持总体健康――消费者仍在消费,资产负债表强劲,企业状况良好。他同时表示:“然而,我们过去一年一直关注的阴云仍在眼前,银行业动荡加剧了这些风险。”

银行股业绩优于预期

股价领涨标普500成分股

周五,摩根大通同时领涨道指及标普500成分股。银行股占据标普500成分股涨幅三家,摩根大通涨7.52%,花旗涨4.78%,美国银行涨3.38%。

富国银行第一季度营收207.3亿美元,市场预期200.3亿美元;每股收益1.23美元,预期1.14美元;一季度信贷损失拨备12.1亿美元,预期9.19亿美元。

花旗第一季度每股收益2.19美元,市场预期1.7美元;营收214亿美元,预期199.9亿美元;第一季度FICC销售及交易业务收入44.5亿美元,预期40.2亿美元。

贝莱德第一季度营收42.43亿美元,同比降10%,净利润11.57亿美元,同比降19%;每股摊薄收益7.64美元,同比降18%;一季度净流入资金1100亿美元。

银行公布的季度业绩均好于预期,主要受益于美联储的激进加息。为遏制通胀美联储接连加息,高息大幅提升了银行的贷款业务收入。

此外,由于硅谷银行和签名银行的倒闭,大银行成为避风港,从这场风波中获益。在硅谷银行和签名银行倒闭后,摩根大通和其他大型银行在上季度的最后几周获得大量存款流入。这些银行的倒闭可能促使客户将资金转移到更大的银行,这些银行被视为更强大、监管更严格。

不过,鉴于严峻的宏观经济形势,摩根大通将信贷损失拨备增加了23亿美元。信贷损失的冲销净额为11亿美元,而预计贷款损失的准备金总额增加了11亿美元。

富国银行的净冲销5.64亿美元,高于一年前的3.05亿美元;贷款信贷损失拨备137亿美元,同比增加10亿美元。

热门中概股多数下跌

热门中概股多数下跌,雾芯科技跌7.27%,达达集团跌5.52%,有道跌3.65%,百度跌3%,再鼎医药跌2.9%,贝壳跌2.85%,高途集团跌2.51%,哔哩哔哩跌2.34%,微博跌2.15%;涨幅方面,挚文集团涨4.81%,和黄医药涨4.29%,好未来涨2.69%。中概新能源汽车股涨跌不一,蔚来汽车涨1.87%,小鹏汽车跌0.55%,理想汽车涨1.4%。

必迈医药涨33.68%,知临集团涨22.82%,9F涨20.09%,领涨中概股。

黄金价格大跌

大宗商品中,美联储暂停加息的预期“退烧”,美元和美债收益率回升的共同打击下,黄金重挫,3月下旬以来首次一日跌近2%。

马斯克成立X.AI加入AI大战

马斯克在美国内达华州成立了一家名为X.AI的人工智能公司。

根据内达华州的备案文件,埃隆・马斯克在该州新成立了一家名为X.AI的人工智能公司。近期,马斯克创建了一家叫做“X”的空壳公司,将自己拥有的推特、特斯拉、Neuralink等所有公司打包加入其中。如今,“X”公司再添新丁X.AI,并且剑指OpenAI。

据媒体报道,马斯克正在组建一个由人工智能研究人员和工程师组成的团队。他也与众多投资方洽谈了新成立AI初创公司的事宜,这包括SpaceX和特斯拉的一些投资者。

据华尔街见闻,马斯克进军AI领域,意味着其旗下的公司再添一员。目前,他运营着特斯拉、推特、价值1370亿美元的火箭制造商+卫星互联网SpaceX、脑机接口公司Neuralink和隧道业务公司无聊(The Boring Company)。

需要注意的是,马斯克就在前一阵还签署公开信,呼吁比GPT-4强大的AI模型暂停6个月,称其“对社会和人类构成潜在风险”。信中说,人工智能实验室和独立专家应该利用六个月的暂停时间,来开发和实施一套由独立外部专家严格审计和监督的高级人工智能设计和开发的共享安全协议。

【【微信】】首席执行官Sam Altman回应称,马斯克等人呼吁暂停AI研发的公开信缺乏“技术细节”。

事实上,OpenAI是马斯克于2015年,与其现任CEO Sam Altman等人共同创办的,最初为非盈利组织,对外宣称要避免人工智能灭世。2018年,OpenAI把马斯克踢出了董事会,据媒体称是因为特斯拉深入研究自动驾驶的AI技术,与OpenAI出现了利益冲突,以及在安全方面的选择出现分歧。之后,该组织转型为一家营利性初创公司,并从微软那里筹集了投资资金。

马斯克加入AI大战,意味着这个当前最火热的赛道,又添一员猛将。放眼全球,耳熟能详的大厂们,和诸多初创公司,都纷纷涌入AI内容生成赛道。大模型作为人工智能领域内的重要技术,已经成为了最热门的领域。

马克龙:成为盟友不意味着成为附庸

据央视新闻,最近一段时间,法国总统马克龙在多个场合多次强调,欧洲要加强战略自主。12日,在荷兰访问的马克龙同荷兰首相吕特举行联合记者会,在记者会上马克龙再度回应相关议题。他表示,成为盟友并不意味着成为附庸,法国乃至欧洲应该有独立思考的权利。

法国总统 马克龙:正是在这里,我要强调战略自主的重要性。成为盟友并不意味着成为附庸,仅仅因为我们是盟友,仅仅因为我们一起做我们决定要做的事,并不意味着我们就没有独立思考的权利了,并不意味着要去追随我们盟国国内最极端的那群人。当我们审视事实时,法国不需要任何人来上课。

12日,马克龙还在其社交媒体账号发表长文,称“经济主权是我们的目标”,他分别谈到欧洲单一市场的优势、欧洲产业政策的推进和投资半导体行业的重要性等内容。马克龙写道,“为了实现这一目标,欧洲已经不再天真。它现在可以捍卫自己的利益、价值观和独立性”。

“欧洲战略自主:马克龙说了实话!”法国《创业》杂志13日以此为题发表评论文章称,几个月来,法国的媒体和政客一直就俄乌冲突发表好战演说,刻意忽视这场冲突已经拖垮欧洲经济的事实。因此,马克龙希望在好战氛围和阵营对抗的逻辑之外寻求另一条道路是完全正确的做法。

欧盟计划对俄罗斯实施第11轮制裁

据央视新闻,欧盟委员会负责金融事务的委员玛丽德・麦吉尼斯13日接受美国媒体采访时表示,欧盟正在酝酿对俄罗斯实施第11轮制裁,重点将针对俄罗斯回避现行制裁采取的措施。对此,俄罗斯常驻维也纳国际组织代表乌里扬诺夫通过社交媒体发文回应称,制裁对俄罗斯造成的影响并不严重,相反,欧盟遭到的反噬效应却远高于预期。

玛丽德・麦吉尼斯当天接受美国消费者新闻与商业频道采访时证实,欧盟成员国内部最近几周一直在讨论针对俄罗斯的新一轮制裁,他们在计划进一步制裁的同时,也在寻求确保制裁得到所谓的“有效实施”。为此,欧盟将重点针对帮助俄罗斯回避现行制裁的实体和个人。

欧盟委员会负责金融事务委员 玛丽德・麦吉尼斯:欧盟已经针对俄罗斯实施10轮制裁,接下来欧盟还将实施新一轮制裁。我们必须确保俄罗斯找不到回避制裁的方法。正如我反复强调的,欧盟制裁越深,造成影响的效果就越显著。

俄称制裁作用有限,欧盟未吸取教训。

针对欧盟方面的表态,俄罗斯常驻维也纳国际组织代表乌里扬诺夫随后通过社交媒体回应称,针对俄罗斯的制裁一直在持续,但作用有限,欧盟遭受的负面影响则远超预期。欧盟一直没有从对俄罗斯制裁的反噬效应中吸取教训。

同一天,匈牙利外交与对外经济部国务秘书门采尔表示,匈牙利不会为他国利益放弃从俄罗斯进口能源,迫于外界压力对俄罗斯实施制裁。此前,匈牙利外交部长西雅尔多也强调,通过向乌克兰提供武器和制裁俄罗斯是无法实现和平的,只会反噬欧洲并造成更大伤害。

匈牙利外交部长 西雅尔多:拯救生命的唯一方法是实现和平,而非提供武器或实施制裁。

也有网友表示,欧盟正遭受对俄罗斯制裁的反噬效应,持续多轮制裁并不利于最终解决俄乌冲突。制裁给欧盟自身造成巨大的反噬效应,欧盟正在“搬起石头砸自己的脚”。尽管欧盟知道制裁没有起到作用,但是他们仍然在不断进行制裁,制裁不是解决办法,持续制裁并不能带来和平,劝和促谈才是解决办法。

去年乌克兰危机升级后,欧盟盲目追随美国对俄罗斯实施多轮经济制裁,导致欧洲各国能源和大宗商品价格飙升,通货膨胀居高不下,民众购买力下降,家庭消费水平走低。制裁的反噬效应也令欧洲企业遭受巨大损失,导致欧洲工业产出下降,自身经济衰退风险明显增加。

阿拉伯就叙利亚重返阿盟展开磋商

据央视新闻,当地时间14日,来自9个阿拉伯国家的代表在沙特阿拉伯西部城市吉达举行部长级磋商会议,就叙利亚重返阿拉伯国家联盟等问题进行讨论。这9个国家分别是埃及、约旦、伊拉克以及海湾阿拉伯国家合作委员会的成员国巴林、科威特、阿曼、卡塔尔、沙特和阿联酋。

有媒体分析称,与会各国如果能就叙利亚重返阿盟事宜达成一致,将为叙利亚政府代表于今年5月参加在沙特举办的阿盟峰会“铺平道路”。

美国总统拜登就机密文件泄露事件发表声明

据央视,当地时间4月14日,美国总统拜登就机密文件泄露事件发表声明。

拜登表示,政府相关部门仍在确认被泄露文件的有效性,他已经指示国防部和情报部门采取措施,进一步限制敏感信息的传播,同时,政府与美国的盟国及合作伙伴正在密切协调处理此事。

拜登表示将在2024年美国总统选举中竞选连任

据央视,当地时间4月14日,美国总统拜登表示,他已决定在2024年美国总统选举中竞选连任,并将尽快宣布他的竞选活动。

编辑:舰长

审核:许闻