chatgpt 需要语义分析吗 chatgpt4.0算法核心
淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】
去年 11 月起,智东西公开课教研组开始关注大模型的开发和应用,并曾策划推出「大模型系列直播课」,邀请了联汇科技首席科学家赵天成博士、一流科技 LiBai 项目负责人程鹏、潞晨科技创始人尤洋教授,以及北京面壁智能联合创始人 &CTO 曾国洋四位主讲人对大模型技术进行了深度讲解。
也是去年的 11 月底,现象级产品 ChatGPT 横空出世,让人们看到了大型语言模型的涌现能力,更是让国内外诸多高校、研究机构和企业都开始了类 ChatGPT 的研发。之后,图文多模态 GPT-4 的出现,将 ChatGPT 的能力进一步提升,又让大型语言模型进入了多模态的时代。
然而 OpenAI 并不 Open,无论是 ChatGPT 还是 GPT-4 都没有开源,复现的难度也极大。对于大型科技企业来说,自研 LLM 成为了不可避免的一条路。而对于缺少算力和资金的中小企业以及希望基于 LLM 开发衍生产品的开发者来说,选择开源平替方案显然是更理想的一条路线。
围绕 LLaMA 等开源模型,整个开源社区正在迅速的构建与 ChatGPT 能力类似的模型,并且在快速的迭代着。这些开源模型的效果具有更强的可定制性,并且可以免费使用。
//oss.zhidx.com/uploads/2023/05/646adac514ae7_646adac50f1b0_646adac50f183_figure_gif.mp4
为了让大家更好的了解学习这些开源的大型语言模型,并能拥有属于自己的 "ChatGPT"。从 5 月起,智东西公开课教研组将「大模型系列直播课」升级为「大型语言模型技术公开课」。
「大型语言模型技术公开课」由智东西公开课教研组全新出品,将持续邀请 LLM 领域的技术大牛和科研人员,对开源的大模型语言模型及其背后的技术细节以视频直播形式进行深入讲解。
在这一季,潞晨科技技术 VP 柳泓鑫、新加坡国立大学在读博士张傲、香港科技大学在读博士刁诗哲和腾讯 AI LAB 高级研究员宋林四位主讲人,将先后针对 ColossalChat、VPGTrans、LMFlow,以及 GPT4Tools 这四个开源项目带来讲解和答疑。
第一讲|潞晨科技技术 VP 柳泓鑫:基于 【【微信】】 低成本复现 ChatGPT
ColossalChat 是潞晨科技在建立了包含监督数据集收集 -> 监督微调 -> 奖励模型训练 -> 强化学习微调的完整 RLHF 流程的基础上,所推出的一个 ChatGPT 开源平替方案,也是首个最接近 ChatGPT 原始技术方案的实用开源项目,并且还显著的降低了显存需求,加快了训练推理速度,以低成本实现类 ChatGPT 的落地与应用。目前 ColossalChat 已支持支持单卡、单机多卡、1750 亿参数等多个版本,用户可以从 Hugging Face 导入 GPT-3,BLOOM 等多种预训练大模型。
ColossalChat 开源地址:https://github.com/hpcaitech/ColossalAI/tree/main/applications/Chat
第二讲|新加坡国立大学在读博士张傲:10% 成本定制类 GPT-4 多模态对话模型
针对多模态(对话)大模型,来自新加坡国立大学、清华大学的研究者们开源了一个 VPGTrans 框架,可以将已有的 BLIP-2 OPT-6.7B 模型的训练开销由 17901 元缩减到 1673 元,且模型效果相仿或更好。同时,在近期新放出的语言模型 LLaMA 和 【【微信】】 上也验证了 VPGTrans,构建并开源了 【【微信】】 和 VL-【【微信】】 模型。其中,VL-【【微信】】 模型可以进行高质量的多模态对话。
VPGTrans 开源地址:https://【【微信】】.github.io/
第三讲|香港科技大学在读博士刁诗哲:低成本训练专属 ChatGPT 的开源框架 LMFlow
LMFlow 是由香港科技大学统计和机器学习实验室团队发起又一个 ChatGPT 平替开源方案。LMFlow 可以帮助个人和中小企业在低成本的情况下微调出一个垂直领域、个性化的专属 ChatGPT,从而满足自己的需求。针对有限的计算资源,通过 LMFlow 开源库,基于 LLaMA-7B,只需 1 张 3090、耗时 5 个小时,就可以训练一个专属于自己的个性化 GPT,并完成网页端部署。该团队已经利用 LMFlow 单机训练了一个 330 亿参数的 LLaMA 中文版,并且对模型权重进行了开源,用于学术研究。
LMFlow 开源地址:https://github.com/OptimalScale/LMFlow
第四讲|腾讯 AI Lab 高级研究员宋林:基于大型语言模型对话指导视觉交互 GPT4Tools
来自腾讯 AI Lab、香港中文大学的研究者们最新开源的 GPT4Tools,基于 LLaMA 和自己构建的 71k instruction 数据,通过 self-instruct 和 LoRA 来微调,在分析语言内容后可以自动决定、控制和利用不同的基础视觉模型,允许用户在对话中与图像交互。让使用工具插件不必再通过 GPT-4 来实现!
GPT4Tools 开源地址:https://github.com/Ste【【微信】】/GPT4Tools
大咖连线|专访诺奖得主斯宾塞:真正使银行倒下的是挤兑,而非做空者
nba 斯诺,斯诺贝尔官网,斯诺贝尓,美国斯诺贝尔中新经纬5月22日电 (李自曼)“全球经济发展是一幅复杂的图景,但我认为这是一种融合,一方面是科学和技术在经济领域的应用以及与经济运作方式的结合;一方面是确保全球增长模式具有包容性。”20日,在2023清华五道口全球金融论坛上,诺贝尔经济学奖获得者迈克尔・斯宾塞(Michael Spence)在接受中新经纬专访时表示。
在他看来,推动发达经济体和中高收入经济体增长的最大机会是数字转型。同时,全球经济发展也存在传统的增长动力。如果能够消除低收入国家的发展障碍,它们的增长将成为全球经济增长的重要驱动力。
对于近期美国多家银行相继倒闭并被接管的现象,斯宾塞认为,这些银行不得不被接管,以防止银行倒闭和经济损失,特别是给储户带来的损失。不过,真正使银行倒下的是存款挤兑风险,而不是做空者的到来。但做空者可能会触发这种情况,有些观点认为,做空具有系统性和长期性的特点。
斯宾塞还指出,当前美国通货膨胀很高,而且还在上升。美联储通过提高利率的速度来对抗通货膨胀,这是三十年来从未见过的。
以下为中新经纬对话斯宾塞实录(略有编辑):
中新经纬:在您看来,未来一段时间内,发展最强劲、对经济增长贡献最大的领域有哪些?对中国经济发展潜力有哪些看法?
迈克尔・斯宾塞:我认为推动发达经济体和中高收入经济体增长的最大机会是数字化转型。近期,全球整体的经济发展形势也加强了这一观点。同时,还有其他因素,如不限于与数字革命有关的大量创业活动,还有能源转型和生活方式的革命、生物医学、生命科学,这些都比较重要。它们不仅是推动经济增长的重要因素,也是全球经济功能组合方式基本变化的重要驱动力。其中,能源转型需要在全球范围内进行大量投资,从而推动全球经济的增长和经济活动。当前,我们正在数字化基础上大力建设经济,现在有与此相关的风险,必须加以管理。以上这些都是全球经济增长模式的重要组成部分。同时,还有更多的传统增长动力,推动全球经济发展。
过去40年,中国在现代化与城市化的过程中,把人们从传统的农村地区带入现代经济,这种演变仍在进行中。
在世界上相当大的一部分地区,约有10亿到15亿人还生活在所谓的低收入国家。因此,如果能够消除他们发展中的一些障碍,未来它们的经济增长将成为全球经济增长的重要驱动力,尤其是如果它们像中国和其他一些亚洲国家那样成功的话。
所以,全球经济发展是一幅复杂的图景,但我认为这是一种融合,一方面是科学和技术在经济领域的应用以及与其运作方式的结合;一方面是确保全球增长模式具有包容性。
中新经纬:近期,美国三家银行相继倒闭。在您看来,这种状况对金融机构和金融监管有哪些启示?银行相继倒闭的相关影响会持续多久?
迈克尔・斯宾塞:这是一个很有趣的问题。直到过去两年,在我生活了30年的国家里,通货膨胀是非常有限的,没有太大的威胁。甚至在过去的10年或10年半中也是如此。在当时的发达经济体中,美国的实际利率为零,大量的流动性资金以各种量化形式注入,不仅没有多少通胀,而且通胀低于目标。
而当前美国的情况是,一大半人,包括那些在银行工作的人,不再认为通货膨胀与我们无关。
当前,我们可能会讨论为什么全球经济中出现了30年的通货紧缩,但这种情况很快就会消失。因为在人口大量老龄化、地缘政治紧张、多样化、生产力下降等冲击出现之前,供应方面的限制就已经存在了,这导致我们进入了一个高通胀时期。
美联储最初表示,这是疫情遗留下来的混乱局面,它将会消失。但事实证明这不是真的,美国通货膨胀很高,而且还在上升。美联储通过提高利率的速度来对抗通货膨胀,这是我们30年来从未见过的。
当人们认为可能发生的事情突然发生时,各种各样的事故就会发生。
具体到银行来说,银行基本上是负债运行,当然也包括向储户借钱,储户可以随时提取存款并进行长期投资。短期投资是银行的收益来源。在一个利率上升的环境中,长期资产会发生贬值,而银行负债方面的融资成本会上升。
必然遇到的情况是,有两三家银行的储户在社交媒体评论等的推动下相当警觉。突然间发生的挤兑,让银行担心他们能否找到新的融资来源去替代储户存款。在美国,发生这种情况时,这些银行不得不被接管,以防止银行倒闭和经济损失,特别是给储户带来的损失。
到目前为止,美国大概有四到五个这样的案例。在某些情况下,政府、联邦存款保险公司接管了银行。在最近的例子中,美国政府接管了第一共和银行,把它卖给了摩根大通。我不认为这会带来较高的扩散蔓延风险。部分原因是,监管机构有很多工具,他们非常警醒,知道并不是所有银行都有同样的情况。
目前,银行业出现大规模整合,即较弱的银行被较大的银行接管。其中,有意思的现象是,做空者基本上是在储户中诱发恐惧,这样做空者就会进入市场,并开始拉低银行的股票价格,而储户并不知道这是否意味着银行有风险。因此,储户开始拿走他们的钱。所以说,真正使银行倒下的是存款挤兑风险,而不是做空者的到来,但做空者可能会触发这种情况。有一些观点认为,做空具有系统性和长期性的特点。
在我看来,以上这种情况,也将让人们开始思考银行模式在这个世界上是否真的有效,或许我们的讨论还没有结束,这种观念已经开始了。
中新经纬:ChatGPT火遍全球。您如何看待当前AI技术的发展对经济发展的影响?
迈克尔・斯宾塞:当前出现的生成性人工智能系统,对大多数人来说最显而易见的是大型语言模型。不过,现在对其做出自信的经济预测还为时过早。
不可忽视的是,大型语言模型正在被扩展到整个输入范围,如图像、视频、音乐等等。它们不会再被称为大型语言模型,而是将被称为某种大模型,不限于语言。
在我看来,AI技术不仅有潜力,甚至有可能在经济中产生规范、生产力追求。
现在谈AI技术对经济发展的影响是一个相当有趣的、不确定的时间点。但我认为在经济方面,AI技术是令人难以置信的强大工具,它可以使工作更有价值,给人们在工作中做好定位。为了充分实现AI技术的这一潜力,人们所拥有的技能可能需要重大转变。
(更多报道线索,请联系本文作者李自曼:【【邮箱】】)(中新经纬APP)
(文中观点仅供参考,不构成投资建议,投资有风险,入市需谨慎。)
中新经纬版权所有,未经书面授权,任何单位及个人不得转载、摘编或以其它方式使用。
责任编辑:魏薇 李中元
更多精彩内容请关注中新经纬(jwview)官方微信公众号。