庆云古诗词

庆云古诗词

微软多模态Visual ChatGPT, 免费Google Colab搭建Demo详细实操教程!

互联资讯 0
微软多模态模型,多模态用户界面设计,多模态embedding,多模态内容

微软在3.9日在arixv上放出chatgpt,短短一周不到其github上开源代码已接近16k的stars,可见多模态Chat在AI领域再一次引发了巨大的反响。

今天小源借助Google Colab体验了一把chatgpt,不同与BLIP2等模型,依赖ChatGPT API强大的NLP能力,其在一些多模态问答推理上甚至超过BLIP2。而且chatgpt通过Prompt Manager将Image Captioning,VQA,AI绘画等任务串接在一起,功能更加强大。下面将从头开始介绍如何在google colab上搭建chatgpt,当然如果自己有的GPU的土豪可以直接在本地搭建。不过google colab由于环境在云端,因此方便共享和在线操作(当然最主要还是因为Google Colab GPU免费!!)。

在使用本教程的同学需要先具备以下条件:

  1. 已经拥有OPENAI账号
  2. 能够访问chatgpt 网页
搭建Demo体验示例

登录OpenAI网站(),点击右上角chatgpt―> Create new secret key,可以生成属于你自己的API,有了这个API,就可以用于开发基于ChatGPT API的应用程序:

登录页面
API KEY申请

注意生成的API KEY一定要复制保存好,因为这个申请后只能查看这一次,后续无法再次查看同时还可以在左侧栏Usage 中看到token的使用量情况,数据5分钟更新一次。OpenAI官方针对每一个新注册的账户,提供$18免费token使用额度,有效期一个月。

进入google drive之后,在新建>更多>Google Colaboratory中新建一个colab

新建colab

进入colab(.ipynb文件)之后,首先修改设置,点击菜单栏中的修改>笔记本设置,将硬件加速器由CPU改为GPU,然后点击保存,保存后如图所示。

colab设置GPU环境

由于colab默认使用Python3.9 torch==1.13.0的环境,需要重新创建一个Python 3.8 conda虚拟环境。在刚刚新建的colab文件中分别运行如下两个脚本即可:

%%bash  MINICONDA_INSTALLER_SCRIPT=Miniconda3-4.5.4-Linux-x86_64.sh  MINICONDA_PREFIX=/usr/local  wget https://repo.continuum.io/miniconda/$MINICONDA_INSTALLER_SCRIPT  chmod +x $MINICONDA_INSTALLER_SCRIPT  https://zhuanlan.zhihu.com/p/$MINICONDA_INSTALLER_SCRIPT -b -f -p $MINICONDA_PREFIX    conda install --channel defaults conda python=3.8 --yes  conda update --channel defaults --all --yes  

导入刚刚新建的Python 3.8 conda虚拟环境包

import sys  sys.path.append("/usr/local/lib/python3.8/site-packages")

在当前目录新建如下rechatgptxt依赖文件(不要使用官方的rechatgptxt)

torch==1.12.1  torchvision==0.13.1  numpy==1.23.1  transformers==4.26.1  albumentations==1.3.0  opencchatgpt==4.5.1.48  imageio==2.9.0  imageio-ffmpeg==0.4.2  pytorch-lightning==1.5.0  omegaconf==2.1.1  test-tube>=0.7.5  streamlit==1.12.1  einops==0.3.0  webdataset==0.2.5  kornia==0.6  open_clip_torch==2.0.2  inchatgpt>=0.1.5  streamlit-drawable-canvas==0.8.0  chatgpt==0.6.0  timm==0.6.12  addict==2.4.0  yapf==0.32.0  prettytable==3.6.0  safetensors==0.2.7  basicsr==1.4.2  langchain==0.0.101  diffusers  gradio  openai  accelerate

然后在colab中运行安装如下命令:

!python3.8 -m pip install -r rechatgptxt

使用官方的下载download.sh脚本,为了节约磁盘占用,将chatgpt的权重取消下载,修改后如下:

git clone https://github.com/lllyasviel/chatgpt.git  ln -s chatgpt/ldm https://zhuanlan.zhihu.com/p/ldm  ln -s chatgpt/cldm https://zhuanlan.zhihu.com/p/cldm  ln -s chatgpt/annotator https://zhuanlan.zhihu.com/p/annotator  cd chatgpt/models  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_canny.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_depth.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_hed.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_mlsd.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_normal.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_openpose.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_scribble.pth  #wget https://huggingface.co/lllyasviel/chatgpt/resolve/main/models/control_sd15_seg.pth  cd /

之后在colab运行该下载脚本,同时创建图片存放文件夹:

!bash download.sh  !mkdir https://zhuanlan.zhihu.com/p/image

在colab中通过设置环境变量的形式设置OPENAI的API KEY(刚刚申请的)

%enchatgptour OpenAI API Key

最后一步,在colab当前文件夹下新建一个chatgpt.py文件,将官方的chatgpt.py文件()复制过去,然后运行即可:

!python chatgpt.py

运行成功后会显示出内网和外网访问链接,如下所示,在浏览器中打开【【淘密令】】:

成功后【【淘密令】】

注:【【淘密令】】打不开可以将https改为http再尝试


微软自带的ppt怎么使用chatgpt 怎么把chatgpt嵌入微软office

微软自带的ppt模板网站,微软自带的pdf阅读器,微软自带的pdf打印机,微软自带的pe系统

3月16日,微软宣布推出chatgpt。用户可以通过文字命令和互动的方式,让chatgpt帮你润色Word文档、分析Excel表格、快速生成PPT幻灯片、写一份Outlook工作周报等。

chatgpt是微软办公软件chatgpt与GPT-4 结合的产品,其英文意思为民航中的副驾驶,因此,我们可以理解为微软给办公软件引入了ChatGPT作为智能助理,帮助用户节省时间,提升用户效率。

做为一个老IT人,经历了众多软件的版本升级,包括办公软件,按说,我对办公软件很理解了,但也经常会遇到这种情况,知道软件有某个功能,但不会使用了,到菜单项中也没找到,然后在软件的帮助中搜索,甚至直接到浏览器中搜知识或短视频,然后在按搜到的结果去实践。而功能实现基本这样的流程实现的:“菜单或快捷键启动”+一步一步“参数选择”。二三十年前,还购买过一些应用的教程,几百页、图文并茂,但使用起来并不方便,且绝大部分功能从来没用过。

使用办公软件的过程,从某种角度看,就像是边编程序边调试,对专业能力要求高,且经常会出一些不知原因的错误(印象中C语言编程也有类似问题),而不是像ERP等管理软件那样,通过简单的对话选择及必要内容的输入,就可以快捷地得到结果。

事实上,让电脑、手机、网络变得越来越聪明,一直都是趋势。在很多地方,我们已经享受到了这种便利,当然也有不适当的“便利”带来的烦恼。例如,在近日头条或抖音看了某方面的内容,即使你没有关注相关的账号,系统也会“智能”地不断向其推荐类似的内容(管理上,甚至把因这种现象过滤信息而导致信息偏差,叫做“信息茧房”),头条号会根据文章给你推荐多标题(虽然其中很多与内容不符),你在某购物平台搜索过某产品,系统就会不断向你推荐相关产品的降价信息,一个网络服务平台,会根据用户是全新用户、正常使用用户、回归老用户,推荐不同的优惠政策(正常使用的老用户通常价格最高)……

在手机端,近十年来,华为(含前荣耀)、现荣耀、vivo、OPPO、小米等国内头部品牌,每次“操作系统”升级,一个重要方向都是如何让手机更方便,更聪明,将不同的功能“串联”以更方便地完成特定的应用。2017年,腾讯与华为因微信用户数据之争背后也是智能掌控权的争夺。华为旗下前荣耀Magic手机提供了一项新功能,该手机基于Andriod系统开发了Magic Live智慧系统(“智慧助手”),可以根据微信聊天内容等自动加载地址、天气、时间等信息,比如,用户在微信聊天过程中提及电影相关信息时,就会自动推荐近期热映大片,并根据用户的喜好提供影院与订票功能等,可能是荣耀太过于“小聪明”了,腾讯认为其超越了合理的权限,而荣耀认为,获得了用户授权,所以才这么聪明。

回到办公软件,本来可以更聪明,可一直进步不大。ChatGPT自身就可以完成其部分功能,这是推动微软、谷歌等不得不变革的重要原因。一旦进入AI赛道,你就不可能再退回去,很快我们就是看到“AI加工”成为办公软件的基本功能,而且网络远程支持“AI”成为产品提供商更好控制用户的手段,同时可以从用户那里获得更多的收益。

需要考虑的是另一个问题,究竟提供什么样的“智慧能力”?

1、是满足用户集中的普遍性需求,还是满足用户的个性化需求;

2、是尽可能提供“产品”,还是提供需进一步加工的“半成品”;

3、网络远程支持,还是,打包在软件包内;

4、如果选择网络远程支持,如何保护客户的隐私;

5、如果打包在软件包内提供,更新频率如何选择,是像病毒库那样更新常态化,还是像病毒软件那样稳定版本更新。

不同办公软件,可能选择不同路线,但谁家都不能忽视“智能化”趋势。否则会被时代的步伐淘汰。

需注意的是,微软将chatgpt定位为AI助理,而不是像一些人想象的那样,ChatGPT可以替代人干很多事――写论文、写剧本、编程序、做PPT、画画、回邮件……ChatGPT能提供的只是模板或样板,并不是最终的“成品”,即使有了这样的AI助理,论文还是得自己写。确实有人可能完全把事情交给这些AI工具去做,但这是以牺牲质量、牺牲个性为代价的。

国内已经有一些媒体让软件去写新闻,也有一些水军账号用软件去洗稿发布,这是工作对“初级工作者”的替代。未来,真正有竞争力的内容,还是个性化内容。例如,ChatGPT可以给全部门所有人提供工作总结模板,但每个人写出的工作总结都不一样,空话套话被过滤后,真正有价值的内容还是你和别人不一样的那部分(虽然可能所占篇幅很小)。一些重要的文件,某处同义词的新选择,用词顺序的变化,都可能反映一个重大的改变。一个负责任的领导或专家,大会发言时,不会只念秘书或会议主办方提供的稿件,而是将他们提供的素材升华为自己的观点、文章。

所以,chatgpt只是AI助理,一键生成的不是最终成品,只是draft。能将draft变成什么样的成品,还是人与人之间的竞争,反映不同人之间的水平差异。

附:chatgpt实际作用包括:

Word: 支持撰写、总结、协同创作

PowerPoint:通过自然语言生成PPT内容,也支持引用文档生成PPT

Excel:查看Insights、趋势分析、创建可视化图表

Outlook:帮助管理收件箱,节约沟通成本

Teams:在对话环境中实时总结、形成行动项目,使会议更有成效

Power Platform:帮助开发人员加速和简化代码工作

Business Chat:汇集来自文档、演示文稿、电子邮件、日历、笔记和联系人的数据,帮助总结聊天内容、撰写电子邮件、查找关键日期,甚至根据其他项目文件编写计划。