ChatGPT多模态升级，支持图片和语音，体验如何？
一、前言
9 月 25 日，ChatGPT 多模态增加了新的语音功能和图像功能。这些功能提供了一种新的、更直观的界面，允许我们与 ChatGPT 进行语音对话或展示我们正在谈论的内容。
ChatGPT 现在可以看、听、和说话了，而不单单是一个文本驱动的工具了。
正值十一小长假，很多人选择出去旅行。ChatGPT 新推出的这项功能能否用在旅行中呢？一起来看看。
二、图像交互功能
ChatGPT 在 9 月 25 日新推出的这个版本中，添加了图片交互能力。
图像理解由多模态 GPT-3.5 和 GPT-4 提供支持。这些模型将其语言推理技能应用于各种图像，例如照片、屏幕截图以及包含文本和图像的文档。
如何使用呢？
以网页版的 ChatGPT 为例。
点输入框左侧的「图片」按钮，就可以上传图片。可以上传一张或多张图片。
上传后，针对图片中的内容，输入我们想问的问题即可。例如就像下面这样。
看看 ChatGPT 的回答。回答得还不错，看来 ChatGPT 对图像内容的理解还是可以的。
在生活中有哪些应用呢？
比如刚刚上面举的这个例子：景点识别。
现在正值十一小长假，很多人外出旅行。
当我们看到一个不知名但很有趣的景点或地标时，可以拍摄照片并展示给 ChatGPT，它可以帮助我们识别并提供相关信息。
如果我们在旅行中遇到技术问题，如相机设置等，也可以向 ChatGPT 展示问题所在，获取技术支持和建议。
再来看几个官方的示例。
这个例子中上传了两张图，一张是使用说明，另一个是工具箱。然后向 ChatGPT 提问「工具箱中是否有正确的工具」。
另外，如果要聚焦图像的特定部分，还可以使用手机版 ChatGPT 中的绘图工具，圈出某个位置。
这个例子是询问「如何降低自行车座」。同时使用了 ChatGPT 中的绘图工具，圈出某个位置，然后再进行提问。
再比如，在家中拍摄冰箱和食品储藏室的照片，来确定晚餐菜单，并询问详细的食谱。
也可以拍摄数学问题的照片、或者工作中数据的复杂图表，圈出问题，并与 ChatGPT 共同探讨解决方法。
此时脑海中飘过电视上之前经常播的一个广告：哪里不会点哪里~
三、语音交互功能
ChatGPT 的多模态，除了新增了「图像交互功能」外，还增加了「语音交互功能」。
用户可以使用语音与 ChatGPT 进行双向对话。
其实以前也是支持语音的，只不过是仅限于「听」
新的语音功能由新的「text-to-speech」模型驱动，能够从简短的样本语音中生成类似人类的音频。
但语音交互功能目前只在手机端可以使用。
如何使用呢？
在手机端应用中点「设置」→「新功能」，选择加入语音对话。
点击位于主屏幕右上角的耳机按钮，然后从 5 种不同的声音中选择喜欢的声音，就可以开始进行对话了。
语音功能可以用来做什么呢？
比如练习外语口语，让它充当你的外教老师。
再比旅途中与它交谈，让它充当我们的随身导游。
或者也可以用它来为家里小孩讲睡前故事，等等。
四、模型的局限性和风险
- 用户可能依赖 ChatGPT 处理专业话题，例如研究领域。不鼓励在没有适当验证的情况下使用高风险用例。
- 模型擅长转录英文文本，但在处理某些其他语言时表现不佳。
五、目前可用范围
- 目前 ChatGPT 多模态新增的图像和语音功能，只在 Plus 用户和企业用户下可以使用。开发者和其他用户群体将在此后不久获得这些功能。
- 另外，语音功能只在 iOS 和 Android 上可以使用，而图像功能在网页和手机上均可使用。
六、结束语
随着技术的不断进步，我们正见证着人工智能领域的一次次重大突破。ChatGPT 的多模态功能，不仅为我们提供了与机器交流的新方式，还为我们打开了无尽的可能性。
通过语音、图像和文字的结合，我们可以更加直观、高效地与 AI 助手互动，从而更好地满足我们的日常需求。
正如 OpenAI 所展示的，未来的 AI 将不仅仅是文字和代码，而是一个能「看见」、「听到」并「说话」的实体。
关于 ChatGPT 多模态的图片功能和语音功能，感兴趣的可以移步官方进一步了解：
https://openai.com/blog/chatgpt-can-now-see-hear-and-speak
相关文章：
ChatGPT多模态升级，支持图片和语音，体验如何？
一、前言 9 月 25 日，ChatGPT 多模态增加了新的语音功能和图像功能。这些功能提供了一种新的、更直观的界面，允许我们与 ChatGPT 进行语音对话或展示我们正在谈论的内容。 ChatGPT 现在可以看、听、和说话了，而不单单是一个文本驱动的工具了。…...
（SAR）Sentinel-1影像自动下载
基于ASF网站提供的python代码，实现Sentinel-1影像的自动下载； 1、登录ASF网站 登录Sentinel-1影像ASF网站：https://search.asf.alaska.edu/； 点击网站最右侧Sign in图标，进行用户注册； 注册完用户之后&…...
设计模式10、外观模式Facade
解释说明：外观模式（Facade Pattern）又称为门面模式，属于结构型模式 Faade 为子系统中的一组接口提供了一个统一的高层接口，该接口使得子系统更加容易使用 外观（Facade)角色：为多个子系统对外提供…...
华为数通方向HCIP-DataCom H12-831题库(单选题：181-200）
第181题 以下关于OSPF的5类LSA中的转发地址(ForwardingAddress，FA) 的描述，正确的是哪一项? A、当FA地址为0.0.0.0时，收到该LSA的路由器认为到达目的网段的数据包应该发往对应的ABR，因此将到达ABR的下一跳地址作为这条外部路由的下一跳 B、当FA地址为0.0.0.0时，收到该LS…...
Java 中的参数传递方式
Java 中的参数传递方式通常被称为“值传递”，这意味着在方法调用时，实际上传递给方法的是变量的副本，而不是变量本身。尽管这被广泛称为“值传递”，但需要注意的是，这并不意味着 Java 不支持引用传递。事实上ÿ…...
从0开始python学习-27.selenium 简单登录页面脚本
url https://test.com.cn/login driver.get(url)# 获取登录页面需要输入账号密码进行模拟登录操作 user driver.find_element(By.XPATH,//*[id"username"]).send_keys(username) pwd driver.find_element(By.XPATH,//*[id"selfpwd"]).send_keys(123456)…...
华为智能企业上网行为管理安全解决方案（2）
本文承接： https://blog.csdn.net/qq_37633855/article/details/133339254?spm1001.2014.3001.5501 重点讲解华为智能企业上网行为管理安全解决方案的部署流程。 华为智能企业上网行为管理安全解决方案（2） 课程地址方案部署整体流程组网规划…...
【python海洋专题九】Cartopy画地形等深线图
【python海洋专题九】Cartopy画地形等深线图 水深图基础差不多了，可以换成温度、盐度等 本期加上等深线 本期内容 1：地形等深线 cf ax.contour(lon, lat, ele[:, :], levelsnp.linspace(-9000,-100,10),colorsgray, linestyles-,linewidths0.25, t…...
Java后端模拟面试，题集①
1.Spring bean的生命周期 实例化 Instantiation属性赋值 Populate初始化 Initialization销毁 Destruction 2.Spring AOP的创建在bean的哪个时期进行的 （图片转载自Spring Bean的完整生命周期（带流程图，好记）） 3.MQ如…...
UE5.1编辑器拓展【二、脚本化资产行为，快速更改资产名字,1.直接添加前缀或后缀2.通过资产类判断添加修改前缀】
目录 了解相关的函数 第一种做法：自定义添加选择资产的前缀或后缀 代码 效果 第二种做法：通过映射来获取资产类型添加前缀和修改前缀 映射代码 代码 效果 在之前一章中，我们创建了插件，用来扩展编辑器的使用： …...
短期风速预测|LSTM|ELM|批处理（matlab代码）
目录 1 主要内容 LSTM-长短时记忆 ELM-极限学习机 2 部分代码 3 程序结果 4 程序链接 1 主要内容 该程序是预测类的基础性代码，程序对河北某地区的气象数据进行详细统计，程序最终得到pm2.5的预测结果，通过更改数据很容易得到风速预测结…...
【LeetCode热题100】--102.二叉树的层序遍历
102.二叉树的层序遍历 广度优先搜索： 我们可以想到最朴素的方法是用一个二元组 (node, level) 来表示状态，它表示某个节点和它所在的层数，每个新进队列的节点的 level 值都是父亲节点的 level 值加一。最后根据每个点的 level 对点进行分类&…...
第44节——redux store
一、概念 Redux 是一个用于管理 JavaScript 应用状态的库。在 Redux 中，整个应用的状态都存储在一个对象中，称为 store。 Store 实际上是一个 JavaScript 对象，它存储了整个应用的状态。它是唯一的，意味着应用中只有一个 store。…...
【2023年11月第四版教材】第17章《干系人管理》（第二部分）
第17章《干系人管理》（第二部分） 4 过程1-识别干系人4.1 数据收集★★★4.3数据分析4.4 权力利益方格4.5 数据表现：干系人映射分析和表现★★★ 5 过程2-规划干系人参与5.1 数据分析5.2 数据表现★★★5.2.1 干系人参与度评估矩阵★★★ 5.3 …...
含分布式电源的配电网可靠性评估（matlab代码）
目录 1 主要内容 2 部分代码 3 程序结果 4 下载链接 1 主要内容 该程序参考《基于仿射最小路法的含分布式电源配电网可靠性分析》文献方法，通过概率模型和时序模型分别进行建模，实现基于概率模型最小路法的含分布式电源配电网可靠性评估以及时序模型…...
react的组件
组件 组件是用来实现局部功能的代码和资源的集合（html/css/js），用来复用代码。 react中分为函数式组件和类式组件。函数式组件就是一个函数，函数的返回值就是组件的视图内容。类式组件就是通过class关键字创建的类，类…...
低功耗引擎Cliptrix为什么可以成为IOT的高效能工具
在万物互联的时代，现代人已普遍接受电视、音箱等电器设备具备智能化能力，也是在这个趋势下，我们身边越来越多的iOT设备联网和交互成为刚需。 但iot设备也面临到一些非常显著的痛点，例如iot设备的内存、处理器等核心元件无法与手机…...
深入学习git
1、git原理及整体架构图 一些常用的命令 git add . 或 git add src/com/ygl/hello/hello.java 指定文件 git commit . 或 git commit src/com/ygl/hello/hello.java 指定文件 git push origin 分支名称 2、git stash的应用场景 场景一：你正在当前分支A开发&…...
第9章 Mybatis
9.1 谈谈你对Mybatis的理解 难度：★★ 重点：★★ 白话解析 说清楚Mybatis是什么，它的工作流程，然后再对比一下Hibernate就好了。 1、Mybatis是什么：它一个半自动ORM框架，它底层把JDBC那套加载驱动、创建连接、创建statement等重复性的硬编码全部给你封装好了，程序员只…...
隐蔽通信论文复现
文章目录 前言一、Limits of Reliable Communication with Low Probability of Detection on AWGN Channels摘要introduction 前言 本文准备先考虑隐蔽中通信经典的Alice, Bob, Willie三点模型, 总结出其中的经典套路 一、Limits of Reliable Communication with Low Probabil…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目：3442. 奇偶频次间的最大差值 I 思路 ：哈希，时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况，哈希表这里用数组即可实现。 C版本： class Solution { public:int maxDifference(string s) {int a[26]…...
conda相比python好处
Conda 作为 Python 的环境和包管理工具，相比原生 Python 生态（如 pip 虚拟环境）有许多独特优势，尤其在多项目管理、依赖处理和跨平台兼容性等方面表现更优。以下是 Conda 的核心好处： 一、一站式环境管理：…...
C++实现分布式网络通信框架RPC(3)--rpc调用端
目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中，我们已经大致实现了rpc服务端的各项功能代…...
在rocky linux 9.5上在线安装 docker
前面是指南，后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...
FastAPI 教程：从入门到实践
FastAPI 是一个现代、快速（高性能）的 Web 框架，用于构建 API，支持 Python 3.6。它基于标准 Python 类型提示，易于学习且功能强大。以下是一个完整的 FastAPI 入门教程，涵盖从环境搭建到创建并运行一个简单的…...
Python爬虫实战：研究feedparser库相关技术
1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。 然而，互联网…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
【单片机期末】单片机系统设计
主要内容：系统状态机，系统时基，系统需求分析，系统构建，系统状态流图 一、题目要求 二、绘制系统状态流图 题目：根据上述描述绘制系统状态流图，注明状态转移条件及方向。 三、利用定时器产生时…...
【HarmonyOS 5 开发速记】如何获取用户信息（头像/昵称/手机号）
1.获取 authorizationCode： 2.利用 authorizationCode 获取 accessToken：文档中心 3.获取手机：文档中心 4.获取昵称头像：文档中心 首先创建 request 若要获取手机号，scope必填 phone，permissions 必填 …...