Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能
引言
2023年，IT领域的焦点无疑是ChatGPT，然而，同属OpenAI的开源产品Whisper似乎鲜少引起足够的注意。
Whisper是一款自动语音识别系统，可以识别来自99种不同语言的语音并将其转录为文字。
如果说ChatGPT为计算机赋予了大脑，那么Whisper则为其赋予了耳朵。
想象一下，在企业应用领域，我们能够利用Whisper将语音转化为文字，然后再借助ChatGPT来进行翻译或总结。
接下来，我们将以实际操作为出发点，逐步向您介绍如何利用AI实现音频、视频的内容总结。
前期准备
GPU
首先，我们需要解决硬件方面的问题。
虽然OpenAI提供了HTTP API来调用Whisper，但对于企业而言，将内部内容交给OpenAI始终存在一定的安全风险。
本地运行AI模型则需要大量的计算资源。
如果仅使用CPU进行计算，一个大约10分钟的语音转录任务可能需要花费4倍以上的时间。
因此，我们必须引入GPU进行计算加速。
考虑到Colab在国内无法访问，我们建议在Kaggle上运行演示。
请大家注册Kaggle账户，并完成手机号验证（Kaggle的GPU需要完成手机号验证后才能使用）。
Azure ChatGPT
ChatGPT是我们语音内容总结的核心工具。
我们建议使用Azure OpenAI服务。
您可以参考以下文章来申请：Azure OpenAI Service申请教程
kintone
kintone是我们用来存储记录的平台。我们需要创建一个名为“Reports”的应用程序（APP），并定义以下表单字段：
运行
您可以在这里找到演示代码：
GitHub - kintone-samples/SAMPLE-kintone-narrator-cn: Utilize AI to summarize video/audio content and upload it to Kintone.
点击“open in kaggle”。
请按照以下步骤操作：
1.点击Edit，进入编辑状态
2.在右侧的Notebook options中，我们需要将Acceleator选为GPU T4*2
注：
-
没验证手机的账户不会显示Acceleator选项。
-
GPU P100不支持当前默认float16运算，选择该显卡的用户请将“语音转录&对齐”中的compute_type设为float32。
-
TPU尚未测试支持。
3.找到名为“Azure OpanAI ChatGPT 总结”和“将总结内容上传”的代码单元（cell），然后根据您自己的环境设置进行配置。
4.点击页面上方的“Run All”按钮以开始运行演示。
等待程序运行结束即可。
下面我将对会每个代码单元的功能进行简要说明，感兴趣的可以继续往下研究：
Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能
相关文章：
Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能
引言 2023年，IT领域的焦点无疑是ChatGPT，然而，同属OpenAI的开源产品Whisper似乎鲜少引起足够的注意。 Whisper是一款自动语音识别系统，可以识别来自99种不同语言的语音并将其转录为文字。 如果说ChatGPT为计算机赋予了大脑&…...
795. 区间子数组个数
795. 区间子数组个数 给你一个整数数组 nums 和两个整数：left 及 right 。找出 nums 中连续、非空且其中最大元素在范围 [left, right] 内的子数组，并返回满足条件的子数组的个数。 生成的测试用例保证结果符合 32-bit 整数范围。 示例 1：…...
Request method ‘GET‘ not supported，不支持GET形式访问
org.springframework.web.HttpRequestMethodNotSupportedException: Request method ‘GET’ not supported 原因：异常提示的很明确，请求不支持GET方式访问，出现这种问题一般都是由于限制请求接口为POST，然后使用GET形式访问造成的…...
数据结构与算法(C语言版)P2---线性表之顺序表
前景回顾 #mermaid-svg-sXTObkmwPR34tOT4 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-sXTObkmwPR34tOT4 .error-icon{fill:#552222;}#mermaid-svg-sXTObkmwPR34tOT4 .error-text{fill:#552222;stroke:#552222;}#…...
AI写文章软件-怎么选择不同的AI写文章软件
在如今信息爆炸的时代，无论是学生、职场人士，还是创作者和企业家，写文章都是一项常见而又重要的任务。然而，随着科技的不断进步，AI写文章的软件也逐渐走进了人们的视野。 147GPT批量文章生成工具www.147seo.com/post…...
VSCode远程连接服务器报错:Could not establish connection to
参考：https://blog.csdn.net/weixin_42538848/article/details/118113262 https://www.jb51.net/article/219138.htm 刚开始把ssh文件夹中的known_hosts给删除了，发现没啥用。 之后在扩展Remote-SSH里面，把config file路径设置为ssh文件夹里…...
openssl 用法整理 —— 筑梦之路
用法一 生成自签名数字证书 # 生成私钥 openssl genpkey -algorithm RSA -out private.key# 生成证书请求 openssl req -new -key private.key -out certificate.csr# 使用私钥签署证书 openssl x509 -req -days 365 -in certificate.csr -signkey private.key -out certifica…...
Mac安装SPSS 26(含安装包)
Mac安装SPSS 26(含安装包) 安装包地址(百度网盘)：https://pan.baidu.com/s/127ZJNRIMZaeR2hDilQT0Zg提取码: m5xj 查看是否允许安装任何来源的app 如果没有任何来源这个选项 打开终端输入：sudo spctl --master-disable回车之后输入password(注:电脑的…...
uniapp存值和取值方法
在UniApp中，可以使用全局变量、本地缓存和Vuex状态管理等方式来进行存值和取值。 全局变量：可以在App.vue文件的data中定义一个全局变量，在其他页面或组件中通过uni.$emit方法修改其值，并通过uni.$on方法监听值的变化。 // App.…...
Apache Beam 2.50.0发布,该版本包括改进功能和新功能
导读我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。 亮点 Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。Go SDK 新增默认本地运行程序，名为 Prism（#24789࿰…...
华为云云耀云服务器 L 实例评测｜配置教程 + 用 Python 简单绘图
文章目录 Part.I IntroductionChap.I 云耀云服务器 L 实例简介Chap.II 参与活动步骤 Part.II 配置Chap.I 初步配置Chap.II 配置安全组 Part.III 简单使用Chap.I VScode 远程连接华为云Chap.II 简单绘图 Reference Part.I Introduction 本篇博文是为了参与华为“【有奖征文】华…...
栈的简单应用（利用Stack进行四则混合运算）（JAVA）
目录 中缀表达式转后缀表达式 图解 代码实现过程： 完整代码： 利用后缀表达式求值： 完整代码： 首先我们得先了解逆波兰表达式。 中缀表达式转后缀表达式 所谓的中缀表达式其实就是我们平时写的例如：࿱…...
Python---异常
捕获全部异常 语法： try: 可能发生的错误代码 except: 如果出现异常执行的代码 例子： try:open("test2.txt", "r", encoding"UTF-8") except:print("出现异常，文件不存在，换个模式打…...
视频编解码器H.264和H265有什么区别？
对于大型视频文件来说，视频编解码器至关重要，它可以将文件压缩为较小的尺寸，从而可以更轻松地存储和加快传输速度。而两种最常用的编解码器是H.264和H.265，那么它们两者之间有什么区别，哪一个更好呢？ 1. 什…...
网络安全进阶学习第十六课——业务逻辑漏洞介绍
文章目录 一、什么是业务逻辑二、业务逻辑漏洞的成因三、逻辑漏洞的重要性四、业务逻辑漏洞分类五、业务逻辑漏洞——业务授权安全1、未授权访问2、越权访问1) 平行越权（水平越权是指相同权限的不同用户可以互相访问）2) 垂直越权（垂直越权是指…...
华为OD：跳房子I
题目描述 跳房子，也叫跳飞机，是一种世界性的儿童游戏。 游戏参与者需要分多个回合按顺序跳到第1格直到房子的最后一格 跳房子的过程中，可以向前跳，也可以向后跳。 假设房子的总格数是count，小红每回合可能连续跳的…...
C语言自定义类型详解（1）结构体知识汇总
本篇概要 本篇主要讲述C语言结构体的相关知识，包括结构体的基本声明，结构体的匿名结构，结构体的自引用，结构体变量的定义和初始化以及结构体的内存对齐等相关知识。 文章目录 本篇概要1.结构体1.1结构体的基本声明1.2结构体的特殊…...
小程序中如何查看会员的访问记录
在小程序中，我们可以通过如下方式来查看会员的访问记录。下面是具体的操作流程： 1. 找到指定的会员卡。在管理员后台->会员管理处，找到需要查看访客记录的会员卡。也支持对会员卡按卡号、手机号和等级进行搜索。 2. 查看会员卡详情。点…...
SpringCloud Alibaba - Sentinel
接上文SpringCloud Alibaba - Nacos 1.Sentinel 流量防卫兵 1.1 安装与部署 和Nacos一样，它是独立安装和部署的，下载地址https://github.com/alibaba/Sentinel/releases 下载后的jar放到目录 然后配置 启动并访问,用户名密码都是 sentinel 此时就…...
内存泄漏，内存溢出，抽象类和接口，netstat、ping、ifconfig的区别
持续学习是我们必备的技能之一，保持与时俱进，保持行业的敏感度，关注行业发展趋势，了解新技术，加强自己的认知，积极的应对变化 内存泄漏 memory leak 是指程序在申请内存后，无法释放已申请的内…...
基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真
目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销，平衡网络负载，延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...
Docker 运行 Kafka 带 SASL 认证教程
Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明：server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
C++.OpenGL （10/64）基础光照（Basic Lighting）
基础光照（Basic Lighting） 冯氏光照模型（Phong Lighting Model） #mermaid-svg-GLdskXwWINxNGHso {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GLdskXwWINxNGHso .error-icon{fill:#552222;}#mermaid-svg-GLd…...
UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中，UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）
参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...
在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案
这个问题我看其他博主也写了，要么要会员、要么写的乱七八糟。这里我整理一下，把问题说清楚并且给出代码，拿去用就行，照着葫芦画瓢。 问题 在继承QWebEngineView后，重写mousePressEvent或event函数无法捕获鼠标按下事…...
基于IDIG-GAN的小样本电机轴承故障诊断
目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) 梯度归一化（Gradient Normalization） (2) 判别器梯度间隙正则化（Discriminator Gradient Gap Regularization） (3) 自注意力机制（Self-Attention） 3. 完整损失函数 二…...
c++第七天 继承与派生2
这一篇文章主要内容是 派生类构造函数与析构函数 在派生类中重写基类成员 以及多继承 第一部分：派生类构造函数与析构函数 当创建一个派生类对象时，基类成员是如何初始化的？ 1.当派生类对象创建的时候，基类成员的初始化顺序 …...
AI语音助手的Python实现
引言 语音助手（如小爱同学、Siri）通过语音识别、自然语言处理（NLP）和语音合成技术，为用户提供直观、高效的交互体验。随着人工智能的普及，Python开发者可以利用开源库和AI模型，快速构建自定义语音助手。本文由浅入深，详细介绍如何使用Python开发AI语音助手，涵盖基础功…...