当前位置：首页 > news >正文

Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能

news 2025/10/16 3:48:20

引言

2023年，IT领域的焦点无疑是ChatGPT，然而，同属OpenAI的开源产品Whisper似乎鲜少引起足够的注意。

Whisper是一款自动语音识别系统，可以识别来自99种不同语言的语音并将其转录为文字。

如果说ChatGPT为计算机赋予了大脑，那么Whisper则为其赋予了耳朵。

想象一下，在企业应用领域，我们能够利用Whisper将语音转化为文字，然后再借助ChatGPT来进行翻译或总结。

接下来，我们将以实际操作为出发点，逐步向您介绍如何利用AI实现音频、视频的内容总结。

前期准备

GPU

首先，我们需要解决硬件方面的问题。

虽然OpenAI提供了HTTP API来调用Whisper，但对于企业而言，将内部内容交给OpenAI始终存在一定的安全风险。

本地运行AI模型则需要大量的计算资源。

如果仅使用CPU进行计算，一个大约10分钟的语音转录任务可能需要花费4倍以上的时间。

因此，我们必须引入GPU进行计算加速。

考虑到Colab在国内无法访问，我们建议在Kaggle上运行演示。

请大家注册Kaggle账户，并完成手机号验证（Kaggle的GPU需要完成手机号验证后才能使用）。

Azure ChatGPT

ChatGPT是我们语音内容总结的核心工具。

我们建议使用Azure OpenAI服务。

您可以参考以下文章来申请：Azure OpenAI Service申请教程

kintone

kintone是我们用来存储记录的平台。我们需要创建一个名为“Reports”的应用程序（APP），并定义以下表单字段：

运行

您可以在这里找到演示代码：

GitHub - kintone-samples/SAMPLE-kintone-narrator-cn: Utilize AI to summarize video/audio content and upload it to Kintone.

点击“open in kaggle”。

00164f6dc8a7463221b0c1bb9b2d132

请按照以下步骤操作：

1.点击Edit，进入编辑状态

00164f6dd30805db352f635f6511303

2.在右侧的Notebook options中，我们需要将Acceleator选为GPU T4*2

00164f6de1cb8f79ede4e3cedd09de5

00164f6de75531264fadfc118551c7e

注：

没验证手机的账户不会显示Acceleator选项。
GPU P100不支持当前默认float16运算，选择该显卡的用户请将“语音转录&对齐”中的compute_type设为float32。
TPU尚未测试支持。

3.找到名为“Azure OpanAI ChatGPT 总结”和“将总结内容上传”的代码单元（cell），然后根据您自己的环境设置进行配置。

00164f6e1d975a5e44ae378895cf138

00164f6e294a2cedda5abe87c7d923b

4.点击页面上方的“Run All”按钮以开始运行演示。

00164f6e0f2c6d0a761f9e64df41428

等待程序运行结束即可。

下面我将对会每个代码单元的功能进行简要说明，感兴趣的可以继续往下研究：

Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能

引言 2023年，IT领域的焦点无疑是ChatGPT，然而，同属OpenAI的开源产品Whisper似乎鲜少引起足够的注意。 Whisper是一款自动语音识别系统，可以识别来自99种不同语言的语音并将其转录为文字。如果说ChatGPT为计算机赋予了大脑&…...

编程日记 2023/9/23 15:34:00

795. 区间子数组个数

795. 区间子数组个数给你一个整数数组 nums 和两个整数：left 及 right 。找出 nums 中连续、非空且其中最大元素在范围 [left, right] 内的子数组，并返回满足条件的子数组的个数。生成的测试用例保证结果符合 32-bit 整数范围。示例 1：…...

编程日记 2023/9/23 15:31:57

Request method ‘GET‘ not supported，不支持GET形式访问

org.springframework.web.HttpRequestMethodNotSupportedException: Request method ‘GET’ not supported 原因：异常提示的很明确，请求不支持GET方式访问，出现这种问题一般都是由于限制请求接口为POST，然后使用GET形式访问造成的…...

编程日记 2023/9/23 15:24:45

前景回顾 #mermaid-svg-sXTObkmwPR34tOT4 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-sXTObkmwPR34tOT4 .error-icon{fill:#552222;}#mermaid-svg-sXTObkmwPR34tOT4 .error-text{fill:#552222;stroke:#552222;}#…...

编程日记 2023/9/23 15:22:41

AI写文章软件-怎么选择不同的AI写文章软件

在如今信息爆炸的时代，无论是学生、职场人士，还是创作者和企业家，写文章都是一项常见而又重要的任务。然而，随着科技的不断进步，AI写文章的软件也逐渐走进了人们的视野。 147GPT批量文章生成工具www.147seo.com/post…...

编程日记 2023/9/23 15:21:39

VSCode远程连接服务器报错:Could not establish connection to

参考：https://blog.csdn.net/weixin_42538848/article/details/118113262 https://www.jb51.net/article/219138.htm 刚开始把ssh文件夹中的known_hosts给删除了，发现没啥用。之后在扩展Remote-SSH里面，把config file路径设置为ssh文件夹里…...

编程日记 2023/9/23 15:18:34

openssl 用法整理 —— 筑梦之路

用法一生成自签名数字证书 # 生成私钥 openssl genpkey -algorithm RSA -out private.key# 生成证书请求 openssl req -new -key private.key -out certificate.csr# 使用私钥签署证书 openssl x509 -req -days 365 -in certificate.csr -signkey private.key -out certifica…...

编程日记 2023/9/23 15:17:33

Mac安装SPSS 26(含安装包)

Mac安装SPSS 26(含安装包) 安装包地址(百度网盘)：https://pan.baidu.com/s/127ZJNRIMZaeR2hDilQT0Zg提取码: m5xj 查看是否允许安装任何来源的app 如果没有任何来源这个选项打开终端输入：sudo spctl --master-disable回车之后输入password(注:电脑的…...

编程日记 2023/9/23 15:16:32

uniapp存值和取值方法

在UniApp中，可以使用全局变量、本地缓存和Vuex状态管理等方式来进行存值和取值。全局变量：可以在App.vue文件的data中定义一个全局变量，在其他页面或组件中通过uni.$emit方法修改其值，并通过uni.$on方法监听值的变化。 // App.…...

编程日记 2023/9/23 15:15:31

Apache Beam 2.50.0发布,该版本包括改进功能和新功能

导读我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。亮点 Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。Go SDK 新增默认本地运行程序，名为 Prism（#24789&#xff0…...

编程日记 2023/9/23 15:11:24

华为云云耀云服务器 L 实例评测｜配置教程 + 用 Python 简单绘图

文章目录 Part.I IntroductionChap.I 云耀云服务器 L 实例简介Chap.II 参与活动步骤 Part.II 配置Chap.I 初步配置Chap.II 配置安全组 Part.III 简单使用Chap.I VScode 远程连接华为云Chap.II 简单绘图 Reference Part.I Introduction 本篇博文是为了参与华为“【有奖征文】华…...

编程日记 2023/9/23 15:08:21

栈的简单应用（利用Stack进行四则混合运算）（JAVA）

目录中缀表达式转后缀表达式图解代码实现过程： 完整代码： 利用后缀表达式求值： 完整代码： 首先我们得先了解逆波兰表达式。中缀表达式转后缀表达式所谓的中缀表达式其实就是我们平时写的例如：&#xff1…...

编程日记 2023/9/23 15:06:19

Python---异常

捕获全部异常语法： try: 可能发生的错误代码 except: 如果出现异常执行的代码例子： try:open("test2.txt", "r", encoding"UTF-8") except:print("出现异常，文件不存在，换个模式打…...

编程日记 2023/9/23 15:04:16

视频编解码器H.264和H265有什么区别？

对于大型视频文件来说，视频编解码器至关重要，它可以将文件压缩为较小的尺寸，从而可以更轻松地存储和加快传输速度。而两种最常用的编解码器是H.264和H.265，那么它们两者之间有什么区别，哪一个更好呢？ 1. 什…...

编程日记 2023/9/23 15:03:15

网络安全进阶学习第十六课——业务逻辑漏洞介绍

文章目录一、什么是业务逻辑二、业务逻辑漏洞的成因三、逻辑漏洞的重要性四、业务逻辑漏洞分类五、业务逻辑漏洞——业务授权安全1、未授权访问2、越权访问1) 平行越权（水平越权是指相同权限的不同用户可以互相访问）2) 垂直越权（垂直越权是指…...

编程日记 2023/9/23 15:02:15

华为OD：跳房子I

题目描述跳房子，也叫跳飞机，是一种世界性的儿童游戏。游戏参与者需要分多个回合按顺序跳到第1格直到房子的最后一格跳房子的过程中，可以向前跳，也可以向后跳。假设房子的总格数是count，小红每回合可能连续跳的…...

编程日记 2023/9/23 15:01:14

C语言自定义类型详解（1）结构体知识汇总

本篇概要本篇主要讲述C语言结构体的相关知识，包括结构体的基本声明，结构体的匿名结构，结构体的自引用，结构体变量的定义和初始化以及结构体的内存对齐等相关知识。文章目录本篇概要1.结构体1.1结构体的基本声明1.2结构体的特殊…...

编程日记 2023/9/23 14:58:11

小程序中如何查看会员的访问记录

在小程序中，我们可以通过如下方式来查看会员的访问记录。下面是具体的操作流程： 1. 找到指定的会员卡。在管理员后台->会员管理处，找到需要查看访客记录的会员卡。也支持对会员卡按卡号、手机号和等级进行搜索。 2. 查看会员卡详情。点…...

编程日记 2023/9/23 14:57:10

SpringCloud Alibaba - Sentinel

接上文SpringCloud Alibaba - Nacos 1.Sentinel 流量防卫兵 1.1 安装与部署和Nacos一样，它是独立安装和部署的，下载地址https://github.com/alibaba/Sentinel/releases 下载后的jar放到目录然后配置启动并访问,用户名密码都是 sentinel 此时就…...

编程日记 2023/9/23 14:55:07

内存泄漏，内存溢出，抽象类和接口，netstat、ping、ifconfig的区别

持续学习是我们必备的技能之一，保持与时俱进，保持行业的敏感度，关注行业发展趋势，了解新技术，加强自己的认知，积极的应对变化内存泄漏 memory leak 是指程序在申请内存后，无法释放已申请的内…...

编程日记 2023/9/23 14:54:04

装饰模式（Decorator Pattern）重构java邮件发奖系统实战

前言现在我们有个如下的需求，设计一个邮件发奖的小系统， 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件装饰器模式（Decorator Pattern）允许向一个现有的对象添加新的功能，同时又不改变其…...

编程新知 2025/10/13 9:10:47

智能分布式爬虫的数据处理流水线优化：基于深度强化学习的数据质量控制

在数字化浪潮席卷全球的今天，数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具，在大规模数据获取中发挥着关键作用。然而，传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时，常出现数据质…...

编程新知 2025/10/15 6:12:15

中医有效性探讨

文章目录西医是如何发展到以生物化学为药理基础的现代医学？传统医学奠基期（远古 - 17 世纪）近代医学转型期（17 世纪 - 19 世纪末）现代医学成熟期（20世纪至今） 中医的源远流长和一脉相承远古至…...

编程新知 2025/10/7 1:43:48

python爬虫——气象数据爬取

一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用： 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests：发送 …...

编程新知 2025/7/9 12:15:58

用鸿蒙HarmonyOS5实现中国象棋小游戏的过程

下面是一个基于鸿蒙OS (HarmonyOS) 的中国象棋小游戏的实现代码。这个实现使用Java语言和鸿蒙的Ability框架。 1. 项目结构 /src/main/java/com/example/chinesechess/├── MainAbilitySlice.java // 主界面逻辑├── ChessView.java // 游戏视图和逻辑├──…...

编程新知 2025/8/18 11:32:48

【UE5 C++】通过文件对话框获取选择文件的路径

目录效果步骤源码效果步骤 1. 在“xxx.Build.cs”中添加需要使用的模块 ，这里主要使用“DesktopPlatform”模块 2. 添加后闭UE编辑器，右键点击 .uproject 文件，选择 "Generate Visual Studio project files"，重…...

编程新知 2025/10/14 5:14:31

软件工程期末复习

瀑布模型：计划螺旋模型：风险低原型模型: 用户反馈喷泉模型:代码复用高内聚低耦合：模块内部功能紧密模块之间依赖程度小高内聚：指的是一个模块内部的功能应该紧密相关。换句话说，一个模块应当只实现单一的功能…...

编程新知 2025/10/14 12:41:27

6️⃣Go 语言中的哈希、加密与序列化：通往区块链世界的钥匙

Go 语言中的哈希、加密与序列化：通往区块链世界的钥匙一、前言：离区块链还有多远？区块链听起来可能遥不可及，似乎是只有密码学专家和资深工程师才能涉足的领域。但事实上，构建一个区块链的核心并不复杂，尤其当你已经掌握了一门系统编程语言，比如 Go。要真正理解区…...

编程新知 2025/10/12 1:37:40

《信号与系统》第 6 章信号与系统的时域和频域特性

目录 6.0 引言 6.1 傅里叶变换的模和相位表示 6.2 线性时不变系统频率响应的模和相位表示 6.2.1 线性与非线性相位 6.2.2 群时延 6.2.3 对数模和相位图 6.3 理想频率选择性滤波器的时域特性 6.4 非理想滤波器的时域和频域特性讨论 6.5 一阶与二阶连续时间系统 6.5.1 …...

编程新知 2025/10/11 12:15:45

Windows电脑能装鸿蒙吗_Windows电脑体验鸿蒙电脑操作系统教程

鸿蒙电脑版操作系统来了，很多小伙伴想体验鸿蒙电脑版操作系统，可惜，鸿蒙系统并不支持你正在使用的传统的电脑来安装。不过可以通过可以使用华为官方提供的虚拟机，来体验大家心心念念的鸿蒙系统啦！注意：虚拟…...

编程新知 2025/10/12 4:45:57

Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能

引言

前期准备

GPU

Azure ChatGPT

kintone

运行

相关文章：