当前位置: 首页 > news >正文

chattts生成的音频与字幕修改完善,每段字幕对应不同颜色的视频,准备下一步插入视频。

上一节中,实现了先生成一个固定背景的与音频长度一致的视频,然后插入字幕。再合并成一个视频的方法。

但是:这样有点单了,所以:

1.根据字幕的长度先生成视频片断

2.在片段上加上字幕。

3.合并所有片断,成为一个新的视频。

4.在新的视频上添加上音频。再次合成一个新的视频,即最后的视频。

可用代码1

from moviepy import VideoFileClip, AudioFileClip, TextClip, CompositeVideoClip, ImageClip
import cv2
import numpy as np
import random
import os
import warnings# 忽略特定的 UserWarning
# warnings.filterwarnings("ignore", category=UserWarning, message="In file .*\.mp4, .* bytes wanted but 0 bytes read at frame index .* \(out of a total .* frames\), at time .* sec. Using the last valid frame instead.")def parse_time(time_str):""" 解析 SRT 时间格式 """hours, minutes, seconds = time_str.split(':')seconds, milliseconds = seconds.split(',')return float(hours) * 3600 + float(minutes) * 60 + float(seconds) + float(milliseconds) / 1000def create_video(audio_path, subtitle_path, video_path, subtitle_position='center', use_temp_files=False):# 创建一个灰色背景的视频width, height = 1920, 1080  # 横屏视频分辨率fps = 24  # 视频帧率duration = AudioFileClip(audio_path).duration  # 视频时长与音频相同# 加载音频audio_clip = AudioFileClip(audio_path)# 读取字幕文件with open(subtitle_path, 'r', encoding='utf-8') as file:subtitles = file.readlines()# 处理字幕video_clips = []temp_files = []  # 用于存储临时文件路径for i in range(0, len(subtitles), 3):  # 4代表字幕文件中每一块所占行数index = subtitles[i].strip()time_range = subtitles[i + 1].strip().split(' --> ')start_time = time_range[0]end_time = time_range[1]text = subtitles[i + 2].strip()# 计算片段的持续时间start_seconds = parse_time(start_time)end_seconds = parse_time(end_time)clip_duration = end_seconds - start_seconds# 生成随机背景颜色random_color = (random.randint(0, 255), random.randint(0, 255), random.randint(0, 255))frame = np.zeros((height, width, 3), dtype=np.uint8)frame[:, :] = random_color# 创建视频片段fourcc = cv2.VideoWriter_fourcc(*'mp4v')if use_temp_files:output_path = f"temp_clip_{i}.mp4"out = cv2.VideoWriter(output_path, fourcc, fps, (width, height), isColor=True)for _ in range(int(fps * clip_duration)):out.write(frame)out.release()temp_files.append(output_path)# 检查临时视频文件是否存在且大小大于0if not os.path.exists(output_path) or os.path.getsize(output_path) == 0:raise Exception(f"Temporary video file {output_path} is missing or empty.")# 加载视频片段video_clip = VideoFileClip(output_path).with_duration(clip_duration)else:# 直接在内存中创建 VideoClipvideo_clip = ImageClip(frame).with_duration(clip_duration)# 折行处理font_size = 50font = cv2.FONT_HERSHEY_SIMPLEXmax_width = width * 0.8  # 最大宽度为视频宽度的80%words = text.split()lines = []line = ""for word in words:test_line = line + " " + word(test_width, _), _ = cv2.getTextSize(test_line, font, 1, font_size)if test_width <= max_width:line = test_lineelse:lines.append(line)line = wordlines.append(line)# 创建TextClipfinal_text = "\n".join(lines)subtitle_clip = TextClip(text=final_text, font_size=font_size, color='white',font='/usr/share/fonts/opentype/noto/NotoSerifCJK-Bold.ttc')subtitle_clip = subtitle_clip.with_start(0).with_end(clip_duration).with_position(('center', subtitle_position))# 创建灰色背景框text_width, text_height = subtitle_clip.sizepadding = 10  # 字幕框的内边距box_width = text_width + 2 * paddingbox_height = text_height + 2 * paddingbox_frame = np.zeros((box_height, box_width, 3), dtype=np.uint8) + 128  # 灰色背景box_clip = ImageClip(box_frame).with_start(0).with_end(clip_duration)# 设置背景框的位置if subtitle_position == 'center':box_position = ('center', 'center')elif subtitle_position == 'bottom':box_position = ('center', 'bottom')else:box_position = ('center', 'top')box_clip = box_clip.with_position(box_position, relative=True).with_duration(clip_duration)# 合成片段final_clip = CompositeVideoClip([video_clip, box_clip, subtitle_clip]).with_start(start_seconds)video_clips.append(final_clip)# 合成最终视频final_video = CompositeVideoClip(video_clips)final_video = final_video.with_audio(audio_clip)final_video.write_videofile(video_path, codec='libx264', fps=fps)# 清理临时文件if use_temp_files:for temp_file in temp_files:os.remove(temp_file)# 示例调用
audio_path = "wwww.wav"
subtitle_path = "wwww.srt"
video_path = "wwww.mp4"
subtitle_position = 'bottom'  # 可选值: 'center', 'bottom'
use_temp_files = False  # 设置为 True 以使用临时文件# 创建最终视频
create_video(audio_path, subtitle_path, video_path, subtitle_position, use_temp_files)

可用参考代码2:

from moviepy import VideoFileClip, AudioFileClip, TextClip, CompositeVideoClip, ImageClip
import cv2
import numpy as np
import random
import os
import warnings# 忽略特定的 UserWarning
# warnings.filterwarnings("ignore", category=UserWarning, message="In file .*\.mp4, .* bytes wanted but 0 bytes read at frame index .* \(out of a total .* frames\), at time .* sec. Using the last valid frame instead.")def parse_time(time_str):""" 解析 SRT 时间格式 """hours, minutes, seconds = time_str.split(':')seconds, milliseconds = seconds.split(',')return float(hours) * 3600 + float(minutes) * 60 + float(seconds) + float(milliseconds) / 1000def create_video(audio_path, subtitle_path, video_path, subtitle_position='center', use_temp_files=False):# 创建一个灰色背景的视频width, height = 1920, 1080  # 横屏视频分辨率fps = 24  # 视频帧率duration = AudioFileClip(audio_path).duration  # 视频时长与音频相同# 加载音频audio_clip = AudioFileClip(audio_path)# 读取字幕文件with open(subtitle_path, 'r', encoding='utf-8') as file:subtitles = file.readlines()# 处理字幕video_clips = []temp_files = []  # 用于存储临时文件路径for i in range(0, len(subtitles), 3):  # 4代表字幕文件中每一块所占行数index = subtitles[i].strip()time_range = subtitles[i + 1].strip().split(' --> ')start_time = time_range[0]end_time = time_range[1]text = subtitles[i + 2].strip()# 计算片段的持续时间start_seconds = parse_time(start_time)end_seconds = parse_time(end_time)clip_duration = end_seconds - start_seconds# 生成随机背景颜色random_color = (random.randint(0, 255), random.randint(0, 255), random.randint(0, 255))frame = np.zeros((height, width, 3), dtype=np.uint8)frame[:, :] = random_color# 创建视频片段fourcc = cv2.VideoWriter_fourcc(*'mp4v')if use_temp_files:output_path = f"temp_clip_{i}.mp4"out = cv2.VideoWriter(output_path, fourcc, fps, (width, height), isColor=True)for _ in range(int(fps * clip_duration)):out.write(frame)out.release()temp_files.append(output_path)# 检查临时视频文件是否存在且大小大于0if not os.path.exists(output_path) or os.path.getsize(output_path) == 0:raise Exception(f"Temporary video file {output_path} is missing or empty.")# 加载视频片段video_clip = VideoFileClip(output_path).with_duration(clip_duration)else:# 直接在内存中创建 VideoClipvideo_clip = ImageClip(frame).with_duration(clip_duration)# 折行处理font_size = 50font = cv2.FONT_HERSHEY_SIMPLEXmax_width = width * 0.8  # 最大宽度为视频宽度的80%words = text.split()lines = []line = ""for word in words:test_line = line + " " + word(test_width, _), _ = cv2.getTextSize(test_line, font, 1, font_size)if test_width <= max_width:line = test_lineelse:lines.append(line)line = wordlines.append(line)# 创建TextClipfinal_text = "\n".join(lines)subtitle_clip = TextClip(text=final_text, font_size=font_size, color='white',font='/usr/share/fonts/opentype/noto/NotoSerifCJK-Bold.ttc')subtitle_clip = subtitle_clip.with_start(0).with_end(clip_duration).with_position(('center', subtitle_position))# 创建灰色背景框text_width, text_height = subtitle_clip.sizepadding = 10  # 字幕框的内边距box_width = text_width + 2 * paddingbox_height = text_height + 2 * paddingbox_frame = np.zeros((box_height, box_width, 3), dtype=np.uint8) + 128  # 灰色背景box_clip = ImageClip(box_frame).with_start(0).with_end(clip_duration)# 设置背景框的位置if subtitle_position == 'center':box_position = ('center', 'center')elif subtitle_position == 'bottom':box_position = ('center', 'bottom')else:box_position = ('center', 'top')box_clip = box_clip.with_position(box_position, relative=True).with_duration(clip_duration)# 合成片段final_clip = CompositeVideoClip([video_clip, box_clip, subtitle_clip]).with_start(start_seconds)video_clips.append(final_clip)# 合成最终视频final_video = CompositeVideoClip(video_clips)final_video = final_video.with_audio(audio_clip)final_video.write_videofile(video_path, codec='libx264', fps=fps)# 清理临时文件if use_temp_files:for temp_file in temp_files:os.remove(temp_file)# 示例调用
audio_path = "wwww.wav"
subtitle_path = "wwww.srt"
video_path = "wwww.mp4"
subtitle_position = 'bottom'  # 可选值: 'center', 'bottom'
use_temp_files = False  # 设置为 True 以使用临时文件# 创建最终视频
create_video(audio_path, subtitle_path, video_path, subtitle_position, use_temp_files)

以上代码参考,下一步。我计划。使用视频及字幕建立数据库,然后使用字幕进行匹配,替换目前的随机背景色的视频片断。那位朋友有好的参考意见的。交流一下。

 

相关文章:

chattts生成的音频与字幕修改完善,每段字幕对应不同颜色的视频,准备下一步插入视频。

上一节中&#xff0c;实现了先生成一个固定背景的与音频长度一致的视频&#xff0c;然后插入字幕。再合并成一个视频的方法。 但是&#xff1a;这样有点单了&#xff0c;所以&#xff1a; 1.根据字幕的长度先生成视频片断 2.在片段上加上字幕。 3.合并所有片断&#xff0c;…...

数据结构开始——时间复杂度和空间复杂度知识点笔记总结

好了&#xff0c;经过了漫长的时间学习c语言语法知识&#xff0c;现在我们到了数据结构的学习。 首先&#xff0c;我们得思考一下 什么是数据结构&#xff1f; 数据结构(Data Structure)是计算机存储、组织数据的方式&#xff0c;指相互之间存在一种或多种特定关系的数据元素…...

路由策略与策略路由

路由策略 常用有Router-Policy&#xff0c;Filter-Policy等 控制路由是否可达&#xff0c;通过修改路由条目相关参数影响流量的转发 基于控制平面&#xff0c;会影响路由表表项&#xff0c;但只能基于目地址进行策略判定&#xff0c;于路由协议相结合使用 Router-Policy …...

pytorch_fid 安装笔记

目录 torch安装&#xff1a; pytorch_fid安装 torch安装&#xff1a; pip install torch2.5.0 --index-url https://download.pytorch.org/whl/cu121 pytorch_fid安装 pip install pytorch_fid 安装后&#xff0c;torch也会自动安装&#xff0c;导致torch引用报错。...

Qt绘制仪表————附带详细说明和代码示例

文章目录 1 效果2 原理3 编码实践3.1 创建仪表属性类3.2 设置类属性3.3 绘制图案3.3.1 设置反走样3.3.2 绘制背景3.3.3 重新定义坐标原点3.3.4 绘制圆环3.3.5 绘制刻度线3.3.6 绘制刻度线上的描述值3.3.7 绘制指针3.3.8 绘制指针数值和单位3.3.9 控制指针变化 扩展福利参考 1 效…...

百度地图JavaScript API核心功能指引

百度地图JavaScript API是一套由JavaScript语言编写的应用程序接口&#xff0c;它能够帮助您在网站中构建功能丰富、交互性强的地图应用&#xff0c;包含了构建地图基本功能的各种接口&#xff0c;提供了诸如本地搜索、路线规划等数据服务。百度地图JavaScript API支持HTTP和HT…...

mp4影像和m4a音频无损合成视频方法

第一步&#xff1a;复制高清视频地址 url 第二步:打开网址粘贴复制的视频url视频下载 第三步&#xff1a;下载-影像.mp4和-音频.m4a 第四步&#xff1a;合并视频&#xff1b; 使用ffmpeg进行无损合成&#xff08;如果没有安装ffmpeg请自行下载安装下载 FFmpeg (p2hp.com)&…...

Ubuntu下将Julia嵌入Jupyter内核

一.安装 Julia 如果 Julia 尚未安装&#xff1a; 打开终端&#xff0c;下载最新的 Julia 安装包&#xff1a; wget https://julialang-s3.julialang.org/bin/linux/x64/1.9/julia-1.9.3-linux-x86_64.tar.gz 解压并移动到 /opt&#xff1a; tar -xvzf julia-1.9.3-linux-x86_…...

openGauss开源数据库实战二十五

文章目录 任务二十五 openGauss 数据库的物理备份与恢复任务目标实施步骤一、为进行物理备份做准备1.确保数据库工作在归档模式2.创建保存数据库物理备份的目录3.创建保存归档日志备份的目录 二、进行openGauss数据库的物理备份1.备份数据库2.切换WAL3.备份归档日志 三、openGa…...

[C/C++] List相关操作

List相关操作 1 链表二分 目标&#xff1a; &#xff08;1&#xff09;对于偶数节点&#xff0c;正好对半分&#xff1b; &#xff08;2&#xff09;对于奇数节点&#xff0c;前 后 1 &#xff08;3&#xff09;断开链表&#xff0c;方便后期合并 // 使用快慢指针完成中点…...

继电器控制与C++编程:实现安全开关控制的技术分享

在现代生活中,继电器作为一种重要的电气控制元件,在电气设备的安全控制中起到了至关重要的作用。通过低电流控制高电流,继电器能够有效地隔离控制电路与被控设备,从而保障使用者的安全。本项目将介绍如何通过树莓派Pico与继电器模块结合,使用C++编程实现继电器的控制。 一…...

题解 - 找子序列(2024.12上海月赛丙组T4)

题目描述 Dave 有一个长度为 n 的非负整数序列 a1-n, 和一个非负整数 m 。 他希望知道是否有一个 a 的非空子序列&#xff0c;使得子序列中所有元素的按位与(bitwise AND)结果为 m。 换言之&#xff0c;他想知道是否存在一个下标序列 i1-k(k ≥ 1),满足 1 ≤ i1 < i2 < …...

在centos 7.9上面安装mingw交叉编译工具

1.说明 为了在centos上面编译windows的程序&#xff0c;需要安装mingw工具&#xff0c;mingw工具是可以编译windows程序的一些工具链&#xff0c;使用方式和linux一致 2.下载脚本 使用脚本方式编译&#xff0c;github的脚本位置&#xff1a;https://github.com/Zeranoe/ming…...

ubuntu wine mobaxterm找不到串口和解决方案

安装好 打开MobaXterm时发现&#xff0c;没有可供选择的串口 我们再检查wine设备映射 ls -la ~/.wine/dosdevices/ 串口是存在的&#xff0c;我们再来一番神操作&#xff0c;并没有回滚操作&#xff0c;不知是否是必要修改 打开 注册表&#xff0c;在HKEY_LOCAL_MACHINE中的…...

如何编译安装系统settings设置应用(5.0.0-Release)

本文介绍如何在OpenHarmony 5.0.0 r版本中修改系统设置应用&#xff0c;并且编译安装到开发板上 开发环境 1.dayu200开发板 2.OpenHarmony 5.0.0r 固件 3.API12 full sdk &#xff08;如果安装full sdk过程中出现报错hvigor ERROR: Cannot find module typescript,请参考 h…...

<项目代码>YOLOv8 车牌识别<目标检测>

项目代码下载链接 &#xff1c;项目代码&#xff1e;YOLOv8 车牌识别&#xff1c;目标检测&#xff1e;https://download.csdn.net/download/qq_53332949/90121387YOLOv8是一种单阶段&#xff08;one-stage&#xff09;检测算法&#xff0c;它将目标检测问题转化为一个回归问题…...

协同办公软件新升级:细节优化,让办公更简单

细节决定成败&#xff0c;企业酷信协同办公系统通过贴近客户实际需求的一系列改进和创新&#xff0c;在技术架构、系统结构、管理理念和使用性能上&#xff0c;都达到了国内先进水平&#xff0c;同时具备独特的优势。让我们看看企业酷信是如何通过这些细节提升&#xff0c;为企…...

【原创学习笔记】西门子1200 PLC实现变频器控制

一、实现的功能及应用的场合 通过PLC的不同指令&#xff0c;发送指令控制电机的启停和速度大小 二、硬件配置 1、西门子1214 PLC 2.TIA V16 3.SINAMICS G120C 三、实现功能步骤 1.添加设备G120C PN-调整以太网地址 根据实际情况选择有无滤波器&#xff0c;电机参数&#xf…...

SQL server学习02-使用T-SQL创建数据库

目录 一&#xff0c; 使用T-SQL创建数据库 1&#xff0c;数据库的存储结构 2&#xff0c;创建数据库的语法结构 1&#xff09;使用T-SQL创建学生成绩管理数据库 二&#xff0c;使用T-SQL修改数据库 1&#xff0c;修改数据库的语法结构 1&#xff09;修改学生成绩管理数…...

2024153读书笔记|《春烂漫:新平摄影作品选》——跳绳酷似人生路,起落平常,进退平常,莫惧征途万里长

2024153读书笔记|《春烂漫&#xff1a;新平摄影作品选》——跳绳酷似人生路&#xff0c;起落平常&#xff0c;进退平常&#xff0c;莫惧征途万里长 《春烂漫&#xff1a;新平摄影作品选》作者新平&#xff0c;2019.12.25年读完的小书&#xff0c;当时就觉得挺不错&#xff0c;今…...

通义千问3-4B树莓派快速部署:两种方法(llama.cpp vs Ollama)对比

通义千问3-4B树莓派快速部署&#xff1a;两种方法&#xff08;llama.cpp vs Ollama&#xff09;对比 1. 为什么选择在树莓派上部署通义千问3-4B 树莓派作为一款低成本、低功耗的单板计算机&#xff0c;近年来在边缘计算领域展现出巨大潜力。通义千问3-4B-Instruct-2507模型凭…...

【MATLAB实例教程:五分钟快速上手教程】

前言MATLAB&#xff08;Matrix Laboratory&#xff09;是MathWorks公司开发的高性能数值计算和可视化软件&#xff0c;广泛应用于工程、科学、金融和数据分析领域。本文将通过一个完整的实例&#xff0c;演示MATLAB在数据分析和可视化方面的强大功能。这是一个面向绝对初学者的…...

美团李树斌:餐饮评价资产最重要的不是多,而是“真实反映你是谁”

4月8日&#xff0c;美团高级副总裁李树斌在2026中国餐饮连锁峰会上表示&#xff0c;用户决策方式正在变化&#xff0c;变得更谨慎、看得更细、更信“新鲜的声音”&#xff0c;餐饮行业随之进入“信任竞争”时代&#xff0c;“真实口碑”成为长期资产。他认为&#xff0c;“口碑…...

1990~2024年各省市区区县水稻种植面积面板数据

各省市区县区县水稻种植面积面板数据1990&#xff5e;2024 数据文件包含如下&#xff1a; 1990&#xff5e;2024年各城市水稻种植面积面板数据.dta 1990&#xff5e;2024年各区县水稻种植面积面板数据.dta 1990&#xff5e;2024年各省份水稻种植面积面板数据.dta 除了省市…...

【.NET 9 容器化配置终极指南】:90%开发者忽略的5个生产级配置陷阱与自动修复方案

第一章&#xff1a;.NET 9 容器化配置的核心演进与生产就绪定义.NET 9 将容器化支持从“可运行”推向“生产就绪”&#xff0c;其核心演进体现在配置生命周期管理、启动时验证机制和原生容器镜像优化三大维度。与早期版本依赖外部脚本或手动环境适配不同&#xff0c;.NET 9 内置…...

Postgres - Listen/Notify构建轻量级发布订阅系统

概述原先设计一个内部系统的消息模块和缓存模块时&#xff0c;只有一个Postgres依赖。想着没多大用户量&#xff0c;没必要额外安装Redis&#xff0c;徒增运维工夫。缓存好解决&#xff0c;配个UNLOGGED表即可。吭吭哧哧琢磨怎么用数据表实现消息的时候&#xff0c;发现Postgre…...

NPJ Precis Oncol 重庆大学附属肿瘤医院张久权教授团队:基于纵向MRI的分形分析预测乳腺癌新辅助化疗反应

01文献学习今天分享的文献是由重庆大学附属肿瘤医院张久权教授等团队于12月12日在肿瘤学顶刊《npj Precision Oncology》&#xff08;中科院1区top&#xff0c;IF8&#xff09;上发表的研究“Fractal analysis of longitudinal MRI for predicting response to neoadjuvant che…...

第二章:从零构建你的首个量化交易策略

1. 初识量化交易与MindGo平台 第一次接触量化交易时&#xff0c;我完全被那些专业术语吓到了。什么"阿尔法因子"、"多因子模型"、"高频策略"&#xff0c;听起来就像天书一样。直到后来发现MindGo这个平台&#xff0c;才真正体会到量化交易也可以…...

Windows HEIC缩略图终极指南:免费解决iPhone照片预览问题

Windows HEIC缩略图终极指南&#xff1a;免费解决iPhone照片预览问题 【免费下载链接】windows-heic-thumbnails Enable Windows Explorer to display thumbnails for HEIC/HEIF files 项目地址: https://gitcode.com/gh_mirrors/wi/windows-heic-thumbnails 你是否曾将…...

终极启动盘制作工具:Deepin Boot Maker 完整使用指南

终极启动盘制作工具&#xff1a;Deepin Boot Maker 完整使用指南 【免费下载链接】deepin-boot-maker 项目地址: https://gitcode.com/gh_mirrors/de/deepin-boot-maker Deepin Boot Maker 是一款免费开源、简单快速的启动盘制作工具&#xff0c;专为新手和普通用户设计…...