使用 Python结合ffmpeg 实现单线程和多线程推流

一、引言

在本文中，我们将详细介绍如何使用 Python 进行视频的推流操作。我们将通过两个不同的实现方式，即单线程推流和多线程推流，来展示如何利用 cv2（OpenCV）和 subprocess 等库将视频帧推送到指定的 RTMP 地址。这两种方式都涉及到从摄像头读取视频帧，以及使用 ffmpeg 命令行工具将视频帧进行编码和推流的过程。

二、单线程推流

以下是单线程推流的代码：

import cv2 as cv
import subprocess as spdef push_stream():# 视频读取对象cap = cv.VideoCapture(0) fps = int(cap.get(cv.CAP_PROP_FPS))w = int(cap.get(cv.CAP_PROP_FRAME_WIDTH))h = int(cap.get(cv.CAP_PROP_FRAME_HEIGHT))ret, frame = cap.read()# 推流地址rtmpUrl = "rtmp://192.168.3.33:1935/live/"# 推流参数command = ['ffmpeg','-y','-f', 'rawvideo','-vcodec','rawvideo','-pix_fmt', 'bgr24','-s', "{}x{}".format(w, h),'-r', str(fps),'-i', '-','-c:v', 'libx264','-pix_fmt', 'yuv420p','-preset', 'ultrafast','-f', 'flv', rtmpUrl]# 创建、管理子进程pipe = sp.Popen(command, stdin=sp.PIPE, bufsize=10 ** 8)# 循环读取while cap.isOpened():# 读取一帧ret, frame = cap.read()if frame is None:print('read frame err!')continue# 显示一帧cv.imshow("frame", frame)# 按键退出if cv.waitKey(1) & 0xFF == ord('q'):break# 读取尺寸、推流# img=cv.resize(frame,size)pipe.stdin.write(frame) # 关闭窗口cv.destroyAllWindows()# 停止读取cap.release()

在这个单线程的实现中，我们执行以下步骤：

1. 初始化视频读取对象：
   • 使用 cv2.VideoCapture(0) 来打开默认的摄像头设备。
   • 获取摄像头的帧率 fps、宽度 w 和高度 h 等参数。
2. 设置推流地址和参数：
   • 定义 rtmpUrl 作为推流的目标地址。
   • 构造 ffmpeg 的命令列表 command，该列表包含了一系列的参数，如 -y 表示覆盖输出文件、-f rawvideo 表示输入格式为原始视频等。
   • 使用 sp.Popen 创建一个子进程，将 ffmpeg 命令作为子进程运行，并且将其输入管道 stdin 连接到我们的程序。
3. 循环读取和推流：
   • 在一个 while 循环中，不断读取摄像头的帧。
   • 若读取失败，打印错误信息并继续。
   • 使用 cv2.imshow 显示当前帧，同时监听 q 键，按下 q 键时退出程序。
   • 将读取到的帧通过管道发送给 ffmpeg 进行推流。

三、多线程推流

以下是多线程推流的代码：

import queue
import threading
import cv2 as cv
import subprocess as spclass Live(object):def __init__(self):self.frame_queue = queue.Queue()self.command = ""# 自行设置self.rtmpUrl = ""self.camera_path = ""def read_frame(self):print("开启推流")cap = cv.VideoCapture(self.camera_path)# Get video informationfps = int(cap.get(cv.CAP_PROP_FPS))width = int(cap.get(cv.CAP_PROP_FRAME_WIDTH))height = int(cap.get(cv.CAP_PROP_FRAME_HEIGHT))# ffmpeg commandself.command = ['ffmpeg','-y','-f', 'rawvideo','-vcodec','rawvideo','-pix_fmt', 'bgr24','-s', "{}x{}".format(width, height),'-r', str(fps),'-i', '-','-c:v', 'libx264','-pix_fmt', 'yuv420p','-preset', 'ultrafast','-f', 'flv', self.rtmpUrl]# read webcamerawhile(cap.isOpened()):ret, frame = cap.read()if not ret:print("Opening camera is failed")break# put frame into queueself.frame_queue.put(frame)def push_frame(self):# 防止多线程时 command 未被设置while True:if len(self.command) > 0:# 管道配置p = sp.Popen(self.command, stdin=sp.PIPE)breakwhile True:if self.frame_queue.empty()!= True:frame = self.frame_queue.get()# process frame# 你处理图片的代码# write to pipep.stdin.write(frame.tostring())def run(self):threads = [threading.Thread(target=Live.read_frame, args=(self,)),threading.Thread(target=Live.push_frame, args=(self,))][thread.setDaemon(True) for thread in threads][thread.start() for thread in threads]

在这个多线程的实现中，我们使用了 threading 和 queue 库：

1. 类的初始化：
   • 创建一个 Live 类，在 __init__ 方法中初始化帧队列 frame_queue、command、rtmpUrl 和 camera_path 等变量。
2. 读取帧的线程方法：
   • read_frame 方法中，使用 cv2.VideoCapture(self.camera_path) 打开摄像头。
   • 获取摄像头的参数，并构造 ffmpeg 命令。
   • 不断从摄像头读取帧，并将帧放入队列 frame_queue 中。
3. 推流的线程方法：
   • push_frame 方法中，等待 command 被设置，然后使用 sp.Popen 启动 ffmpeg 子进程。
   • 从帧队列中取出帧，并将其写入 ffmpeg 的输入管道进行推流。
4. 启动线程：
   • run 方法创建并启动两个线程，一个用于读取帧，一个用于推流，并且将它们设置为守护线程。

四、代码解释和注意事项

单线程推流：

• 这种方式相对简单，适合初学者理解。但由于是单线程操作，在处理复杂任务时可能会导致性能瓶颈，特别是在同时进行视频显示、读取和推流的情况下，可能会出现卡顿现象。

多线程推流：

• 利用多线程可以将不同的任务分配给不同的线程，提高性能。
• frame_queue 是一个线程安全的队列，用于在两个线程之间传递帧数据，避免了数据竞争问题。
• setDaemon(True) 使得线程在主线程结束时自动终止，防止程序无法正常退出。

五、总结

通过上述代码和解释，我们可以看到如何使用 Python 进行单线程和多线程的视频推流操作。单线程代码简单明了，但性能可能受限；多线程代码可以更好地处理高负载，但也需要注意线程安全和资源管理等问题。在实际应用中，我们可以根据具体的需求和硬件性能来选择合适的推流方式。同时，我们可以进一步优化代码，例如添加异常处理、优化帧处理逻辑等，以提高程序的稳定性和性能。