FFmpeg学习笔记(二):多线程rtsp推流和ffplay拉流操作,并储存为多路avi格式的视频

简介: 这篇博客主要介绍了如何使用FFmpeg进行多线程RTSP推流和ffplay拉流操作,以及如何将视频流保存为多路AVI格式的视频文件。

多线程

import threading
import time
# acquire the face iou
def get_frame():
    print("当前线程的信息:", threading.current_thread())
    time.sleep(1)

# acquire the face feature pkl
def get_feature():
    print("当前线程的信息:", threading.current_thread())
    time.sleep(10)

def main():
    # start the multiprocess
    t1=threading.Thread(target=get_frame,name='face_iou_save')
    t2=threading.Thread(target=get_feature,name='face_feature_pkl')
    t1.daemon = True
    t2.daemon = True # assist the process
    t1.start()
    t2.start() # start the process
    print('threading.active')
    t1.join()
    t2.join()
    print('threading.end')
if __name__ == '__main__':
    main()

如果不了解什么是rtsp推流和ffplay拉流可以看我这篇博客
https://developer.aliyun.com/article/1625071
由于项目需要,不得不使用多线程的方式来进行视频流的推送,从边缘端储存到服务器端。多线程的方式很明显有个非常大的特点,线程之间不相互影响,也就是你有你的工作,我有我的工作,你不工作了没关系,也不会影响我。
下面请看推流和拉流的代码

多进程rtsp推流


import cv2
import time
import multiprocessing as mp

def recovery_stream(cap,rtsp_url,retry_delay=10):
    while True:
        try:
            print(f"正在重新连接RTSP流:{rtsp_url}...")
            cap.release()
            cap = cv2.VideoCapture(rtsp_url)
            if cap.isOpened():
                print(f"RTSP流恢复成功:{rtsp_url}")
                return cap
        except Exception as e:
            print(f"尝试恢复RTSP流时遇到错误:{e}")
        time.sleep(retry_delay) # 等待10秒

def image_put(q, rtsp_url, rtsp_name):
    # 创建VideoCapture对象,指定RTSP流地址
    cap = cv2.VideoCapture(rtsp_url)
    fps = cap.get(cv2.CAP_PROP_FPS)
    print("FPS:", fps)
    if not cap.isOpened():
        print(f"无法打开RTSP流:{rtsp_url}")
        cap = recovery_stream(cap,rtsp_url,retry_delay=10)

    while True:
        ret, frame = cap.read()
        if not ret:
            cap = recovery_stream(cap,rtsp_url,retry_delay=10)
            ret,frame = cap.read()

        while q.qsize() > 1:
            try:
                _ = q.get_nowait()
            except Exception as e:
                pass

        q.put(frame)
        time.sleep(1/fps)
        # time.sleep(0.01)

def image_get(q, rtsp_url, rtsp_name):
    windowname = rtsp_url
    cv2.namedWindow(windowname)
    i = 0
    while True:
        frame = q.get(block=True)
        resized_frame = cv2.resize(frame, (640, 480))
        cv2.imshow(windowname, resized_frame)
        i += 1
        if cv2.waitKey(25) == 27: 
            break
        print("{}:{}".format(rtsp_name,i))

def run_multi_camera(rtsp_urls, rtsp_names):
    mp.set_start_method('spawn')
    queues = [mp.Queue(maxsize=2) for _ in rtsp_urls]
    queues1 = [mp.Queue(maxsize=2) for _ in rtsp_urls] # 备用
    stop_event = mp.Event()  # 创建一个停止事件
    processes = []

    for queue,rtsp_url,rtsp_name in zip(queues,rtsp_urls,rtsp_names):
        processes.append(mp.Process(target=image_put, args=(queue, rtsp_url, rtsp_name)))
        processes.append(mp.Process(target=image_get, args=(queue, rtsp_url, rtsp_name)))

    for process in processes:
        process.daemon = True
        process.start()
    for process in processes:
        process.join()
    stop_event.set()  # 设置停止事件,通知所有子进程退出

if __name__ == '__main__':
    # RTSP视频流地址
    rtsp_urls = ['rtsp://21*******e442aae',
            'rtsp://21**********d14275']
    rtsp_names = ["video1", "video2"]
    run_multi_camera(rtsp_urls, rtsp_names)
# 代码描述:利用多进程方法,利用两个海康威视摄像头,同时录取视频并保存本地

import cv2
import time
import multiprocessing as mp
import subprocess as sp
import  traceback

num = 0

# 抓取图片,确认视频流的读入
def image_put(q, name, pwd, ip, channel,ids):
    # if type(channel)== int:
    #cv2.namedWindow(ip, cv2.WINDOW_NORMAL)
    global url
    url="rtsp://%s:%s@%s:%s//Streaming/Channels/%s" \
                           % (name, pwd, ip, channel,ids)
    cap = cv2.VideoCapture(url)
    # 获取视频帧率
    fps = cap.get(cv2.CAP_PROP_FPS)
    print('fps: ', fps)
    if cap.isOpened():
        print('HIKVISION1')
        print('camera ' + ip + " connected.")
    #else:
    #    cap = cv2.VideoCapture("rtsp://%s:%s@%s/cam/realmonitor?channel=%d&subtype=0" % (name, pwd, ip, channel))
    #   print('DaHua')
    while cap.isOpened():
        # print('cap.read()[0]:', cap.read()[0])
        ret, frame = cap.read()
        # print('ret:', ret)
        #frame = cv2.resize(frame, (800, 600))
        # 抓取图片不成功再重新抓取
        if not ret:
            cap = cv2.VideoCapture("rtsp://%s:%s@%s:%s//Streaming/Channels/1" \
                                   % (name, pwd, ip, channel))
            print('HIKVISION2')
            ret, frame = cap.read()
            #frame = cv2.resize(frame, (800,600))
        # Press esc on keyboard to  exit
        # if cv2.waitKey(1) & 0xFF == 27:
        #     break
        q.put(frame) # 线程A不仅将图片放入队列
        # print('q.qsize():',(q.qsize() > 1))
        q.get() if q.qsize() > 1 else time.sleep(0.01) # 线程A还负责移除队列中的旧图
    cap.release()

# 获得视频流帧数图片,保存读入的视频
def image_get(q, name, pwd, ip, channel,ids,command):
    while True:
        if len(command) > 0:
            # 管道配置
            pipe = sp.Popen(command,shell=True, stdin=sp.PIPE)# ,shell=False
            break
    if pipe.poll() is not None:
        print(pipe.poll())
        #pipe = sp.Popen(command,shell=True, stdin=sp.PIPE)# ,shell=False
        time.sleep(3)
    while True:
        num += 1
        frame = q.get()
        if num == 100:
            print("start sleep 50")
            time.sleep(50)
            print("end sleep 50")
        if num >= 100:
            print("超时后的,第%d次写入" % (num - 99))
            time.sleep(5)
        try:
            pipe.stdin.write(frame.tostring())  # 存入管道用于直播
        except:
            traceback.print_exc()

# 解决进程问题
def run_multi_camera():
    # user_name, user_pwd = "admin", "password"
    user_name, user_pwd = "admin", "a12345678"
    # 摄像头的账户密码改成自己摄像头注册的信息
    camera_ip_l = [
         # ipv4
        "10.16.55.149",
        "10.16.55.150",
        "10.16.55.151",
        "10.16.55.152",
        # 把你的摄像头的地址放到这里,如果是ipv6,那么需要加一个中括号
    ]
    ports = ['554', '555', '556','557']#'554',
    idss=['1','2','3','4']
    commands=[]
    for camera_ip,port,ids in zip(camera_ip_l,ports,idss):
        command="""ffmpeg -re -rtsp_transport tcp -i \"rtsp://admin:a12345678@{}:{}//Streaming/Channels/1\" -f flv -vcodec libx264 -vprofile baseline -acodec aac -ar 44100 -strict -2 -ac 1 -f flv -flvflags no_duration_filesize -r 29.97 -s 1280x720 -q 10 \"rtmp://127.0.0.1:1935/live/{}""".format(camera_ip,port,ids)
        command=command+'"'
        commands.append(command)
    mp.set_start_method(method='spawn')  # init
    queues = [mp.Queue(maxsize=2) for _ in camera_ip_l]

    processes = []
    for queue, camera_ip,port,ids,command in zip(queues, camera_ip_l,ports,idss,commands):

        processes.append(mp.Process(target=image_put, args=(queue, user_name, user_pwd, camera_ip,port,ids)))
        processes.append(mp.Process(target=image_get, args=(queue, user_name, user_pwd, camera_ip,port,ids,command)))

    for process in processes:
        process.daemon = True
        process.start()
    for process in processes:
        process.join()

if __name__ == '__main__':
    run_multi_camera()           # 调用主函数

多进程ffplay拉流(并保存视频)

import cv2
import multiprocessing as mp
# 这里需要依赖的还有 ffmpeg 
def image_save(q,url,camera_id):
    print(url)
    cap = cv2.VideoCapture(url)
    ret, frame = cap.read()
    print(ret) # 这里会返回是否正常返回流,正常返回True
    fourcc = cv2.VideoWriter_fourcc(*'XVID') # 创建本地文件
    fps = cap.get(cv2.CAP_PROP_FPS)
    size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)),int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))
    save_path='{}.avi'.format(camera_id)
    print(save_path)
    out = cv2.VideoWriter(save_path, fourcc, fps, size)
    # while ret:
    while ret:
        ret,frame=cap.read()
        if not ret:
            cap = cv2.VideoCapture(url)
            print('the url {} connect again'.format(url))
            ret, frame = cap.read()
        # print('{}'.format(camera_id),ret)
        try:
            cv2.imshow('{}'.format(url),frame)
        except (cv2.error) as e:
            print('except:', e)
            continue
        if cv2.waitKey(1)&0xFF==ord('q'):
            break

        out.write(frame)
    cv2.destroyAllWindows()
    cap.release()
def main(urls,camera_ids):
    print(urls)
    mp.set_start_method(method='spawn')  # init
    queues = [mp.Queue(maxsize=2) for _ in urls]
    processes = []
    for queue, url,camera_id in zip(queues, urls,camera_ids):
        processes.append(mp.Process(target=image_save, args=(queue, url,camera_id)))
        # processes.append(mp.Process(target=image_get, args=(queue, camera_ip)))
    for process in processes:
        process.daemon = True
        process.start()
    for process in processes:
        process.join()

if __name__ == '__main__':
    """begin detection cemara"""
    urls,camera_ids = [],[]
    for i in range(1, 5):# 1 2
        camera_ids.append(int(i))
        urls.append('rtmp://127.0.0.1:1935/live/{}'.format(i))
    # print(camera_ids)
    main(urls,camera_ids)  # 调用主函数

多进程和多线程的配合使用

import multiprocessing
import threading

def foo():
    print 'threading.current_thread(): ', threading.current_thread()

def bar():
    threads = []
    for _ in range(4): # each Process creates a number of new Threads
            thread = threading.Thread(target=foo)
            threads.append(thread)
    for thread in threads:
            thread.start()
            thread.join()

if __name__ == "__main__":
    processes = []
    for _ in range(3):
            p = multiprocessing.Process(target=bar) # create a new Process
            processes.append(p)
    for process in processes:
            process.start()
            process.join()
目录
相关文章
|
1天前
|
网络协议 应用服务中间件 nginx
FFmpeg错误笔记(一):nginx-rtmp-module推流出现 Server error: Already publishing
这篇文章讨论了在使用nginx-rtmp-module进行RTMP推流时遇到的“Server error: Already publishing”错误,分析了错误原因,并提供了详细的解决办法,包括修改nginx配置文件和终止异常的TCP连接。
14 0
FFmpeg错误笔记(一):nginx-rtmp-module推流出现 Server error: Already publishing
|
1天前
|
存储 编解码 网络协议
FFmpeg学习笔记(三):FFmpeg和FFplay参数介绍
这篇文章是关于FFmpeg和FFplay参数的介绍,包括如何使用这些参数进行视频流的捕获、处理和播放。
10 0
|
1天前
|
应用服务中间件 Linux nginx
FFmpeg学习笔记(一):实现rtsp推流rtmp以及ffplay完成拉流操作
这篇博客介绍了如何使用FFmpeg实现RTSP推流到RTMP服务器,并使用ffplay进行拉流操作,包括在Windows和Linux系统下的命令示例,以及如何通过HTML页面显示视频流。
21 0
|
4天前
|
XML 开发工具 Android开发
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
ExoPlayer最初是为了解决Android早期MediaPlayer控件对网络视频兼容性差的问题而推出的。现在,Android官方已将其升级并纳入Jetpack的Media3库,使其成为音视频操作的统一引擎。新版ExoPlayer支持多种协议,解决了设备和系统碎片化问题,可在整个Android生态中一致运行。通过修改`build.gradle`文件、布局文件及Activity代码,并添加必要的权限,即可集成并使用ExoPlayer进行网络视频播放。具体步骤包括引入依赖库、配置播放界面、编写播放逻辑以及添加互联网访问权限。
27 1
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
|
5天前
|
Web App开发 安全 程序员
FFmpeg开发笔记(五十五)寒冬里的安卓程序员可进阶修炼的几种姿势
多年的互联网寒冬在今年尤为凛冽,坚守安卓开发愈发不易。面对是否转行或学习新技术的迷茫,安卓程序员可从三个方向进阶:1)钻研谷歌新技术,如Kotlin、Flutter、Jetpack等;2)拓展新功能应用,掌握Socket、OpenGL、WebRTC等专业领域技能;3)结合其他行业,如汽车、游戏、安全等,拓宽职业道路。这三个方向各有学习难度和保饭碗指数,助你在安卓开发领域持续成长。
20 1
FFmpeg开发笔记(五十五)寒冬里的安卓程序员可进阶修炼的几种姿势
|
27天前
|
XML Java Android开发
FFmpeg开发笔记(五十二)移动端的国产视频播放器GSYVideoPlayer
GSYVideoPlayer是一款国产移动端视频播放器,支持弹幕、滤镜、广告等功能,采用IJKPlayer、Media3(EXOPlayer)、MediaPlayer及AliPlayer多种内核。截至2024年8月,其GitHub星标数达2万。集成时需使用新版Android Studio,并按特定步骤配置依赖与权限。提供了NormalGSYVideoPlayer、GSYADVideoPlayer及ListGSYVideoPlayer三种控件,支持HLS、RTMP等多种直播链接。
77 18
FFmpeg开发笔记(五十二)移动端的国产视频播放器GSYVideoPlayer
|
2天前
|
Android开发 开发者
FFmpeg开发笔记(五十七)使用Media3的Transformer加工视频文件
谷歌推出的Transformer,作为Jetpack Media3架构的一部分,助力开发者实现音视频格式转换与编辑。Media3简化了媒体处理流程,提升了定制性和可靠性。Transformer可用于剪辑、添加滤镜等操作,其示例代码可在指定GitHub仓库中找到。要使用Transformer,需在`build.gradle`中添加相关依赖,并按文档编写处理逻辑,最终完成音视频转换任务。具体步骤包括配置剪辑参数、设置空间效果以及监听转换事件等。
12 0
FFmpeg开发笔记(五十七)使用Media3的Transformer加工视频文件
|
26天前
|
Linux 开发工具 Android开发
FFmpeg开发笔记(五十三)移动端的国产直播录制工具EasyPusher
EasyPusher是一款国产RTSP直播录制推流客户端工具,支持Windows、Linux、Android及iOS等系统。尽管其GitHub仓库(安卓版:https://github.com/EasyDarwin/EasyPusher-Android)已多年未更新,但通过一系列改造,如升级SDK版本、迁移到AndroidX、指定本地NDK版本及更新Gradle版本等,仍可在最新Android Studio上运行。以下是针对Android Studio Dolphin版本的具体改造步骤。
43 3
FFmpeg开发笔记(五十三)移动端的国产直播录制工具EasyPusher
|
6天前
|
Linux 视频直播
FFmpeg开发笔记(五十四)使用EasyPusher实现移动端的RTSP直播
本文介绍了如何使用EasyPusher-Android实现RTSP直播流程。首先对比了RTSP、RTMP、SRT和RIST四种流媒体协议,并以RTSP为例,详细说明了使用EasyPusher-Android向流媒体服务器进行RTSP直播推流的方法。文中还提供了OBS Studio配置RTSP插件及ZLMediaKit云服务器部署的相关信息,通过修改EasyPusher-Android源码使其支持通用RTSP地址,最终验证了直播功能的成功实现。
21 0
FFmpeg开发笔记(五十四)使用EasyPusher实现移动端的RTSP直播
|
1月前
|
编解码 移动开发 安全
FFmpeg开发笔记(五十)聊聊几种流媒体传输技术的前世今生
自互联网普及以来,流媒体技术特别是视频直播技术不断进步,出现了多种传输协议。早期的MMS由微软主导,但随WMV格式衰落而减少使用。RTSP由网景和RealNetworks联合提出,支持多种格式,但在某些现代应用中不再受支持。RTMP由Adobe开发,曾广泛用于网络直播,但因HTML5不支持Flash而受影响。HLS由苹果开发,基于HTTP,适用于点播。SRT和RIST均为较新协议,强调安全与可靠性,尤其SRT在电视直播中应用增多。尽管RTMP仍占一定市场,但SRT等新协议正逐渐兴起。
77 8
FFmpeg开发笔记(五十)聊聊几种流媒体传输技术的前世今生