PyAV学习笔记(一)：PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)

简介

PyAV是FFmpeg库的python绑定。我们的目标是提供底层库的所有功能和控制，但是尽可能多地管理细节。
PyAV用于通过容器、流、包、编解码器和帧直接而精确地访问您的媒体。它公开了该数据的一些转换，并帮助您从其他包(例如Numpy和Pillow)获取数据。
这种能力确实带来了一些责任，因为与媒体打交道非常复杂，PyAV无法将其抽象出来，也无法为您做出所有最好的决定。如果ffmpeg命令在没有您向后弯腰的情况下完成了工作，那么PyAV可能是一个障碍而不是帮助。但是如果没有它就无法工作，PyAV是一个关键的工具。

总而言之：PyAV 是 FFmpeg 的 Python 接口

window or linux 安装

• 第一步： 安装ffmpeg。下载ffmpeg shared，并将其目录下的bin目录添加到环境变量。安装方法：windows | linux
• 第二步：安装PyAV。然后有两种方式安装PyAV：
  T2、到GitHub下载PyAV源码，解压后进入其目录执行

python setup.py build --ffmpeg-dir=D:/Program Files/ffmpeg
python setup.py install

注意
其中D:\Program Files\ffmpeg\bin是你的ffmpeg目录，一定要对！
或者
进入setup.py代码文件内，将

FFMPEG_DIR = None
改为
FFMPEG_DIR = 'D://Program Files//ffmpeg'

arm 安装

• 第一步：ffmpeg安装同上面的linux
• 第二步：装PyAV。然后有两种方式安装PyAV：
  T2、到GitHub下载PyAV源码，解压后进入其目录执行

sudo apt-get install -y python-dev python-virtualenv pkg-config
sudo sudo apt-get install -y libavformat-dev libavcodec-dev libavdevice-dev libavutil-dev libswscale-dev libavresample-dev
pip3 install Cython
python3 setup.py build --ffmpeg-dir=/usr/local/ffmpeg
python3 setup.py install

安装错误

• ModuleNotFoundError: No module named ‘av._core’ 解决方法
• PyAV安装:段错误或者could not find libavdevice with pkg-config 解决办法

代码错误

• max delay reached. need to consume packet 解决办法
• Invalid NAL unit 17, skipping.

时间戳说明

ffmpeg中常用的几个时间戳：

• rtcp_ntp_timestamp: 真实时间， 绝对时间，在网络传输时的时间基(1 << 32)，
• rtcp_timestamp: rtcp时间，一般会有一个base, 在网络传输时的时间基90000
• rtp_timestamp: rtp时间，和rtcp_timestamp类似，网络时间基90000
• Avpacket->pts: 通过如上计算得到，video一般是以90000为基
• timebase：通常为1/90000，表示时间戳的单位为1/90k秒

RTP和NTP

RTP : 相对时间，Real-time Transport Protocol（实时传输协议），RTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步，但并不保证服务质量，服务质量由RTCP来提供。

NTP：绝对时间,网络时间协议(Network Time Protocol)，它是用来同步网络中各个计算机的时间的协议。NTP时间戳是从1900年1月1日00:00:00以来经过的秒数.

• 首先明确:NTP时间戳有64位，其中32位表示second，32位表示 fraction second（就是秒后面的单位)表示的秒数起点为 0h UTC on 1 January 1900 (不同于Unix时间的起始于1970)，fraction的单位为2^32 second

• relation：rtp时间戳和ntp时间戳表示的意义是相同的. 可以互相转换(但未找到关系)，rtp=f(ntp) 类似中文名张三，英文名zhangjohn.

• summary：ntp,rtp,pts表示的是同一帧的时间.ntp是绝对时间,rtp是相对时间，pts是播放时间.rtp是用频率表示，pts是用秒表示.

PTS和DTS

PTS：Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来
DTS：Decode Time Stamp。DTS主要是标识读入内存中的bit流在什么时候开始送入解码器中进行解码

PTS和RTP的关系
timebase往往取的1/90000
pts= rtp 时间戳 *timebase
每秒=pts*time_base

获取RTSP的各种时间戳(TCP)

如果用作视频流同步，则少不了对于时间戳的获取和同步，这里介绍了通过av和ntplib来获取我们的NTP_time、RTP_time、PTS_time、DTS_time,分别是网络时间协议(同步网络中各个计算机的时间的协议)

import av,cv2
import av.datasets
import datetime
import ntplib #这里的ntp不是海康设备的

if __name__ == '__main__':
    # rtp是相对时间,ntp是绝对时间
    # container = av.open('F:/epycharm/engineer/data/video/1.avi')
    url='rtsp://admin:a12345678@10.16.55.149:554/h264/ch1/main/av_stream'
    options = {
        "rtsp_transport": "tcp",
        # "buffer_size": "1024000",
    }
    # ****************************************************************
    # url:表示海康摄像头的地址
    # options:rtsp_transport表示采用什么传输方式，buffer_size表示缓冲大小
    # timeout:timeout=(10, 24)限制时间
    # ****************************************************************
    container = av.open(url,'r',options=options)
    print("format:" , container.dumps_format())

    # Signal that we only want to look at keyframes.
    stream = container.streams.video[0]
    stream.codec_context.skip_frame = 'NONKEY'

    for frame in container.decode(stream):
        client = ntplib.NTPClient()
        global response
        try:
            response = client.request('ntp.api.bz')
        except:
            pass
        ntp_time = datetime.datetime.fromtimestamp(response.tx_time)
        dt_ms = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')  # 含微秒的日期时间，来源 比特量化
        # ****************************************************************
        # 根据pts来计算一桢在整个视频中的时间位置：
        # 时间戳 = pts * (AVRational.num/AVRational.den) ，这里的pts是相对pts = 绝对PTS - 首帧PTS
        # timestamp(秒) = pts * av_q2d(st->time_base)
        # timestamp(毫秒) = pts * av_q2d(st->time_base) * 1000
        # pts= rtp 时间戳 *timebase
        # ****************************************************************
        second=frame.pts*frame.time_base
        rtp_time = frame.pts / frame.time_base
        print('ntp_time:{} pc_time:{} rtp_time:{} pts_time:{} dts_time:{}'.format(ntp_time,dt_ms,rtp_time,float(frame.pts),float(frame.dts)))

        # 我们使用frame.pts作为frame.Index '对' skip_frame '没有意义。
        # frame.to_image().save(
        #     'night-sky.{:04d}.jpg'.format(frame.pts),
        #     quality=80,
        # )
        img = frame.to_ndarray(format='bgr24')
        img = cv2.resize(img,(668,668))
        cv2.imshow("Test", img)
        cv2.waitKey(1)

实现效果

附录

• Python通过NTP同步获取时间
• 使用pyav访问网络视频流
• 在python中优雅的使用ffmpeg：PyAV
• java rtcp生成视频_使用rtcp实现音视频同步
• python获取系统时间 毫秒_Python 获取本地时间戳（包含毫秒）
• 使用PyAv进行直播录播
• FFmpeg的python包装库PyAv在树莓派上的安装