Android源码在线查看
Android音视频——编码介绍
Android音视频——相关介绍
相信不少小伙伴们工作一段时间都想如何进阶？很多一直做的都是应用层的APP开发，实现的基本都是UI效果，动画，机型适配，然后集成第三方的lib进行推送，支付，第三方登录，地图等的功能等等需求，如何学一点更深层次的东西？
不少小伙伴说，不妨去学一下新的语言，学学后端技术，我身边也有不少这样的人，但我认为无论什么平台，他们的学习曲线其实是类似的，都要经历差不多的环节，学习对应平台的编程语言后熟悉对应平台提供的 API，
再掌握平台相关的特性、框架和原理，再通过项目去熟悉
接下来就是对音视频感兴趣的朋友们，可以看一下我和大家分享的内容
分享一首 陶喆-黑色柳丁 专辑的一首歌 Angel 陶喆
部分内容参考自音视频开发技术的进阶路线
音视频开发，想很多开发者都听过甚至接触过这个概念
从上图可以看出音视频开发不仅需要掌握图像、音频、视频的基础知识，并且还需要掌握如何对它们进行采集、渲染、处理、传输等一系列的开发和应用，因此，音视频开发是一门涉及到很多内容的领域
直白的说，音视频开发，就是要掌握图像、音频、视频的基础知识，然后学会如何对进行采集、渲染、处理、传输等一系列，然后运用到实际的项目开发中
1. 采集
顾名思义，你要知道你的音视频数据从哪里来，怎么获取，其实无论在哪个平台，图 像、视频最初都 是来自摄像头，而音频最初都是来自麦克风。
比如：
Windows：DirectShow Linux：V4L2 Android：Camera iOS：AVCaptureSession
b. 系统的摄像头采集的参数怎么配置，都是什么含义 ？
比如：分辨率、帧率、预览方向、对焦、闪光灯 等
1
c. 系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别 ？
比如：
图片：JPEG；
视频数据：NV21，NV12，I420 等
1
2
d. 系统的麦克风采集接口是什么，怎么用 ？
比如：
Windows：DirectShow Linux：ALSA & OSS Android：AudioRecord iOS：Audio Unit
e. 系统的麦克风采集参数怎么配置，都是什么含义 ？
比如：
采样率、通道号、位宽等
1
f. 系统的麦克风输出的音频数据，是什么格式？
比如：
PCM
1
2. 渲染
渲染，它解决的是，数据怎么展现的问题，那么，数据究竟怎么展现呢
？其实无论在哪个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识：
a. 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ？ 比如： Windows：DirectDraw, Direct3D, GDI，OpenGL 等 Linux： GDI， OpenGL 等 Android：ImageView，SurfaceView，TextureView，OpenGL 等 iOS： CoreGraphics，OpenGL 等 b. 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ？ 比如： Windows：DirectSound 等 Linux：ALSA & OSS 等 Android：AudioTrack 等 iOS： AudioQueue 等
3. 处理
处理，它解决的是，数据怎么加工的问题，那么，数据究竟可以怎么加工呢 ？
首先，我们看看图像/音视频的数据可以做哪些加工 ？
其实无论在哪个平台，图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于：
a. 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等 b. 视频编解码：x264，OpenH264，ffmpeg 等
c. 音频处理：speexdsp，ffmpeg 等 d.音频编解码：libfaac，opus，speex，ffmpeg 等
因此，学习和掌握这些第三方库的使用，非常有必要。
4. 传输
传输，它解决的是，数据怎么共享的问题，那么，数据究竟怎么共享呢 ？
共享，最重要的一点，就是协议。
我觉得互联网之所以能够如此蓬勃地发展，将整个世界都紧密联系在一起，其实是离不开 W3C
这个委员会的巨大贡献的，因为无论什么数据，要想在不同的国家、不同设备之间互联互通，离不开 “标准”，有了 “标准”，大家就能互相读懂对方。
因此，研究音视频传输，其实就是在研究协议，具体有哪些协议呢 ？
a. 音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等 b. 直播推流，有哪些常见的协议，如：RTMP，RSTP 等 c.
直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等 d. 基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等
除了以上的四个方面还需要了解编码格式，协议等
编码格式
H.264:低码率，高质量，高容错
开源实现：openh264、x264
H.265：能达到H.264两倍之压缩率，可支持4k分辨率，最高到8k。
开源实现：libde265、x265、vp9
两者对比：
H.265对H.264在码率节省上有较大的优势，在相同RSNR下分别节省了48.3%和75.8%。
H.264在编码时间上有聚到优势，对比VP9和H.265,H.265是vp9的6倍，vp9是H.264的将近40倍。
协议
1.RTMP
Real Time Messaging Protocol(实时消息传输协议)，基于 TCP，设计用来进行实时数据通信。
RTMP是目前主流的流媒体传输协议，广泛用于直播领域，市面上绝大多数直播产品都采用了这个协议。
2.HLS
http live streaming是由Apple公司定义的基于http的流媒体实时传输协议，可实现流媒体的直播和点播，主要用于ios系统。
原理是将整个流分为多个小的文件来下载，每次只下载 个。客户端只要不停的按顺序播放从服务器获取到的 件，就实现了直播。
分段推送的特点，决定了HLS的延迟一般会高于普通的流媒体直播协议。
3.WebRTC
web real time communication（网页即时通信），是一个支持网页浏览器进行实时语音或者视频对话的API。
也行又有小伙伴要问了，要学习音视频，需要做什么准备呢？
1、C语言
FFmpeg是用C开发的，不少人应该都知道，所以必须懂点C语言，不过也不用懂太多，指针，结构体，枚举，这些基本的东西懂得就OK了。
2、Linux
FFmpeg在Linux上最优良，所以最好是在Linux下采用源代码编译安装。我本人使用的是Ubantu
大家至少也要懂一点编译执行命令，以及vim操作和JNI，ndk开发
Android主要是采用Java开发，后续当然是Java和C互相调用，其实主要的还是Java调用C，会将Linux下编译后的程序打包成so包，移植进Android工程进行调用。
