视频的编码、封装,视频流协议

前两节我们讲了带宽的计算方式、实时视频带宽的计算方式,同时还穿插着讲了视频的码流等。今天来讲讲视频的编码、封装及视频流的协议,讲完这些,其实实时视频方面软件层的大部分概念就能串起来了,硬件方面我们可以后面慢慢开展。

1.视频编码

我们先来看看什么是视频编码,根据《实时视频带宽的计算过程》一文中的描述,1920 * 1080、24FPS的视频每秒142MB,这显然太大了,所以需要视频编码来进行压缩。

我们通常提到的视频编码的格式有如下几种:H264 , VP8, AVS, RMVB,WMV,QuickTime(mov)等。

这些不同的格式有什么区别,这个我们暂时不用太纠结,因为我们今天的目的是通过理解将概念和流程串起来,所以我们只要知道我们平时看到的这些格式是编码,目的是为了视频压缩就可以了。

2.视频封装

什么是封装?通常单一路的视频或者音频是不需要封装的,只要播放端和服务器以相同的平均速度一收一发就可以了。但是如果视频+音频就会变的复杂,这时候两者需要同步,也就是我们说的嘴和声音得对的上,这时候就需要封装。换言之,封装是按照一定的规则把编码后的视频+音频封装起来,提供容器,便于播放、同步和存储等。

我们常见的视频封装格式包括MP4、AVI等。

那这么多的编码格式和封装格式有什么区别吗?当然是有的。

  • 封装格式对视音频编码格式的支持程度是不一样的。比如说MKV支持比较多,RMVB则主要支持Real公司的视音频编码格式。(详细的我们就不讲了,大家可以自行百度)

  • 封装格式和专利是有关系的,关系到推出封装格式的公司的盈利,所以格式众多。

  • 封装格式对文件体积影响比较小,但是有一点影响。比如说MPEG2-TS格式会稍微大一点。

当然除了以上区别还有很多其他的区别,我们不多赘述,因为对我们而言,我们只要从宏观上理解即可,暂时不需要纵向深入。

3.传输协议

我们不对协议本身去做深入的研究,我们先来解释一下协议是什么,协议本身就是为了约定一些规则,便于大家使用,不同的规则有不同的特点和使用方式,我们来看看常见的RTSP、RTMP、HLS这三种协议在视频传输方面的应用吧。

 3.1 HLS

HLS ( HTTP Live Streaming)苹果公司提出的流媒体协议,直接把流媒体切片成一段段,信息保存到m3u列表文件中,可以将不同速率的版本切成相应的片;播放器可以直接使用http协议请求流数据,可以在不同速率的版本间自由切换,实现无缝播放;省去使用其他协议的烦恼。缺点是延迟大小受切片大小影响,不适合直播,适合视频点播。

 3.2 RTSP

RTSP (Real-Time Stream Protocol)由Real Networks 和 Netscape共同提出的,基于文本的多媒体播放控制协议。RTSP定义流格式,流数据经由RTP传输;RTSP实时效果非常好,适合视频聊天,视频监控等方向。

 3.3 RTMP

RTMP(Real Time Message Protocol) 有 Adobe 公司提出,用来解决多媒体数据传输流的多路复用(Multiplexing)和分包(packetizing)的问题,优势在于低延迟,稳定性高,支持所有摄像头格式,浏览器加载 flash插件就可以直接播放。

 3.4 总结

 

  • RTSP、RTMP、HLS都是在应用层的协议。
  • 理论上RTSP 、RTMP、 HLS都可以做直播和点播,但一般做直播用RTSP RTMP,做点播用HLS。做视频会议的时候原来用SIP协议,现在基本上被RTMP协议取代了。
  • RTMP协议是Adobe的私有协议,未完全公开,RTSP协议和HTTP协议是共有协议,并有专门机构做维护。
  • RTMP协议一般传输的是flv,f4v格式流,RTSP协议一般传输的是ts,mp4格式的流。
  • RTSP传输一般需要2-3个通道,命令和数据通道分离,HTTP和RTMP一般在TCP一个通道上传输命令和数据。
  • RTSP+RTP主要用于IPTV或低延迟场景,比如监控摄像头,传输数据使用的是UDP或TCP,在网络环境比较稳定的情况下,传输效率是比较高的。
  • RTMP主要用于互联网音视频传输,它使用的是TCP传输,因为互联网环境相对较差,采用RTMP保证了视频的传输质量,但是其传输延迟相对较高,传输效率相对较低。
  • HLS主要是延时比较大,RTMP主要优势在于延时低。HLS可以用在IOS系统的APP上,微信公众号、小程序等也只能使用HLS。

4.思路串联

我们再回忆一下我们在《实时视频带宽的计算过程》一文中提到的,通常一段视频从录制到播放需要经过的过程:

  • 摄像机录像

  • 预处理(A/D转换)

  • 预处理(YUV转换等)

  • 压缩编码

  • 数据封装及传输

  • 解码

  • 图像格式变换

  • 播放 

在此基础上我们再解释一下,我们本文讲了编码、封装、传输,而编码之前有预处理等动作,所谓预处理其实就是把摄像机拍到的物理画面转换成数字信号,还记得我们之前提过计算视频的带宽的环节吗,通过二进制的数字将视频表示出来,这就是预处理在做的是视频。到这一步位置,视频已经封装成了可以传输的信号了,那么接下来就是解码、图像格式转换和播放了,相信大家已经初步理解了这个过程的全流程,更细致更深入的研究就交给有需要的小伙伴吧,对于我们只是偶尔接触视频或需要购买供应商视频设备的产品同学,这些了解已经非常非常足够啦。

原创文章,作者:王得宇AIPM,如若转载,请注明出处:https://www.pmtemple.com/silence/13419/

发表评论

登录后才能评论
分享本页
返回顶部