视频编解码按照处理数据类型的不同,可以分成几个层次:
- 协议层(Protocol Layer):该层处理的数据为符合特定流媒体协议规范的数据,例如http,rtmp,file等。
- 封装层(Format Layer):该层处理的数据为符合特定封装格式规范的数据,例如mkv,mp4,flv,mpegts,avi等。
- 编码层(Codec Layer):该层处理的数据为符合特定编码标准规范的数据,例如h264,h265,mpeg2,mpeg4等。
- 像素层(Pixel Layer):该层处理的数据为符合特定像素格式规范的数据,例如yuv420p,yuv422p,yuv444p,rgb24等。
图中展示了一个完整的视频处理流程:按照蓝色箭头指向的顺序,从外部协议接收下来的数据依次经过解协议,解封装,解码,像素转换,编码,封装,发送这几个步骤。