Android中直播视频技术探究之—基础核心类ByteBuffer解析

Android技术篇 尼古拉斯.赵四 20232℃ 0评论

一、前言

前一篇文章我们介绍了Android中直播视频技术的基础大纲知识,这里就开始一一讲解各个知识点,首先主要来看一下视频直播中的一个重要的基础核心类:ByteBuffer,这个类看上去都知道了,是字节缓冲区处理字节的,这个类的功能非常强大,也在各个场景都有用到,比如网络数据底层处理,特别是结合网络通道信息处理的时候,还有就是后面要说到的OpenGL技术也要用到,当然在视频处理中也是很重要的,因为要处理视频流信息,比如在使用MediaCodec进行底层的视频流编码的时候,处理的就是字节,我们如果单纯的借助字节数组来进行操作的话,首先效率有很大的问题,其次是数组最大的问题就是担心越界报异常等信息,这个在处理的时候特别麻烦,所以Java中就有类似的高效率的处理字节的封装类:ByteBuffer

 

二、ByteBuffer原理

关于这个类,其实他有两个子类:一个是HeapByteBufferDirectByteBuffer关于这两个类的区别很好理解:

DirectByteBuffer不是分配在堆上的,它不被GC直接管理(但Direct Buffer的JAVA对象是归GC管理的,只要GC回收了它的JAVA对象,操作系统才会释放Direct Buffer所申请的空间),它似乎给人感觉是“内核缓冲区(buffer in kernel)”。HeapByteBuffer则是分配在堆上的,或者我们可以简单理解为Heap Buffer就是byte[]数组的一种封装形式,查看JAVA源代码实现,HeapByteBuffer也的确是这样。 说白了就是HeapByteBuffer是在JVM堆内存中分配会被JVM管理回收,但是DirectByteBuffer是直接由系统内存进行分配,不被JVM管理。通过上面的区别看到:

1、创建和释放DirectByteBuffer的代价比HeapByteBuffer得要高,因为JVM堆中分配和释放内存肯定比系统分配和创建内存高效

2、因为平时的read/write,都会在I/O设备与应用程序空间之间经历一个“内核缓冲区”。 DirectByteBuffer就好比是“内核缓冲区”上的缓存,不直接受GC管理;而Heap Buffer就仅仅是byte[]字节数组的包装形式。因此把一个Direct Buffer写入一个Channel的速度要比把一个HeapByteBuffer写入一个Channel的速度要快。

所以这两个类操作起来各有好处,要视情况而定,一般如果是一个ByteBuffer经常被重用的话,就可以使用DirectByteBuffer对象。如果是需要经常释放和分配的地方用HeapByteBuffer对象。

下面来通过他们的源码来确定内存分配原理,首先是HeapByteBuffer对象:

看到了,这里直接使用了byte数组的,Java中的数组都是在JVM的堆内存中进行分配的。

再来看看DirectByteBuffer对象:

内部直接使用了Unsafe类对象,关于这个类:

Java不能直接访问操作系统底层,而是通过本地方法来访问。Unsafe类提供了硬件级别的原子操作,主要提供了以下功能:
1》、通过Unsafe类可以分配内存,可以释放内存;
类中提供的3个本地方法allocateMemory、reallocateMemory、freeMemory分别用于分配内存,扩充内存和释放内存,与C语言中的3个方法对应:

public native long allocateMemory(long l);
public native long reallocateMemory(long l, long l1);
public native void freeMemory(long l);
2》、可以定位对象某字段的内存位置,也可以修改对象的字段值,即使它是私有的。

从上面源码分析可以得知HeapByteBuffer对象是直接操作堆中的字节数组对象的,而DirectByteBuffer对象是直接操作系统内存的。

好了上面分析了ByteBuffer的两个子类,这两个子类会通过两个方法来获取的:

一个是allocate方法获取到HeapByteBuffer:

一个是allocateDirect方法获取到DirectByteBuffer:

这两个方法的使用在后面会详细说明。

不管是HeapByteBuffer还是DirectByteBuffer,他们操作字节的方法都是相同的,因为都是继承ByteBuffer类,大部分操作字节的方法都在这个父类中定义的。后续的例子中就用HeapByteBuffer类来做演示,先来大致分析一下HeapByteBuffer的工作原理,看一下他的取出一个字节的方法:

这个hb对象是在父类ByteBuffer中定义的:

好了,看到了,其实hb就是一个字节数组,所以说HeapByteBuffer是在JVM的堆内存中分配的,我们再看看DirectByteBuffer类的get方法:

这里直接使用Unsafe对象进行操作的,并没有使用hb字节数组。

 

三、ByteBuffer的四大类操作方法

上面分析了ByteBuffer有两个重要的子类来进行操作字节,他们两个各有优势也有很大的区别,然后分析了他们两个类在处理字节的基本原理。下面就借助HeapByteBuffer这个子类来介绍ByteBuffer中一些操作字节的方法,这里大致分为四类:

第一类:字节数组 “指针” 操作

因为Java中没有指针的概念,但是为了下面内容讲解方便,这里就引用了指针的名词。先来看一下图解:

这张图中我们可以看到在操作ByteBuffer的时候,有四个指针来进行操作:

capacity指针:这个指针是在调用allocate方法分配完内存之后直接指向字节数组的末尾,不会在发生改变的,除非再次调用allocate方法重新分配内存大小。

limit指针:这个指针在初始化分配内存的时候和capacity指针一样,指向数组的末尾,但是这个指针是会发生改变的,有一个limit方法可以设置他的值。同时像flip,clear等方法也会改变他的值。它更像是数组的一个有效数据的范围上限指针。limit<=capacity

position指针:这个指针是指向当前有效数据的起始位置,在初始化分配内存的时候指向数组的起始位置,后续可以通过position方法进行设置,同时他在很多地方都会发生改变,特别是在读写数据方法get,put的时候,每次读写一次,指针就加一,直到遇到了limit指针,position<=limit;所以可以看到整个数组中只有position-limit之间的数据是有效的,是可以进行读写操作的。

mark指针:这个指针在初始化的时候就是-1,起到一个数组指针不合法的哨兵作用,只要不调用mark方法,他的值一直是-1,最主要的是对position进行标记作用,有时候有一种需求就是想临时保存一下当前读写指针position的值,因为position随时都会发生改变,但是有时候还想再回来,那么mark指针就是这个作用,用来标记position的前一个状态,对应的方法是mark,还原方法是reset,这个指针只有在mark方法,clear,flip等方法会发生变化。mark<=position

通过上面的四个指针分析之后,发现有了mark和limit指针,我们不会担心数组越界的问题了,有了position指针我们能够很简单的操作数组数据,效率也高。

下面通过一个代码来验证这些方法的具体作用:

1、首先看一下打印ByteBuffer中四个指针的方法,这里ByteBuffer都提供了position,limit,capacity三个指针的访问方法,但是mark指针没有,所以这里需要用反射去操作,注意的是,我们allocate出来的是HeapByteBuffer对象,但是这四个指针都是定义在Buffer类中的,HeapByteBuffer->ByteBuffer->Buffer

下面来看一个这些方法的操作案例:

1、allocate方法

这里首先调用allocate方法分配10个大小的内存,然后从起始位置开始写入5个数据,再次调用flip方法准备读状态,然后在从起始位置读取四个数据,运行结果如下:

2、flip方法

这里看到了,在put完数据之后,position就变成了5了,所以需要调用flip方法来改变状态,才能正确的读到刚刚写入的数据,假设这里不调用flip方法:

看到了,读取出来的数据都是脏数据0,而且看到position变成了5+4=9了。所以在每次读写之后一定要记得改变状态,改变状态有flip,rewind,clear这三种方法,但是flip方法是最合理的。因为他把有效数据的末尾指针position赋值给了limit指针。

看一下flip源码:

3、put方法

再来看一下put方法:

使用直接索引的方式写入字节数组,看看nextPutIndex方法:

看到了position++了,所以所有put方法都会改变position的值。

同样的get方法是同理,这里不再解释了。

4、clear方法

后续的代码,我们使用了put方法直接写入一个字节数组,但是在之前我们使用了clear方法来设置状态,下面来看看clear源码:

这时候就相当于到了起始状态了:来看看put方法源码:

其实内部实现很简单,就是把源字节数组copy到hb中,然后position=position+length即可。

5、rewind方法

然后调用rewind方法设置状态,准备后面的读取数据,看一下rewind方法源码:

这里直接把position清零,这样才能正确的读取到刚刚的那个写入的数据,但是这个方法有一个问题,也就是和flip不同的地方,我们下面来改一下代码:

这里看到,我们上面写入了5个数据,但是调用rewind方法之后,再去读6个数据,这时候肯定不会出现错误的,但是会读取脏数据:

因为limit=capacity=10,但是flip方法就会把limit设置成position,不会读出脏数据的,所以flip和rewind方法的区别。

6、position和limit方法

这里我们还可以手动去设置position和limit值,做到我们想要的想过,比如这里可以模仿clear方法:

看到了,这里手动的将状态设置初始状态,打印结果:

7、mark和reset方法

下面再来看一下mark和reset方法的使用效果:

首先调用mark把mark设置position=0,然后在去操作position值,最后在调用reset进行复位,position又等于0了,看一下运行结果:

8、remaining和hasRemaining方法

再来看一下ByteBuffer容量剩余的方法remaining和hasRemaining:

hasRemaining方法就是判断ByteBuffer有没有到上限,即position是否大于limit,看看方法的源码:

同时还有一个remaining方法获取当前剩余的范围值,就是limit-position的值,看看源码:

看看上面的运行结果:

好了,上面就看到了所有的关于ByteBuffer四个指针的操作方法,下面来总结一下:

1、四个指针:mark,position,limit,capacity,他们之间的关系:mark<=position<=limit<=capacity

2、allocate分配方法可以改变capacity的值

3、flip,limit,clear,allocate方法可以改变limit的值

4、put,get,flip,clear,rewind,position,reset等读写数据的方法都会改变position的值

5、mark,flip,clear,rewind等方法会改变mark的值

6、capacity,limit,position是可以通过方法获取到值的,其中limit,position方法可以直接改变limit和position的值

7、hasRemaining和remaining方法是用来判断当前ByteBuffer中还有多少空间可以使用,一般先判断hasRemaining是否有空,如果没有空间的话,在把capacity设置成limit的,使用limit(buff.capacity)方法设置即可。如果在超出的话,就需要重新分配空间了。

第二类:内存分配功能解析

这里主要来介绍一下ByteBuffer的内存分配内容,在之前其实已经介绍了关于allocate和allocateDirect方法的区别了,其实还有一个重要方法就是wrap方法,下面先来看一下图简介:

下面来看一下代码:

1、allocate和allocateDirect方法

这里首先查看JVM内存大小,然后在使用allocate方法分配一个大内存,在查看JVM内存大小,然后在使用allocateDirect方法分配一个大内存,在查看JVM内存大小,看看打印结果:

看到了,在调用了allocate方法之后,JVM内存发生了变化,但是allocateDirect方法没有,还是之前allocate方法执行完之后的内存大小。

2、wrap方法

然后在看看wrap方法进行内存分配,同时进行写数据,首先来看一下wrap的源码:

这里看到了,直接构造一个HeapByteBuffer对象返回了,传入的array就直接赋值给了全局数组hb了,看看构造方法:

构造方法中,前四个参数就是mark,position,limit,capacity的值了,从这里看到,position就是wrap中需要传递字节数组的有效数据的开始索引,limit就是有效数据的上限,capacity就是整个数组的大小了,这样看来其实是很合理的,我们调用wrap方法之后看结果:

看到了,这里的position和limit值就是数组起始位置和结束位置。同时修改了字节数组的第11个值,然后ByteBuffer内容也被影响进行了修改了。

所以看到wrap方法有这几个特点:

1、他的功相当于是allocate+put方法的结合,同时分配内存,也写入数据了。

2、写入的字节数据和ByteBuffer内容在堆中是一份数据的,相互影响的,所以这个方法在使用的时候需要特别小心,注意数据的有效性,同时这个方法因为是直接操作堆内存的,所以返回的就是HeapByteBuffer对象了。

3、通过传递的字节数组的offset和len值,来设置mark,position,limit,capacity的大小了

第三类:子Buffer操作

ByteBuffer中操作子Buffer的方法大致是四个:slice,duplicate,array,get;下面来看一下图解吧:

看到上面的图之后,发现这四个方法其实比较起来就三个方面:拷贝的内容范围,会影响源内容,执行完之后会影响源内容的position和limit值;

1、slice方法

下面通过代码来看看,首先看一下slice方法:

slice方法其实就是copy一个原来的ByteBuffer的position-limit之间的有效数据,所以如果你想拷贝那一段数据,需要提前设置position和limit值,同时看看slice内容和源内容是否相互影响,看一下运行结果:

再来看一下slice源码:

看到源码就知道了,和源ByteBuffer共用一个hb,只是改变了position和limit,capacity的值,内容肯定是相互影响的。但是没有影响到了源ByteBuffer的position和limit值。

2、duplicate方法

再来看一下duplicate方法,这个方法是直接拷贝源ByteBuffer的一个副本,不仅把所有的内容拷贝过来,而且还把mark,position,limit,capacity也全部拷贝过来了:

看一下运行结果:

在来看一下duplicate的源码:

这个构造方法直接把hb赋值过去,同时设置源ByteBuffer的所有标记指针值。所以内容肯定也是相互影响的。但是没有影响到了源ByteBuffer的position和limit值。

3、array方法

再来看一下array方法,这个方法也是拷贝所有的内容到一个字节数组中:

运行结果看看:

下面来看看源码:

这个方法很简单,直接返回了ByteBuffer全局的字节数组hb,那么内容肯定是相互影响的,但是没有影响到了源ByteBuffer的position和limit值。

4、get方法

最后再来看一个get方法,他是拷贝源ByteBuffer的position到limit之间的有效数据内容的:

看看运行结果:

查看源码:

源码中可以看到,内部使用了get方法读取一个字节,然后存放到新的字节数组中,那么这样看来就不会内容之间相互影响了,但是因为调用了get方法,所以position值会递增的。

看完了上面的四个方法,下面就来总结一下吧:

1》、slice方法获取的是源ByteBuffer的position-limit之间的内容,和源内容相互影响,源内容的position和limit不受影响
2》、duplicate方法获取的是源ByteBuffer所有的内容,包括源ByteBuffer的mark,position,limit,capacity值,和源内容相互影响,源内容的position和limit不受影响
3》、array方法获取的是源ByteBuffer的所有内容,只是存放到一个字节数组中,和源内容相互影响,源position和limit不受影响
4》、get方法获取的是源ByteBuffer的position-limit之间的内容,存放到目标字节数组中,和源内容不影响,源position会发生变化等于limit,limit不受影响

第四类:数据压缩和其他基本类型之间的转化

这里主要来看看ByteBuffer中的数据压缩,以及和其他基本类型之间的转化内容了,先来看一下图解:

下面依次来看看具体内容:

1、compact方法

首先来看一下压缩方法compact:

这里首先初始化ByteBuffer内容为0-10,然后设置position为3,那么压缩前,0-2这三个位置就是无效数据了,那么就把从3开始的,长度是10-3=7的数据拷贝到位置是0-7中。同时position=limit-position;为了方便看结果,这里调用clear方法,回到初始状态,看看结果:

看到了结果就会明白了,这里个把0-2的位置给顶替了,再来看看他的源码:

通过源码可以看到:直接拷贝内容,然后在设置position和limit的值。

2、getInt和asIntBuffer,order方法

再来看一下ByteBuffer中和其他类型之间的转化

说到其他类型的转化之前,必须先说一下字节排序,我们知道所有的内容最后存放到内存中都是二进制,那么在学习计算机组成原理的时候都知道,内存中的数据有高序和低序之分的,那么不同的排序,输出的结果也是不同的,同样ByteBuffer中的字节也是有排序的,简称大端和小端排序,Java中默认的是大端排序,如果想设置小端排序的话,可以通过order方法进行设置:

有三个选项,前两个是枚举,大端排序和小端排序,后一个是一个方法,这个方法其实就是底层实现的,根据本机系统支持的排序,因为Java默认是大端排序的,所以有时候我们在涉及到底层开发的时候,需要根据本机系统来进行操作,那么这时候这个方法就非常有效了,比如后面说到的openGL就经常用到这个方法。

设置完了字节排序之后,我们才能开始转化其他类型,因为其他类型都是由多个字节组成的,比如int类型就4个字节,可以通过getInt方法来获取一个int值,但是需要注意的是ByteBuffer的字节有效性,每次取数据都是在position到limit之间的数据,然后通过取4个字节以及字节排序来进行int值的转化,加入limit-position % 4 !=0的话,那么在取最后一个int值会发生错误,因为字节个数不足4了,这个需要做一次判断的,下面来看看代码:

首先我们打印一下JVM默认的字节排序,然后在设置本机系统的字节排序,运行结果:

这里看到了,默认是大端排序的,然后通过打印结果是:07090809来看应该是低端排序了,因为本来是:

03040506 07080907 0809

因为调用了两次getInt,所以是中间的内容,但是看到了是倒序的,加入我们没有设置字节排序,使用默认的排序:

这下就看到了,nativeOrder是小端排序的,看到内容也是。

这里同时也看到了,每次调用getInt方法,position都会递增的,下面来看一下源码:

nextGetIndex方法在之前分析了,内部是position做加法操作的。

最后再来看看如果想改ByteBuffer中整型内容值该怎么办?有一个asIntBuffer方法:

调用了asIntBuffer对象返回的是IntBuffer对象,其他类型的都有对应的对象,然后我们打印结果,在修改IntBuffer中的值,在打印ByteBuffer内容,看看结果:

看到了,修改了前四个字节的内容,正好是IntBuffer的第一个数据,而IntBuffer的limit=2,这个就是通过ByteBuffer的remaining的值除以4得到的,这里是(limit-position=10)/4=2,可以看看源码:

到这里,我们就看完了,如何把ByteBuffer中字节转化成int类型,同时修改int值来同步到ByteBuffer中,当然其他基本类型操作方法类似的,最后再来看一个比较安全有用的方法:asReadOnlyBuffer,这个方法主要是返回一个只读的ByteBuffer的副本对象,如果我们调用了这个对象的put方法:

运行就会出错:

所以这个方法对于,我们不想给源ByteBuffer的数据造成影响,但是又想读取数据的话,就这个方法了。

 

四、知识总结

上面就介绍完了整个ByteBuffer的所有内容了,首先我们知道他是一个操作字节数据的高效类。

1、ByteBuffer的操作原理

ByteBuffer有两个子类HeapByteBuffer和DirectByteBuffer,这两个类的区别就在于前一个类是基于JVM堆内存的,后一个是基于系统内存的,他们通过allocate和allocateDirect方法获取。

2、四个“指针”

mark,position,limit,capacity这四个指针来操作数据,mark最不常用,默认是-1,就是为了存储上一次position的值,而position是最常用的,在进行数据的读写,状态改变都会设置这个值,就是表示当前有效数据的起始位置,limit的值是当前有效数据的末尾位置,可以通过limit方法直接设置值,capacity值是整个内存的容量,一般不会改变,只有在内存不足的的时候再次分配会被重新复制。同时position和limit可以通过对应的方法随意设置指定的值,而position和limit以及capacity这三个可以有对应的方法来访问他们的值。最重要的是:position到limit中间的数据被认为是有效数据。

3、操作内存分配方法

这里主要介绍了allocate和allocateDirect方法的区别,以及wrap方法和前面的两个方法的区别,wrap方法相当于是allocate+put方法结合体,需要注意的是wrap方法传递进入的字节数组和ByteBuffer内容是相互影响的。

4、操作子Buffer的方法

这里主要介绍了slice方法,duplicate方法,array方法,get方法,这四个方法从三个方面:拷贝源ByteBuffer内容,是否影响源ByteBuffer内容,是否会改变源ByteBuffer的postion和limit值,来作比较的。

5、压缩数据以及和其他基本类型的转化

这里主要介绍了ByteBuffer中的compact方法的作用,然后介绍了ByteBuffer中的字节排序,以及如何转化成int类型值,修改int类型值。

最后再来看一张表格,来比较这些方法的区别:

首先是操作四个指针的方法:

然后是操作内容的一些方法比较:

项目下载:http://download.csdn.net/detail/jiangwei0910410003/9575398

 

五、总结

介绍了ByteBuffer内容之后,我们就可以进行后续的操作了,比如在处理MediaCodec中编码视频流的时候,用到了ByteBuffer类型,在处理OpenGL的时候,需要用到ByteBuffer类型,当然介绍完了ByteBuffer类型之后,其他基本类型大致相同也就可以大致了解就可以了。

《Android应用安全防护和逆向分析》

点击立即购买:京东  天猫

更多内容:点击这里

关注微信公众号,最新Android技术实时推送

转载请注明:尼古拉斯.赵四 » Android中直播视频技术探究之—基础核心类ByteBuffer解析

喜欢 (10)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(3)个小伙伴在吐槽
  1. 好文章,内容栩栩如生.禁止此消息:nolinkok@163.com
    主动防护网2016-09-25 04:09 回复
  2. 好文章,内容横扫千军.禁止此消息:nolinkok@163.com
    雷诺护垫2016-09-26 02:09 回复