基于上下文的事件相机无损图像压缩的制作方法

本发明大体上涉及数字图像处理领域，更具体地，涉及由事件相机捕获的事件数据的编码。

背景技术：

1、事件相机，又称神经形态相机、硅视网膜或动态视觉传感器，是一种对局部亮度变化做出响应的成像传感器。事件相机不像传统)帧)相机那样使用快门捕捉图像。相反，事件相机内的每个像素独立且异步地操作，在亮度变化发生时报告亮度变化，否则保持静默。

2、在操作期间，每个像素存储一个参考亮度级别，并不断将其与当前亮度级别进行比较。如果亮度差异超过阈值，该像素将重置其参考级别并生成事件：即包含亮度变化的像素地址、时间戳和极性(增加或减少)或照明度的瞬时测量的离散数据包。因此，事件相机输出由场景照明变化触发的异步事件流。

3、由此可知，像素事件传感器传递的事件流中仅包含有关可变对象的信息，而没有关于均匀表面或静止背景的信息。

4、与传统(彩色)相机相比，这种事件相机具有显著的优势，即高动态范围和低延迟。具体地，事件相机可以提供非常高的时间分辨率的可能性，因为异步事件可以在最小的时间戳距离(即10-6秒)触发，这相当于实现高达每秒106帧数(frame?per?second，fps)的帧速率。由于具备这些优点，因此事件相机可以高效地应用于物体识别、自动驾驶车辆和机器人技术等技术领域。

5、在某些情况下，例如快速运动的纹理场景，每秒会生成数百万个事件。为了处理如此繁忙的场景，现有的事件过程可能需要大量的并行计算。

6、一种现有的事件流编码方案是脉冲编码方法，其灵感来自于为对大量数据进行编码而提出的最先进的方案，即利用事件位置信息的空间特性和时间特性进行压缩。这种方法包括自适应的宏立方体分区结构以及地址优先模式和时间优先模式。异步事件被打包到宏立方体中，这些宏立方体分别对空间、时间和极性信息进行编码。因此，这种方法对一个时间间隔内发生的所有原始事件进行了编码，然而，对于某些应用，并非所有事件都是必需的，而更需要有损方案。此外，增加事件之间的距离和累积事件信息会影响脉冲编码方法的性能，这是不希望的?；痪浠八?，该方案仅用于处理原始异步数据，而不是用于对事件帧进行编码。

7、另一种编码方法是用于神经形态视觉传感器数据算法的基于时间聚合的无损视频编码，即通过在时间间隔内累积事件来对事件序列进行编码。事件序列生成两个单独的帧，一个帧与发光强度的增加相关联，另一个帧与发光强度的降低相关联，即，分别基于事件的正极性和负极性。然后，将这两个帧串联成一个“超帧”，由左侧的“正极性”帧和右侧的“负极性”帧组成。最后，使用高效视频编码(high?efficiency?video?coding，hevc)编解码器对超帧进行编码。对于高分辨率(例如640×480、1280×720)传感器，捕获的事件稀疏地分布在帧中，并且hevc不能高效地对超帧进行编码，因为视频编解码器设计为对与事件计数不同类型的信息(在颜色格式中找到的信息)进行编码。因此，该方法的一个主要的缺点是其性能取决于所选视频编解码器的性能。该方法的另一个缺点是，当所有事件及其所有对应信息都必须由事件数据编解码器进行编码时，该方法不能提供无损方案。

8、考虑到事件相机可以实现的帧速率越来越高，由此事件序列的原始表示达到了非常高的水平，因此越来越需要一种方法或系统来提供对从这些事件相机接收到的原始事件数据进行高效编码的方案，尤其是适合无损事件数据压缩的方案。

技术实现思路

1、根据上述内容，本文描述的是用于事件相机的高效数据处理的系统和方法。这样的系统和方法以事件流的形式累积在一段时间内从事件相机接收到的事件，将异步事件转换为事件帧，并高效地对事件帧进行无损编码，以供其它应用进一步处理。

2、上述和其它目的通过独立权利要求的特征实现，所述独立权利要求公开了一种用于事件相机传感器的新的基于上下文的无损图像压缩编解码器，以及用于事件数据的新的无损编码框架，其中，空间信息被编码为多个事件帧的数据包，极性信息则通过遍历空间信息编码。所公开的方法提供了一种新的事件数据表示，其中，空间信息和极性信息单独编码；一种新的策略，用于使用二进制映射编码事件空间信息，所述二进制映射指示至少一个事件在所述事件帧中发生的位置、事件的数量以及对应的事件帧索引。此外，提供了一种新的基于事件帧的极性编码算法；在特定事件稀疏性约束下激活的新的稀疏编码模式(sparse?coding?mode，scm)。

3、根据第一方面，提供了一种方法，包括：从事件相机接收事件流；将所述事件流转换为多个事件??；通过合并多个事件帧来生成组合事件帧。通过基于上述事件流中的每个事件的空间信息、时间戳和极性信息，将分配给所述事件帧的像素的事件帧符号转换为所述事件帧的对应像素的组合事件帧符号来完成所述事件帧的数量的合并。

4、根据该方法生成组合事件帧提供了事件流数据的更高效的表示，因为来自多个事件帧的信息合并成单个图像格式，然后可以通过将所述组合事件帧编码为单个图像而使用无损图像压缩编解码器；或者通过在视频序列中收集多个组合事件帧而使用视频编解码器，进一步处理单个图像格式。

5、在所述第一方面的一种可能的实现方式中，根据以下公式将所述事件帧符号合并为组合事件帧符号：

6、cef＝kn-1efi-(n-1)+(…)+k2efi-2+k1efi-1+efi

7、其中，cef表示所述组合事件帧符号，ef表示所述事件帧符号，k是所述事件帧符号的数量，n是待合并为所述组合事件帧的事件帧的数量。使用此映射公式可以高效地将事件帧的符号合并到组合事件帧符号中。

8、在所述第一方面的另一种可能的实现方式中，所述事件帧符号的数量为k＝3，表示所述极性信息为正极性事件，其中，在所述事件帧的相应像素处检测到亮度的增加；将所述极性信息表示为负极性事件，其中，在所述事件帧的相应像素处检测到亮度的降低；或者在相应的子时段内在所述事件帧的相应像素处未检测到事件。在该实现方式中，可能的组合事件帧符号的数量为3n，其中，n是待合并为组合事件帧的事件帧的数量。发明人发现，这些特定参数为合并多个事件帧提供了极为高效的方法。

9、在所述第一方面的另一种可能的实现方式中，所述待合并为组合事件帧的事件帧的数量为n＝5，所述事件帧符号根据以下公式合并为组合事件帧符号：

10、cef＝34efi-4+33efi-3+32efi-2+31efi-1+efi

11、发明人发现，这些特定参数为合并多个事件帧提供了极为高效的方法。

12、在所述第一方面的另一种可能的实现方式中，所述方法还包括对多个后续组合事件帧进行编码：通过将所述组合事件帧收集到视频序列中并采用任何视频编码标准(例如高效视频编码(high?efficiency?video?coding，hevc))进行编码；或者采用任何无损图像压缩编解码器(例如基于上下文的自适应无损图像编解码器(context-based?adaptivelossless?image?codec，calic)或自由无损图像格式(free?lossless?image?format，flif))将每个组合事件帧单独编码为原始图像。这使得可以对组合事件帧做进一步的处理或存储。

13、根据第二方面，提供了一种方法，包括：从事件相机接收事件流；通过基于事件的相应时间戳将检测到的事件的空间信息和极性信息合并为事件帧，将所述事件流转换为多个事件??；将来自所述多个事件帧的所述空间信息和所述极性信息存储在针对要存储的相应信息类型而优化的单独数据结构中。

14、将事件帧数据存储在针对要存储的相应信息类型进行优化的单独数据结构中，不仅在存储方面提供了一种高效的方法，而且支持使用不同的编码方案来进一步编码从事件帧中提取的不同类型的信息(空间和极性)。与为无损视频编码和无损图像压缩设计的最先进的方法相比，提出的方法提供了改进的编码性能。此外，在无损编码从传感器接收到的所有异步事件时，提出的方法也提供了改进的性能。

15、在所述第二方面的一种可能的实现方式中，存储所述空间信息包括将来自所述多个事件帧的空间信息合并到单个事件映射图像中，所述单个事件映射图像存储为一组图像位平面，这不仅为存储，也为进一步编码提供了一个高效的数据结构。

16、在所述第二方面的另一种可能的实现方式中，使用以下组合存储包含在事件映射图像中的所述空间信息：二进制映射，包括分配给每个像素的二进制映射符号，以指示至少一个事件发生的位置；表示发生的事件的数量nrev的类别索引；表示事件发生在具体的单个事件帧的事件帧索引。这种空间事件数据表示确保了高效的编码方法，因为只有像素位置被编码，其中，至少一个事件在事件帧中被指示，即没有事件的像素位置会被忽略，从而减小了数据大小并缩短了数据处理时间。

17、在所述第二方面的另一种可能的实现方式中，使用模板上下文模型对所述二进制映射进行编码，其中，对于所述二进制映射的每个像素，首先确定相应的二进制映射符号的因果邻域，并将其用于计算所述上下文索引。然后，使用以特定顺序从因果邻域中收集的不同数量的邻域来估计对二进制映射进行编码所需的码长以确定最优模型顺序；基于其各自的因果邻域对每个二进制映射符号进行编码，对最优模型顺序进行编码并随后用于以光栅扫描顺序遍历的二进制映射进行编码，从而为事件帧空间信息提供了比先前使用的现有技术编码方法更高效的编码方法。

18、在一个实施例中，使用具有m个因果邻域的最大顺序的模型确定最优模型顺序，其中，m处于1到18的范围内。在图6所示的示例中，m＝18。发明人发现，这些特定参数为确定最优模型顺序提供了极为高效的方法。

19、在所述第二方面的另一种可能的实现方式中，所述类别索引使用字母表中的类别索引符号表示，每个类别索引符号包括p个的位平面。编码所述类别索引包括逐位平面对所述类别索引符号进行编码，使用模板上下文模型对每个类别索引符号的表示中的第一位进行编码，其中，所述第一位平面(表示为)在光栅扫描中编码，所述模板上下文模型基于为从所述第一位平面上的相应因果邻域确定的所述类别索引符号的每个位计算的上下文；使用模板上下文模型对每个后续位平面(表示为)进行编码，其中，所述相应的上下文是使用所述来自当前位平面的相应因果邻域以及来自其先前的至少一个位平面的相应上下文模板来确定的。这为事件帧空间信息提供了比先前使用的现有技术编码方法更高效的编码方法。

20、在一个实施例中，所述类别索引符号的位平面的数量p被确定为其中，表示上限运算符。

21、在所述第二方面的另一种可能的实现方式中，对于具有至少两个先前位平面的每个后续位平面使用来自所述先前两个位平面和的上下文模板来确定所述相应的上下文。发明人发现，使用先前两个位平面提供了一种极为高效的编码类别索引的方法。

22、在一个实施例中，对于每个后续位平面，相应的因果邻域具有order0长度，其中来自其先前位平面的上下文模板具有order1长度。发明人发现，使用这些长度提供了一种极为高效的编码类别索引的方法。

23、在所述第二方面的另一种可能的实现方式中，所述事件帧索引包括事件帧索引符号，所述事件帧索引符号表示在相应像素处发生任何事件的所述单独事件??；根据相应像素的所述类别索引对每个事件帧索引进行编码，所述类别索引的每个类别表示在相应像素处检测到的事件的总数nrev。所述事件帧索引通过以下方式进行编码：首先将字母表分成n个子字母表，并将子字母表与每个类别相关联；然后基于所述相应的类别索引，将所述事件帧索引符号重新映射到所述相应的子字母表的重映射符号；最后根据所述相应的类别索引关联类别符号。使用分配给每个类别的子字母表为事件帧索引编码提供了一种非常高效的方法。

24、在一个实施例中，所述字母表包括2n个可能的符号，其中，n是编码的事件帧的数量。在n＝8的示例中，所述字母表包括256个符号。

25、在所述第二方面的另一种可能的实现方式中，所述子字母表包括不同数量的符号，并且每个子字母表基于重新映射相应类别的所述事件帧索引符号所需的符号的数量来与类别相关联。使用这样的子字母表为事件帧索引编码提供了一种非常高效的方法。

26、在所述第二方面的另一种可能的实现方式中，每个事件帧索引包括个可能的符号组合，其中，n表示所述事件帧的数量，nrev对应于表示所述n个事件帧中发生的事件的总数的所述类别索引，并且每个子字母表因此包括所有个可能的符号。发明人发现，这些特定参数为事件帧索引编码提供了极为高效的方法。

27、在所述第二方面的另一种可能的实现方式中，所述重新映射的事件帧索引符号和相关联的类别符号合并为n个类别向量，所述类别向量的数量n对应于所述n个事件帧，其中，前n-1个类别向量使用自适应马尔可夫模型进行编码，最后一个类别向量与确定性情况相关联，在确定性情况下，每个事件帧中都会出现一个事件，从而产生了一种极为高效的事件帧索引编码方法。

28、在一个实施例中，所述事件帧的数量为n＝8，其中，所述子字母表分别包括8个、28个、56个或70个符号，并且为了确定所述自适应马尔可夫模型的最佳顺序，所述最大顺序设置为：5(对于带8个符号的子字母表)，3(对于带28个符号的子字母表)，2(对于带56个或70个符号的子字母表)。发明人发现，这些特定参数为事件帧索引编码提供了极为高效的方法。

29、在所述第二方面的另一种可能的实现方式中，存储来自所述多个事件帧的极性信息包括将来自每个事件帧的极性信息合并为极性向量，所述极性向量包括基于检测到的事件期间的亮度变化而确定的二进制极性符号，从而产生了用于编码来自事件帧的极性信息的极为高效的方法。

30、在所述第二方面的另一种可能的实现方式中，将来自所述多个事件帧的每个极性向量的所述极性符号串联成串联极性向量，从而产生了对来自事件帧的极性信息的非常高效的表示。

31、在一个实施例中，在与相应事件映射图像相关联的事件的总数低于阈值事件数量tnrev的条件下，将来自每个极性向量的所述极性符号串联成串联极性向量。在一个示例tnrev＝150中，这种将极性信息有条件地串联成串联极性向量确保编码算法实现最佳效率。

32、在所述第二方面的另一种可能的实现方式中，通过逐位平面或逐事件帧遍历所述事件帧的空间信息，将来自所述多个事件帧的极性信息存储在多个相应的极性向量中，从而确保极性数据编码实现最佳效率。

33、在所述第二方面的另一种可能的实现方式中，所述极性向量的数量按照在n个子时段9上接收的相应事件帧efi＝1→n的顺序进行编码，其中，每个pvi对应于efi，并且使用自适应马尔可夫建模编码为向量，或者使用所述二进制映射遍历所述事件映射图像并使用模板上下文模型对pvi中的每个极性符号进行编码，其中，pvi中的所述极性符号的所述相应上下文是使用来自所述当前事件帧efi的相应因果邻域确定的，并且至少一个先前的事件帧efi-1用作相应上下文模板；其中，对于具有至少两个先前的事件帧的每个事件帧efi，pvi中的极性符号的相应上下文是使用来自先前的两个事件帧efi-1和efi-2的上下文模板确定的。这产生了一种编码来自事件帧的极性信息的极为高效的方法。

34、在一个实施例中，为了编码每个pvi中的每个极性符号，上下文索引基于三个参数来计算：对应于因果邻域的最优模型顺序order0，对应于上下文模板的最优模型顺序order1、order2。在一个实施例中，对于具有至少两个先前的事件帧的每个事件帧，为order0、order1和order2搜索的最大模型顺序分别设置为7、6和3。在仅具有一个先前的事件帧的事件帧的实施例中，为order0、order1搜索的最大模型顺序分别为7和6，不使用order2。在一个实施例中，对于没有先前的事件帧的每个事件帧，为order0搜索的最大模型顺序设置为10，不使用order1和order2。发明人发现，使用这些模型阶为编码来自事件帧的极性信息提供了极为高效的方法。

35、在使用自适应马尔可夫建模将极性向量编码为向量的实施例中，对(order0,order1,order2)＝(0,0,0)进行编码以指示选择了自适应马尔可夫建模方法，从而确保极性数据编码实现最佳效率。

36、在所述第二方面的另一种可能的实现方式中，使用稀疏编码模式(sparse?codingmode，scm)对来自所述n个事件帧的空间信息和极性信息进行编码，其中，如果在所述多个子时段内检测到的事件的总数n低于事件阈值，则激活稀疏编码模式，并且使用较低复杂度的编码方法对所述空间信息或极性信息中的至少一个进行编码；否则，不激活稀疏编码模式。使用这样的稀疏编码模式可以高效地编码子时段9中的稀疏事件。

37、在所述第二方面的另一种可能的实现方式中，响应于已确定事件总数低于第一事件阈值n<et1，因此激活scm并按如下方式对所述空间信息进行编码：始终编码一个位以指示是激活或关闭scm；如果激活了scm，则：使用log2(et1)个位对n进行编码；对于每个事件ei，按如下方式对空间信息进行编码：使用log2(h)个位对xi进行编码；使用log2(w)个位对yi进行编码；使用log2(n)个位对事件帧索引进行编码，其中，h是事件相机传感器1的高度，w是事件相机传感器1的宽度。在一个实施例中，根据事件相机1的分辨率w×h，可知第一事件阈值在10<et1<50的范围内。在一个例子et1＝20中，发明人发现，这些特定参数为事件帧空间信息编码提供了极为高效的方法。

38、在所述第二方面的另一种可能的实现方式中，响应于已确定事件总数低于第二事件阈值n<et2，因此激活scm并按如下方式对所述极性信息进行编码：将来自所述多个事件帧的每个极性向量的所述极性符号串联成单个串联极性向量；使用0-阶马尔可夫模型对所述串联极性向量进行编码。在一个实施例中，第二事件阈值的范围最好在100<et2<200内，更优选地，et2＝150。发明人发现，这些特定参数为事件帧极性信息编码提供了极为高效的方法。

39、在所述第二方面的另一种可能的实现方式中，所述事件帧的数量n在1至32的范围内，具体取决于所述子时段9的长度。在一个实施例中，子时段9的长度很短，事件帧的数量在16至32的范围内。在另一个实施例中，子时段的长度更长，事件帧的数量在1至8的范围内。在一个示例中，事件帧的数量是n＝8。发明人发现，这些特定子时段长度的这些特定事件帧范围为事件帧编码提供了极为高效的方法。

40、根据第三方面，提供了一种基于计算机的系统，所述系统包括：事件相机，用于记录事件流；处理器，耦合到存储设备，用于将所述事件流转换为多个事件??；所述存储设备包括指令，当所述指令由所述处理器执行时，通过执行根据所述第一方面的任一可能的实现方式的方法，使得所述基于计算机的系统将所述多个事件帧中的所述信息合并为组合事件帧。由此产生的系统对于合并多个事件帧是极为高效的。

41、根据第四方面，提供了一种基于计算机的系统，所述系统包括：事件相机，用于记录事件流；处理器，耦合到存储设备，用于将所述事件流转换为多个事件??；所述存储设备包括指令，当所述指令由所述处理器执行时，使得所述基于计算机的系统根据所述第二方面的任一可能的实现方式的方法处理来自所述多个事件帧的所述信息。由此产生的系统对于处理来自多个事件帧的事件数据是极为高效的。

42、根据第五方面，提供了一种非瞬时性计算机可读介质，其中存储有程序指令，所述程序指令在由处理器执行时，使得所述处理器执行根据所述第一方面的任一可能的实现方式的方法。由此产生的计算机可读介质对于合并多个事件帧是极为高效的。

43、根据第六方面，提供了一种非瞬时性计算机可读介质，其中存储有程序指令，所述程序指令在由处理器执行时，使得所述处理器执行根据所述第二方面的任一可能的实现方式的方法。由此产生的计算机可读介质对于处理来自多个事件帧的事件数据是极为高效的。

44、这些和其它方面从下面描述的一个或多个实施例中是显而易见的。