作者：贺梦凡、王绍航、龙玉凤 所属院系 精仪系、软件学院

指导老师：李国齐 所属院系 精仪系

关键词：事件相机、视频插帧、光流预测、脉冲神经网络

摘要

本项目受近些年较火热的图像修复技术启发，尝试将一种新型的相机——事件相机（DVS），与普通的相机进行融合，作为图像数据来源；结合一般的深度学习方法以及另一种新型神经网络架构——脉冲神经网络（Spiking Neural Network），完成对于运动物体的视频插帧工作。

项目概要

对于现实中运动较快的物体，普通相机往往无法实现比较好的记录，进而产生运动不连续的记录结果。视频图像插帧技术能做到视频的高帧率转化，因此可以很好的应用于慢动作处理，图像修复等等各种方面。其中，图像插帧算法的视频光流生成部分由于代表了连续两帧图像之间的同一真实空间点的位移情况，对于视频内物体运动有着很好的预测功能，被认为是插帧算法的重要组成部份，也是本项目研究所聚焦的关键。

事件相机（也称DVS相机）通过事件驱动的方式去捕捉场景中所发生的像素变化（如图一所示），能够达到微秒级别的捕捉时间延迟，我们利用其得到的高帧率数据进行视频光流模拟生成过程。并且DVS数据是一种拟神经形态输出的样式，进而项目结合了新型的神经网络——脉冲神经网络，这是一种拟神经元形态的网络架构，与DVS数据相适配；项目将脉冲神经网络整合为整体网络架构的一部分作为光流提取器，完成视频光流的模拟生成工作。在完成了视频光流模拟之后，我们将光流作为视频插帧模型的一部分输入，结合普通相机的低帧率图片信息，完成中间帧补全的工作。

项目结果

我们设计的光流提取模型的基本生成原理是构建多层输出层，进行光流输出的逐层提取并且细化工作，网络模型的各隐藏层输出结果如图二所示。结合了提取到的光流数据，我们进行之后的插帧工作。整个项目各部分组成的可视化流程展示如图三所示：

图片展示：

  图一：DVS图像与普通相机图像的展示

图二：光流分层提取展示结果

图三：项目各部分流程可视化展示