近日，香港理工大学柴扬和华中科技大学何毓辉教授造出一款动态视觉传感器，实现了高级别的动态视觉处理。

本次研究结合了动态视觉传感器和传感器内计算，通过充分利用两者的优点，他们还设计出一款动态传感器内计算架构。该架构可以大幅提高运算效率，实现低延时、低功耗的运动识别。

这种直接在传感器内进行实时处理和决策的方式，有望用于边缘计算，以及用于那些对延迟高度敏感的场景比如无人驾驶汽车、机器人技术等领域，并能有效节省通信带宽，此外还能增强数据的安全性和隐私性。

那么，相比现有的图像传感器、或互补金属氧化物半导体（CMOS，Complementary Metal Oxide Semiconductor），动态视觉传感器在捕捉动态图像时，在工作原理上有着哪些不同？

据了解，传统相机所基于的标准图像传感器具有固定的帧率，不管像素点的光强是否发生变化，都会在每一帧记录下所有像素的绝对光强，因此会包含大量冗余的视觉数据。

另一方面，较长的曝光时间限制了事件捕获的延迟，导致所捕捉到的高速运动物体图像存在模糊和过曝等问题。

相比之下，受生物视网膜启发的动态视觉传感器（DVS，Dynamic Vision Sensor），可以只针对场景中的相对变化区域作出反应。

对于动态视觉传感器来说，只有在像素点的位置发生光强变化的时候，才会产生脉冲信号从而生成稀疏数据，这样一来就能大大减少数据的冗余量。

动态视觉传感器还具备超高的时间分辨率，能够确保动作信息被完整记录下来。因此，它也能被用于检测场景中的变化，输出稀疏且重要的信息。

而对于传感器内的脉冲信号来说，它是否也能被反馈给传感器神经元，从而做出相应的调整？

对于这一问题，答案是肯定的。为了执行复杂的计算任务比如动作识别，像素单元需要被扩展到阵列级别，并通过单元之间合适的物理互连，构建成脉冲神经网络（SNN，Spiking Neural Network）。

而每个子像素阵列，在连接之后可以输出神经元。在动态场景中，当像素点的光照强度发生变化时，子像素单元也会产生正负电流脉冲，来对 LIF（leaky integrate and fire）神经元中的电容进行充放电。

一旦电容的积分电压也就是神经元的膜电位，达到神经元的阈值时就会输出脉冲。

来源：传感器专家网