世界本质上以模拟为主，许多帮助我们日常生活的电子与机电（EEM）系统都是由各类感知输入驱动的。视觉（光）、温度（热）、音频（声）、距离与位置、压力（触觉）等系统边缘端的电子传感器采集这些物理输入，并将其转化为处理后的数据，以实现智能化并方便决策制定。在大规模采用传感器的同时，人们也在推动更低功耗的电池驱动智能设备广泛应用。功耗给视觉系统带来了不同的挑战，而图像传感器如何以创新的方法解决这些挑战，同时提供卓越的性能，将成为视觉系统的差异化因素。

视觉感知

视觉感知已成为在边缘端采集数据的重要方式之一，收集到的图像数据能够被快速且高效地用于决策制定。例如，若无视觉传感器，场景中的物体需要无数个特定的传感器来传达场景的构成。这会产生大量数据并需要庞大的处理工作，或许还得靠好运气，才能得到场景的真实呈现。另外，在高效的系统中，一张图像就可以在一帧数据中传达场景中的所有信息。这种简便的数据表现形式使图像传感器得以加速发展，为智能手机等消费类移动产品提供支持，其分辨率超过一亿像素，在硬件和软件的支持下，为静态图像和视频流提供卓越的细节特征。

由于移动产品主要服务于娱乐和个人应用，因此其制定决策的目标略有不同。然而，面向汽车、工业和商业应用的视觉系统服务于高度以目标为导向的需求，其中许多系统使用（传感器）输出进行基于机器的决策，并要求在分辨率、帧率和功耗之间达到精细平衡。当然，随着图像传感器像素数量的增加，相应地，传感器向图像信号处理器（ISP）或系统芯片（SoC）提供的图像数据量也会增加。传感器产生的大量图像数据以及ISP/SoC对这些数据的处理会导致高功耗，从而给视觉系统设计带来巨大负担。

设计人员需要应对高功率电子元件带来的高功率传输、功耗和系统物料清单（BOM）成本等问题。同样，热管理也是一个挑战，因为大多数视觉系统都依赖对流气流来散发系统中产生的热量。图像传感器对热量高度敏感，如果不能选择适当的设计并有效管理上述因素，就会产生不可靠的视觉系统。

量子效率

图像传感器的量子效率（QE）是指光电二极管最大限度地将入射光子转换成电子的能力。众所周知，QE越高，图像亮度越好。更高的QE值在弱光条件下非常重要，这通常通过使用更大的像素尺寸或在场景中添加可见光或不可见光来实现。无论哪种方法，都会增加视觉系统必须支持的成本、功耗和空间，并可能会根据图像传感器的性能和场景条件呈指数级增长。

这在通常使用红外发光二极管（IRLED）的不可见照明情况下尤其严重，其产生的光波长为850nm和940nm。这些波长能被图像传感器探测到，但人眼无法察觉。在行业中，这通常被称为"主动照明"。红外发光二极管需要供电并产生功耗，占用大量空间，并显著增加系统BOM成本。在近红外光谱中具有高量子效率的图像传感器能够在不牺牲图像质量的前提下，减少其使用数量、降低光照强度以及总体BOM成本。

此外，重要的是要确保图像传感器像素提供的高QE不会受到数据通路其他部分噪声的影响，从而影响整体图像质量。例如，如果像素结构没有足够的像素间隔，像素间串扰就会降低调制传递函数（MTF）和对图像的对比度/清晰度，最终影响图像质量。另一个可能造成损害的因素是读出电路性能不佳导致的高读取噪声。图像质量不佳会给ISP/SoC带来不必要的负担，使其需要处理更多的数据，从而降低视觉系统的整体帧率，或者以更高的时钟频率运行来维持相同的端到端时序。而无论哪种情况，系统最终都会产生更多的功耗。并且由于可能需要配备更先进资源的ISP/SoC，这将进一步增加总体BOM成本。

子采样模式

部分图像传感器公司的产品已经意识到这些操作需求，并集成了多种子采样模式。这些模式，如合并（Binning）、裁剪（Cropping）和跳采（Skipping），能够大大减少生成和传输所需的带宽。这些功能使视觉系统变得非常智能，能够根据用例需求选择最优的功耗/性能配置。例如，在生物识别扫描仪中，现在可以利用配备500万像素传感器阵列的单个系统，以逐渐增强的扫描方式，完成子采样模式下的单个指纹扫描到全分辨率面部扫描。最重要的是，ISP/SoC接收到的数据量减少，从而降低了其自身及整个视觉系统的功耗。

缩减数据规模

高分辨率图像传感器会占用大量带宽来输出数据。例如，以60帧/秒速度工作的2000万像素传感器将传输12Gbps图像数据，这些数据不仅需要在传感器内部的高速接口中妥善处理，还需要由接收这些数据的ISP/SoC进行处理。处理如此庞大的数据需要在这些处理引擎中投入昂贵且专用的资源和电力，并可能导致大量的功耗/热管理问题。此外，接口速度的限制也增加了这一挑战。在大多数应用中，可能只有小部分时间需要在全分辨率下全速运行，其余时间则仅需较低分辨率。虽然子采样模式可以降低带宽并有其自身优势，但在分辨率选择或场景完整性方面会受到一定的限制。

传感器内的缩放器有助于克服这些限制，有效满足低分辨率操作的需求。它们能够在源头控制带宽，而不是由ISP/SoC管理。它们能够在最大程度上提供精细的粒度控制，同时保持完整的视场角（FOV）。优秀的图像缩放算法非常复杂，即使在分辨率大幅缩放的情况下，也能提供出色的图像质量。举例来说，虽然获取远距离物体的细节确实需要2000万像素，但可能只需要图像的某个特定区域，而不是整个图像。通过对这一动态定义的区域进行裁剪或缩放，就可以获得2000万像素传感器的优势，而无需持续处理相当于2000万像素的数据。如下图所示，scaling比binning产生的伪影更少，从而提高图像输出效果。

按需唤醒

这里指的是传感器可以处于极低的工作状态，在大多数工作时间内以低分辨率、最低帧速率运行。当检测到运动时，它会切换到预定的配置--运动唤醒（WOM）模式。图像传感器有能力处理这些变化，并让ISP/SoC将其切换到所需的模式/配置。它还能进一步屏蔽与应用无关的运动区域，从而使传感器和视觉系统更加精准、高效。以前，这一功能是在处理器中完成的，但在传感器上实现这一功能可减少系统资源和功耗，运动唤醒等功能使视觉系统具有高度的目标驱动性。

可以看到这些功能在电池供电的应用、智能门禁系统、零售扫描仪、医疗监测系统等类似应用中产生的深远影响。电池供电的应用从这些传感器中获得了最大的好处，因为它们可以最大限度地降低系统功耗。例如，在4K视频门铃应用中，虽然图像传感器在满负荷状态下会传输6G数据，但是它可以在WOM模式下运行超过98%的工作时间。在预检测阶段，它产生/传输的数据量极低，整个视觉系统的运行功耗仅为全工作模式下的一小部分。

转自：机器之瞳

注：文章版权归原作者所有，本文仅供交流学习之用，如涉及版权等问题，请您告知，我们将及时处理。