从“扫描”到“洞察”：Hyperlux ID如何赋能下一代机器视觉

深度感知是现实机器视觉应用中不可或缺的关键功能。安森美(onsemi)的Hyperlux ID间接飞行时间(iToF)深度传感器，凭借更少、更小、更简单的器件，即可实现高精度深度感知。

现代机器不仅要能够移动，更需自主感知周围环境、识别操作对象，并理解周围的世界。工业组件要实现真正的自动化，其核心在于感知、定位并与世界交互的能力。当这类组件由人工智能(AI)驱动时，就需要深度传感器为处理器提供视觉感知能力。

对机器视觉而言，要实现这种感知级别的识别能力，绝非易事。

当机器执行物体操作或规划前方路径时，其处理器需要在极短时间内获取尽可能多的深度数据点。传统图像传感器会产生大量数字伪影，包括光晕、拖影、过饱和以及运动模糊。这些伪影并非真实的环境信息，如果缺乏深度感知功能及深度数据的有效解析手段，机器的处理器将无法做出准确推断。我们固然可以寄希望于人工智能或机器学习算法，助力机器区分真实场景与虚假干扰。但这里真正需要的是一款性能强大且稳定可靠的深度传感器，从而让机器无需再从不可靠的视觉证据中去推测真实场景。

本白皮书旨在探讨如何为具体应用挑选合适的深度传感器。作为全球领先的半导体器件制造商之一，安森美生产各类传感器设备，包括基于CMOS的图像传感器、超声波传感器、短波红外(SWIR)传感器以及激光雷达。

正如本白皮书[PDF]中所阐述，激光雷达之所以能实现远距离深度感知，是因为它采用了直接飞行时间(dToF)技术。当应用场景中最关键的数据需求是实时测距时，dToF技术能为激光雷达提供优于其他深度感知方法的采集速率，并具备检测激光回波路径中多个物体的能力。通过采用二维单光子雪崩二极管(SPAD)和硅光电倍增管阵列(SiPM)技术，安森美激光雷达组件能够探测最远300米范围内的单光子信号。

然而激光雷达在分辨率方面存在局限。为实现全视场覆盖，激光雷达需对前方场景进行扫描，就像用画笔在整个画布上逐步涂绘一样。这种方式难以识别远方物体的特征，尤其在物体边缘轮廓不够清晰时，这一问题更为突出。

开发未来机器视觉应用的工程师需要充分了解各类技术的差异，从而为自身的研发工作选择合适的成像设备。

当机器视觉系统检测到其感知范围内存在物体时，它不仅需要判断物体的距离，还需推断物体的形状与结构。这要求系统通过更高密度的数据点采集，获取前方场景的更多数据，以实现更高的分辨率和保真度。例如：

• 工业安防系统聚焦大门或特定入口，探测约10米半径内的移动物体或活动迹象。

• 视频会议系统拍摄画面内的人物，当人物起身在室内走动时，系统会自动调整构图与对焦。

• 仓库和物流中心的库存管理系统持续核验货物库存数量及其存储位置。

• 工厂检测系统对零部件不间断检测，排查潜在瑕疵和缺陷。

• 物流系统对货物和包裹进行常态化尺寸测量，以优化运输方案并提升运输安全性。

• 车辆装载系统持续不断地将库存货架上的货物转移到运输车辆上。

此类应用场景均需要高分辨率深度传感器来识别前方的物体，并辅助软件推断抓取、搬运或操作物体的最优方案。通过物体的外形或结构判断其属性，离不开深度感知技术的支持。这项任务的难点在于，图像仍是二维平面信息。但借助一些技术手段，可从二维数据中推导三维空间信息。安森美最新推出的Hyperlux ID iToF深度传感器，便集成了这类前沿技术。

安森美技术延伸阅读

• 适用于汽车、物流等领域的远距离测距激光雷达组件。

• 面向自动驾驶车辆的先进立体3D传感技术。

• 用于自动驾驶及驾驶辅助车辆的超声波传感器，可辅助车辆规避障碍物(含泊车场景)。

• 适用于各种工业应用的Hyperlux CMOS图像传感器，具备高动态范围和优异的低光性能。

深度感知的技术难题

距离属于一维空间概念。激光束的特性恰好体现了一维空间感知方式的全部优势与局限。对于以激光束作为感知机制的设备而言，要确定传感器前方的环境构成，就必须通过多次扫描并整合扫描所得的数据来实现。尽管技术发展正不断加快这一扫描过程，但此类设备仍然存在物理限制。

实现深度感知至少需要一张二维图像，而若能获得两张及以上二维图像，则可推断出三维信息。具备深度感知功能的图像传感器，其有效感知范围受限于传感器自身的分辨率。而激光束则不存在这一局限。我们可以为近地轨道(LEO)卫星搭载激光雷达设备，从上千公里高空对地表地形与海平面进行精准测绘。

正是这一本质区别，界定了激光雷达与图像传感器在工业应用中的不同适用领域。如今，日常生活中越来越多的自动化设备，开始采用基于CMOS的图像传感器来实现深度感知功能。在过去，基于CMOS的传感器并不适用于消费级数码相机，尤其是专业摄影领域。这类传感器对光学噪声和电磁干扰十分敏感，而早期数码相机所采用的电荷耦合器件(CCD)，则能很好地解决这两大问题。

智能手机时代的到来彻底改变了这一局面。业界借助NASA喷气推进实验室为航天项目研发的相关技术，优化了CMOS传感器的能效表现与实际应用价值。如今，安森美基于CMOS的Hyperlux ID AF0130和AF0131传感器，相比CCD图像传感器与激光雷达组件，展现出多方面优势，具体如下：

• 能效更高，适用于需要低直流电压或电池供电的应用场景。

• 更易集成到机器设计与组件封装中。

• 热特性大幅优化，无需主动散热系统。相较之下，激光雷达的光电探测器对温度尤为敏感，尤其在35℃或以上环境中。

• 深度感知精度极高，依托120万像素(MP)分辨率和背照式(BSI)技术，结合传感器内置的图像处理能力，可显著提升感知精度。

• 图像曝光速度更快，通过优化传感器的图像信号处理、存储及读取方式，实现更快的曝光效率。

• 可编程性更强，支持通过情景感知功能对图像传感器进行微调，使其更好地适配具体应用需求。

激光雷达和直接飞行时间

如您所知，激光雷达是将雷达原理应用于光波领域的技术。它通过分析物体反射的光波波形，测量激光发射点与被测物体之间的深度和距离。在地质勘探和卫星遥感应用中，激光雷达通常依靠GPS来实现精确定位。该技术的工作原理与声呐颇为相似：声呐通过捕捉反射的声波来测算发射器与物体的距离，而激光雷达则将激光脉冲与雷达原理相结合来完成测距。

在各类激光雷达组件中，固态SiPM的功耗最低，同时还具备极强的抗电磁干扰与抗光学噪声能力。即便是在60米外、反射率仅约10%的未授权移动物体，也能被它轻易识别;这一特性可为安防系统预留充足的响应时间，及时封锁入口并发出警报。

上图展示了太阳辐射在地球大气层内(深色)与大气层外(浅色)被探测到的光子相对数量。观察图表可以发现，随着波长增加，在近红外(NIR)波段的905nm与940nm处，以及短波红外(SWIR)波段的1550nm处，光子数量均出现了断崖式下降。太阳光中这些波段的光子占比极低，因此非常适合用于激光雷达。安森美大多数客户的应用场景均集中在905-940nm波段，该波段同时也是激光雷达高性价比组件的主要覆盖区间。

当应用场景仅需通过光波判断远处是否存在物体时，单点深度感知方案具有显著实用性与高效性。气象学家或地质学家可能会关注激光雷达反射波的光谱分析能力，而在日常工业应用中，当系统仅需判断前方有无物体这种二元状态时，SiPM无疑是光传感器件的出色选择。

安森美技术延伸阅读

• 激光雷达在工业测距领域的应用

• SiPM dToF激光雷达平台入门指南[PDF]

• 视频：第三代SiPM激光雷达演示系统室内测试

• 视频：高分辨率短波红外(SWIR)成像技术

Hyperlux ID与间接飞行时间技术

基于CMOS的图像传感器在深度感知范围上存在局限，其无歧义测距范围在常规条件下受限于单次光调制周期。该上限阈值Dmax的计算公式如下：

其中，常数c代表光速，fm代表调制光频率。例如，如果传感器采用60MHz的单频调制方案，其无歧义测距范围上限仅为2.5米。

Hyperlux ID专为工厂车间和包装流水线等场景设计。在这类场景中，机器人系统需要精准测量机械臂与食品等易损物料表面之间的距离。

在上述应用环境中，采用间接飞行时间技术进行深度测量，会更简便、更具实用性。与激光雷达类似，iToF技术同样会比较反射光与发射光，但区别在于，iToF通过推导计算来获取距离信息。Hyperlux ID以940nm红外激光二极管作为光源，借助全局快门技术，一次性完成所有入射光的采集。相较之下，卷帘快门的工作方式是自上而下逐行曝光传感器，类似于传统的机械焦平面快门。这种快门模式虽能满足消费级数码相机的使用需求，但即便是iToF技术，也无法完全弥补卷帘快门的性能缺陷。

Hyperlux ID的全局快门技术支持同时完成八次曝光(两种频率各对应四个相位)，并将所有曝光数据整合存储为单帧图像。这样可以几乎完全消除运动引起的相位误差。

当激光等恒定调制光源发出的光线经物体反射后，反射光与发射光之间会产生微小的相位差。传感器通过相位差的大小来判断物体的距离，但具体距离数值需要通过数学运算推导得出。具体而言，通过评估反射光在0°、90°、180°和270°四个象限边缘处的波幅，计算出接收光波与调制光波之间的相位差。该相位差∆Φ可通过以下双参数反正切公式计算得出：

在相位差∆Φ、激光调制频率fm和光速c均为已知值的情况下，计算每个采样点的距离d就会变得十分简单，如下所示：

以上便是间接飞行时间技术从包含相位偏移的图像数据中推导距离数据的方法。该技术之所以适用于深度感知应用，是因为其通过全局快门实现了相位数据的并行采集，而不是通过移动激光器进行串行扫描。不过，使用单个调制器时，iToF技术仅适用于极短距离的测量。安森美通过一项名为智能iToF的创新专利技术，在一定程度上克服了这些限制。

安森美技术延伸阅读

• 高速全局快门图像传感器如何降低AI视觉系统的运行负荷

• 借助技术进步攻克间接飞行时间技术目前面临的挑战

• 视频：为不同应用挑选合适的图像传感器

Hyperlux ID结合智能iToF技术如何攻克实际应用挑战

Hyperlux ID是一款基于iToF技术实现深度信息感知的图像传感器，因此属于深度传感器。与垂直腔面发射激光器(VCSEL)等主动照明系统相结合，Hyperlux ID能够同时计算VCSEL激光与自身发射光的反射光的相位偏移，并在该过程中对两种光源的光强进行调制处理。通过在单次曝光时间内切换两种不同的频率，传感器的无歧义测距上限Dmax得以提升，其计算方式采用了更小的分母参数——具体而言，就是这两种频率的最大公约数(GCD)：

在安森美评估套件的测试中，AF0130表现优异：在荧光灯照明的浅色中性色调走廊环境下，可清晰识别30米处反射率为70%的目标物体;在雾霾天气的阴影环境中，即便光照强度高达20,000勒克斯，仍能清晰识别20米处的同规格目标物体。在上方伪彩色深度图中，图像的色彩与反射物体的大致距离相对应。

更精准的深度计算方案

AF0130内置嵌入式深度处理ASIC，可在片上处理所有深度感知运算。对于倾向于使用自研深度处理算法的客户，安森美提供了AF0131。其实时处理功能可让深度数据即时投入应用，满足机器人定位与运动控制、避障、安防预警和人体手势识别等功能的需求。

为提高深度计算精度，智能iToF技术通过四帧独立采集的图像(每帧对应波形的一个90度相位)，估算每个像素的反射率。借助这些反射率数据，AF0130能够将四帧图像的数据整合为一帧，生成深度图。

对于深度图中的每个给定点，像素响应均与该给定点处物体的反射率相关，反射率Rpix可通过以下公式计算：

其中，ρ代表像素反射率，D代表图像传感器与该像素之间的距离，而A代表该点受到的环境光强度。物体的反射率反映了物体产生的光信号强度。可视化软件能够以颜色来表示相对深度——较近的物体位于光谱中偏向红色的区域，较远的物体则位于光谱另一端的蓝紫色区域。

强光环境下的高精度深度感知

环境光过强会导致像素接收的深度信号饱和甚至完全失效，这是iToF深度传感技术的一大痛点。当传感器前方的场景处于强光照射下时(例如工业装配车间环境)，所有图像传感器，尤其是采用iToF技术的CMOS图像传感器，其判断深度与距离的难度都将显著增加。

要削弱环境光的影响，需采用环境光抑制的图像处理技术。该技术巧妙运用光学原理与波长调制方法，将光学信号视为声学信号进行处理，从而克服物体表面光信号过饱和的问题。环境光过强会给距离与反射率的测量带来诸多挑战，而Hyperlux ID则通过两种方式克服了这些挑战：一是在符合人眼安全标准的前提下优化照明功率;二是调节积分时间，即在设定的测量周期内，灵活调整传感器的光积分量。

消除运动伪影

采用iToF技术的CMOS图像传感器，面临的另一大挑战是消除运动伪影。运动伪影指传感器在试图捕捉运动物体时，图像中出现的失真或不真实的元素。在普通CCD数码相机中，高速运动的物体在画面中会呈现为模糊影像。由于胶片相机也会产生类似的模糊效果，这种现象常被视为摄影的固有特性，甚至被用作艺术表现手法。

对于高速光电探测器而言，这类本应表现为模糊的影像(例如旋转的螺旋桨叶片，或传送带另一侧高速运转的机械臂)，可能呈现为悬浮在空中的怪异虚影。这些虚影并非真实物体，因此需要图像处理单元将其识别并忽略。

AF0130的伪影补偿始于其全局快门技术，该技术可让传感器的所有像素同时曝光。

为了测试这种智能iToF技术的有效性，安森美开展了一项测试：使用一个装有三块不同厚度木块的旋转轮盘(木块颜色越深则厚度越大)进行成像。在竞品传感器拍摄的画面中，轮盘上始终呈现出六块木块的影像——这是传感器受环境光等因素影响，与光线发生异常作用而产生的光学错觉。相比之下，AF0130拍摄的视频虽也存在轻微的光学错觉，但其每一帧画面中仅显示三块木块，只是木块会出现位置小幅偏移和交替闪烁换位的现象。AF0130拍摄的每一帧画面都更加贴近真实场景，基于这些画面生成的深度图，精度也远高于竞品。

成像系统的典型帧曝光处理流程是，先将曝光数据写入存储器，然后分配时间执行读出阶段。读出阶段的任务是，将传感器采集到的像素值依次数字化并存储到存储器中。普通图像传感器被设定为曝光后立即开始读出阶段。如果传感器需要对连续八帧图像重复此过程，那么曝光间隔将过大，导致深度图各部分数据无法准确匹配。这个问题会导致图像中出现大量运动伪影，对于繁忙的城市街道或装配线传送带等实际应用场景而言，这是不可接受的。

AF0130搭载的智能iToF技术通过先连续完成八帧曝光，再统一执行所有帧的读出操作，克服了这一挑战。这一设计大大减少了运动模糊现象，显著提升了手势识别系统的可靠性，这类系统需要准确区分具有指令意义的手臂动作与模糊虚影。(各帧曝光之间仍存在微小的时间间隔，但这些间隔短到足以忽略不计。)

以下是AF0130典型曝光场景的计算过程：120万像素传感器的标准成像帧率约为29.97帧/秒;在MIPI存储总线单通道吞吐量为1.2Gbps的条件下，其最优曝光时间(首光子到末光子的响应速度)为300µs。存储帧中每个像素为12位，因此，当两条MIPI线路同时工作时，吞吐量应该约为2亿像素/秒。

一张120万像素的图像包含1280×960个像素，因此该图像的读出耗时为6.1ms。Hyperlux AF0130可在首次读出阶段开始前，将所有曝光数据存储在传感器内。相较之下，竞品传感器会在前四帧之间穿插执行三次读出操作，因此其首光子到末光子的响应速度为0.3ms×4+6.1ms×3=19.2ms。

相较之下，AF0130首光子到末光子的响应速度为0.3ms×4+0.25ms×3=2ms。凭借这一简单的流程调整，AF0130在29.97fps帧率下，运动性能达到了竞品的9.6倍。

再看另一种应用场景：假设帧率提升至约60fps。为支持深度处理，每个MIPI通道的吞吐量需要达到2Gbps(此处假定该条件具备可行性)。在该吞吐量下，传感器的像素处理能力可达3.33亿像素/秒，单帧图像的读出耗时为3.7ms。AF0130首光子到末光子的响应速度为0.1ms×4+0.25ms×3=1.15ms。而竞品传感器的这一数值为0.1ms×4+3.7ms×3=11.5ms。这意味着，安森美Hyperlux ID系列传感器在60fps的帧率下，运动性能达到了竞品的10倍。

利用情景配置实现灵活适配与微调

通过校准Hyperlux ID的全局快门，可以针对特定应用对这款图像传感器进行微调。例如，如果传感器需适配仅两米外的传送带场景，则可以将AF013x校准为聚焦于四米范围内的反射光信号。这类用于微调传感器工作特性的参数规格可以作为情景配置存储在传感器本地。这样一来，当应用场景发生变化时，只需切换使用对应的情景配置即可。

AF013x还具备动态调整能力。例如，当反射物体距离过近，导致曝光强度过高、图像细节丢失时，AF013x可自动缩短曝光时间;或者，如果全局快门原本针对远距离探测设定，而近处有物体进入画面，动态情景切换功能可让传感器立即重置参数，避免近处物体在画面中呈现为大片模糊虚影。这一功能在安防监控场景中尤为实用：例如，传感器通常针对10米外的大门进行参数调校，但仍能清晰捕捉在2米处进入画面的移动物体(即便是高速移动物体)。

降低系统复杂度与成本

对于采用iToF技术的标准单调制器图像传感器而言，深度感知的相关算法通常需要由外置微控制器或FPGA阵列来处理。而Hyperlux ID AF0130将这些功能直接集成到芯片内部，使组件设计不再需要以下外置器件：

• 片外微控制器或FPGA阵列(这类器件需要独立的电源树和电压轨)。

• 帧存储单元(通常需要存储器控制器)。

• 用于连接图像传感器、微控制器和存储器的高速接口。

将深度处理功能集成到图像传感器内，不仅能降低系统带宽占用与算力需求，还可简化搭载该传感器的组件设计、缩小组件尺寸，并降低组件的生产制造成本与运维成本。

安森美技术延伸阅读

• 适用于AF0130和AF0131的AGB1NOCS-GEVK评估板

• 视频：间接飞行时间技术的进展

Hyperlux ID量化结果

安森美Hyperlux ID AF0130与AF0131深度传感器所实现的技术突破，可以重塑工业机器视觉组件的设计范式，使这类组件更易于生产制造、维护保养、工程开发，同时具备更高的性价比。

• AF013x搭载的120万像素BSI全局快门，可使CMOS图像传感器实现超高精度的深度感知能力。

• 智能iToF技术与片上存储结合，可减少甚至消除运动伪影，助力需要高精度机器视觉的图像与物体识别系统类AI软件提升准确性。

• 片上集成算法处理功能，完全消除对外部微控制器的依赖，从而简化组件设计、缩小组件尺寸，同时降低功耗。

• 卓越的环境光抑制能力可提升传感器的无歧义测距范围，从而支持更广泛的机器视觉新应用。

• 依托安森美行业标准DevWare X开发环境，可实现开放式软件开发与可编程控制，并支持自定义情景配置。

技术愿景：迈向真正的机器视觉

在需要兼顾速度与精度、但无需超远距离感知的场景中，Hyperlux ID解决了机器视觉技术实用化与适配难题。现代机器需要“看清”自己的动作，只需在关键微秒内获取相关的深度与空间数据。曾几何时，低功耗CMOS技术因易受温度与噪声干扰，并不适用于这类应用场景。但如今，随着工程设计的改进与编程技术的优化，CMOS技术不仅克服了自身的短板，更在性能上超越了CCD等传统技术。

随着机器视觉技术逐渐成为各类时空感知设备的标配功能，工业设备也亟需在技术性能、可靠性、供应链稳定性与技术支持服务上均能满足规模化应用需求的图像传感器。安森美提供的元器件产品，正致力于推动机器视觉生态朝着更简洁、更高效的方向发展。