ToF架构|汽车ToF最具效能架构案例研究
引言
本文介绍了适用于不同应用的最节能的图像传感器架构。作为案例研究，研究了汽车图像传感器和间接飞行时间图像传感器的两种应用。从测量和仿真结果来看，当图像信号处理器（ISP）在主机侧实现时，用于自动驾驶应用的汽车图像传感器将更加高效。相反，与芯片外软件深度ISP相比，ToF图像传感器在传感器侧的硬件深度ISP显示出显著更好的能效。
1. Introduction
在过去的20年里，具有有源像素传感器（APS）技术的CMOS图像传感器（CIS）已经得到了相当大的发展，特别是在像素间距和像素计数方面。从Pixel Size为5.6μm，像素数量为0.3兆像素开始，最近的CIS具有0.56μm、200兆像素CIS，如下图所示：
CIS行业的领先市场一直是移动彩色图像传感器，它安装在智能手机上用于拍照和视频录制。然而，借助于丰富的特性和功能，如红外（IR）传感、深度传感和更高动态范围（DR），CIS的应用扩展到其他应用，如汽车、监控和AR/VR。系统中的摄像头数量往往会增加。在手机的情况下，采用了更多的背面和正面摄像头，以满足各种拍照体验。例如，Galaxy S22 Ultra总共有五个摄像头：四个用于后置摄像头，一个用于前置摄像头。
对于支持高级驾驶员辅助系统（ADAS）和自动驾驶（AD）的车辆，根据车辆自主性水平需要更多的摄像头。L3级自动驾驶至少包括八个摄像头，L5级别需要11个或更多摄像头。
对于基于飞行时间（ToF）传感器的深度相机，由于深度处理和颜色处理之间的差异，需要完全不同类型的后端处理。因此，增加的摄像机数量和新的图像处理将给整个成像系统增加很大的负担。
在本文中，我们将评估不同图像传感器系统的功率、性能和成本，以找出最优化、最高效的传感器架构。最佳的传感器架构将取决于不同的应用。因此，我们选择了两个例子进行案例研究：汽车和ToF相机系统。
2. CIS综述
下图显示了一个典型的成像系统架构：
该系统由一个镜头和三个电气部分组成：传感器核心、图像信号处理器和中央处理器。传感器核心生成原始图像，其可以是彩色图像传感器的原始拜耳图像、IR传感器的未处理的IR图像或ToF传感器的原始相位数据。原始图像可以通过像素阵列将入射光信号转换为电信号，然后将像素的模拟信号转换为数字信号来获得。可以在原始图像域中执行一些前端信号处理，例如暗电平补偿和缺陷像素识别。
在ISP中，原始图像数据由一系列功能块处理。必要的处理块将不同于传感器的用途。在图中，ISP中的子块分为三个通用功能：预处理、图像增强和校准/校正（块的顺序可以切换）。预处理将是用于颜色处理的缺陷校正、DR合并和颜色插值，而它将包括用于深度处理的抽头混洗和深度计算。图像增强块可以包括降噪、色域中的亮度/色度校正、以及深度域中的深度降噪和深度展开等等。校正包括镜头畸变校正、距离校准等。输入的原始图像经过所有ISP块后，处理后的图像将输出到CPU。
通常，上述三个组件中的两个集成在同一芯片管芯上，以形成一种片上系统（SoC）。组合可能有两种类型的SoC。下图显示了CIS SoC，其中传感器核心和ISP合并在一起：
ISP可以与CPU合并为主机芯片，如下图所示：
每种类型的体系结构都有优缺点。应针对每个应用程序的特定系统需求选择最优化的体系结构
3. 案例研究
A. ADAS Sensor
汽车摄像头最重要的特性之一是高动态范围（HDR），这需要超过100 dB。为了满足这一要求，图像传感器在具有不同曝光时间的不同时间点（交错HDR）和面积不同的大小像素（分割光电二极管）捕获多个图像。每个像素的多个原始数据应进行处理，合并为一个数据以扩展DR。
下图显示了汽车图像传感器的典型ISP架构。HDR合并块位于拜耳域中。其他的颜色处理和图像增强块与手机摄像头系统的非常相似：
为了比较不同的Sensor架构，我们使用1.2MP、Pixel Size为3.0um、2堆叠式架构（Pixel使用65nm的顶部硅片以及28nm在底部的模拟数字电路）的传感器。这个CIS芯片可以使用两种配置，分别是使用片上ISP以及离线ISP。为了模拟离线ISP，我们使用软件ISP进行图片性能对比。
为了公平的进行对比，软件ISP功能设置和片上ISP一致。测试配置是8倍模拟增益、一倍数字增益、3倍ISP增益以及33.3ms的曝光时间。这里有两种测试Case，一种是结温下测试，一种是暗环境测试。如图中所示，1280x960的图像被分为20x20的组别，每个组大小为64x48。下图（a）和（b）分别显示了片外ISP和片上ISP情况下的热图。
由于底部管芯上的片上ISP消耗更多的功率并增加热量，具有片上ISP的CIS应该具有更大的结温度，如图所示的第（a）和（b）段。离线ISP的片上温度为76.2℃而片上ISP的片上温度为84.6℃。结温差异为8.4℃。8.4°C的结温差相当于像素暗电流温度的两倍，在芯片上ISP的情况下，暗电平将增加2倍以上。
片上ISP的热不平衡导致较差的温差：片上ISP为3.18°C，片外ISP为0.84°C。此外，这种热不平衡增加了局部的时间噪声和暗粒噪声，这使局部SNR降低了10 dB以上：片上ISP为7.58 dB，片外ISP为18.04 dB。结温增加至暗态（见图（c）和（d））。片外和片上ISP情况的平均暗电平分别为22.30 LSB和35.37 LSB。片上ISP在底部芯片上的局部加热导致暗电平不平衡（即暗阴影）；这可以通过芯片外ISP和芯片上ISP情况下分别为2.06 LSB和11.96 LSB的暗阴影来观察。
下表表示了两种case的功耗对比：
对于ISP功耗，片上ISP功率来自测量结果，但片外ISP功率是在考虑更好的工艺节点（14nm CMOS）的情况下估计的，这是主机SoC芯片的正常做法。很明显，在传感器功耗、传感器性能和更通用的ISP功能方面，片外ISP比片上ISP更有益。片上ISP的好处是数据接口速度更低。然而，考虑到用于散热器的相机模块的额外成本、用于片内ISP的更多电容器和高电流功率管理集成电路（PMIC），片外ISP的好处更加明显。这一优势对于自动驾驶汽车系统来说将更加明显，因为它需要更多像素分辨率更高的摄像头。
B. ToF图像传感器
ToF相机系统架构的两个版本如下图所示：
与汽车CIS不同，传感器核心应控制外部IR照明器，来自传感器核心的原始数据为相位采样数据。深度ISP与颜色ISP完全不同。
下图显示了间接ToF图像传感器的简化深度ISP架构:
一些基本的信号处理，如用于去除抽头失配的抽头混洗，被执行作为预处理，然后是深度计算和降噪滤波器。相位展开和距离校准对于间接ToF传感器至关重要，这将在ISP链的后半部分执行。图7中的深度ISP子块将是其中一个示例，对于来自不同传感器供应商的ToF传感器，它们可能不同。
这是因为像素结构与传感器供应商截然不同，并且输出格式和所需的后端处理与像素结构密切相关（例如，抽头数量、3T/4T APS）。这就是为什么统一的深度ISP架构尚未提出，深度ISP更有可能在软件中实现的原因。
使用1.2-Mp ToF图像传感器比较了片内和片外深度ISP之间的性能和功率。深度ISP由1280×960 ToF像素阵列和2×2装仓生成VGA（640×480）深度图。上图ISP pipeline中中必要的ISP子块在Snapdragon 865硬件开发套件（HDK）平台[11]上的SW-ISP中实现，以模拟片外深度ISP。片上ISP被建模为用硬连线逻辑和帧缓冲器来实现。为了公平比较，两种情况下的目标深度性能都是深度精度和1%以内的深度噪声。下表将ToF与片外和片上深度ISP进行了比较：
ISP功耗显著不同：芯片外SW-ISP和芯片上HW-ISP分别为2.0W和0.3W。这种巨大的差异来自于SW-ISP需要CPU核心的电源开销这一事实。基于CPU的处理将有利于通用计算，但不利于节能计算。片上ISP在包括帧缓冲存储器的传感器上需要额外的22M门计数，并且由于硅区域负担，特别是对于帧存储器，最大分辨率可能受到限制。然而，片上HW-ISP的帧速率会更快，因为片外SW-ISP需要来自CPU和存储器访问的大延迟，这对于低成本深度处理来说不是最佳的。较低的数据速率是片上ISP情况下的另一个优势。
总而言之，考虑到功率效率，对于间接ToF传感器，片上HW-ISP优于片外SW-ISP。如果所需的深度分辨率更大，并且深度处理从不同的传感器供应商变得更常见，并且可以在主机侧的统一HW-ISP中实现，那么片外ISP可能是更好的选择。然而，ToF传感器的分辨率竞赛还没有发生，与移动和汽车图像传感器相比，速度相对较慢。因此，片上HW-ISP将比片外SWISP更容易被接受。
4. 总结
我们研究了用于汽车和ToF应用的最节能的传感器系统架构。对于拥有完善的通用ISP链的汽车CIS来说，芯片外HW-ISP将比芯片上ISP更有优势。考虑到汽车CIS中图像分辨率的快速增长趋势，芯片外HW-ISP应该是最理想的解决方案。此外，通过在主机侧采用ISP，正在建立汽车成像的生态系统。相反，对于间接ToF图像传感器，片上硬件ISP的好处将比芯片外SW-ISP更明显；这是由于间接ToF传感器中较低的分辨率和不常见的ISP链。因此，选择最优化的图像传感器架构将取决于常见的ISP链准备情况，以及给定传感器分辨率下的额外面积和功率。
5. 结束语
今天为大家介绍汽车应用中CIS以及ToF传感器ISP架构，希望可以对大家有所帮助。好了今天就到这里，希望今天可以给您带来对于传感器的更深的认知，喜欢的同学可以进行朋友圈分享以及点击文章在看。另外，对论文感兴趣的同学可以follow我的Github论文仓库，也可以加入知识星球以及交流群，获取一手行业资料~
加入星球:
如果您对ADAS感兴趣，欢迎关注我的公众号、知乎、Github、CSDN等，同时发表文章中使用源码以及文章会在我的GitHub进行开源，如果您有感兴趣话题也可以后台私信。