CMOS系列(0)前置知识
<摘要>
图像传感器
图像传感器是图像采集设备中的核心部件，常见的通用图像传感器有 CCD 图像传感器和 CMOS 图像传感器。此外还有 SWIR 图像传感器（短波红外图像传感器）、UV 图像传感器（紫外图像传感器）、偏光图像传感器、多光谱图像传感器、热敏图像传感器、3D-ToF 图像传感器等专用图像传感器。
- CCD：Charge-Coupled Device，电荷耦合元件，电荷信号先传送，后放大，再 AD，成像质量灵敏度高、分辨率好、噪声小；处理速度慢，功耗高，造价高，工艺复杂。每个像素点有一个光电二极管，在整个传感器的边缘或输出端设置一个或少数几个公共放大器。所有像素共享同一个电荷-电压转换器，所以像素一致性好。
- CMOS：互补金属氧化物半导体，电荷信号先放大，后 AD，再传送；成像质量灵敏度低、噪声明显；处理速度快，功耗低，造价低，工艺简单。每个像素点上都有自己的光电转换器和放大器。每个像素都有自己专用的电荷-电压转换器，一致性很不容易控制。
CMOS 传感器简称 CIS（CMOS Image Sensor）（以下均称 CIS），采用与大多数微处理器和存储器芯片相同的材料和技术制造，容易制造并且最具成本效益。CIS 的本质是自带像素结构的相机芯片，每个像素进行自己的电荷转换，从而显著减少产生图像所需要的能量和支持电路。CMOS 的性能不断提升，使其在手机摄影、安防、车载系统等领域逐渐超越 CCD 传感器。目前消费级市场中 CMOS 几乎完全取代了 CCD，CCD 一般只在医疗、天文以及特定的科研领域使用。
CIS 的主要功能包括光信号转换为电信号、电信号的放大去噪等处理、电信号转换为数字信号、数字信号处理（如 BLC、DPC 等），数据输出。
数字图像形成过程
相机的镜头将三维世界中的物体反射或自身发出的光线汇聚到相机的感光芯片上；感光芯片将汇聚的环境光转换成数字信号，即像素，从而形成图像，即曝光。在按下快门的一刻，外界光线（Photon Flux）会穿过镜片组（External Lens + Micro Lens）聚集；经过 color filter 滤波后打到感光元件上，其内部将光信号转为像素阵列的形式，并经 ADC 转成数字信号，最后交由图像处理器（ISP，Image Signal Processor）处理成一张数码照片。
快门
快门（Shutter）用于控制图像传感器的感光时间，由于图像传感器的感光值就是信号电荷的积累，感光越长，信号电荷积累时间也越长，输出信号电流的幅值也越大。电子快门越快，感光度越低，适合在强光下拍摄。快门速度指的是曝光时长，而不是机械快门的运动速度。Global Shutter（全局快门）与 RollingShutter（卷帘快门）对应全局曝光和卷帘曝光模式。卷帘快门逐行曝光的方式，全局快门在每一个像素上添加了一个存储单元，全部像素同时曝光，能够拍运动的物体而不产生形变。
景深和镜头 F 值
相机镜头的 F 值是用来表示光圈大小的指标，也叫光圈值、光圈系数，其定义为镜头的焦距除以镜头光圈的直径，即 F 值 = 镜头的焦距 / 镜头光圈的直径 。F 值大小决定单位时间内通过镜头进入感光元件的光线多少。F 值越小，光圈直径越大，通光量越大，进光越多；反之，F 值越大，光圈直径越小，通光量越小，进光越少。例如在夜景等光线暗淡场景，使用小 F 值（大光圈）可让更多光线进入，利于拍摄。景深指在相机镜头或其他成像器前，可保持清晰图像的成像深度范围。F 值小（光圈大），景深浅，画面中只有对焦的主体清晰，背景等会被虚化；F 值大（光圈小），景深深，画面前后更多景物都能清晰呈现。比如拍摄人像特写用大光圈虚化背景突出主体；拍摄风光、建筑用小光圈使远近景物都清晰。
CMOS 成像原理
CIS 的电路由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、增益控制器（PGA，可编程增益放大器）、AD 转换器、数据总线输出接口、控制接口几部分集成在同一块硅片构成。有的芯片还集成了其它数字信号处理电路以进行后续的 ISP 处理。像敏元阵列和像元结构（以 PPS 为例，PPS 是无源像素被动式传感器，是一种像元结构）如图。
CIS 的工作流程分为复位、光电转换、光积分、读出四个步骤。
外界光照射像素阵列，通过光电效应激发出电子，在像素单元内产生相应的电荷，被像点下方的势阱捕获并存储起来（势阱指像点下方的电场），完成光电转换。像点曝光的过程，非常类似于用很多小桶接雨水的过程。当收集到合适数量的雨水后，会有专门的工序统计每一个水桶收集到多少雨水，然后将桶倒空，重新开始下一次收集。如果入射的光子太少则可能什么都记录不到，如果入射的光子太多则只能记录其所能容纳的最大值，多余的光电子由于无处安置只能就地释放，就像水桶盛满之后再继续接水就会溢出一样。溢出的自由电子会被专门的机制捕获并排空。
光积分期间，MOS 管截止，光敏二极管随入射光的强弱产生对应的载流子并存储在源极的 PN 结上。当积分期结束时，水平移位寄存器和垂直移位寄存器分别对列和行进行寻址，产生扫描脉冲，使被选中的 MOS 管栅极导通，给像元的光敏二极管加上偏压。被光照的光敏二极管产生载流子使结电容放电复位到参考电位，并引起与入射光强对应的负载电流。信号读出过程与光积分过程类似，通过寻址将图像信号传输到 CVC（电荷/电压放大器，将像元势阱中电荷数量转化为电压信号）和 AD 转换器，最终转换成数字图像信号输出。图像信号幅值大小正比于该像元上的光照强弱。
像点记录光信号以及信号读出的原理和计算机内存的工作原理非常相似。CIS 会使用一个行选信号（Row Select）和一个列选信号（Column Select）来选中一个存储单元（Pixel），被选中的存储单元与输出放大器联通，将其存储的电荷数转换成电压值输出到阵列外部。（之所以叫像点而不叫像素是因为，一个严格意义上的像素是具备红、绿、蓝三个颜色分量的组合体，能够表达 RGB 空间中的一个点。而 CIS 上的一个像点只能表达三种颜色中的一个，所以在 CIS 范畴内并不存在严格意义上的像素概念。但是很多情况下人们并不刻意区分像素和像点在概念上的差别，经常会用像素来指代像点，一般也不会引起歧义。）
注：CIS 中用来控制曝光长短的寄存器参数称为积分时间（integration time，后面简称 int_t），一般以行为单位。曝光时间和积分时间存在确定的换算关系。比如 int_t = 159，指的是 reset 信号和 read 信号之间的间隔为 159 行，而每行所占的绝对时间（line_time）与 CIS 主频（pixel clock，PCLK）和每一行包含多少像素（h_size 行长，以 PCLK 数为单位，1/PCLK 为一个时钟周期，即扫描一个像素需要花费的绝对时间）有关，具体公式为 line_time = h_size / pclk，曝光时间即为所有行的时间之和，因此曝光时间与积分时间的换算公式如下：exposure time = int_t * line_time
ISP
有的传感器 IC 集成了 ISP，IC 采集到的 RAW DATA 经过 AWB、color matrix、lens shading、gamma、sharpness、AE 和 de-noise 等一系列后处理，输出 YUV 或 RGB 格式的数据；没有集成的则将 RAW DATA 格式的数据传输到 baseband 由外部 ISP 处理。DSP 是专门用于处理数字信号的芯片，可加速计算图像处理算法，提高最终成像质量。
以下是 ISP 中常用的几个概念：
- AWB（Auto White Balance）：自动白平衡，一种用于矫正图像的色温的图像处理技术，通过修正光源色偏，确保白色物体在不同光照条件下仍然呈现正确的颜色。
- Gamma 校正：用于调整图像的亮度和对比度，使其适合人眼观看。人眼对暗部细节更敏感，因此 Gamma 校正可以增强暗部细节，同时避免高亮部分过曝。
- 色彩矩阵：一种颜色转换算法，用于校正传感器采集的颜色，使其更接近人眼感知的颜色。
- LSC（Lens Shading Correction）：镜头阴影校正：由于光线穿过镜头时会产生不同程度的光损耗，导致图像中心亮四角暗。LSC 的作用就是均衡亮度，使图像亮度更加均匀。
- 锐度增强：用于提高图像的清晰度，使边缘更清晰。通过边缘检测算法增强对比度，使细节更清楚。
- AE（Auto Exposure）：自动调整曝光参数（如快门速度、ISO），确保图像亮度适中，避免过暗或过曝。
- 降噪（De-noise）：用于减少 Sensor 采集的图像噪点，提高画质。
从 RAW 数据计算 RGB 数据的过程在数学上是一种不适定问题（ill-posed problem），理论上有无穷多种方法，因此与其说是一种科学，不如说是一种艺术。上述过程（插值）常称为 Bayer Demosaic，或者 Debayer，经过此操作之后，每个像素就包含了 3 个完整的颜色分量。为了提高光能量的利用率，人们提出了 RYYB 的 pattern，这是基于 CMY 三基色的 CFA pattern，Cyan 是青色（Red 的补色），Magenta 是品红（Green 的补色），Yellow 是黄色（Blue 的补色）。