ISPPipeline

Image Signal Processing(ISP 图像信号处理器)是负责对光学传感器(可以记录光线信息的半导体)输出的 RAW 图数据进行信号处理,使之成为符合人眼真实生理感受的信号,并加以输出。

RAW

在探讨 ISP Pipeline 之前,我们必须先从图像数据的 “源头” 说起 ——RAW 格式,RAW 是光学传感器捕捉光信号后生成的、未经过色彩校准、降噪等任何优化处理的原始图像数据,不具备直接可查看的标准图片形态。

rawcx

光进来 → 用三棱镜把光劈成三份(红/绿/蓝)。

红摄影师只拍红色,拍得清清楚楚。

绿摄影师只拍绿色,也清清楚楚。

蓝摄影师只拍蓝色,同样清晰。

最后把三张完整照片拼起来 → 完美RGB图没有模糊

光进来 → 一个相机,但镜头前贴了一层彩色格子膜。

光电转换:CCD传感器内部的光敏单元(光电二极管),光子 → 电子的转换都发生在CCD(或CMOS)传感器的每个像素的光敏区域。光子打在硅材料上,产生光生电子,积累成电荷。

模数转换:CCD输出后,进入ADC(模数转换器),积累的模拟电荷/电压信号通过传感器内部或外部的模数转换器(ADC)转为数字信号。输出为数字化的像素值(如8位/12位/16位整数)。

rawlc

CFA

因为 sensor 只能感受光的强度,而不能感受光的颜色,那我们平时使用的RGB色是哪里来的呢,这时候就需要彩色滤光片(Color Filter Array)登场了。

色彩滤波阵列(CFA,Color Filter Array)是覆盖在光学传感器(如 CMOS、CCD)感光单元表面的一层滤光膜结构,其核心作用是让每个像素只接收特定颜色的光信号,从而实现对彩色图像的原始数据采集。

目前最常用的滤镜阵列是棋盘格式的,主流色彩滤波阵列(CFA)有以下几种:

  • Bayer 阵列(最通用)采用 “2×2” 重复单元的周期性排列,最常见的是 “RGGB” 模式(1 红、2 绿、1 蓝)。绿色像素占比更高,是因为人眼对绿色光更敏感。Bayer 阵列的优势是结构简单、算法成熟,ISP 中的 “Demosaic(色彩插值)” 步骤能高效将单通道 RAW 数据还原为 RGB 全彩色图像。

    Bayerzl

    所有颜色的光都会到达每个像素,但滤光片只允许 “对应颜色” 的光通过,其他颜色的光会被滤掉,而不是 “非对应颜色的像素就完全变暗”。

  • Quad Bayer 阵列(高像素 / 高动态场景)作为 Bayer 的衍生版本,它以 “4×4” 为单元,将同色像素(如红、绿、蓝)按 2×2 分组排列。这种设计支持两种核心模式:高像素模式下输出全尺寸 RAW 数据(如 1 亿像素);高动态范围模式下将同色 4 像素合并为 1 个,提升单像素进光量,显著降低暗光噪点。目前广泛应用于手机主摄、高端安防摄像头等场景。

  • X-Trans 阵列(富士专属,低摩尔纹)富士自研的非周期性 6×6 阵列,通过打乱像素排列规律,减少了传统 Bayer 阵列易产生的 “摩尔纹”(图像中不必要的条纹干扰),因此无需依赖低通滤镜,能保留更多细节。其 RAW 数据格式为 .RAF,处理时需要适配专属的 Demosaic 算法,否则易出现色彩失真。

不同的 CFA 设计,决定了 RAW 数据的底层结构(如像素排列、通道占比),而 ISP Pipeline 的第一步,就是接收这些特定格式的 RAW 数据,开启从 “原始信号” 到 “可视图像” 的转化之旅。

ISP流程

在图像传感器生成 RAW 原始数据后,需通过图像信号处理器(ISP)进行一系列专业化处理,其典型流程如下:

isplc

不同厂家的 ISP 处理流程在具体环节的顺序上可能存在细微差异,但整体的技术逻辑和核心处理环节是趋于一致的。

BLC 黑电平矫正

消除图像传感器暗电流噪声、统一暗部基准,避免画面暗部偏色或出现杂点的基础预处理环节。

hdpjz

DPC 坏点矫正

通过算法检测并修复图像传感器上因缺陷或异常产生的坏点(一些很突兀的颜色点,全黑全白等),避免其影响后续图像质量的关键预处理环节。

hdjz

NR 降噪

通过算法抑制图像传感器或传输过程中产生的噪声(电磁干扰等),同时尽可能保留画面细节的画质优化环节。

nrjz

LSC 镜头阴影矫正

通过算法补偿因镜头光学特性导致的画面边缘亮度 / 色彩衰减,使图像整体亮度和色彩分布更均匀的预处理环节。

jtyyjz

AWB 自动白平衡

通过检测场景光源特性,自动调整红、绿、蓝通道的增益比例(色温),消除不同色温下的色彩偏色,使白色还原准确的色彩校正环节。

zdbph

Demosiac 去马赛克

通过算法对 Bayer 阵列滤光片采集的单通道色彩信息进行插值,还原出每个像素完整 RGB 色彩数据的关键色彩重建环节。(从 Bayer 变成 RGB)

qmsk

CCM 颜色矫正

通过矩阵运算调整 RGB 三通道的比例关系,精细修正色彩偏差,使图像色彩符合标准色域或人眼感知的精准色彩校准环节。

ysjz

Gamma 伽马

通过调整图像的明暗响应曲线,补偿人眼与显示设备的亮度感知差异,优化画面暗部 / 亮部细节呈现的画质调整环节。

gammagm

EE 边缘增强

通过算法强化图像中物体的边缘对比度,让画面轮廓更清晰、细节更锐利的画质优化环节。

byzq

WDR 宽动态范围

通过融合不同曝光度的图像数据,扩展画面中亮部和暗部的动态范围,避免高光过曝或暗部丢失细节的高对比度场景处理技术。

dtkfw

ISP 优化效果

ispyh

ISP 算法流程

ispsflc