相机里面的视觉算法（3）

参考这篇：https://zhuanlan.zhihu.com/p/678590849

https://polaxiong.com/wiki/hou-qi-shu-yu/rui-hua.html

1. 相机成像的流程

1.1 完整的成像系统

一个完整的成像系统主要包括几个部分：

镜头负责成像聚焦。
滤光片根据相机类型选择，彩色相机用可见光带通滤光片，夜视相机用IR-CUT。
CMOS图像传感器将光信号转为数字信号。
ISP通过数字图像处理算法处理传感器采集的原始图像，编码器则负责压缩和输出图像。

1.2 图像处理系统（ISP）

ISP接收CMOS生成的Bayer RAW图像，但这种图像还需进一步处理。为此，我们使用图像处理器（ISP，Image Signal Processor），它负责调整图像效果和控制外部成像条件。
ISP pipeline涉及多个模块，调整单个模块时会影响其他模块的数据输入，因此需要经验丰富的架构师整体把控，进行联调。例如：降噪和清晰度模块的调试，降噪过大肯定会对清晰度造成损失，调试时需要平衡。此外，调试时需注意是raw域还是yuv域的处理（如果是raw域，锐化或去噪过大可能会放大噪声或损失清晰度，从而影响后续yuv域的去噪或锐化），另外，清晰度不足时需考虑是否是demosaic模块细节处理不当，或者raw域去噪过强导致细节损失，而不是一味地调整锐化强度。

1.3 RAW域

1.3.1 BLC 黑电平矫正

黑电平矫正（Black Level Correction，简称BLC）是一种图像传感器处理技术，主要用于校正图像中的基准黑电平。黑电平是图像传感器在没有光照时仍然输出的信号电平值，也被称为暗电流。由于传感器制造过程中的差异性以及环境温度等外部因素的影响，这些信号电平并不总是理想的零值，导致图像中出现亮度偏差，特别是在低光条件下可能会看到图像整体偏暗或偏亮的现象。因此，黑电平矫正通过补偿这些电平偏差，恢复图像的真实亮度和对比度。传统的黑电平矫正通常依赖于固定的基准值或简单的校正算法，而深度学习则可以通过学习大量图像数据中的模式，自动适应不同传感器的特性和拍摄条件，从而提供更为智能的黑电平矫正。

1.3.2 LSC镜头阴影矫正

镜头阴影矫正（Lens Shading Correction，简称LSC）是一种图像处理技术，主要用于消除由于镜头特性导致的图像亮度不均匀问题。镜头阴影效应通常是因为镜头光学设计、光线透过镜头时的衍射或镜头中心与边缘之间的透光率差异而产生的。这种效应会导致图像的中心区域比边缘区域亮，从而影响图像的视觉质量和准确性。传统的镜头阴影矫正方法通常基于手工设计的光学模型或简单的亮度校正算法，而深度学习可以利用大量数据，通过端到端的训练自动学习镜头阴影的复杂模式，并生成更加精确的校正结果。

1.3.3 BPC/DPC 坏点校正

坏点校正（Bad Pixel Correction，BPC）和缺陷像素校正（Defective Pixel Correction，DPC）是图像处理中的两项重要技术，主要用于修复图像传感器中由于制造工艺或长期使用造成的坏点或缺陷像素。这些像素在成像过程中可能会导致图像出现亮度异常、颜色偏差或噪声，从而影响图像质量。坏点校正主要解决亮度异常、颜色偏差或噪声。传统的坏点校正方法大多依赖于手工设计的插值算法或固定的邻域平均方法，而深度学习通过大规模数据训练，可以自动学习图像的局部和全局特征，更加智能化、精确地修复图像中的坏点和缺陷像素。

1.3.4 RAW数据的降噪去模糊处理

在相机成像中的RAW数据降噪处理方面，深度学习已经逐渐成为一种高效且强大的方法。相较于传统的空间域和频率域滤波方法，深度学习通过学习图像的复杂特征，更好地平衡了去噪和细节保留之间的关系。目前已有一些厂商和研究机构将深度学习应用于实际的相机成像过程中。RAW降噪去模糊处理侧重于降低噪声、提升图像清晰度，主要处理的是传感器噪声和模糊问题。RAW降噪方法会减少噪声，从而提升图像的清晰度，但同时也可能导致图像细节的损失，特别是在高频纹理区域，过度降噪可能会让图像显得过于平滑。

图a为默认raw降噪，图b为深度学习降噪方法：

1.3.5 AWB自动白平衡

自动白平衡（AWB）是摄像机或相机的一种功能，它根据场景的照明条件，自动调整图片的颜色，使得图像中的白色区域在任何光照条件下都能呈现为真实的白色。使用深度学习来处理AWB，可以通过学习模型进行更精确的白平衡校正，减少传统算法的误差。

正确的白平衡后，图像看起来更贴近自然：

在自动白平衡（AWB）处理中，不同的色温会影响图像的整体色调，因此通过调整色温来校正图像的颜色，使图像中的白色区域在不同光照条件下都能表现出真实的白色。

1.3.6 Demosaic（去马赛克）

Demosaic（去马赛克）是一种将数码相机图像传感器获取的马赛克模式的原始数据（通常是Bayer模式）转换为完整彩色图像的过程。通过去马赛克，图像中的每个像素都能准确显示其真实的颜色信息，从而提高图像的清晰度和色彩还原度，带来更好的视觉效果。

去马赛克是将RAW数据转换为彩色图像的过程，重点在于恢复图像的色彩和细节。在处理低频彩色噪声和有缺陷像素噪声方面表现优异。去马赛克后，图像将更加贴近自然。

1.3.7 自动对焦（AF）

传统的自动对焦方法通常依赖于相位检测、激光雷达或超声波等传感器，而这些方法在增加系统复杂性的同时，也未必能够优化图像质量。相比之下，基于深度学习的自动对焦方法通过图像分析，可以在更短时间内找到最佳对焦位置，效果显著优于传统方法。

例如，智能自动对焦（Intelligent Autofocus）系统利用深度学习算法能够通过1-2张图像样本快速确定最佳对焦点，相比传统方法提升了5到10倍的速度。此外，针对动态场景的自动对焦问题，研究人员提出了深度学习结合动态感兴趣区域（ROI）的方法，这种方法可以有效解决固定对焦窗口带来的限制，并在实验中表现出较高的精度和较短的对焦时间。

正确对焦和未正确对焦的图片对比：

1.3.8 自动曝光（AE）

自动曝光（AE）是一种相机功能，通过测量场景中的光线亮度，自动调整快门速度、光圈和ISO等参数，以确保照片获得适当的曝光。在自动曝光（AE）领域，几种深度学习方法已经被提出并应用到实际场景中。常见的方法包括强化学习（RL）、卷积神经网络（CNN）以及生成对抗网络（GAN）等。

曝光正确的图像亮度均衡、细节丰富，而曝光不当的图像则可能出现过曝或欠曝，导致高光或暗部细节丢失，左图就是欠曝的例子：

1.4 RGB域

1.4.1 Color Correction 颜色校正

颜色校正（Color Correction）是相机成像系统中非常重要的步骤之一，其主要目的是确保相机捕捉到的图像颜色尽可能接近人眼所感知的真实世界的颜色。由于图像传感器和镜头的光学特性，图像在采集过程中可能会出现颜色偏差，因此需要通过颜色校正来调整颜色，以确保图像的准确性和一致性。

颜色校正至少会涉及以下几个方面：

白平衡校正（White Balance Correction）
颜色矩阵变换（Color Matrix Transformation）
伽玛校正（Gamma Correction）
颜色调整（Color Tuning）

颜色校正后的图像相比原图颜色更准确、自然，消除了色偏，使图像看起来更接近人眼对真实世界的感知。

1.4.2 WDR 宽动态范围

也就是HDR。宽动态范围（Wide Dynamic Range, WDR）是一种用于图像传感器和摄像系统的技术，旨在应对高对比度场景中亮部过曝和暗部细节丢失的问题。WDR技术通过处理图像中明暗差异较大的区域，使亮区和暗区的细节都能够清晰呈现，确保整体图像的曝光均衡。

SDR（标准动态范围）输出的图像亮度、对比度和色彩范围较小，暗部和亮部细节容易丢失，而HDR（高动态范围）则具有更高的亮度、对比度和色彩深度，能够呈现更多的图像细节和更丰富的色彩，提供更逼真的视觉体验：

1.4.3 Gamma增强

Gamma增强是一种图像信号处理技术，通过非线性伽马函数映射调整亮度与对比度，优化图像的视觉效果，可改善图像的细节、对比度及亮度感知。

不同的gamma值在图像增强时，较小的gamma值会使暗部细节更加突出，而较大的gamma值会让亮部区域变得更加明亮，从而影响整体图像的对比度和亮度表现：

1.4.4 超分辨率

在手机摄像系统中，超分辨率（Super-Resolution, SR）技术被广泛应用于提高图像的清晰度和细节，尤其是在硬件受限的条件下。由于手机相机的尺寸和镜头光学设计的限制，直接通过硬件提高分辨率的空间有限。因此，超分辨率技术通过软件算法的方式，突破硬件限制，提升图像质量，为用户带来更细腻的视觉体验。

低分辨率输出的图像像素较少，细节模糊，边缘不清晰，而高分辨率输出的图像像素更多，细节丰富，画面更加清晰锐利：

1.5 YUV域

这些算法在RGB域也可以实现，但在YUV域中处理亮度和色彩信息更为独立且高效，尤其适合视频处理、降噪、边缘增强等操作。YUV域分离了亮度（Luma）和色彩信息（Chroma），降低了处理复杂度。

YUV域的优点：

更高的压缩效率：在视频处理和编码中，YUV域的表示方式更加高效。因为人眼对亮度变化更敏感，对色度变化相对不敏感，所以可以对色度信息进行更高比例的压缩，而不影响画质。例如在视频压缩中，常使用4:2:0的YUV格式，对色度进行压缩，节省带宽和存储空间。
独立处理亮度和色彩：在YUV域，亮度和色彩可以独立处理，特别适合于降噪、边缘增强、对比度增强等操作。这种独立处理方式能够降低处理复杂度，提升图像处理的效率和精度，特别是在肖像模式、背景虚化等算法中尤为明显。
视频处理领域应用广泛：许多视频编码和传输标准（如MPEG、H.264、HEVC等）都基于YUV域，因此在处理视频时，YUV域更具优势。

1.5.1 NR Luma，Luma降噪

NR Luma，即Luma降噪（Luma Noise Reduction），是一种图像处理技术，专门用于减少图像中的亮度噪声（Luma Noise），即亮度通道中的噪声，而不影响图像的细节和色彩。亮度噪声在低光环境下拍摄的图像中尤为常见，通常表现为图像的亮暗部分出现随机的亮度变化或颗粒感，这会降低图像的质量。

1.5.2 NR Chroma，色度降噪

NR Chroma（色度降噪）主要用于减少图像中的色度噪声。色度噪声通常表现为彩色斑点或色彩不均匀，特别是在低光环境或高ISO条件下拍摄时更加明显。色度噪声与亮度噪声不同，它主要影响图像中的色彩部分，而不是整体亮度信息。色度降噪的主要目标是去除或减少图像中的彩色噪声，使图像中的色彩更为均匀自然，同时保持图像的细节和色彩准确性。通过减少色度噪声，可以改善图像的视觉效果，特别是在高ISO或低光情况下拍摄的图像。

色彩噪点，即带有颜色的画面噪点（用色度降噪）；所谓明度噪点，即不带有色彩的画面噪点（用Luma降噪）。在下面的左图中，我们可以明显观察到颜色噪点的存在，当我们对中间这张图应用色彩降噪后，画面留下的就是明度噪点，可以看到，明度噪点类似黑白颗粒。最右边这张图是我们同时使用色彩降噪和明度降噪后的效果，可以看到画面相较于原图更加纯净。

1.5.3 Edge Enhance，边缘增强

Edge Enhance，即边缘增强，是一种图像处理技术，用于提升图像中物体边缘的清晰度和锐利度，从而增强图像的视觉效果。边缘增强的主要目的是突出图像中不同对象或区域之间的边界，使其更加分明，提升细节的可见性，尤其在轮廓、边缘线条等区域。

锐化的效果更加细腻，清晰度调整后画面会有一种对比更强烈的感觉。边缘增强后的图像相比之前，边缘轮廓更加清晰锐利，细节更加突出：

1.5.4 Contrast，对比度增强

对比度增强，用于改善图像中的亮部和暗部差异，使得图像更清晰、细节更加分明。通过对比度增强，图像中不同亮度区域的差异被放大，从而提高了视觉感知效果，使得物体的轮廓、纹理和边缘更加明显。对比度增强后的图像相比之前，亮部更亮、暗部更暗，图像中的细节和层次感更加明显：

1.5.5 Brightness，亮度调整

亮度调整（Brightness Adjustment）是对图像整体的明暗程度进行统一提升或降低，不改变亮部和暗部之间的差异。亮度调整后的图像相比之前整体变得更亮或更暗，但图像中的对比度和细节层次保持不变：

1.5.6 Hue Saturation，色调饱和度调整

Hue Saturation（色调饱和度调整）用于改变图像的颜色特征，包括色调和饱和度。色调指的是颜色本身，例如红色、蓝色等，而饱和度则表示颜色的强度或纯度，饱和度越高，颜色越鲜艳，饱和度越低，颜色越接近灰色。自然饱和度：调整画面色彩的鲜艳程度，它可以视为“智能饱和度”。即使我们将自然饱和度的数值提高到最大，画面也不会过度艳丽。即使我们将自然饱和度的数值降到最低，画面一般也还会有一些色彩信息，不会变成黑白照片。

1.5.7 Scale & Crop，放缩裁剪

Scale & Crop（放缩裁剪）在YUV颜色空间中进行，是调整图像大小和构图的常见方法，主要在视频处理和压缩领域中广泛使用。YUV域将图像的亮度（Y分量）和色度（U、V分量）信息分离，因此对图像进行放缩和裁剪时可以更高效，并且对视觉质量的影响更小。

目录