视觉算法在现代相机中的应用与发展
随着智能手机和数码相机的飞速发展，视觉算法在提升摄影体验和图像质量方面发挥了至关重要的作用。从图像超分辨率到人像美颜，再到复杂的场景识别和防抖系统，视觉算法的进步不断推动着相机技术的革新。本文将详细探讨视觉算法在相机中的多种应用，并分析主要厂商在这一领域的团队架构与最新成果。
参考这篇：https://zhuanlan.zhihu.com/p/678590849
https://polaxiong.com/wiki/hou-qi-shu-yu/rui-hua.html
1. 相机成像的流程
1.1 完整的成像系统
一个完整的成像系统主要包括几个部分：
- 镜头负责成像聚焦。
- 滤光片根据相机类型选择，彩色相机用可见光带通滤光片，夜视相机用IR-CUT。
- CMOS图像传感器将光信号转为数字信号。
- ISP通过数字图像处理算法处理传感器采集的原始图像，编码器则负责压缩和输出图像。
主流的CMOS和CCD传感器通常输出Bayer马赛克格式的RAW数据，这种格式的图像数据无法直接被用户观看，必须经过转换才能变为常见的RGB或YUV格式，从而被主流图像处理软件所支持。在相机产品中，通常还需将RGB或YUV格式的图像进一步压缩为JPEG格式，以便于存储。整个图像处理过程被统称为图像信号处理（Image Signal Processing，ISP），其中广义的ISP不仅涵盖JPEG和H.264/265等压缩处理，狭义的ISP则仅指从RAW格式到RGB或YUV格式的转换。
由于图像信号处理需要处理海量数据，并且对实时性要求非常高，因此ISP通常采用硬件实现。有些图像传感器自身集成了部分ISP功能，用户可以根据需求选择启用或禁用。此外，ISP还可能作为独立芯片或SoC IP模块，能够从供应商处采购。下图展示了一个典型的相机系统功能框图，主要包括图像传感器（Image Sensor）、ISP硬件（ISP Hardware）、ISP实时处理模块（ISP Real-Time Loop）等核心组件，以及PC端的ISP调试工具（PC Image Tuning Tools）、用户程序（User Application）、配置文件等。有些ISP硬件还集成了计算机视觉（CV）算法功能，例如镜头畸变校正（Distortion Correction）等。
1. 光线捕获与光学系统
1.1 镜头（Lens）
- 组成：由多个光学镜片组成，通常包括广角、长焦和超广角镜头。
- 功能：聚焦光线，形成清晰的影像。
- 参数：
- 焦距：决定视角大小。
- 光圈（Aperture）：控制进入光线的数量，影响景深和曝光。
安装vllm并部署Qwen2VL API 重新打包CUDA12.1支持镜像
在之前的文章中
https://www.dong-blog.fun/post/1779
使用了官方提供的CUDA 12.4镜像。为了支持CUDA 12.1，我重新打包了一个镜像。以下是具体步骤。
1. 使用基础镜像并运行容器
首先，基于 pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel 镜像启动容器：
bashdocker run --rm --net host -it --gpus all --shm-size 16g -v /root/xiedong:/root/xiedong pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel bash
