isp图像处理–bayer Binning

ISP Algorithm—Bayer Binning原理介绍

一，简要介绍

我们平时所看到的彩色图像每个像素有三个分量组成，分别为红绿蓝。而目前广泛用到的成像传感器为CMOS传感器，其输出的数据格式为每个像素点只有一个颜色分量，一般称为Bayer Pattern数据，格式如下图所示

Bayer pattern Data

二, Sensor Binning

   众所周知，ISP Pipe一般承担两个主要功能，即拍照和录像；拍照时sensor一般输出full size数据；而录像时Sensor一般会按Binning mode输出，sensor 配置为binning mode输出时，以2x2 binning为例，是将同通道相邻2x2合成为一个像素输出，如下图所示

四个R得到一个R,4个Gr得到一个Gr,四个Gb得到一个Gb,4个B得到一个B;  常见做法是4个R取平均得到一个R

即

,Gr/Gb/B类似操作。

• ISP Binning

在设计ISP Pipe时，在ISP Pipe比较靠前的位置也设计一个硬化的Binning 算法。以2倍Binning为例，大多数算法都是按Sensor 那种binning方法来设计（有些会取巧，比如只用一行Line Buffer就可完成bayer 域2x2 Binning操作）;但实际真实场景跑的时候，直接取平均往往会对清晰度损失比较大(因为Bayer域2倍binning,相当于yuv域4倍Binning)；故ISP Pipe中一般会采用基于Binning后，根据像素的绝对位置关系，设置不同的阈值来缓解清晰度过度损失（虽说也会有损失，但损失的清晰度比2x2要小很多），使最终Binning后的图像达到视觉勉强可接受的结果。