camera 移植通识（驱动层）

星空

1 camera 硬件通识
1.1 camera模组介绍




(1)工作原理

物体通过镜头(lens)聚集的光,通过CMOS或CCD集成电路，把光信号转换成电信号，再经过内部图像处理器(ISP)转换成数字图像信号输出到数字信号处理器(DSP)加工处理，转换成标准的GRB、YUV等格式图像信号、

(2) CCM 包含四大件：

镜头(lens)、传感器(sensor)、软板（(FPC)、图像处理芯片(DSP) 。决定一个摄像头好坏的重要部件是：镜头(lens)、图像处理芯片 (DSP)、传感器(sensor)。

镜头（lens）是相机的灵魂，镜头(lens)对成像的效果有很重要的作用，是利用透镜的折射原理，景物光线通过镜头，在聚焦平面上形成清晰的影像，通过感光材料CMOS或CCD感光器记录景物的影像。

传感器（sensor）是 CCM 的核心模块，目前广泛使用的有两种：一种是广泛使用的CCD(电荷藕合)元件；另一种是CMOS(互补金属氧化物导体)器件。

图像处理芯片(DSP)是 CCM 的重要组成部分，它的作用是将感光芯片获得的数据及时快速地传递到中央处理器并刷新感光芯片，因此DSP芯片的好坏，直接影响画面品质（比如色彩饱和度，清晰度等）。

(3) 图像的输出格式

A、YUV

“Y” 表示明亮度(Luminance、Luma)， “U” 和 “V” 则是色度、浓度(Chrominance、Chroma)， 一般情况下sensor支持YUV422格式,即数据格式是按Y-U-Y-V次序输出的。

B、JPEG

作为一种存储格式它是非常普遍的，但是作为sensor的输出格式的话，一般是低分辨率的，其自带JPEG engine，可以直接输出压缩后的jpg格式的数据；

C、RGB

传统的红绿蓝格式，比如RGB565。通俗点说它的颜色混合方式就好像有红、绿、蓝三盏灯，当它们的光相互叠合的时候，色彩相混，而亮度却等于两者亮度之总和,越混合亮度越高，即加法混合；

D、RAW

图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些原数据( Metadata，如ISO的设置、快门速度、光圈值、白平衡等)的文件。

RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。

不同的输出格式，包含的数据大小不同：

首先，如果说数据量最小，那么莫过于RAW格式，但是，数据传输过来要经过一次性大量的计算才能将里面的信息提取出来，如果你想用，一般5M以上sensor就只输出RAW数据以保证比较快的输出速度，后端挂一个DSP来处理输出的数据。其次是JPEG，数据量也很小，但是同样要求较快的处理速度。而RGB和YUV一个像素都是占用了2B的大小，但是RGB却可以将数据读出来后直接刷到屏上，为什么却要选择YUV的呢？ 原因在于YUV输出亮度信号没有任何损失，而色偏信号人眼并不是特别敏感，RGB565输出格式是R5G3 G3B5会丢掉很多原始信息，所以YUV图像质量和稳定性要比RGB565好的多。

这就是为什么像素高的摄像头为什么都是raw格式的
(4) 传感器尺寸和画质的关系
传感器尺寸大小对于画质的影响，其实跟之前一样，就是采集的光线数据的正确性和完整性的不同。在像素相同的情况下：
A、 传感器面积越大，感光阵列的面积就越大，相邻感光电路的距离就越大，加电时产生的电磁干扰就越小；
B、 传感器面积越大，感光阵列的面积就越大，对应单个像素的透镜就能做的越大，聚集到的光线就越多，感光二极管受光后产生的输出电平就越高。假设噪声大小不变，那么更大的有用输出电平，带来更高的信噪比，转换后的信息处理时正确率就越高；
C、 为什么在光线非常好的时候，传感器尺寸大小间的差异会缩小？ 因为即使传感器尺寸小，但是光线强度足够，每个感光二极管都能受到足够的光线，产生的信噪比就大，噪点也就缩小了。
1.2 硬件接口


(1) 三路电压AVDD/DVDD/IOVDD：
AVDD模拟电源，主要给感光区和ADC供电，要求比较干净；
DVDD数字电源，主要是给ISP供电；
IOVDD数字IO电源，给I2C和DVP供电。
(2) PDN/RST：
RST：用来reset sensor；RESET一般是低电平有效，当脉冲为低电平时，reset sensor，而正常工作时，应该设置为高电平。
复位时序时序通常是: 高 –> 低 –> 高，根据硬件需要加一定的延时；
PWN：PWN一般高有效，当脉冲为高电平时，进入省电模式，而正常工作时为低电平。高电平时，一切对camera的操作都是无效的，包括复位。所以在RST之前，一定要将PWN管脚设置为正常工作模式(低电平)，否则复位无效。
(3) I2C 控制接口SCL/SDA
(4) MCLK 时钟用于分频给其他的clk使用；
(5) mipi 接口RCP/RCN、RDP/RDN  时钟信号

2 camera 软件通识
(1) 控制信号是i2ci2c 不通的原因有两种
(1) 一种是device端(sensor device)本身就没有回ACK，表现为I2C_ACKERR，大多是slave(从设备)问题，从设备上电是否符合SPEC等;
(2) 一种就是问题出在在master端(我们的CPU),表现为I2C_TIMEOUT，每2S timeout一次,出现I2C_TIMEOUT典型之一，在I2C bus没有上电的情况下去操作I2C，如： camera powerOff >>> Write/Read I2C
(2) 图像信号是mipi
具体要看mipi通信协议
3 驱动框架结构
MTK camera主要的内容在hal层，现在有hal1/hal3，当下主流的使用的是hal3，驱动主要负责sensor电源的控制以及sensor相关寄存器的操作，MTK采用设备和驱动分离的思想，抽象出imgsensor.c来控制sensor的上下电以及sensor具体的操作.
1 sensor driver
sensor driver对上响应需求，对下控制sensor硬件行为，处理器通过I2C接口来控制sensor的大部分行为，sensor输出的数据传输到TG、ISP等模块处理后，ISP将数据保存到内存中之后，才可以dump出sensor的数据，才能看到sensor的第一帧画面。
(1)
imgsensor_mode_struct不同模式特征的结构体
这个结构体描叙了各个模式下的pclk/linelength/framelength 等

1. typedef struct imgsensor_mode_struct {
   
2. kal_uint32 pclk; //record different mode's pclk
   
3. kal_uint32 linelength; //record different mode's linelength
   
4. kal_uint32 framelength; //record different mode's framelength
   
5. 
   
6. kal_uint8 startx; //record different mode's startx of grabwindow
   
7. kal_uint8 starty; //record different mode's startx of grabwindow
   
8. 
   
9. kal_uint16 grabwindow_width; //record different mode's width of grabwindow
   
10. kal_uint16 grabwindow_height; //record different mode's height of grabwindow
    
11. 
    
12. /* following for MIPIDataLowPwr2HighSpeedSettleDelayCount by different scenario */
    
13. kal_uint8 mipi_data_lp2hs_settle_dc;
    
14. 
    
15. /* following for GetDefaultFramerateByScenario() */
    
16. kal_uint16 max_framerate;
    
17. kal_uint32 mipi_pixel_rate;
    
18. 
    
19. } imgsensor_mode_struct;

复制代码

对应的描叙信息如下：pclk ≈ linelength * frame_length * framerate

1. static kal_uint32 set_max_framerate_by_scenario(MSDK_SCENARIO_ID_ENUM scenario_id, MUINT32 framerate)
   
2. {
   
3.     kal_uint32 frame_length;
   
4. 
   
5.     pr_info("scenario_id = %d, framerate = %d\n", scenario_id, framerate);
   
6. 
   
7.     switch (scenario_id) {
   
8.         case MSDK_SCENARIO_ID_CAMERA_PREVIEW:
   
9.             frame_length = imgsensor_info.pre.pclk / framerate * 10 / imgsensor_info.pre.linelength;
   
10.             spin_lock(&imgsensor_drv_lock);
    
11.             imgsensor.dummy_line = (frame_length > imgsensor_info.pre.framelength) ? (frame_length - imgsensor_info.pre.framelength) : 0;
    
12.             imgsensor.frame_length = imgsensor_info.pre.framelength + imgsensor.dummy_line;
    
13.             imgsensor.min_frame_length = imgsensor.frame_length;
    
14.             spin_unlock(&imgsensor_drv_lock);
    
15.             //set_dummy();
    
16.             break;

复制代码

Sensor的linelength是固定的，每个模式的pclk也是不可调的，所以要调整帧率framerate，只能调整frame_length。set_dummy使得当前帧率立刻变化为设置的帧率，如果pclk或者linelength与对应sensor setting的实际值不一致，设置的帧率和响应的帧率会有一个偏差，画面可能出现水波纹。


注意：如果打开摄像头黑屏，帧率不对，这里需要重点查下
（2）imgsensor_info_struct
struct imgsensor_info_struct描叙sensor info常量的结构体

1. static imgsensor_info_struct imgsensor_info = {
   
2.     .sensor_id = IMX230_SENSOR_ID,        //record sensor id defined in Kd_imgsensor.h
   
3. 
   
4.     .checksum_value = 0xafd83a68,        //checksum value for Camera Auto Test
   
5. 
   
6.     .pre = {
   
7.         .pclk = 381000000,                //record different mode's pclk
   
8.         .linelength = 6024,                //record different mode's linelength
   
9.         .framelength = 2108,            //record different mode's framelength
   
10.         .startx = 0,                    //record different mode's startx of grabwindow
    
11.         .starty = 0,                    //record different mode's starty of grabwindow
    
12.         .grabwindow_width = 2672,        //record different mode's width of grabwindow
    
13.         .grabwindow_height = 2008,        //record different mode's height of grabwindow
    
14.         /*     following for MIPIDataLowPwr2HighSpeedSettleDelayCount by different scenario    */
    
15.         .mipi_data_lp2hs_settle_dc = 85,//unit , ns
    
16.         /*     following for GetDefaultFramerateByScenario()    */
    
17.         .max_framerate = 300,
    
18.                 .mipi_pixel_rate = 188000000,
    
19.     },
    
20.     .cap = {   
    
21.         .pclk = 597000000,
    
22.         .linelength = 6024,
    
23.                 .framelength = 4128,
    
24.         .startx = 0,
    
25.         .starty = 0,
    
26.         .grabwindow_width = 5344,
    
27.         .grabwindow_height = 4016,
    
28.         .mipi_data_lp2hs_settle_dc = 85,//unit , ns
    
29.         .max_framerate = 240,
    
30.                 .mipi_pixel_rate = 561920000,
    
31.     },
    
32.        
    
33.             .margin = 4,            //sensor framelength & shutter margin
    
34.     .min_shutter = 1,        //min shutter
    
35.     .max_frame_length = 0x7fff,//max framelength by sensor register's limitation
    
36.     .ae_shut_delay_frame = 0,    //shutter delay frame for AE cycle, 2 frame with ispGain_delay-shut_delay=2-0=2
    
37.     .ae_sensor_gain_delay_frame = 0,//sensor gain delay frame for AE cycle,2 frame with ispGain_delay-sensor_gain_delay=2-0=2
    
38.     .ae_ispGain_delay_frame = 2,//isp gain delay frame for AE cycle
    
39.     .ihdr_support = 0,      //1, support; 0,not support
    
40.     .ihdr_le_firstline = 0,  //1,le first ; 0, se first
    
41.     .sensor_mode_num = 5,      //support sensor mode num
    
42. 
    
43.     .cap_delay_frame = 1,        //enter capture delay frame num
    
44.     .pre_delay_frame = 1,         //enter preview delay frame num
    
45.     .video_delay_frame = 1,        //enter video delay frame num
    
46.     .hs_video_delay_frame = 3,    //enter high speed video  delay frame num
    
47.     .slim_video_delay_frame = 3,//enter slim video delay frame num
    
48. 
    
49.         .isp_driving_current = ISP_DRIVING_8MA, //mclk driving current   <span style="color: rgb(171, 178, 191); font-family: &quot;Source Code Pro&quot;, &quot;DejaVu Sans Mono&quot;, &quot;Ubuntu Mono&quot;, &quot;Anonymous Pro&quot;, &quot;Droid Sans Mono&quot;, Menlo, Monaco, Consolas, Inconsolata, Courier, monospace, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, sans-serif; font-variant-ligatures: common-ligatures; white-space: pre; background-color: rgb(40, 44, 52);"> </span><span class="token comment" style="box-sizing: border-box; outline: 0px; overflow-wrap: normal; color: rgb(92, 99, 112); word-break: break-all; white-space: pre; font-style: italic !important; font-variant-numeric: normal !important; font-variant-east-asian: normal !important; font-stretch: normal !important; line-height: normal !important; font-family: &quot;Source Code Pro&quot;, &quot;DejaVu Sans Mono&quot;, &quot;Ubuntu Mono&quot;, &quot;Anonymous Pro&quot;, &quot;Droid Sans Mono&quot;, Menlo, Monaco, Consolas, Inconsolata, Courier, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, sans-serif !important;">//</span><span class="token comment" style="box-sizing: border-box; outline: 0px; overflow-wrap: normal; word-break: break-all; white-space: pre; font-style: italic !important; font-variant-numeric: normal !important; font-variant-east-asian: normal !important; font-stretch: normal !important; line-height: normal !important; font-family: &quot;Source Code Pro&quot;, &quot;DejaVu Sans Mono&quot;, &quot;Ubuntu Mono&quot;, &quot;Anonymous Pro&quot;, &quot;Droid Sans Mono&quot;, Menlo, Monaco, Consolas, Inconsolata, Courier, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, sans-serif !important;"><font color="#ff0000">isp驱动电流，电流过大可能会射频干扰</font></span>
    
50.     .sensor_interface_type = SENSOR_INTERFACE_TYPE_MIPI,//sensor_interface_type
    
51.     .mipi_sensor_type = MIPI_OPHY_NCSI2, //0,MIPI_OPHY_NCSI2;  1,MIPI_OPHY_CSI2
    
52.     .mipi_settle_delay_mode = MIPI_SETTLEDELAY_AUTO,//0,MIPI_SETTLEDELAY_AUTO; 1,MIPI_SETTLEDELAY_MANNUAL
    
53.     .sensor_output_dataformat = SENSOR_OUTPUT_FORMAT_RAW_R,//sensor output first pixel color
    
54.     .mclk = 24,//mclk value, suggest 24 or 26 for 24Mhz or 26Mhz
    
55.     .mipi_lane_num = SENSOR_MIPI_4_LANE,//mipi lane num
    
56.     .i2c_addr_table = {0x34,0x20,0xff},//record sensor support all write id addr, only supprt 4must end with 0xff
    
57. };

复制代码

(3)struct imgsensor_struct记录sensor info变量的结构体，用于动态的保存sensor的关键信息

1. typedef struct imgsensor_struct {
   
2.     kal_uint8 mirror;                //mirrorflip information
   
3. 
   
4.     kal_uint8 sensor_mode;            //record IMGSENSOR_MODE enum value
   
5. 
   
6.     kal_uint32 shutter;                //current shutter
   
7.     kal_uint16 gain;                //current gain
   
8. 
   
9.     kal_uint32 pclk;                //current pclk
   
10. 
    
11.     kal_uint32 frame_length;        //current framelength
    
12.     kal_uint32 line_length;            //current linelength
    
13. 
    
14.     kal_uint32 min_frame_length;    //current min  framelength to max framerate
    
15.     kal_uint16 dummy_pixel;            //current dummypixel
    
16.     kal_uint16 dummy_line;            //current dummline
    
17. 
    
18.     kal_uint16 current_fps;            //current max fps
    
19.     kal_bool   autoflicker_en;        //record autoflicker enable or disable
    
20.     kal_bool test_pattern;            //record test pattern mode or not
    
21.     MSDK_SCENARIO_ID_ENUM current_scenario_id;//current scenario id
    
22.     kal_uint8  ihdr_en;                //ihdr enable or disable
    
23. 
    
24.     kal_uint8 i2c_write_id;            //record current sensor's i2c write id
    
25. } imgsensor_struct;

复制代码

2 驱动入口xxxx_MIPI_RAW_SensorInit

可以看到SensorInit以函数指针的形式传入到kdSensorList结构体中：





4 camera启动流程






5 camera 打开流程





6 camera 移植过程

wmp

付公子,写完啊 .