Camera ISP

 

Camera의  특수기능을 처리하기 위한 신호처리부분을  ISP(Image Signal Processor)라고 한다.

영상센서(CCD,CIS)에서  영상을 취득하여   휘도와 색처리부분을  기본으로하며 

추가적으로 포커스,반전,모자익,DIS,영상포맷등을  지원하는 기능을 한다.

  

좀더 세부적으로 검토를 해보자.

 

ISP --+-- B/W

          |  

          +-- COLOR --+--  AE/AWB

                              +--  AE/AWB/AF/ZOOM

                              +--  AE/AWB/AF/DIS/ETC

 

센서별

CCD용 ISP ~~ CCD는 CIS에 비하여 감도가 좋아   CCTV나 차량용에 아직은 많이 사용된다.

CIS용   ISP ~~ CIS는 CCD에 비하여 가격이 저렴하여 시장에 많이 진출(USB,핸드폰,디카등)

CCD/CIS용 ISP ~~ CCD와 CIS를 둘다 지원하는 전용 ISP가 상당히 적다.

 

 

아래는 CCD를 사용하는 일반적인 ISP의 구조도이다.

 

CCD

 CFA(Color Filter Array)~~흑백을 칼라로 구성하기위해  CCD에 내장된  컬러필터의 구성이다.

 V-DRIVER~~CCD의 수직신호들을 위한 전압드라이브를 제공하는 칩이다.

 AFE(Analog Front End)~~ CDS와 AGC및 A/D가 합쳐진 칩이다.

 ISP(Image Signal Processor)

 블럭도를 보면 대부분의 흐름이 잡히는데  CCD에 잡힌 신호을  AFE를 지나서 디지탈로변경시켜 ISP로 들어온다.

 ISP는 S1,S2데이타를 라인버퍼에 넣고 Camera프로세싱을 거쳐  해당포멧신호로 변경하여 내 보낸다.

 세부적인 내용들응  아래  설명에서 참조하자.

 

 

CIS용으로 구성된 블록 예제이다.

 

 내용을 살펴보면

 하나의 칩에 센서부분과 ISP와 출력 인터페이스가 내장되어 있다.

 일반적으로  메가급으로 가면  휴대폰이나 디카에 많이 사용되므로  인터페이스가  뒷단에 많이 종속된다.

 

 

카메라 ISP에 처리하는 중요기능들은..?

아래는 센서의 칼라취득부분에 관한 내용들이다.

 

칼라는  휘도를 받을수 있는 센서부위에  칼러필터를 얻어  센서를 만든다.(칩자체에 포함된다)

즉  처음에는 모든 빛이 들어 올수 있는데  여기에 위 그림처름 블루필터를 해당셀에 올리면 블루만 센서셀에  들어오게 된다. 

CFA(컬러필터배열_Color Filter Array)를 어떤것으로 배치하는가에 색깔은 많은 영향을 받는다.

즉 RGB CFA인가와  CMY CFA인가가 중요한 요소인데

위 그림을 보면  RGB보다 CMY가 밝게보이며 실제도 투과력이 좋아서  휘도확보에 유리하다.

반면  색재현성은 아래 이유로 RGB CFA보다 나쁘다.  

Y100+M100=R, C100+Y100=G, C100+M100=B가 원안인데 실제로는 R=M99.6+Y99.8, G=C77.3+M0.4+Y100+K0.4, B=C99.6+M95.7 이다. 
RGB와 CMY가 서로 딱 떨어지지 않는 컬러의 차이는 컬러 불일치 부분(Out-of-Gamut)때문으로

Y+M=R, C+Y=G, C+M=B와 사이안(100%)+마젠타(100%)=블루(100%)가 나오지 않는것은 색재현성을 떨어뜨린다.

 

 

 

 

 

 아래는 일반적인 CFA의 배열이다.  

위 그림처름 흑백포토센서 위에  칼라필터를 추가하여 칼라를 구성하는데   

어떠한  구성과  어떻게  배열하는가에 따라 많은 특성차이가 있으므로  아래참조를 살펴보기 바란다.

 CFA : http://www.quadibloc.com/other/cfaint.htm

 

 

카메라 ISP의 대략적인 기본처리기능은 아래와 같다.

각각의 블럭들을 살펴보면..

 

Black Level Adjustment :

Noise Reduction :

White Balance : 색이 조명의 색온도에 영향받지 않고 자신의 색을 표현토록 하는 기능.

                                                                                            이곳 참조 : http://blog.naver.com/msnayana/80097081074

CFA Interpolation : CFA(color Filter Array)는  센서에 입혀힌 칼라필터의 묶음으로   통과한 빛이 Bayer..

   

Color Correction : 센서에 부착된 칼라필터의 왜곡및 오차를  ISP에서 보정처리하는 기능.  아래 내용참조바람

 

Gamma Correction : 표시되는 CRT나 LCD의 특성에 알맞는 조건으로 출력신호를 보정변경기능.

                                                                                            이곳 참조 :  http://blog.naver.com/msnayana/80091661553

Edge Enhance :

Contrast Enhance :  아래의 휘도의 평활화( Contrast Enhance or Histogram equalize)를 참조.

Color Enhance :

False Chroma suppression :

 

휘도의 평활화( Contrast Enhance or Histogram equalize)는  ISP의 기본기능중 하나이다.

 

대충

여기까지가  ISP의 기본기능이고

아래는  좀더 개선된(차별화된)  기능들로서  

근본적으로는  아래기능도  기본기능이 겠지만   현재의 기술수준에서는  차별화 된다고 할 수있다.

 

 

 

일반적인 휘도와 칼라가 구성되면

성능의 경쟁이 시작되는데  중요하게 보는 성능중에는 아래 세가지를 빼 놓을수 없다.

첫째는 WDR이고

둘째는 DNR이며

셋째는 해상도이다.

 

1) WDR : Wide Dynamic Range로서  얼마나 발고 어두운 부분을 동시에 볼수 있는가의 능력이고 사람눈은 120dB이다

 

이런 성능은  제품의 생명을 좌우하기에 중요하다.

이러한 현상이 발생되는 원인은 센서의 빛수광능력이 부족하여 기준대비 빛이 많이 들어오면 넘치기 때문이다

즉 빛이 물이라고 하면 잔에 물을 따를때 물이 잔이 넘치는 현상과 같다. 잔이 크다면 이것도 좋아진다. 

구현 원리는  두가지 개념에서 접근한다. 

영상한장을 기준으로 하면  어두운장면과 밝은장면의   두장면을 짧은 시간에 구해서 합치는 방식(소니사)이다.

영상한장이 아닌 각 픽셀별로 자신의 잔이 넘치지 않게 조절하는 것이다(CMOS의 CIS방식들,픽심칩)  

이분야의 최선구자와 시장을 잡고있는 업체는 파나소닉이다.

 

 

2) DNR : 어둠이 내리면 조도가 낮아 1 lux미만에서는 AGC가 동작되는데 이때 발생되는 AGC노이즈를 잡는다.

 

이 기술은 AGC의 노이즈를 없애는 것이 핵심기술이다.

즉 AGC가 먹지 않으면 의미가 없으므로  AGC가 동작되는 어두운 화면이며 밝을때는 동작하지 않는다.

AGC를 먹으면  영상과 노이즈가 같이 증폭되는데 노이즈는 고정적노이즈가 많으며 이것들이 적응성필터에 의해 제거된다.

한장의 장면으로 없애는 것을 2D-DNR이라 하고  이전장면과 현재의 장면과의 차이를 감안하여 동작되면 3D-DNR이라 한다.

당연히 3D-DNR은 이전장면을 가져야 하므로 메모리가 많이 필요하여 비용이 증가된다. 

 

 

3) 해상도

사람의 눈은 주간에는 7백만화소, 야간에서  1억화소로 동작한다고 한다.

일반적인 디카인 카메라는 천만화소근방이며  휴대폰캠은 칠백만화소정도이고

일반CCTV는  D1급이 0.4M정도이고  HDTV는  2M픽셀  해상도이므로  눈이 느끼는 선명도는 엄청나다.

또 사람눈보다  독수리나 매의 눈은 10배정도 좋다고 하니  해상도를 절대 간과할수는 없겠다.

 

해상도는 픽셀로도 정해지지만

픽셀의 증가없이  앞에서 설명한  컬러필터 인터폴레이션의 증가로도 개선이 된다.

해상도는 해상도 차트를 이용하여 측정하며 일반적으로 600TVL처름 수평해상도를 이야기한다.

 

http://www.dnp.co.jp/semi/e/test/ite43/index.html    <== 여기를 참조(DNP사)

 

HD경우 :  http://www.dnp.co.jp/semi/e/test/ite_c169/index.html

 

 

Color Filter Array Designs
 http://www.quadibloc.com/other/cfaint.htm
 http://student.grm.hia.no/master/ikt02/ikt6400/g23/Report.htm
 http://www.siliconimaging.com/ARTICLES/CMOS%20PRIMER.htm
 http://software.intel.com/en-us/articles/multicore-architecture-of-a-digital-camera
 http://csanet.org/newsletter/fall07/nlf0702.html

 http://yjkims79.com/category/ISP

 

참조 : http://blog.naver.com/msnayana?Redirect=Log&logNo=80101318255