CCTV 카메라 모듈의 종류와 활용[4] - CCD 이미지 센서와 ISP

 

글 | 유명호 삼성테크윈 영상정보개발 수석
월간 시큐리티월드 통권 제123호 2007-06-18 (info@boannews.com)

CMOS 이미지 센서에 대해 서술한 지난 호에 이어 이번 호에서는 현재 대부분의 CCTV 카메라에 채용돼 있는 CCD 이미지 센서와 ISP(Image Signal Sensor)에 대해 세부적으로 알아보기로 한다. 

< 목차 >

1. CCD 이미지 센서

   (1) 기술 개요

   (2) 기술 원리
2. ISP(Image Signal Processor)
   (1) ISP의 정의와 개발목적
   (2) ISP의 구성과 역할

------------------------------------------------------------------------------------------

1. CCD 이미지 센서

 

(1) 기술 개요

CCD는 Charge Coupled Device의 약자로 빛을 전기신호로 바꿔서 디지털 형식으로 변환하는 역할을 하며, 1960년대에 미국에서 개발됐다. CCD는 기본적으로 빛(파동)을 디지털 신호로 바꿔주는 유일한 장치였으며, 그 메커니즘과 프로세스가 상당히 복잡해 제작단가도 높다. 나중에 CMOS가 개발됐지만, CCD의 성능에 못 미쳤기 때문에 빛을 디지털화하는 데 필요한 제품은 모두 CCD를 사용했으나 최근에는 CMOS의 발전에 따라 CCD는 고성능, 고화질 제품 위주로 적용되기 시작했다.

디지털 카메라에서는 일반 컬러필름에서 유제면에 발라진 발색 성분이 컬러사진이 가능하게 하듯이 이미지 센서 앞에 빛의 3원색 필터를 놓고 이를 통과한 정보를 저장했다가 이미지 센서인 CCD에서 저장된 명암정보와 합해 컬러 이미지를 만들어내게 된다.

CCD는 한 반도체의 출력이 인접한 다른 반도체로 입력되도록 정렬돼 있는 메모리이며, 빛이나 전기에 의해 충전될 수 있다. CCD는 디지털카메라, 비디오카메라와 광학 스캐너 등에서 이미지를 저장하는데 주로 사용된다. CCD의 발명으로 영상획득기술이 크게 발전하게 됐는데, 이전의 영상획득 장치와 비교하면 CCD는 작고 값싸며 빠른 처리속도를 자랑한다. CCD는 밀폐된 공간에 있는 집광장치들의 배열로, 입사되는 광자 에너지의 패턴을 이산적인 아날로그 신호로 변환하도록 설계된다.

CCD는 두 가지 기능을 수행한다. 첫째는 광자 에너지를 전하로 변환하는 것이고, 둘째는 이 전하를 판독할 수 있도록 이동시키는 역할이다. 이렇게 전하를 이동시키는 기능은 버킷 브리게이드(bucket brigade, 전하를 소화하기 위한 버킷 릴레이의 줄)로 알려져 있는데, 하나의 값이 판독된 후에는 다른 모든 나머지 값들은 그에 따라서 위치를 변화시킨다. CCD를 판독하는 것은 시프트 레지스터로부터 일련의 데이터 스트림을 판독하는 것과 유사하다.

(2) 기술 원리

① CCD의 구조

광 전환부에 축척된 전하를 Analog Shift Register에 의해 전송되는 방식으로 각 화소에 축척된 전하를 전압 차에 의해 발생된 값을 바탕으로 이동시키게 된다. 전체 구조는 수광부, 전하전송부, 신호출력부로 구성된다.

수광부의 대각선 길이를 기준으로 1/4″, 1/3″, 1/2″, 2/3″로 표시하거나 수광부의 화소수에 따라 30만 화소, 200만 화소 등으로 구분한다. 그림 1은 일반적인 흑백 CCD 카메라 모듈의 구성을 나타낸 것이다. 흑백 CCD의 경우 일반적으로 4-chip solution으로 제공되며, 컬러 CCD의 경우는 6-chip solution으로 제공된다.

 

② CCD의 특성

Blooming은 일종의 채도(Saturation) 개념으로 신호전하의 양이 CCD가 다룰 수 있는 전하의 양보다 클 때 발생한다. 스미어(Smear)는 입사하는 빛이 CCD의 PD에 수직이 아닌 어느 이상의 값을 가진 경우에 인접한 픽셀로 스며들어 나타나는 현상이다. VOFD(Vertical Over Flow Drain)는 필요이상의 전하를 수직방향, 즉 기판 쪽으로 전하를 빼주는 방법이다. 민감도(Sensitivity)는 한 개의 광자(Photon)에 의해 생성된 EHP를 통해 전자를 얼마만큼의 전위차로 읽어낼 수 있는가 하는 것을 의미한다.
 

 

결함(Defect)으로는 다음과 같은 종류가 있다. White Defect(백점)는 공정상에 발생하는 오염으로 영상을 볼 때 하얀 점들이 나타나 보이는 현상이다. Black Defect(흑점) 또한 공정상에 발생하는 문제로, 픽셀 영역 내에 있는 이물질에 의해 입사하는 빛을 다른 픽셀과 비교해 적게 받아들일 때 발생한다. 화면에 검은 점의 형태로 보인다. White Line(백선)과  Black Line(흑선)은 Poly 와 Poly 사이의 문제로, CCD의 V-H Interface 영역의 Narrow Channel Effect 등에 의해 나타나는 결함이다. LAG(reference picture, smear, blooming, white defect)는 잔상으로 방금 전에 본 영상이 보이는 것과 같은 현상이다. CCD에서는 돗자리 형태로 나타난다.

③ CCD의 스캔 방식
 

CCD의 스캔 방식에는 인터라인 전송방식과 Full Frame 전송방식이 있는데, 그림 4에서 보듯이 인터라인 방식이 적은 정보량으로도 밝게 나타난다.

 

 

④ CCD 카메라 신호제어

카메라에서 나오는 신호는 NTSC(National Television Standards Committee) 신호다. 이 신호는 컴퓨터에서 직접 사용할 수 없는 신호이기 때문에 이를 사용하기 위해서는 디지털(digital) 신호로 바꾸어 주는 디지타이저(digitizer) 즉, 프레임 그래버(frame grabber)가 필요하다. 또한, 프레임 그래버에서 나오는 신호(raw data)를 직접 사용할 수 있지만 트래킹 시스템(tracking system)에 이용하기 위해서는 여러 종류의 데이터 변환(data conversion) 과정이 필요하다.

ㆍRGB 24PLANAR : RGB24PLANAR 데이터 포맷(format)은 그림 6에서 보듯이 320×240 영상에서 메모리 상에, 처음 320×240 바이트 메모리 블록(memory block)에 RED(R) 값, 그 다음 320×240 메모리 블록에 GREEN(G)값, 그리고 그 다음 320×240 메모리 블록에 BLUE(B) 값을 연속적으로 할당해 320×240 크기의 이미지를 표현한다.  

 

 

 ㆍYUV24 PLANAR : Y(luminance)는 이미지의 밝기 정보, U(chrominance)와 V(chrominance)는 색상정보를 갖고 있다. 그림 7과 같이 YUV24 PLANAR 방식도 RGB24 PLANAR 방식과 같은 구조를 갖으며, 320×240 영상 메모리 상에 바이트(Byte)단위로 데이터를 저장한다. 320×240 메모리 블록(memory block)에 Y(luminance)값, 그 다음 320×240 메모리 블록에 U(chrominance)값, 그리고 320×240 메모리 블록에 V(chrominance)값이 연속적으로 할당된다. 일반적으로 U(chrominance), V(chrominance)는 Y(luminance)값에 비해 일반적으로 낮거나 음수(-)값을 갖는 경우가 많기 때문에 Y값만 화면(display)상에 표시한다.

 

⑤ CCD(charge-coupled-device)카메라 신호제어의 Block Diagram

 

그림 8은 CCD(charge-coupled-device) 카메라 신호의 제어과정을 나타낸다.

 

 

------------------------------------------------------------------------------------------

2. ISP(Image Signal Processor)

(1) ISP의 정의와 개발목적

ISP(Image Signal Processor)는 이미지 센서에서 변환된 전기적 신호를 영상신호로 변환하는 장치다. ISP는 CMOS 센서의 경우 one Chip으로 구현이 가능하며, 기능이 확대되는 경우에는 DSP와 SoC 형태로 Backend Chip에 배치된다. 일례로 로봇에서는 카메라 정보를 통해 사물인식, 추적 등의 여러 기능을 구현해야 하기 때문에 Backend Chip에도 ISP가 구현된다. 카메라 모듈의 개발경쟁력 확보를 위해서는 전용 ISP 개발이 필요하며, 기본적인 개발목적은 다음과 같다.

ㆍ시장선도 및 고화질 구현을 위한 ISP 개발 필요
ㆍ고화질, 고기능화의 추세에 맞는 ISP 개발을 통한 경쟁력 강화
ㆍISP 생산체제 구축을 통한 가격경쟁력 확보
ㆍISP 개발을 통한 평가 소프트웨어 개발 및 분석기반 기술 구축

이 외에도 ISP를 사용할 경우 손 떨림 방지기능, 저조도 보상기능 등 특별한 기능을 추가할 수 있으며, AF 알고리즘도 더 좋은 것을 쓸 수가 있다. 그림 9는 ISP에서 처리하는 신호를 보여준다.

 

 

(2) ISP의 구성과 역할

ㆍInterpolation : 이웃하는 화소간의 상관관계를 이용해 한 화소에 3가지 색 데이터를 추출한다.

 

 

ㆍMean Selector : /4, /2선택

 

ㆍData Generator : 4 or 2 가산기 및 Data Out

 

ㆍColor Correction : Image의 통계적 분석을 실행하고 Optical Color Correction Matrix를 선택한다. 

 

 

ㆍGamma Correction : Image 휘도를 보상해 주는 역할을 하며, 디스플레이 장치를 통한 색상 표현시 색 요소는 순간적인 전압파형과 같다. 디스플레이 장치의 전달함수는 빛의 세기(휘도)를 출력할 때 신호전압에 대해 비선형적 처리에 대한 보상이 이루어진다. 

 

ㆍContrast : 동일한 출력장치에서 영상정보를 표현하기 위해 사용되는 가장 밝은 곳과 가장 어두운 곳에 대한 밝기 차를 표현한다.

 

 

ㆍDefect Correction : Image Quality를 향상시키기 위해 이용하는 것으로 인접한 픽셀 중 ‘Good’을 Dark 또는 Bright에 대처(On the fly)한다. Defect Correction Module은 Image Data와 차이가 큰 것은 모두 제거하며, 클러스터(Clustered)된 Defect는 수집되지 않는다.

 

ㆍAuto Exposure Control : Image Core의 Exposure Time과 Analog Gain Control을 통해 Image Brightness를 자동으로 획득, 입력되는 빛의 강도에 따라서 적합한 밝기를 출력하도록 조절한다. 이는 Track Speed와 Luminance 변화의 증폭도와 관계가 있으며 Dark Light 보상은 Image Center의 Luminance 가중치가 주변의 Luminance보다 클 때 이루어진다.

 

 

ㆍColor Saturation Control (채도) : Image의 색차 신호에서 Color Saturation을 실행한다.

 

 

ㆍFlicker Detection : Flicker는 Integration 시간이 입력된 주기의 정수배가 되지 않으면 발생한다. Automatic Flicker Detection은 Flick 주파수를 검출하고, Integration 시간을 조절한다.

 

 

ㆍAuto White Balance : Sensor에 입력되는 영상은 광원의 색온도에 의해서 실제 피사체가 가지는 고유의 색으로부터 왜곡이 발생되는데, 이러한 색상왜곡을 방지하기 위해 Red Blue level 을 자동으로 조절하는 기능이다.

 

 

ㆍSpace Conversion : Space Conversion을 사용하는 이유는 컬러 인지에 있어서 인간의 눈은 휘도에 비해 색차신호가 둔감하기 때문이다. 이에 영상정보를 휘도와 색차신호로 분리한 후, 색차신호 정보량을 줄이고 정보량 압축을 통해 변환하게 된다. 이는 효율적인 전송을 위해서다.