|
여러 시점에서 촬영된 화각이 넓은 저해상도 화상 및 화각이 좁은 줌 화상 군을 이용하는 재구성형 초해상 방법에 대해 알아보겠다. 여기서는 화각이 넓은 저해상도 화상에 대한 고해상도화가 목적이며 그 확대율과 동일한 배율로 줌 화상 군은 촬영되고 있다. 제안 방법으로는 이상적인 고해상도 화상에서 관측 저해상도 화상 및 관측 줌 화상을 생성하는 모델을 설정한다. 또한, 실제의 관측 화상과 설정 모델에서 예측되는 화상과의 차이에 의거해 목적 함수를 정의하고 그 최소화를 최급강하법(Steepest descent method)에 의해 실행함으로써 해법을 찾는다. 아울러 재구성 처리에 있어서 시점 간의 화소 대응 추정(레지스트레이션 처리)을 반복 실행함으로써 수정을 하고 여러 시점의 화상 데이터베이스를 이용해 5시점에서 화상을 획득하는 경우의 평가 실험으로 제안방법의 유효성을 정성·정량적으로 확인할 수 있다.
호사카 타다아키·오모리 타쓰야·하마모토 타카유키 ┃ 도쿄이과대학
텔레비전이나 스마트폰 등에 관한 영상 기술로서 초해상 처리라는 단어를 빈번하게 보고 들을 수 있다. 초해상 처리란, 화상의 사이즈(화소 수)를 크게 하면서 세부를 정밀하고 세세하게 재현하는 기술이라 정의할 수 있다. 예를 들면, 사람의 얼굴이 비친 화상을 초해상 처리에 의해 확대해 나가는 경우에는 얼굴의 주름이나 머리카락의 한 올 한 올이 서서히 재현된다. 따라서 선형 보간이나 바이큐빅 보간을 비롯한 화소 보간 처리에 의해 단순하게 화상의 사이즈를 크게 하는 것은 초해상 처리에는 포함되지 않는다. 그와 같은 보간 처리에 의한 화상의 확대에서는 흐릿한 화상이 만들어질 뿐으로 세부는 전혀 재현되지 않기 때문이다.
다르게 표현한다면 초해상 처리란 글자 그대로 원래의 해상도를 초과하는 화상을 생성하는 처리라고도 할 수 있다. 다만 이 해상도란 원래 의미에서의 해상도를 말한다. 해상도라는 용어는 오늘날에는 종종 화상에 포함되는 총 화소 수를 가리키기 위해 이용되는 경우가 많지만 본래 해상도는 어느 정도 정밀하고 세세하게 상을 표현할 수 있는가를 나타내는 분해능을 가리키는 용어다. 즉, 단위 길이의 피사체가 촬영됐을 때 몇 개의 화소에 의해 표현되느냐는 화소 밀도로서의 개념이 해상도다. 그와 같은 관점에서 보면 인쇄 분야에서의 Dot Per Inch(DPI)는 본래 해상도의 의미로 사용되고 있는 단위라고 할 수 있다. 혼란을 피하기 위해 여기에서는 해상도라는 용어는 본래의 의미로만 이용하고 총 화소 수의 의미로는 쓰지 않기로 한다. 이야기를 원래로 되돌리면 초해상 처리에는 어딘가에 해상도=분해능=화소 밀도를 향상시키는 요소가 필요해진다.
화소 밀도를 향상시키는 대표적인 방법의 하나는 위치 어긋남이 있는 여러 장의 저해상도 화상을 이용하는 것이다. 아날로그 신호가 2차원적으로 확산된 아날로그 화상이라 불러야 하는 것의 존재를 가정하면 디지털 화상의 각 화소는 일정 간격으로 샘플링된 표본점이라 가정할 수 있다. 그림 1에 나타내는 것처럼 세로 및 가로 방향으로 △/2만 샘플링 위치를 비켜놓는 것으로 아날로그 화상에서 4장의 화상을 얻을 수 있다.
이들 화상에서는 어느 쪽도 샘플링 간격이 △이다. 이번에는 반대로 이들 위치 어긋남이 있는 4장의 화상이 주어졌다고 하자. 그것들을 잘 통합해 1장의 화상으로 표시할 수 있다면 얻어진 화상의 샘플링 간격은 △/2가 되며 화소 밀도가 큰 고해상도 화상을 얻을 수 있게 된다. 살펴본 화소 밀도의 향상을 화상 처리에 의해 실현하려고 하는 것이 재구성형 초해상이다. 여기에서 과제가 되는 것은, 첫째, 각 저해상도 화상에 대해 고해상도 화상 공간(아날로그 화상)에서의 샘플링 위치를 어떻게 정확하게 동일시하는가. 둘째 그런 다음 자연스러운 1장의 고해상도 화상이 되도록 저해상도 화상 군의 정보를 어떻게 통합하는가이다.
첫 번째에 관한 처리는 레지스트레이션(위치 맞춤: 고해상도 화상 공간에 저해상도 화상의 각 화소를 등록한다는 뉘앙스)이라 불리고, 두 번째에 관한 처리는 재구성이라 불린다. 그리고 이들 2개의 처리를 포함하는 초해상 기술을 재구성형 초해상이라 부른다. 대표적인 레지스트레이션 처리의 방법은 1장의 저해상도 화상의 화상 좌표를 기준으로 블록 매칭에 의해 다른 저해상도 화상의 위치 어긋남 양을 추정하는 방법이다. 한편, 대표적인 재구성 처리의 방법은 고해상도 화상에서 저해상도 화상을 생성하는 과정을 적절하게 모델화해 그것에 의거한 역문제를 푸는 것이다. 양 처리의 다양한 방법과 재구성형 초해상의 포괄적인 해설에 대해서는 문헌 1) 2)를 참조했으면 한다. 제안 방법의 상세를 기술하기 전에 본 원고의 주제인 줌 화상을 이용한 재구성형 초해상의 관련 연구에 대해 기술한다.
줌 화상을 이용한 재구성형 초해상의 종래 연구
같은 해상도의 화상이 무한한 장수만큼 존재하고 또한, 정확한 위치 어긋남 양을 이미 알고 있다고 가정해도 재구성형 초해상에서는 해상도의 향상에 한계가 있는 것이 이론적으로 나타나 있다3). 그런 까닭으로 준비하는 여러 장의 화상 중에서 해상도를 향상시키고 싶은 1장의 화상만을 제외하고 남은 화상에 대해서는 화소 수를 일정하게 유지하면서 해상도가 높은 줌 화상으로 대치하는 것이 생각되고 있다. 다만 여기에서 다루는 줌 화상이란 화소 수를 일정하게 유지한 채 화각을 작게 해 촬영된 고정세 화상(흔히 말하는 광학 줌 화상)을 가리킨다. 문헌 3)에서는 재구성형 초해상에서 줌 화상의 이용이 해상도의 향상을 초래하는 것은 자명하다. 그러나 고정세(高精細) 화상에 대한 높은 요구를 생각하면 줌 화상을 이용한 재구성형 초해상은 현실적인 제품 기술로서 흥미 깊은 대상이라고 생각한다.
문헌 4)~6)에서는 단시점으로 줌 양을 단계적으로 바꾸어 촬영된 복수의 고정세 화상을 이용하는 재구성형 초해상 방법이 제안되고 있다. 단시점이기 때문에 레지스트레이션 처리의 필요가 없고 가장 화각이 넓은 저해상도 화상에 줌 화상이 삽입되는 결과를 얻을 수 있다. 그러나 단시점으로 줌 양이 다른 화상을 동시에 취득하는 것은 불가능하기 때문에 이 방법을 동영상에 대해 적용할 수 없다. 또한, 줌 양의 조절에 따른 광축이 변동될 수 있기 때문에 실제 환경에서는 이상적인 촬영을 하기 어려워진다.
한편, 복수의 시점에서 줌 양이 다른 여러 장의 화상을 동시에 촬영해 그들 화상 군을 이용하는 재구성형 초해상 방법도 제안되고 있다7). 이 방법에 있어서도 화상 군 중에서 가장 화각이 넓은 저해상도 화상의 해상도를 향상시킨다. 여러 시점에서 촬영하는 것으로 이 방법을 동영상에 대해 적용하는 것도 가능해지는 한편 레지스트레이션 처리가 필요하게 된다. 문헌 7)에서는 피사체를 하나의 평면으로 가정함으로써 레지스트레이션 처리를 간략화하고 있다. 구체적으로는 피사체가 평면일 때 화상의 시점 이동 연산이 단일인 사영 변환에 의해 표현되는 것에서 레지스트레이션 처리가 사영 변환의 파라미터 추정으로 귀착되고 있다. 실제로 피사체가 평면이며 사영 변환 행렬을 올바르게 추정할 수 있으면 줌 화상이 저해상도 화상에 적절하게 삽입된 결과를 얻을 수 있다. 그러나 피사체가 평면이 아닌 경우에는 당연하겠지만, 화질이 현저하게 나빠진다.
제안 방법
여기에서는 그림 2에 나타내는 것처럼 5대의 카메라를 이용하는 상황을 상정한다(평가 실험의 일부에서 2대의 카메라를 이용하는 상황을 다룸). 중앙에 배치된 1대의 카메라는 상대적으로 저해상도의 화상을 광각으로 취득한다. 주변에 배치된 4대의 카메라는 상대적으로 고해상도의 화상을 취득하지만, 화소 수는 일정하기 때문에 시야가 좁은 줌 화상을 얻을 수 있으며 중앙의 카메라에서 얻을 수 있는 저해상도 화상에 대해 초해상 처리를 하는 것을 목적으로 한다. 또한, 종횡을 2배 및 4배로 확대하는 상황이 대상으로 확대율과 줌 배율은 같은 것으로 한다. 이에 따라 그림 2에 나타내는 것처럼 줌 화상과 저해상도 화상이 겹치는 부분이 배율에 의해 다르다는 것을 주의해야 한다.
재구성 처리
관측 모델의 설정
재구성형 초해상 방법에서는 원하는 대상이 되는 고해상도 화상(제안 방법에서는 중앙 시점의 고해상도 화상)과 복수의 관측 화상 군을 연관 지운다.1) 그러기 위해서 고해상도 화상이 다음 4개의 변형을 받음으로써 각 관측 화상을 얻을 수 있는 것으로 가정한다.
(1) 시점 이동(Warping)
(2) 흐릿함(Blur)
(3) 화소 수 삭감(Decimation)
(4) 잡음 부가(Noise addition)
즉, 이상적인 고해상도 화상이 존재한다고 가정하고, ①그것이 관측 시점에서 어떻게 보이는지를 추정하고 ②관측 화상과 비슷한 흐릿함을 가해 ③솎아내기(다운샘플링)나 잘라내기(트리밍)에 의해 관측 화상의 화소 수와 같게 하고 ④랜덤 잡음을 가함으로써 관측 화상이 생성된다고 생각하는 것이다.
제안 방법에 있어서의 관측 화상은, ①초해상 처리의 대상이 되는 중앙의 카메라에 의해 촬영되는 저해상도 화상, ②목표의 확대율과 같은 줌 배율로 J(=5)개의 시점에서 촬영한 줌 화상 군이다. 이들 2종류의 관측 화상 군에 대한 관측 모델을 정의할 필요가 있다.
중앙 카메라에서 촬영되는 저해상도 화상은 이상적인 고해상도 화상을 흐릿하게 한 후에 솎아냄으로써 얻을 수 있다고 가정한다. 이것은 화소 수가 다르기 때문에 생기는 센서의 (화소의) 개구율의 변화를 반영하고 있다. 여기에서 저해상도 화상을 N 차원 벡터 l에 의해 나타내며, 이상적인 고해상도 화상을 M(>N) 차원 벡터 h에 의해 나타낸다. 이들은 화소치를 일정한 순서로 벡터의 형태로 늘어놓은 것이다. 또한, 흐릿함을 표현하는 점상 분포 함수(Point spread function)의 Convolution 연산에 대응하는 M X M 차원 행렬을 B0으로 나타내며 솎아내기 연산에 대응하는 N X M 차원 행렬을 D0으로 한다. 또한, 가법적 잡음 성분을 N 차원 벡터 n0으로 한다. 이때 저해상도 화상의 관측 모델은
으로 정식화된다. 여기에서 B0의 제 m(=1, 2, ...., M) 행은 고해상도 화상의 m번째의 화소에 대한 가우시안 필터의 계수가 된다. 또한, D0의 제 n(=1, 2, ...., N)행에서는 솎아내기의 결과로서 저해상도 화상의 n번째의 화소 위치에 배열되는 고해상도 화소에 대응하는 열만 1이고 나머지는 0이 된다.
주변에 배치된 카메라에서 촬영되는 줌 화상은 중앙 시점의 이상적인 고해상도 화상을 시점 이동한 후에 줌 배율에 따라 잘라냄으로써 얻을 수 있다고 가정한다. j(=1, 2, ...., J)번째의 줌 화상을 N 차원 벡터 zj에 의해 나타내며 먼저와 공통의 중앙 시점의 고해상도 화상을 M 차원 벡터 h에 의해 나타낸다. 또한, 화소의 시점 이동 연산에 대응하는 M X M 차원 행렬을 Wj로 나타내고 화상의 잘라내기 연산에 대응하는 N X M 차원 행렬을 Cj로 한다. 또한, 가법적 잡음 성분을 N 차원 벡터 nj로 한다. 이때 줌 화상의 관측 모델은
으로 정식화된다. 여기에서 Wj의 제 m(=1, 2, ...., M)행은 중앙 시점의 고해상도 화상의 번째의 화소에 투영되는 피사체가 j번째의 시점에서 본 광시야 또는 고해상도의 화상(전 M 화소)의 어느 화소에 비칠지를 나타내고 있다. 구체적으로는 그 화소 번호에 대응하는 열만 1이고 나머지는 0이 된다. 또한, Cj의 제 n(=1, 2, ...., N)행에서는 잘라내기의 결과로서 줌 화상 zj의 n번째의 화소 위치에 배치되는 j번째 시점의 광시야 고해상도 화소에 대응하는 열만 1이고 나머지는 0이 된다. 그러나 현실의 알고리즘의 관점에서는 j번째 시점의 광시야 고해상도 화상을 중개해 생각하는 것은 장황하다.
그런 까닭으로 Vj=CjWj으로서 2종류의 변형을 정리하는 것이 실용적이다. 여기에서 N X M 차원 행렬 Vj는 중앙 시점의 고해상도 화상의 m번째의 화소에 투영되는 피사체가 j번째의 줌 화상 내의 어느 화소에 비출지를 나타내고 있다(Vj의 추정에 대해서는 후술한다.).
역문제의 설정과 최적화에 의한 해결
관측한 저해상도 화상 l과 줌 화상 군 {zj}에서 식(1)과 식(2)에 의거해 고해상도 화상h를 추정한다는 역문제를 푸는 것이 재구성 처리의 기본적인 생각이 된다. 실제적인 해법으로서는 벡터 h에 관한 목적 함수 f(h)를 정의한 다음 그것을 최소화하는 해석h*을 구하는 어프로치를 취한다.
목적 함수에 대해 이하로 생각한다. 추정되는 고해상도 화상h*에서 관측 모델을 통해 얻을 수 있는 예측 저해상도 화상과 예측 줌 화상이 관측 화상 l, zj에 각각 비슷한 것이 바람직하다. 다만, 가법적 잡음 n0, nj는 많은 경우에 랜덤성을 포함해 사전에 그것들을 예측하는 것은 어렵기 때문에 고려하지 않기로 한다. (이것은 랜덤 잡음의 기대치를 0으로 간주하고 있는 것에 상당함.)
여기에서 예측 화상과 관측 화상 간의 오차를 N 차원 벡터 e0, ej(j=1, 2, ...., j)를 이용해
로 정의한다. 이들을 이용해 목적 함수를
로 정의하는 것이 자연스럽다. 또한,???은 l2노름(norm)을 나타내고 변수 a1은 2종류의 오차의 무게를 조정하는 파라미터이다.
식(5)은 추정 대상인 벡터 h에 관한 2차 식이기 때문에 극치는 다만 하나이며 그것이 대역적 최적해가 된다. 대역적 최적해는 극치 조건
을 충족할 필요가 있다. 따라서 위 식을 에 대해 정리하는 것으로 해석해(Analysis Solution)를 구할 수 있다. 그러나 미지수의 수는 고해상도 화상 h의 차원 수 M(대부분의 경우에 매우 큰 수가 됨)으로 같고, 그 2승 정도의 수의 성분으로 구성되는 행렬의 역행렬 연산이 필요해진다. 이것은 계산 시간의 관점에서 현실적이라고는 할 수 없다. 그런 까닭으로 극치가 하나인 것이 보증되어 있기 때문에 종래의 재구성형 초해상과 마찬가지로 반복 계산에 의해 수치적으로 해석하는 것으로 한다. 여기에서는 최급강하법을 이용해 고해상도 화상 h를
에 따라 갱신한다. 여기에서 는 회째의 갱신 후의 고해상도 화상 벡터를 나타내며, βk+1은 갱신 속도를 제어하는 파라미터이다(식(6)에 나타나는 정수배의 인자는 파라미터 β에 포함되어 있다.).
식(5)에 의해 목적 함수가 정의되는 경우에는 과적합(over fitting)이 발생되기 쉽다. 이것은 오차(3), (4)를 작게 하는 h를 추구한 결과로서 진짜 고해상도 화상에는 존재하지 않는 가짜의 고주파 성분을 많이 포함한 부자연스러운 화상이 생성되는 것이다. 이 경향은 고해상도화의 배율에 비교해 관측 화상 장수가 적은 상황이나 관측 모델 파라미터(제안 방법에서의 B0, D0, {Vj})의 설정치가 진짜 값에서 크게 벗어나 있는 상황에서 현저해진다.
이 문제를 회피하기 위해 식(5)에 화상의 선험 지식에 유래하는 제약항(가짜의 고주파 성분을 억제하는 정칙화항)을 가한다. 여기에서는 “자연스러운 화상에는 과잉일 정도의 고주파 성분은 포함되어 있지 않다”라는 가정을 선험 지식으로서 채용해 목적 함수를
로 다시 정의하는 것으로 한다. 변수 a1, a2는 각 항의 무게를 제어하는 매개변수이다. 또한, M X M 차원 행렬 L은 라플라시안 필터 처리에 대응하고, L의 제 m(=1, 2, ..., M)행은 고해상도 화상의 m번째의 화소에 대한 필터 계수가 된다. 따라서 Lh는 고주파 성분을 강하게 반영한 벡터가 된다. 식(8)을 목적 함수로 하는 것으로 고주파 성분을 적절하게 억제한 해석을 얻을 수 있는 것을 기대하고 있다. 또한, 비슷한 선험 지식을 채용하기 위해 식(8)의 우변 제3항을 푸리에 변환에 의해 구하는 고주파 성분의 총합(고역 필터)이나 전변동 노름8) 등으로 치환하는 것도 가능하다.
식(8)에 의해 정의되는 목적 함수는 여전히 벡터 h에 관한 2차 식이다. 따라서 최급강하법을 이용해
에 의한 갱신을 반복함으로써 대역적 최적해를 구한다. 또한, 초기 고해상도 화상 h0으로서는 저해상도 화상 l에 바이큐빅 보간 처리를 한 화상을 이용한다.
레지스트레이션 처리(모델 파라미터 Vj의 추정)
식(9)의 최급강하법을 실행하기 위해서는 관측 모델에 포함되는 파라미터 D0, B0, {Vj}을 결정하지 않으면 안 된다. 이 중 행렬 D0에 대해서는 고해상도화의 배율에 의존해 결정할 수 있다. 행렬 B0을 정확하게 결정하는 것은 대부분의 경우에 어려운 문제이지만, 사전에 카메라의 특성을 조사하는 것으로 추측하는 것이 가능하다.
행렬 {Vj}를 살펴보면 재구성 처리에 의해 질이 좋은 고해상도 화상 h를 구하기 위해서는 시점 이동 연산에 대응하는 행렬 {Vj}을 정확하게 알아 둘 필요가 있다. 행렬 {Vj}은 복수 시점 간의 대응 관계를 나타내고 있는 것에서, 예를 들면 스테레오 매칭에 의해 추정할 수 있다. 이것은 레지스트레이션 처리에 대응한다. 그러나 스테레오 매칭에 의해 행렬 {Vj}을 정확하게 구하기 위해서는 이상적인 고해상도 화상 h을 모르면 안 된다. 즉, 행렬 Vj와 고해상도 화상 h는 순환적인 관계에 있다고 할 수 있다.
그런 까닭으로 이 방법에서는 식(9)을 실행하기 전에 회째의 갱신 후의 고해상도 화상 hk와 j번째의 관측 줌 화상 zj의 사이에서 스테레오 매칭을 하는 것으로 행렬 Vj를 추정한다. 이들 2개의 화상의 해상도는 같은 것에 주의한다. 구체적인 수순은 다음과 같다.
① hk를 기준 화상, zj를 참조 화상으로서 스테레오 매칭을 한다. hk의 m(=1, 2, ..., N)번째의 화소에 대응하는 번째의 줌 화상 hk의 화소의 번호를 (n)∈{1,2,..., N}으로 나타낸다.
② zj을 기준 화상, hk를 참조 화상으로서 스테레오 매칭을 한다. zj의 n(=1, 2,..., N)번째의 화소에 대응하는 hk의 화소의 번호를 (n)∈{1,2,..., M}로 나타낸다.
③ 수순(1)과 (2)에서 구한 시차의 정합성을 쌍방향 매칭으로 불리는 견해에 의거해 검증한다. 지금 고해상도 화상 hk의 화소 m(1, 2, ..., M)에 대해 j번째의 줌 화상 상의 화소번호 qj(m)의 화소가 대응하고 있다고 추정된 것으로 한다. 이때 줌 화상의 화소 qj(m)에 대해 고해상도 화상상의 화소 번호 m의 화소가 대응하는지의 여부를 검증하는 것이 쌍방향 매칭의 견해이다. 따라서
가 성립하는지의 여부를 고해상도 화상 hk의 모든 화소에 대해 조사한다.
④ hk의 화소 m(1, 2, ..., M)의 정합성이 확인된 경우에는 행렬 Vj의 q(m)행 m열의 성분을 1로 하고, q(m)행의 나머지 성분은 0으로 한다.
상기의 처리에서는 정수 화소 정밀도의 스테레오 매칭을 상정하고 있지만, Parabola Fitting 등의 처리를 하는 것으로 소수 화소 정밀도의 매칭으로 확장하는 것도 가능하다.
행렬 {Vj}에 대해서도 추정 대상임을 강조하기 위해 이후의 기술에서는 목적 함수(8)를 미지 변수 h와 {Vj}의 함수라고 간주하고 f(h, {Vj})으로 기재한다. 상기와 같이 고해상도 화상 벡터 h와 행렬 {Vj}를 번갈아 추정함으로써 함수 f(h, {Vj})가 갱신 횟수 k에 관해 단조롭게 감소해 대역적 최적해에 수속(收束)한다는 보증은 없어진다. 그러나 행렬{Vj}의 갱신은 많은 경우에 식(4)로 나타나는 오차를 감소시키는 방향으로 작용한다고 본다. 그러면 함수 f(h, {Vj})의 값은 감소하기 때문에 결과적으로 (준)최적해에 점점 가까워진다고 예측한다.
평가 실험
여러 시점 데이터베이스를 이용한 검증
정확하게 카메라 교정이 이루어진 상태에서 제안 방법의 유효성을 검증한다. 그러기 위해 쓰쿠바 대학 여러 시점 화상 데이터베이스에 포함되는 SANT(봉제인형), CITY(거리의 디오라마), PLNT(식물)의 평가 화상 군(각 화상의 화소 수는 640X480)을 이용하기로 한다. 그림 2에 나타내는 것과 같은 여러 시점 카메라 시스템을 상정하기 위해 데이터베이스에 포함되는 81시점에서 5시점을 선택한다. 데이터베이스의 화상 군은 복수의 시점에서 일정한 화각으로 촬영된 것으로 줌 화상은 포함되어 있지 않다. 그래서 고해상도화의 배율을 r로 했을 때, 화상 군에 대해 이하의 처리를 함으로써 유사적으로 실험 환경을 생성했다.
- 중앙 시점의 화상을 종횡 1/r으로 축소했다.
- 원화상 사이즈의 종횡 1/r 크기의 영역을 주변 시점의 화상에서 적절한 위치에서 잘라내었다.
이것에 의해 데이터베이스에 포함되는 중앙 시점의 원래의 화상을 이상적인 고해상도 화상으로 간주하고 화질을 정량적으로 평가할 수 있게 된다.
여기에서는 저해상도 화상을 종횡 2배 및 4배로 확대하는 상황(r=2, 4)을 다룬다. 또한, 대상의 화상은 컬러 화상이지만 제안 방법은 휘도 신호에 대해서만 적용한다. 색차 신호에 대해서는 바이큐빅 보간 처리를 한 다음 맨 마지막에 양자를 통합한다.
상기에서 기술한 것처럼 저해상도 화상 은 데이터베이스 안의 화상에서 인공적으로 생성되지만 거기서 이용한 행렬 B0, D0은 재구성 처리 시에 이미 알고 있었던 것으로 했다. 또한, 파라미터 a1, a2에 대해서는 화상에 따라 적절한 값을 설정했다.
종횡을 각각 2배로 확대할 때에 이용한 화상(SANT)을 그림 3에 나타낸다. 이 화상 군에 제안 방법을 적용한 경우의 갱신 횟수 에 대한 목적 함수 f(h, {Vj})의 변화를 그림 4에 나타낸다. 앞의 예측대로 갱신과 함께 함수의 값이 감소하고 있다. 본 실험의 범위에서는 다른 화상이나 배율에 대해서도 비슷한 행동이 관찰됐다. 다만, 충분한 갱신 후라도 함수치가 수속(收束)되지 않고 아주 약간 진동하는 경우도 있다. 그 경우에는 일정 회수의 갱신으로 반복 처리를 종료시켰다.
그림 3의 화상 군(SANT)을 이용해 제안한 재구성형 초해상 방법에 의해 종횡을 각각 2배로 확대한 화상을 그림 5에 나타낸다. 저해상도 화상 l이 존재하기 때문에 전체적으로 큰 파탄은 발생하지 않았다. 그림 6(a)에 일부를 확대한 화상을 나타내고 비교로서 그림 6(b)에 바이큐빅 보간에 의한 결과, 그림 6(c)에 이상적인 고해상도 화상을 나타낸다. 바이큐빅 보간에 의한 결과와 비교해 제안 방법에서는 눈의 윤곽 등의 가장자리 부분에서 흐릿함이 적어 보다 선명한 고주파 성분의 복원이 이루어지고 있다. 또한, 평가 화상으로서 CITY, PLNT를 이용한 경우에 얻을 수 있는 결과의 일부(확대도)를 그림 6(d, e, f), 그림 6(g, h, I)에 각각 나타낸다.
배율이 작기 때문에 보간 결과에 대한 현저한 차이는 지면에서 알기 어렵지만, 화소 대응의 추정 오류 등에 의한 큰 파탄은 없고 창문 테두리나 가지 등의 가장자리 부분도 양호하게 재현되어 있다.
각각의 평가 화상에 대해 종횡을 각각 4배로 확대한 경우의 결과를 그림 7에 나타낸다. 2배로 확대한 경우와 비교해 화질의 열화는 발생하지만 보간에 의한 결과와 비교해 가장자리 부분이 보다 선명하게 재현되어 있어 양자의 차이는 현저해져 있음을 알 수 있다.
제안 방법 및 바이큐빅 보간에 의해 얻어진 화상에 대해 구한 PSNR(peak signal-to-noise ratio)를 제 1표에 나타낸다. 추정한 고해상도 화상 h* 및 진짜 고해상도 화상 h에 대해 PSNR은
으로 주어진다. PSNR은 객관적 화질 평가의 지표로서 빈번하게 이용되고 있으며 값이 클수록 화질이 좋음을 나타내고 있다. (그러나 복수의 화상에 대한 주관적 화질 평가와 PSNR의 대소 관계가 크게 다른 경우도 있다.)
여기에서는 2배 확대에 대해서는 화상 전체에서 PSNR을 구하고 있으며 4배 확대에 대해서는 줌 화상의 영향이 미치는 범위(줌 카메라의 시야각 내, 그림 2 참조)로 한정해 PSNR을 산출했다. 어느 쪽의 평가 화상, 확대율에서도 제안 방법은 바이큐빅 보간을 상회하는 수치를 나타내고 있다. 특히 확대율을 4배로 한 경우에서는 2배의 경우와 비교해 양 방법 간의 PSNR의 차가 확대되고 있어 고배율의 상황에 있어서의 제안 방법의 유효성이 시사되고 있다.
시판하는 2안식 스테레오 카메라를 이용한 검증
시판하는 2안식 스테레오 카메라로서 광학 줌이 가능한 FUJIFILM사의 FinePix REAL 3D W3에 의해 촬영된 화상에 대해 제안 방법을 적용했다. 여기에서는 그림 8에 나타내는 것처럼 한쪽 카메라에서는 화각이 넓은 저해상도 화상을 촬영하고 다른 한쪽의 카메라에서는 줌 화상을 촬영한다. 줌 배율은 카메라 설정 상에서는 2배로 하고(카메라 교정에 의해 실제의 줌 배율에는 다소의 차이가 있음을 알고 있음), 목적은 저해상도 화상을 종횡 2배로 확대하는 것이다.
여기에서도 행렬 D0을 이미 알고 있는 것으로 했다. 그러나 행렬 B0에 대해서는 그 정확한 값을 사전에 아는 것은 어렵다. 그런 까닭으로 사용한 카메라에서도 점상 분포 함수(Point spread function)의 convolution 연산을 가우시안 필터로 표현할 수 있는 것으로서 그 파라미터인 가우스 함수의 분산치를 수동으로 조절했다.
촬영한 2장의 화상(화소 수 960X540)을 그림 9에 나타낸다. 이들 화상에 제안 방법을 적용해 얻을 수 있는 화상(화소 수 1920X1080) 중, 줌 화상의 영향이 미치는 범위의 일부를 확대해 그림 10(a)에 나타낸다. 또한, 비교로서 바이큐빅 보간에 의해 확대한 화상을 그림 10(b)에 나타낸다. 배율이 낮기 때문에 차이는 현저하지 않지만, 제안 방법의 결과에서는 우산이나 대좌 모양 등이 보다 정밀하고 세세하게 재현되어 있음을 알 수 있다.
이번 연구에서는 여러 시점에서 촬영된 줌 양이 다른 여러 장의 화상을 이용해 재구성형 초해상을 하는 방법을 살펴봤다. 재구성 처리의 과정에 스테레오 매칭에 의한 시점 간의 화소 대응 추정(레지스트레이션 처리)을 넣음으로써 바이큐빅 보간에 비교해 고주파 성분이 정밀도 좋게 복원되어 있음을 확인했다. 최근에는 다안 카메라도 시판되고 있어 제안 방법에 의한 초해상 기술은 실용적인 것이 될 수 있을 것으로 생각하고 있다.
이번 연구의 평가 실험에서는 2배 및 4배로 확대하는 상황을 다루었지만, 앞으로는 보다 큰 배율의 경우도 포함해 유효한 카메라 배치나 카메라 수의 검증을 할 예정이다. 또한, 제안 방법의 혜택을 입는 범위는 주로 줌 화상의 시야각 내로 한정된다. 줌 화상을 학습용 고해상도 화상으로 한 사례를 토대로 한 초해상 방법9)이나 주어진 1장의 화상만을 이용해 초해상을 하는 방법10) 등을 원용함으로써 줌 화상의 시야각 이외에 대한 고해상도화도 검토할 예정이다.
참고문헌
1） S.C. Park, M.K. Park, and M.G. Kang，“Super-resolution image reconstruction: a technical overview”，IEEE Signal Processing Magazine, Vol.20, No.3, pp.21-36 （2003）
2) 다나까 마사유키, 오쿠토미 마사토시: “화소 수의 벽을 깨뜨리다: 복수 화상에서의 초해상 기술,” 영상 정보 미디어 학회지, Vol.62, No.3, pp.337-342(2008)
3） S. Baker and T. Kanade，“Limits on super-resolution and how to break them”，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, issue 9, pp.372-379（2002）
4） M.V. Joshi, S. Chaudhurim, and R. Panuganti，“Superresolution imaging: use of zoom as a cue”，Image and Vision Computing, Vol.22, No.14, pp.1185-1196（2004）
5） K.Ng. Michael, H. Shen, S. Chaudhuri, and A.C. Yau，“Zoom-based super-resolution reconstruction approach using prior total variation”，Optical Engineering, Vol.46, issue 12, pp.127003 （2007）
6） P. Gajjar and M. Joshi，“Zoom based super-resolution: A fast approach using particle swarm optimization”，Image and Signal Processing, Vol.6134/2010, pp.63-70 （2010）
7） C.K.K. Jayasooriya，“Zoom-based super-resolution image reconstruction from images with different orientations”，Master Thesis, Wichita State University （2006）
8） M. K. Ng, H. Shen, E. Y. Lam, and L. Zhang，“A total variation regularization based super-resolution reconstruction algorithm for digital video”，EURASIP Journal on Advances in Signal Processing, Vol.2007, Article ID 74585, pp.1-16（2007）
9） W. T. Freeman, T. R. Jones, and E. C. Pasztor，“Examplebased super-resolution”，IEEE Computer Graphics, Vol.22, No.2, pp.56-65 （2002）
10） M. Glasner, S. Bagon, and M. Irani，“Super-resolution from a single image”，IEEE International Conference on Computer Vision （2009）
| 
