[머신비전]영상 품질을 결정하는 '카메라 노이즈' 파헤치기

  [카메라 기술 백서 #3]비전 검사의 영상 품질을 결정하는 '카메라 노이즈' 파헤치기

 

  비전 검사는 영상을 촬영하고 이를 분석하는 과정을 거친다. 영상을 촬영한다는 말은 Analog 형태의 Object를 촬영하여 Digital의 gray level 값들로 표현한다고도 할 수 있다. 이런 과정에서 영상의 품질을 결정하는 대표적인 2가지 요소를 꼽을 수 있다. 첫째는 렌즈의 해상력이며 두 번째는 카메라의 노이즈 이다.

 

  렌즈의 해상력에 관해서는 다른 필진에게 맡겨두고 여기서는 카메라 측면만 살펴보겠다.

  

  노이즈는 2가지 측면으로 설명할 수 있다. 첫 번째는 50DN의 출력을 기대하는 광량이 센서로 입사되었는데 50DN이 아닌 다른 출력 값이 지속적으로 나오는 경우이며 두 번째는 동일한 광량이 반복적으로 입사하였지만 촬영할 때 마다 다른 출력을 가지는 경우이다. 쉽게 말해 아래 그림과 같이 입력되는 빛에 관계없이 불필요한 데이터가 추가된 상황이다.

 

 

  첫번째로 언급된 노이즈는 입력 값에 대비하여 지속적으로 다른 출력 값을 가지므로 고정된 형태의 노이즈 (Fixed pattern noise)라고 하며, 두 번째 언급된 노이즈는 시간에 따라 랜덤하게 발생하므로 Temporal noise라고 불리어 진다.

또 다른 측면으로 노이즈를 분류하면 빛이 있을 때(빛에 의해서) 나타나는 노이즈와 빛이 없을 때(빛과 관계 없이)나타나는 노이즈로 분류할 수 있다. 이를 표로 정리하면 아래와 같다.

 

Noise	Dark	White
Fixed Pattern Noise	Dark FPN	Photon Response Non-uniformity
Temporal Noise	Dark Random Noise	Photon Shot Noise

 

 

실제 이미지 센서에서 발생하는 노이즈는 위의 표 외에도 다양한 원인과 형태로 발생하나 주요한 노이즈 측면만 설명하면 4가지로 요약할 수 있다.

 

아래의 그래프는 노이즈 발생 형태를 가정하고 모델링한 Data이다. X축은 입력되는 빛의 양, Y축은 출력되는 영상 Data의 밝기이다. 그리고 총 3개의 픽셀(Pixel1,2,3)에 일정량의 빛이 입사하였을 때 출력 값을 그래프에 나타내었다. 한눈에 보기에도 3개의 pixel은 입사되는 빛에 대비하여 출력되는 data가 제각각 임을 알 수 있다. 이런 노이즈에 대해 좀더 자세히 설명해 보겠다.

 

Dark Fixed Pattern Noise: 빛이 없는 상황에서 카메라는 0DN의 출력을 갖는 것이 정상적인 상황이다. 그러나 Pixel에 포함된 offset 값들에 의해 빛이 없는 상황에서도 0DN 이상의 출력을 가지거나 그 이하의 출력을 가지기도 한다. 물론 실제 0DN 이하 값은 0DN으로 출력된다. 그래프에서 입력되는 광량이 없는 상황에서도 Pixel1,2,3의 밝기가 차이를 보이는 것처럼 각 pixel은 고유의 offset 값을 가지게 된다. 이런 고유의 offset 값은 빛과 관계없이, 시간과 관계없이 일정하므로 이후에 Processing(Calibration)을 통해 제거 가능하다. 이런 Dark FPN은 sensor의 온도, 회로부의 offset current에 의해 발생한다.

 

Dark Random Noise: Dark 영역에서 Pixel3(녹색 그래프)은 완전히 일정한 값을 가지지 못하고 어느 정도의 Random성을 가지게 된다. 빛이 없는 환경에서도 image sensor에는 온도에 의해 일정량의 electron이 생성되며 이렇게 생성된 electron은 지속적으로 read out이 일어난다. 온도에 의해 electron이 생성되더라도 모든 pixel에 일정하게 발생하지 않으며 random 분포를 가지고 발생한다. 이는 Photo shot noise와 비슷한 형태가 되며 절대량은 미미한 수준이다. 그러나 dark random noise를 발생시키는 다른 요소는 그 영향력이 상당하다. 카메라가 영상을 촬영할 때 read out register의 reset과 read out이 반복되면서 지속적으로 read out이 일어난다. 이때 register reset이 완전히 일어나지 않아 남아있는 electron에 의해 시간적으로 일정하지 않은 노이즈가 발생하게 된다. 이런 노이즈는 이후 포스팅에서 설명하게 될 CDS (collimated double sampling)으로 어느 정도 억제가 가능하다.

 

Photon Response Non-uniformity: 그래프에서 Pixel1(Blue)과 Pixel3(Green)은 입력되는 빛의 양이 일정하게 증가하더라도 서로 다른 기울기의 출력 값을 가진다. 다른 관점으로 설명하면 Pixel1(Blue)은 Pixel3(Green)에 대비하여 빛에 대한 반응도가 낮은, 즉 감도가 떨어짐을 의미한다. PRNU(Photo Response Non-Uniformity) 노이즈는 이렇게 빛에 대해 pixel이 서로 다른 감도를 가짐을 나타낸다. PRNU 노이즈는 단순히 pixel 간의 gain이 다르다는 것을 의미하므로 pixel간 gain 조정(calibration)으로 제거 가능하다.

 

Photon Shot Noise: Photon shot noise는 빛(photon)이 이미지 센서의 각 픽셀에 일정하게 입사되지 않아서 발생하는 노이즈 이다. 비가 오는 날 동일한 크기의 비커 2개를 이용해 강수량을 측정한다고 가정해 보자. 일정시간 이후에 2개의 비커에는 정말 똑같은 양의 물이 담겨 있을까? 내리는 빗방울 하나 하나가 서로 관계성 없이 다 횟수 발생하는 확률이므로 포아송 분포에 따라 물의 양은 편차를 가질 것이다. 이미지 센서와 빛도 마찬가지로 일정하게 pixel에 광자가 들어오지 못해 발생하는 편차인 shot noise가 발생한다. Shot noise를 완전히 제거할 수 있는 방법은 없으며 shot noise의 분포를 줄여 영향력을 줄이는 방법을 사용한다. 빛이 많은 환경일수록(밝은 이미지 일수록) shot noise는 두드러지게 되며 실제 영상 촬영 시 주요한 노이즈 발생원인이 된다.

 

 

간단하게나마 노이즈 발생의 원인과 형태에 대해 살펴보았으나 자세한 설명을 생략하여 완전히 이해하는데 어려움이 있을 것이라 예상된다. 위의 노이즈 들이 어떤 원인에 의해서 발생하며 어떤 형태로 나타나며 대략 어떤 방법으로 제거하거나 경감시킬 수 있는지 정도로만 알아두자. 아마도 노이즈 제거에 관해서는 다음에 다시 포스팅 할 기회가 있을 것이다.

copyright 2014 (주)앤비젼 Inc. all rights reserved

이 게시글을 무단으로 복사해 게재할 경우 민, 형사상의 불이익이 있을 수 있습니다.

 

필진 소개

 

목한상, Kyle Mok (앤비젼 Product Engineer/카메라 담당) 사진가가 되고 싶었던... 그래서 카메라와 함께 일하는... 카메라 담당 Product Engineer