달려라춘봉이

여기서는 영상기본기(11)에서 다루었던 내용을 이어서 Color space conversion부터 설명할까한다...

5. Color Space Conversion

□ Convert RGB to YCbCr color space.
□ 각각 명암과 색 정보를 갖는 YCbCr 로 변환시킴으로 영상처리를 보다 쉽고 잘 할 수 있다. 
□ Format : YCbCr 4:4:4 YCbCr 4:2:2, YCbCr 4:2:0 등

이렇게 변환된 영상데이터는 휘도를 조정하고자 할 때는 Y 데이터를 Color를 조정하고자 할 때는

CbCr 데이터를 제어하면 가능하게 된다. 이에 반하여 RGB영상데이터는 휘도+컬러 성분을 모두 갖고

있기 때문에 휘도만을, 혹은 컬러만을 제어하기가 어렵다.

 

 

 

 

□사물에서 반사되는 영상은 Color temperature에 따라 spectrum이 shift된다.
□사람의 눈은 Color temperature에 대해 AWB를 진행하여 흰색을 흰색으로 인식하지만 사진 혹은

   영상에서는 흰색으로 보이지 않게 되는데 이러한 이유로 White Balance를 진행하게 된다.

□기본적으로 Cb,Cr 값을 체크하여 shift 된 값 만큼 control하여 원래의 값으로 환원될 수 있도록

   한다.

 

 

8. Edge Enhancements

□ 영상에서 눈에 민감한 부분은 배경보다는 윤곽선임.
□ 위 윤곽선 부분은 high frequency 성분으로 이 성분을 더욱 sharp하게 처리.

영상보정처리 기술의 미래.

 

영상보정처리는 이제 인간의 눈을 즐겁게하는 기술을 넘어서 인식하는데 용이한 기법으로

발전하고 있기 때문에 비젼카메라의 발전과 더불어 매우 중요한 기술로 인식되고 있다..

출처 [영상기본기(12)] 영상 보정 처리(Color space부터 Edge까지) |작성자 원두커피

소개하도록 한다. (글이 길어질 것이므로 여기서는,

Bayer-> Interpolation -> Color correction -> Gamma correction까지만 우선

게재하고 이어서 나머지를 게재하려고 한다.)

1. 전체 영상보정 FLOWCHART

이야기했듯이 영상보정 FLOWCHART및 방식은 너무나 많은 종류가 있기 때문에 어느 것이

정통하다고 볼 수는 없으나 현재 상용화되어 있는 영상보정 처리 기술의 한종류를 소개하고

하기의 FLOW에 맞추어 설명하도록 한다.

2. SENSOR -> BAYER -> INTERPOLATION

2-1. SENSOR -> BAYER

 Bayer Image (Mosaic)
□ 8bit 의 raw data.
□ Data 추출 순서에 따라 RGRG… 또는 BGBG 등의 format.
□ 칼라 sensor도 Bayer Data 자체는 흑백으로 보임.

2-2. BAYER -> INTERPOLATION

Interpolation
□ 8bit Bayer raw data에서 24bit RGB data 를 계산하여 추출하는 방식.
□ 영상이 가지고 있는 R,G,B 정보는 Color Filter에 의해서 각각의 값들만 CIS가 받아 들인다.
□ 8bit Bayer data만으로는 color정보를 표현할 수 없어서 이웃에 있는 data로 24bit data 재생.
□ 방법에 따라서 2x2, 3x3, 5x5 등이 있음.

2-3. ADVANCED Technology
일반적으로 단일 층에 1개의 픽셀만을 제조할 수 있는 반면 Foveon사에서는 3개 픽셀이 단일층에

적층된 센서를 개발했다. 따라서 이 센서는 Interpolation이 필요 없게 되어 고도의 선명도를

가질 수 있으나 제조 비용, 수율 등을 고려했을 때 널리 사용될 수 있는 기술인지는 좀더 두고 봐야

할 일이다.

Interpolation을 사용하여 Color를 재현하는 일반센서들의 가장 큰 문제는 역시 Foveon에서

지적했듯이 모아레현상이라고 할 수 있다. 이는 Color성분뿐 아니라 휘도성분까지 이웃하는

Pixel 정보로부터 계산하여 보정을 하는한 어쩔 수 없는 기술적 한계가 아닐까....

*DSLR렌즈로 유명한 시그마라는 일본 회사에서 최근 Foveon센서를 장착한 디지털 카메라를

출시하기도 했다. 사진 전문가들에게서 어느정도의 호평을 얻을 수 있을런지 사뭇 기대가 된다.

 

3. Matrix(3x3)를 이용한 Color Correction
□CIS의 data는 Color Filter 의 distortion등으로 인해 정확한 파장대의 성분으로 추출 되지 못한다.
□이러한 distortion성분을 포함한 값을 추출해 이것의 역 계수 값으로 origin의 data 가지도록

   보정 필요.

 

 

다음은 Gamma Correction이후의 과정에 대하여 소개하도록 하겠다. ^^ (즐감하시길)

 

여기있는 글들은 대부분 영상 엔지니어적 관점에서 적은 것들입니다. 그래서 일반분들이 보기에는

다소 어려울 것도 같습니다....(다른 블로그들을 보니 훨씬 쉽게 게재하던데....저는 그게 잘

안되는군요..)___부족한 내용 등에 대해서 어느분이라도 귀뜸해 주시면 참고하겠습니다.

출처 [영상기본기(11)] 영상 보정 처리(bayer부터 Gamma까지)|작성자 원두커피

이미지센서는 크게 빛에 의해 발생된 전자를 그대로 출력시키는 CCD센서와,
빛에 의해 발생된 전자를 전압으로 바꾸어 출력시키는 CMOS센서로 나눌 수 있다.
기본적인 구조는 아래 그림상에서 설명이 가능하다.

일반적으로 CMOS Image Sensor(CFA를 같고 있는 Color Sensor)는 아래와 같은 형태의 Spectral

Response를 보인다. (@5100K 광원)

즉, 가시광선영역 (350nm~650nm정도)대의 빛에 잘 반응하며, 그 이상 또는 그 이하에서도

반응한다. 이러한 이유때문에 CMOS Image Sensor로 카메라를 제조할 때는 IR-Cut off filter를

사용하여 적외선 파장대의 빛이 감광되지 않도록 조치한다.

반대로 이야기하면 IR-Cut off filter를 장착하지 않으면 IR(Infre Red)에도 잘 반응한다는 뜻이다.

(물론 일반인들이 사용하는 카메라의 경우 그렇다는 것이며, 특수 용도로 IR-Cut off filter를

장착하지 않는 경우도 많으며, HVR-2000시리지는 기본적으로 IR-Cut Off filter를 장착하지

않은채 출하한다.)

[2] Collimator LENS의 장점과 단점

내가 아는한 영상처리 분야에서 많이 애용(?)되는 원조 여자 모델은 딱 둘이다. (아류 모델들 제외)

한 사람은 Lena. 다른 한사람은 [꽃을 든 여자]라고 불리우는 DNP ITE color matching Chart이다.

물론 용도는 확연하게 다른데 Lena는 Scanning된 Image File이기 때문에 각종 영상처리 알고리즘

(압축 / ISP)등의 효과를 보려는 용도로 많이 사용되고 [꽃을 든 여자] 는 투과 Chart형태이며

디지털 카메라, 컬러TV 등의 영상 기기류를 평가할 때 사용된다.

1. Lena

다음이 그 유명한 Lens의 Image이다.

전체적으로 Reddish한 것이기 당시의 스캐닝 기술의 다소 허접함을 보는듯하다....그래도 35년전

Personal Computer가 있지도 않았고 대다수의 사람들이 컴퓨터를 꿈같은 존재로 여겼을 당시에

영상처리의 표준을 정하느라 스캐너를 동원하여 이미지 화일을 만들었다니.........미국이 기술적으로

수십년 앞서있는 대단한 나라인 것만은 틀림없어 보인다..

레나의 Story에 대하여는 비교적 잘 알려져있다.

http://www.cs.cmu.edu/~chuck/lennapg/

1972년 11월 플레이보이지의, 레나 이미지는 Southern California 대학에서 최초로 스캔되어

지금까지 사용되고 있다고 한다....35년이 된 셈이다. 그리고 왜 그 많은 이미지들 가운데

플레이보이지의 '레나'가 스캔되어 영상처리분야의 표준 이미지가 되었는가에 대해서는 "A Note on

Lena, IEEE TRANSACTIONS ON IMAGE PROCESSING. VOL. 5. NO. 1. JANUARY 1996" 에서

설명되고 있다.

First, the image contains a nice mixture of detail, flat regions, shading, and texture that do a good job of testing various image processing algorithms. It is a good test image! Second, the Lena image is a picture of an attractive woman.

한마디로 영상처리 하기에 좋은 조건을 가진 이미지인데다 매혹적인 여자 사진이기 때문에

선택되었단다....

Lena의 원래 이미지는 누드이다.** (외설 논란으로 원본 그림은 삭제)

이것은 MTF 와 Resolution TEST에 관한 나의 견해를 정리한 것이다.