[컴퓨터비전#2/09-14] 히스토그램, 히스토그램 평활화, 점연산(선형,비선형,디졸브),영역연산(상관,컨볼루션)

본 포스팅은 2022-09-14(수), 국민대학교 김장호교수님의 컴퓨터 비전 수업을 통해 배운내용을 정리하기 위해 작성하는 게시글입니다.

---

 

[컴퓨터비전#1/09-07] 샘플링과 양자학, PTE, 정밀도(Precision), 재현율(Recall), 정확도(Accuracy)

 

# 영상처리

컴퓨터 비전을 사용하는 목적은 다양하다. 그리고 같은 사진을 다른 목적으로 바라보게 되면, 사진에서 필요한 요소도 달라진다. 그렇기 때문에 영상에대한 전처리과정이 필요하다. 영상처리는 이러한 전처리 과정을 담는 것이다.

 

# 히스토그램의 사용

영상자료(사진)는 각각의 픽셀을 가진다. 그 픽셀에는 R,G,B의 3채널 또는 명암과 같은 요소들이 들어간다. 0~255(256개)의 수치로 이러한 값들을 표현하게 되는데 이것을 히스토그램으로 옮길 수 있다. 이러한 히스토그램을 보면서 영상의 특성을 파악할 수 있다.

0일수록 어둡고 255로 갈수록 밝아진다. 이말은 즉슨 0의 분포가 많은 히스토그램이라면 대체적으로 어둡다는 것이고, 모든 값들에 골고루 퍼져있다면 밝기가 균등한 영상일 것이다. (a),(b),(c)의 세가지 사진을 보면 차례대로 어두운영상, 비교적 균등한 영상, 봉우리사이의 계곡이 선명한 영상임을 알 수 있다. (c)영상의 경우 50부근을 중심으로 이진화 처리를 한다면 이진 영상으로 변환하기 쉽다는 특성을 히스토그램을 통해 알 수 있을 것이다.

히스토그램의 가로축을 빈(bin)이라고 표현한다. 위 자료의 빈(bin)의 범위는 0~255의 모든 범위를 담고 있다. 그렇기 때문에 더 조밀한 표현이 가능하다는 것을 알 수있으며, 굳이 빈을 모든 범위로 표현하지 않고 영상에 특성에 따라서 내가 원하는 범위로 바꾸어도 된다. 일반적으로 빈 개수가 줄어들면 히스토그램이 표현하는 영상의 픽셀 값 분포 모양이 좀더 대략적인 형태로 나타난다.

## 정규 히스토그램

히스토그램을 정규화 하여 확률분포적 측면에서 바라 볼 수 있도록 한다. 픽셀(M*N)의 값으로 각 빈도를 나누어 준다. 이런 경우 각 bar의 총 합은 1이 된다. 

 

# 히스토그램 평활화(equalization)

히스토그램 그래프에서 특정 값 근방에서 픽셀 분포가 너무 많이 뭉쳐 있는 경우 이를 넓게 펼쳐 주는 방식으로 픽셀 값 분포를 조절 해준다. 즉 조작을 통해 영상 품질 개선을 할 수 있다. 이런 평활화 과정을 거치면 명암의 표현 범위가 늘어나게 되며 영상이 이전 보다 선명해진다.

평활화된 영상

새로운 T(.)함수를 얻기 위해 오른 쪽 수식을 사용한다. 그렇게 얻은 새로운 명암 output값을 토대로 새로운 평활화된 영상의 히스토그램을 얻을 수 있다. C(.)누적 히스토그램이다. 여기 L-1 ( L=8)을 곱해준 값의 반올림을 통해서 새로운 out값을 얻는다.

평활화 하기 이전

평활화하기 이전의 영상의 명암범위가 2~6이었던 반면 평활화를 끝낸 영상의 명암 범위는 1~7로 넓어짐을 알 수 있다.

얼룩말의 사진과 뒷 배경이 밝아짐을 알 수 있다. 히스토그램의 평활화를 통해 명암범위가 넓게 변화 된 것 또한 관찰 할 수 있다.

 

나빠진 예

그러나 때에따라서 시작적 느낌이 나빠지는 경우도 있기에, 적절히 활용을 해야 한다.

 

# 이진화 (Binaryization, binary image)

명암 영상을 흑과 백만을 가지는 이진 영상으로 변환하는 과정이다. 이때 임계값T(threshold)를 가지고 이 값은 사용자의 경험이나, 영상으 특성에 따라 자동으로 결정 된다.

히스토그램상에서 두 봉우리로 극명하게 나뉘는 경우는 계곡지점을 임계값 T를 결정하는게 비교적 쉽지만, 자연 영상에서는 이러한 계곡지점을 찾는 것이 쉽지 않다. 이때는 오츄알고리즘을 사용해서 임계값T를 정하지만 이번 수업에서는 오츄 알고리즘에 대한 내용은 담지 않았다.

 

# 영상 처리의 세 가지 기본 연산

## 점연산

오직 자신의 명암값에 따라 새로운 값을 결정

## 영역 연산

이웃 화소의 명암값에 따라 새로운 값 결정. 즉, 주변 값들도 같이 본다.

## 기하 연산

일정한 기하 연산으로 결정된 화소의 명암값에 따라 새로운 값 결정

 

# 점연산

각각의 픽셀에 독립적으로 (j,i)값에 대한 변환을 거치게 한다. 대부분 한장의 영상에서만 사용된다. k가 1일때이다. 

대부분 k=1, 즉, 한장의 영상

## 선형연산

(b),(c),(d)

a의 값을 더하거나 빼 영상을 밝게 또는 어둡게 만든다. 

이것은 선형 연산에 속한다.

위 두가지의 조건을 충족하면 선형함수 이다. 절편이 있으면 원점을 지나지 않지만, 동차좌표계에 넣으면 절편 b가 없어지기 때문에 선형 연산이라고 한다고 한다.

## 비선형연산

제곱승(감마)를 가진다. 그렇기 때문에 비선형 모양이고 감마에 따른 함수 모양이 비선형적이다. 감마값이 커짐에 따라 제곱되는 수는 0~1사이이기 때문에 f.out은 어두워진다.

 

## 디졸브

두개의 영상이 합쳐지는 것이다. 합쳐져 점점 화면전환이 되는 경우라고 생각하면 된다.

 

# 영역 연산

이웃 화소의 명암값에 따라 새로운 값이 결정 된다. 상관과 컨볼루션으로 나뉘며, 상관은 윈도우를 그대로 사용, 컨볼루션은 뒤집어 사용한다. 그러나 딥러닝은 윈도우자체를 학습시키기에 상관or컨볼루션에 대한 신경을 쓰지 않는다고 했다. 어차피 윈도우 자체를 알 필요가 없기 때문이다.

1차원과 2차원의 수식

영역 연산을 거치면 윈도우 때문에, output의 값의 범위가 줄어들게 된다. 

이렇게 원본 사이즈가 줄어든 것을 해결하기 위해 padding을 사용하기도 한다.

이렇게 영역 연산을 통해 필터처리를 할 수 있다.

• 박스와 가우시안은 스무딩 효과
• 샤프닝은 명암 대비 강조 효과
• 수평 에지와 수직 에지는 에지 검출효과가 있다.

컨볼루션은 선형이다. 그림 2-22와 같이 상수를 변수에 곱하고 단순히 합하기 때문이다.

 

# 기하 연산

다음시간에

 

# 마치며

행렬 중요하다..