CNN 정리(1)

1. Limitation of DNN

1-1. 영상 데이터 (2D 데이터)에 DNN을 적용해 분류 문제를 풀 경우

-> 2D 데이터를 1D로 평탄화하여 DNN 적용 가능

-> 위치에 상관없이 동일한 수준의 중요도를 가짐

-> DNN = Multi-layer Perceptron = Feedforward NN = Fully Connected Layer (FC)

▶ 전체 글자에서 조금의 픽셀 이동만 생겨도 새로운 학습 데이터로 처리해야함 (translation invariance 특성이 보장되지 않음)

 

▶ 글자 크기(scale)가 달라지거나, 글자가 회전(rotation)하거나, 글자에 변형(distortion)이 생겨도 좋은 결과를 기대하기 어려움 ( scale / rotation / distortion invariance 특성이 보장되지 않음)

 

1-2. DNN의 한계 요약

▶ 학습시간(training time) : 크기, 회전, 이동 등 변형된 모든 데이터를 학습해야하는 이유로 오래걸림

▶ DNN 모델의 크기 (network size) : 입력 영상이 커지면 연결선이 기하 급수적으로 증가

▶ 변수의 개수 (number of parameters) : Layer가 깊어지면 모델 크기가 커진다 -> 파라미터 수 증가

 

2. Convolutional Neural Network

2-1. CNN이란 무엇인가?

- 합성곱 신경망(CNN)은 시각적 이미지를 분석하는 데 사용되는 깊은 인공신경망의 한 종류

- CNN은 변환 불변성 특성에 기초하며, 이미지 및 비디오 인식, 추천 시스템, 이미지 분류, 의료 이미지 분석에 응용

- CNN은 다른 이미지 분류 알고리즘에 비해 상대적으로 전처리를 거의 사용하지 않는다. 이는 네트워크가 기존 알고리즘에서 수작업으로 제작된 여러 필터 역할을 스스로 학습한다는 것을 의미

 

2-2. 영상처리 혹은 컴퓨터비전에서의 컨볼루션이란?

- Convolution은 주로 filter연산에서 사용되며, 영상으로부터 특정 feature를 추출하고 싶을 때 사용

(오른쪽 이미지에서)

Green:영상이미지 Yellow:컨볼루션이 일어나는 영역 Red:컨볼루션 커널

 

2-3. Convolution + Neural Network

- CNN -> Convolution특성을 살린 신경망 연상

- 2번 이상의 CNN, 입력 영상 뿐만 아니라 중간 Feature map에도 Convolution 적용

 

2-4. Receptive Field(수용영역)란 무엇인가?

- Receptive Field는 출력 레이어의 뉴런 하나에 영향을 미치는 입력 뉴런들의 공간 크기- 외부 자극이 전체 영향을 끼치는게 아니라 특정 영역에만 영향- 영상에서 특정 위치에 있는 픽셀들은 그 주변에 있는 일부 픽셀들과만 correlation이 높을 뿐이며, 거리가 멀어질수록 그 영향은 감소

 2-5. Advantage of CNN

- Conv layer는 형상을 유지

- 즉, 입/출력 모두 3차원 데이터로 처리하기 때문에 공간적 정보를 유지할 수 있다.

2-6. DNN vs CNN