논문요약)Improved Regularization of Convolutional Neural Networks with Cutout

 표현 공간을 학습하는 CNN은 늘 과적합(overfitting)의 위험이 있다. 따라서 모델의 일반화를 위해서는 적절한 규제(regularization)가 필요하다. 이 논문에서는 모델의 훈련과정 동안 입력 이미지에서 무작위로 정사각 영역을 가리는 단순한 규제방법인 cutout을 소개한다.

 과적합 방지를 위해 사용되는 방법으로 데이터 확장(augmentation)과 적당한 노이즈를 활성화함수, 매개변수, 데이터에 삽입 등을 꼽을 수 있다. 컴퓨터 비전 분야에서 데이터 확장은 거의 모든 경우에 사용되는데, 실행시키기 쉽고 효과적이기 때문이다. 대규모 모델은 트레이닝 동안 입력, 가중치, 그래디언트에 임의로 노이즈를 추가하여 규제될 수 있다. 특히, 확률적으로 일부 신경망 뉴런의 활성화를 가로막는 드롭아웃(dropout)이 흔히 사용된다.

 이 논문에서 제안하는 cutout 방식은 드롭아웃과 유사하지만, 두 가지 중요한 차이점을 갖는다.

1. cutout은 오직 CNN의 입력층 유닛만 생략한다. 반면 원래의 dropout방식은 중간 특성층에서도 유닛을 확률적으로 생략한다.
2. cutout에서 생략되는 영역은 개별 픽셀 단위가 아니라, 연속된 영역이다. 연속된 영역의 생략은 이어지는 특성맵으로 전파되고, 컨텍스트에 의해 생략정보가 복구되지 못하게 한다.

cutout 방식은 일부의 특정 표현특성에만 의지하지 않고, 이미지 전체의 컨텍스트를 네트워크가 사용하게 한다. 한편, cutout 방식은 입력층에서 드롭아웃에 공간적인 사전확률을 적용하는 것으로 해설될 수 있다.

 cutout 방식을 제안하는 가장 큰 이유는 컴퓨터 비전 작업에서 자주 맞닥뜨리게 되는 object occlusion 문제 해결을 위해서다. ( 두 개 이상의 객체가 맞물려서 한 객체의 일부가 가려지는 문제) occlusion을 시뮬레이션하는 새로운 이미지를 생성함으로써, 실제 이미지에서 나타나는 상황을 모델이 더 잘 준비할 수 있다. 그 뿐 아니라 모델이 판단을 내릴 때, 더 많은 이미지 컨텍스트를 고려하도록 학습시킬 수 있다. 

 처음 cutout은 입력이미지에서 가장 중요한 특성을 제거하는 방식으로 개발되었다. 이 방식은 max-drop 방식과 유사한 접근으로, 네트워크가 덜 두드러지는 특성을 고려하도록 최대로 활성된 특성을 제거한다.

 이 구현을 위해서 매 에포크마다 입력 이미지에서 최대로 활성화된 특성맵을 추출하여 저장한다. 다음 에포크에서 저장된 특성맵을 입력 해상도로 업샘플링하고, 특성맵의 평균값을 임계값으로 삼아 이진 마스크(binary mask)를 얻는다. 최종적으로 이진 마스크를 CNN에 입력하기 전의 원본 이미지에 덧씌운다.

 그런데 이렇게 지정된 cutout 방식이 잘 동작하기는 했지만, 정해진 크기의 영역을 무작위로 제거하는 방식도 비슷하게 좋은 성능을 보였다. 따라서 논문의 실험에서는 고정된 크기 영역을 제거하는 방법을 활용한다.

 cutout 영역의 크기는 영역의 모양보다 더 중요한 하이퍼 파라미터다. cutout 영역의 모양은 단순함을 위해 정사각형 모양의 패치로 수행되었다. 입력 이미지에서 임의로 선택된 한 픽셀을 중심점으로 놓고, 이 점 주위로 cutmask를 위치시켰다. 이렇게 되면 마스크 영역이 항상 입력 이미지 안에 위치하는 것은 아니다. 

 흥미롭게도 모든 패치 영역을 이미지 안에만 있도록 제한하지 않아야만 좋은 성능이 나왔다. 이는 훈련될 때, 더 큰 영역이 보이는 이미지를 갖는 것이 중요하기 때문으로 생각된다. 

 비슷한 성능을 보였던 또다른 접근방식은 이미지 안쪽 영역으로 제한된 마스크를 무작위로 적용하는 것이다. 50% 확률로 네트워크는 수정되지 않은 이미지를 입력으로 받게된다.

 cutout 연산은 데이터를 로드할 때, 다른 이미지 확장기술과 함께 손쉽게 CPU에서 이뤄질 수 있다. GPU에서의 훈련작업과 병렬적으로 수행된다면 추가적인 연산비용 없이 성능향상을 얻을 수 있다.