[DL] skip connection(스킵 커넥션)

skip connection이란 하나의 레이어의 output을 몇몇 layer를 건너 뛰고 input에 추가하는 것을 의미한다.

이런 구조가 제안된 이유는 신경망의 층이 깊어질 수록 나타나는 문제 때문이다. 신경망 모델의 층이 깊어지면 학습효과가 상승하지만 동시에 Vanishing Gradient 문제와 Exploding Gradient 문제가 발생한다. 갈 수록 이전 층의 정보를 잃기 때문에 일어나는데 이를 방지하기 위해 이전 층의 정보를 이후 레이어에 연결해준다.skip connection이 있는 블럭을 Residual block이라고 한다.

skip connection을 이용한 대표적인 모델에는 Resnet이 있다.

Autogluon(아마존에서 만든 autoML 라이브러리)에서 다층 스태킹 앙상블 모델을 만들때 이용하는 방법이기도 하다. 각 모델의 출력과 원래의 입력을 스킵 커넥션으로 결합하고 그것을 또한 각각의 모델에 입력하여 스태킹한다.