개발자식

Dropout - 신경망에 적용할 수 있는 효율적인 오버피팅 회피 방법 중 하나 - Training을 진행할 때 매 Batch마다 Layer 단위로 일정 비율 만큼의 Neuron을 꺼뜨리는 방식을 적용 - Test / Inference 단계에서는 Dropout을 걷어내어 전체 Neuron이 살아있는 채로 Inference를 진행해야 한다. - 전반적으로 오버피팅을 줄여주므로 Test data에 대한 에러를 더욱 낮출 수 있게 해 준다. - 2012년도 ImageNet Challenge에서 우승한 Alexnet은 마지막 2개의 Fully-connected layer에 Dropout을 적용함(p==0.5) -> 보통 layer마다 다 dropout을 넣지는 않는다. 효과 : - 동일한 데이터에 대해 매번 다..

Regularization : 학습에서 발생하는 에러 말고, 평가를 위한 테스트상에서 발생하는 에러(generalization error)를 줄이기 위하여 학습 알고리즘을 수정하는 기법 기존의 Gradient Descent 계산 시 y축에 위치해 있던 Cost Function은 Training data에 대해 모델이 발생시키는 Error 값의 지표이다. 이는 Training data만 고려되어 Gradient Descent를 적용하면 Overfitting에 빠질 수 있다. 모델이 복잡해질수록 (Overfitting에 빠질수록) 어떤 현상이 일어나는지 보면 모델이 복잡해질수록 모델 속에 숨어있는 세타들은 개수가 많아지고 절대값이 커지는 경향이 있다. -> 모델이 복잡해질수록 그 값이 커지는 세타에 대한 함..

데이터를 가장 잘 설명하는 모델을 어떻게 찾을 것인가? - Capacity의 극대화 -> Overfitting 발생 -> Generalization error 증가 -> 새로운 데이터에 잘 대응하지 못함 Generalization (일반화) : 머신러닝의 목표는 학습 데이터에 대해 잘 작동하는 것이 아닌 새로운, 보지 못했던 데이터에 대해 잘 작동하는 것이다. Generalizaion은 이러한 관측하지 못한 데이터(unobserved inputs)에 대해 잘 작동하는 능력이다. Error : 학습 데이터에서 측정한 error를 training error라고 하고 관측하지 못한 새로운 input에 대한 error의 기댓값을 generalization error = test error라고 한다. -> 머신러..