개발자식

배치 (Batch) : 한번에 여러개의 데이터를 묶어서 입력하는 것인데, GPU의 병렬 연산 기능을 최대한 효율적으로 사용하기 위해 쓰는 방법이다. - 데이터를 1개씩 입력받아 총 10만번의 연산을 진행하는 것보다 한번에 큰 묶음으로 데이터로 입력받아(Batch) n번의 연산을 진행하는 것이 더 빠르다. -> 느린 I/O를 통해 데이터를 읽는 횟수를 줄이고 CPU나 GPU로 순수계산을 하는 비율을 높여 속도를 빠르게 할 수 있다. - 수치 계산 라이브러리 대부분이 큰 배열을 효율적으로 처리할 수 있도록 고도로 최적화되어 있기 때문에 Batch로 데이터를 입력받아 학습시키는 것이 속도 측면에서도 효율적이다. Full-Batch Gradient Descent : 모든 Training data에 대해 Cost..

Regularization : 학습에서 발생하는 에러 말고, 평가를 위한 테스트상에서 발생하는 에러(generalization error)를 줄이기 위하여 학습 알고리즘을 수정하는 기법 기존의 Gradient Descent 계산 시 y축에 위치해 있던 Cost Function은 Training data에 대해 모델이 발생시키는 Error 값의 지표이다. 이는 Training data만 고려되어 Gradient Descent를 적용하면 Overfitting에 빠질 수 있다. 모델이 복잡해질수록 (Overfitting에 빠질수록) 어떤 현상이 일어나는지 보면 모델이 복잡해질수록 모델 속에 숨어있는 세타들은 개수가 많아지고 절대값이 커지는 경향이 있다. -> 모델이 복잡해질수록 그 값이 커지는 세타에 대한 함..

딥러닝 모델 최적화 이론 모델의 성능을 높이기 위한 의도와 용도에 초점을 맞추어 공부해보자 1. Weight Initialization - Gradeint descent를 적용하기 위한 첫 단계는 모든 파라미터 세타를 초기화하는 것 - 초기화 시점의 작은 차이가 학습의 결과를 뒤바꿀 수 있으므로(critical 하지는 않음) 보다 나은 초기화 방식을 모색하게 되었다. - 발전된 초기화 방법들을 활용해 Vanishing gradeint 혹은 Exploding gradient 문제를 줄일 수 있다. 2. Weight Initialization의 중요성 처음 weight 값들을 평균이 0이며 표준편차가 1인 표준 정규분포를 이용해 초기화했을 경우에 Sigmoid 함수의 출력 값이 0과 1에 치우치는 현상이 발..

머신러닝 vs 딥러닝 전통적인 머신러닝 : 사람이 직접 데이터의 중요한 부분들을 찾아 Feature로 정해주어야 한다. 딥러닝 : 신경망 내부에서 자체적으로 데이터의 중요한 Feature를 찾거나 구성한다. 머신 러닝은 알고리즘을 사용하여 데이터를 구문 분석하고 해당 데이터에서 학습하며, 학습한 내용에 따라 정보에 근거한 결정을 내립니다. 딥 러닝은 알고리즘을 계층으로 구성하여 자체적으로 배우고 지능적인 결정을 내릴 수 있는 "인공 신경망"을 만듭니다. 아이의 손을 찍은 X-ray 사진을 보고, 아이의 나이를 알아맞힌다면 - 전통적인 머신러닝 1. 길이를 재기 위한 뼈들의 위치를 찾는다. 2. 뼈의 길이에 따라 나이를 예측하도록 모델을 훈련시킨다 ->데이터, 모델에 대한 이해가 높아야 한다. - 딥러닝 ..