LearingRate1 [DLBasic] 7-1. Application & Tips: Learning rate, data preprocessing, overfitting 이번 시간에는 학습률을 어떻게 결정하면 좋을지, 데이터에 대한 전처리는 어떻게 할지, 머신 러닝에서 가장 큰 문제 중 하나인 overfitting 문제를 어떻게 해결할 것인지 배우도록 하겠다. learning rate는 cost function을 최소화하기 위해 사용했던 gradient descent 알고리즘에서 사용되었다. 위와 같이 실제 코드를 짤 때도 learning rate를 미리 정해주었었다. 만약 learning rate를 너무 크게 설정했다면 step이 너무 커서 최소값을 제대로 찾지 못하고 지나치는 문제가 생길 수 있다. 심한 경우에는 그래프 바깥으로 튀어나가기까지 해서 제대로 된 학습을 하지 못할 수 있다. 코드의 결과는 숫자가 아닌 값까지 출력될 수도 있으며, 이 현상을 Overshoo.. 2020. 1. 16. 이전 1 다음
