AI73 [DLBasic] 7-1. Application & Tips: Learning rate, data preprocessing, overfitting 이번 시간에는 학습률을 어떻게 결정하면 좋을지, 데이터에 대한 전처리는 어떻게 할지, 머신 러닝에서 가장 큰 문제 중 하나인 overfitting 문제를 어떻게 해결할 것인지 배우도록 하겠다. learning rate는 cost function을 최소화하기 위해 사용했던 gradient descent 알고리즘에서 사용되었다. 위와 같이 실제 코드를 짤 때도 learning rate를 미리 정해주었었다. 만약 learning rate를 너무 크게 설정했다면 step이 너무 커서 최소값을 제대로 찾지 못하고 지나치는 문제가 생길 수 있다. 심한 경우에는 그래프 바깥으로 튀어나가기까지 해서 제대로 된 학습을 하지 못할 수 있다. 코드의 결과는 숫자가 아닌 값까지 출력될 수도 있으며, 이 현상을 Overshoo.. 2020. 1. 16. [DLBasic] 6-2. Softmax Classifier's cost function 저번 시간에는 category가 여러 개인 multinomial classification을 해결하기 위한 softmax function을 배웠다. weight matrix를 길게 늘임으로써 하나의 행렬로 계산할 수 있었다. 이렇게 y의 값을 0~1 사이의 값으로 바꾸기 위해 sigmoid를 사용하는 것이 우리의 목표였다. 이것을 하기 위해 softmax 함수를 사용하게 되었다. 위의 그림은 softmax 함수를 간단하게 정리해놓은 것이다. sigmoid 함수를 거친 각각의 결과값은 0에서 1 사이여야하고, 그들의 합은 1이 된다. 즉, 각각을 확률로 볼 수 있게 된다. argmax를 이용해서 One-Hot Encoding을 하고 나면 가장 큰 것 하나만 1로, 나머지는 0으로 만든다. 그렇게 나온 결과.. 2020. 1. 16. [DLBasic] 6-1. Softmax Classification : Multinomial Classification 저번 시간의 Binary Classification을 위한 sigmoid function의 cost function과 그 최소값을 구하기 위한 gradient descent algorithm에 이어서 이번 시간에는 카테고리가 여러개인 분류인 multinomial classification을 위한 softmax classification에 대해서 알아보려고 한다. 사실 multinomial classification을 위해서 여러 방법이 있는데 softmax classification이 가장 많이 쓰인다고 한다. 위 도면의 Y 위에 -가 있는 것은 y hat이라고 부르며, prediction값이다. S는 시그모이드 함수를 의미한다 위는 multinomial classification의 데이터값의 예시이다... 2020. 1. 16. [DLBasic] 5-2. Classification : cost function & gradient decent 저번 시간에는 linear regression과 다소 차이가 있는 logistic regression을 알아봤다. 이번 시간에는 그 logistic regression의 cost function과 그를 최소화하는 법을 알아볼 것이다. H(x) = Wx + b의 형태를 사용했던 linear regression과 달리 classification은 sigmoid function을 사용하기 때문에 cost function의 모양도 좀 달라지게 된다. sigmoid function의 값은 0과 1 사이이기 때문에 위와 같이 함수의 모양이 좀 달라진다. 더이상 linear하지 않아져서 시작점이 어디인지에 따라 최소값이 달라질 수 있는 문제가 생긴다. 전체의 최소값, 즉 global minimum을 찾는 것이 우리의.. 2020. 1. 16. 이전 1 ··· 13 14 15 16 17 18 19 다음
