전체 글120 [DLBasic] 6-2. Softmax Classifier's cost function 저번 시간에는 category가 여러 개인 multinomial classification을 해결하기 위한 softmax function을 배웠다. weight matrix를 길게 늘임으로써 하나의 행렬로 계산할 수 있었다. 이렇게 y의 값을 0~1 사이의 값으로 바꾸기 위해 sigmoid를 사용하는 것이 우리의 목표였다. 이것을 하기 위해 softmax 함수를 사용하게 되었다. 위의 그림은 softmax 함수를 간단하게 정리해놓은 것이다. sigmoid 함수를 거친 각각의 결과값은 0에서 1 사이여야하고, 그들의 합은 1이 된다. 즉, 각각을 확률로 볼 수 있게 된다. argmax를 이용해서 One-Hot Encoding을 하고 나면 가장 큰 것 하나만 1로, 나머지는 0으로 만든다. 그렇게 나온 결과.. 2020. 1. 16. [DLBasic] 6-1. Softmax Classification : Multinomial Classification 저번 시간의 Binary Classification을 위한 sigmoid function의 cost function과 그 최소값을 구하기 위한 gradient descent algorithm에 이어서 이번 시간에는 카테고리가 여러개인 분류인 multinomial classification을 위한 softmax classification에 대해서 알아보려고 한다. 사실 multinomial classification을 위해서 여러 방법이 있는데 softmax classification이 가장 많이 쓰인다고 한다. 위 도면의 Y 위에 -가 있는 것은 y hat이라고 부르며, prediction값이다. S는 시그모이드 함수를 의미한다 위는 multinomial classification의 데이터값의 예시이다... 2020. 1. 16. [DLBasic] 5-2. Classification : cost function & gradient decent 저번 시간에는 linear regression과 다소 차이가 있는 logistic regression을 알아봤다. 이번 시간에는 그 logistic regression의 cost function과 그를 최소화하는 법을 알아볼 것이다. H(x) = Wx + b의 형태를 사용했던 linear regression과 달리 classification은 sigmoid function을 사용하기 때문에 cost function의 모양도 좀 달라지게 된다. sigmoid function의 값은 0과 1 사이이기 때문에 위와 같이 함수의 모양이 좀 달라진다. 더이상 linear하지 않아져서 시작점이 어디인지에 따라 최소값이 달라질 수 있는 문제가 생긴다. 전체의 최소값, 즉 global minimum을 찾는 것이 우리의.. 2020. 1. 16. [DLBasic]Lecture 5-1. Logistic(Regression) Classification 저번 시간에는 linear regression을 배웠는데 이번 시간에는 Logistic Regression인 Classification을 배우도록 하겠다. 매우 중요한 부분이라고 강조하셨다. 저번 시간까지 배웠던 Linear Regression을 복습해보자면 위와 같다. Hypothesis, Cost Function, Gradient Descent는 꼭 알아야할 중요한 부분이었다. Hypothesis의 형태가 선형이기 때문에 linear regression이라고 불린 것이었다. Gradient Descent에서의 alpha 뒤에 나오는 기울기는 Cost function을 미분한 형태이다. 한 번에 얼마나 움직일지가 alpha로 주어진, learning rate라고도 불리는 학습률이다. 이 세 가지만 있으.. 2020. 1. 16. 이전 1 ··· 25 26 27 28 29 30 다음
