costfunction3 [DLBasic] 6-2. Softmax Classifier's cost function 저번 시간에는 category가 여러 개인 multinomial classification을 해결하기 위한 softmax function을 배웠다. weight matrix를 길게 늘임으로써 하나의 행렬로 계산할 수 있었다. 이렇게 y의 값을 0~1 사이의 값으로 바꾸기 위해 sigmoid를 사용하는 것이 우리의 목표였다. 이것을 하기 위해 softmax 함수를 사용하게 되었다. 위의 그림은 softmax 함수를 간단하게 정리해놓은 것이다. sigmoid 함수를 거친 각각의 결과값은 0에서 1 사이여야하고, 그들의 합은 1이 된다. 즉, 각각을 확률로 볼 수 있게 된다. argmax를 이용해서 One-Hot Encoding을 하고 나면 가장 큰 것 하나만 1로, 나머지는 0으로 만든다. 그렇게 나온 결과.. 2020. 1. 16. [DLBasic] 5-2. Classification : cost function & gradient decent 저번 시간에는 linear regression과 다소 차이가 있는 logistic regression을 알아봤다. 이번 시간에는 그 logistic regression의 cost function과 그를 최소화하는 법을 알아볼 것이다. H(x) = Wx + b의 형태를 사용했던 linear regression과 달리 classification은 sigmoid function을 사용하기 때문에 cost function의 모양도 좀 달라지게 된다. sigmoid function의 값은 0과 1 사이이기 때문에 위와 같이 함수의 모양이 좀 달라진다. 더이상 linear하지 않아져서 시작점이 어디인지에 따라 최소값이 달라질 수 있는 문제가 생긴다. 전체의 최소값, 즉 global minimum을 찾는 것이 우리의.. 2020. 1. 16. [DLBasic]Lecture 3 . How to minimize cost 저번 시간에 설명했던 cost function을 어떻게 최소화해서 Linear Regression을 완성할 것인지가 이번 시간의 중요 포인트가 되겠다. b를 없애서 간단하게 가정한다고 하고, cost function도 역시 b를 없애서 위와 같이 간략하게 가설을 세웠다고 하자. 최소화하는 값인 W를 찾고자 한다. 예를 들어 위와 같이 cost function을 그릴 수 있겠다. 여기서 cost function이 최소화되는 점은 0이다. 이 최소화되는 점을 찾기 위해서 가장 많이 사용되는 방법은 'Gradient Descent Algorithm'이다. 경사를 따라 내려가는 알고리즘이라고 할 수 있겠고, cost function을 최소화하는 점을 찾는 데 사용되고, 이외에도 많은 minimization 문제.. 2020. 1. 15. 이전 1 다음
