backpropagation2 [PyTorchToAll] 4. Back-propagation 이번 시간에는 매우 중요한 개념인 역전파(Back-propagation)에 대해서 다루도록 하겠다. 저번 시간에는 x를 입력으로 받고, y hat을 출력으로 하는 매우 간단한 선형 모델에 대해서 배웠다. 우리는 손실 함수를 가중치로 미분하여 gradient를 계산하는 training 과정을 거쳤다. 저번 시간에는 간단한 네트워크였기 때문에 올바른 가중치를 구하기 위해 일일이 gradient를 계산하는 것이 가능했지만 만약 매우 복잡한 네트워크를 만나게 된다면 이 과정이 너무 오래 걸릴 수 있다. chain rule을 이용하여 계산 그래프를 이용하면 더 쉽게 계산할 수 있다. 먼저 chain rule에 대해서 알아보겠다. 위에서 설명하듯이 g_(g underscore)함수는 x를 입력으로 받아서 g를 출력.. 2020. 1. 22. [DLBasic] 9-2. BackPropagation 저번 시간에 이어서 W1, W2, b1, b2를 어떻게 설정하는 것이 좋을지 알아보도록 하겠다. 우리가 최종적으로 구하고 싶은 것은 cost function이 최소가 되는 weight과 bias이다. cost function의 최소값을 구하려면 이전에도 사용했었던 gradient descent를 사용해야하고, 이 때 미분을 사용한다. 그런데 Neural Network에 이 미분을 적용하려면 노드의 개수도 많아지고 중간에 sigmoid 함수 등을 사용하기 때문에 input, 중간 값들이이 output값에 미치는 영향을 알기가 힘들고 계산하기도 힘들다는 문제가 있었다. 이전에도 설명했듯이 Back Propagation을 이용해서 뒤에서부터 에러를 전달해서 앞에서 어떻게 weight과 bias를 설정할지 정할.. 2020. 1. 17. 이전 1 다음
