ChainRule1 [PyTorchToAll] 4. Back-propagation 이번 시간에는 매우 중요한 개념인 역전파(Back-propagation)에 대해서 다루도록 하겠다. 저번 시간에는 x를 입력으로 받고, y hat을 출력으로 하는 매우 간단한 선형 모델에 대해서 배웠다. 우리는 손실 함수를 가중치로 미분하여 gradient를 계산하는 training 과정을 거쳤다. 저번 시간에는 간단한 네트워크였기 때문에 올바른 가중치를 구하기 위해 일일이 gradient를 계산하는 것이 가능했지만 만약 매우 복잡한 네트워크를 만나게 된다면 이 과정이 너무 오래 걸릴 수 있다. chain rule을 이용하여 계산 그래프를 이용하면 더 쉽게 계산할 수 있다. 먼저 chain rule에 대해서 알아보겠다. 위에서 설명하듯이 g_(g underscore)함수는 x를 입력으로 받아서 g를 출력.. 2020. 1. 22. 이전 1 다음
