BetterNonLinearity1 [DLBasic] 10 - 1. ReLU : Better non-linearity 이번 시간부터는 시그모이드보다 더 좋은 ReLU를 배워보도록 하겠다. 이전에 XOR을 해결하기 위한 NN으로 시그모이드 함수가 쓰였었고, 이런 함수들을 network에서는 activation function이라고 부른다. 그 이유는 network는 서로 연결이 되어있는 구조로, 하나의 값이 그 다음 값으로 전달될 때 어느 값 이상이면 active가 되고 작으면 active가 되지 않기 때문이다. 2단일 때 구현은 간단하게 위처럼 각각의 weight과 bias를 구해서 L2를 구하고 hypothesis에 넣었다. 위와 같이 3단일 때에도 마찬가지이다. 각각의 weight의 의미는 layer 1에서는 입력 2개, 출력 5개이고 layer 2에서는 입력 5개, 출력 4개, layer 3에서는 입력 4개, 출력.. 2020. 1. 19. 이전 1 다음
