[DLBasic] 8-2. Back-propagation과 Deep의 출현

     저번 시간에 neural network의 등장과 XOR 문제를 해결하기 위해서 back propagation과 CNN이 등장하게 된 배경을 배웠다. 하지만 Back Propagation이 여러 층에 사용되었을 때 input으로 점점 되돌아갈수록 error가 점점 약해져서 결국 학습에 영향을 줄 수 없다는 문제가 생겼었다.

 

CIFAR

     위의 CIFAR이라는 단체는 당장 활용도가 없어도 연구를 하도록 장려했다. 이전에 외면을 받은 Neural Network에 대해 지원을 해줌으로써 지금의 딥러닝이 이루어질 수 있다고 할 수 있겠다. 

Hinton, Bengio 교수님이 논문을 발표

     CIFAR의 지원으로 Hinton과 Bengio 교수님께서 큰 breakthrough가 될 논문을 발표했다.

 

 

     이 논문은 여태까지는 깊은 신경망은 학습할 수 없다고 했는데 초기값을 잘못 주었기 때문이라고 한다. 초기값을 잘 선택한다면 잘 학습할 수 있다는 것을 발견해냈다. 그래서 더 깊은 신경망을 구축하면 굉장히 복잡한 문제를 해결할 수 있다는 것을 알아냈다. 이 때 Neural Network에서 Deep Nets, Deep Learning으로 이름을 바꾼다.

 

     사진만 보고 어떤 것의 사진인지 알아맞추는 Imagenet이라는 챌린지는 컴퓨터공학 분야에서는 중요하게 관심받아왔다. 2010년에는 30%의 에러율로, 점점 에러율을 낮출 수 있었다. 그런데 2012년에 26.2%의 오류를 15.3%으로 낮출 수 있었고, 현재는 3%의 에러로 낮춰져서 컴퓨터가 사람보다 더 잘 수행할 수 있게 되었다고 한다.

 

Deep API Learning

     API를 자동으로 예측하는 시스템을 개발하려고 한다. file을 copy해서 원하는 디렉토리에 저장하고 싶다고 하면 어떤 API를 써야하는지 어떤 방법으로 쓸지를 컴퓨터가 자동으로 결정하게 한다.

 

다음 시간에는 XOR 문제를 Neural Net으로 어떻게 푸는지 알아보도록 하겠다.