VanishingGradient2 [DataMining] Deep Learning 이번 시간에는 Deep learning에 대해 알아보도록 하겠다. ● Deep Learning - 딥러닝은 neural network의 여러 학습 알고리즘들을 일컫는 말이다. → 많은 layer로서 학습 -최근 AI 혁명의 긴 역사 끝에 나온 주요 기술 - 특히 직관적인 문제들에 대해 매우 효과적 → 사람들이 수행하기는 쉬우나 공식적으로 설명하기는 힘든 일들 → 예 : 사진에서 사람이 하는 말이나 얼굴 인식 ● 딥러닝의 역사 ● Neural Network - 컴퓨터가 관측 데이터를 학습할 수 있도록 생물학적 뉴런 구조를 모방한 paradigm → a network of connected neurons * neuron ● deep learning의 특징 * simple machine learning alg.. 2020. 5. 3. [DLBasic] 10 -2 . Initialize weights in a smart way 저번 시간에 vanishing gradient라는 시그모이드 함수의 단점을 보완한 ReLU를 배웠다. 이번 시간에는 hinton 교수님이 발견하셨던 두 번째 문제점인 weight들을 어떻게 초기화할지를 배워보도록 하겠다. 이전 데이터에서 ReLU로 실험했을 때도 코드가 똑같은데 실행할 때마다 결과가 달라졌다. 그 이유는 weight을 random값으로 생성하도록 했기 때문이다. 예를 들어, 가중치를 모두 0으로 설정했을 때를 보자. x는 입력값이니 일단 0은 아니다. 그런데 weight이 0이면 기울기가 다 곱해질 때 gradient가 다 사라지는 문제점이 발생한다. 그렇기 때문에 weight을 잘 설정하는 것도 중요하다. 그래서 weight의 초기값을 설정할 때 주의해야할 점은 위와 같다. 만약 0이면.. 2020. 1. 20. 이전 1 다음
