Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com (Vanilla) Neural Network & RNN One-to-One: vanilla neural network 네트워크는 이미지 또는 벡터를 입력받고, 입력 하나가 hidden layer를 거쳐 하나의 출력을 내보냄 하지만 머신러닝 관점에서 모델이 다양한 입력을 처리할 수 있도록 유연해질 필요가 있음 → RNN One-to-Many: 단일 입력 & 가변 출력 (ex. Image Captioning: Image → Sequ..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com LeNet 이미지를 input으로 받아 5x5 필터를 거치고 여러 개의 Conv layer와 Pooling layer을 거침 AlexNet 2012년에 Image Classification Benchmark에서 우승한 모델이며, 최초의 large scale CNN임 Conv - Pool - Normalization 구조가 두 번 반복되고, 그 뒤에 Conv layer와 Pooling layer가 더 붙고 마지막에 FC layer..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 여러 Optimization 방식들 SGD SGD는 mini-batch에서의 loss를 계산하고 gradient의 반대 방향으로 이동하며 parameter vector를 update 하는 방식임 W1, W2 두 가중치가 있고 이를 최적화하고자 한다고 하자 Poor Conditioning - W1는 수평축으로 weight가 변하고 W2는 수직축으로 weight가 변한다면 loss는 매우 느리게 변함 - Loss function은 ..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Activation Functions Sigmoid - 값을 입력받아 [0, 1] 사이 값 출력 - 입력값이 크면 출력값은 1에 가깝고, 작으면 0에 가까움 - 입력값이 크거나 작을 때 gradient가 0에 가까워져 back prop 시 0이 계속 전달됨 - 출력값이 zero-centered이 아님 (ex. 입력값이 항상 양수이면 gradient 부호가 계속 같으므로 같은 방향으로만 이동하게 됨) tanh(x) - 값을 입력받..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Mark I Perceptron (1957, Frank Rosenblatt) - Perceptron 알고리즘을 구현한 최초의 기계 - Wx + b 와 유사한 함수 사용 - 가중치 W update하는 back propagation과 유사한 update rule 사용 Adaline/Madaline (1960, Widrow and Hoff) - 최초의 multilayer perceptron network - Neural network..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Backpropagation 편미분을 통해 $dq / dx = 1$, $dq / dy = 1$, $df / dq = z$, $df / dz = q$ 라는 것을 알아낼 수 있음 Backpropagation은 computational graph의 가장 마지막 부분에서 시작해 역순으로 진행 각 값이 최종 f 값에 영향을 미치는 정도를 알기 위해 gradient를 계산 $x$가 $f$ 값에 영향을 미치는 정도를 계산하기 위해 x → q..