Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 이번 강의에서는 CNN layer의 데이터를 시각화하는 방법을 다룸 CNN의 첫 번째 layer를 시각화해보자 학습된 Weight를 시각화해보면 필터가 무엇을 인식하고자 하는지 대략 보임 필터의 layer는 점점 더 곱해지고, 나중에는 직관적으로는 이해할 수 없는 필터가 됨 네트워크의 마지막에서 FC layer을 통해 데이터를 4096차원으로 flatten 하고, 그렇게 생성된 feature vector는 nearest neig..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 여태껏 다룬 Image Classification은 이미지를 input으로 받아 label을 output으로 냄 컴퓨터 비전 분야에는 Image Classification 말고도 여러 task가 있음 Semantic Segmentation Semantic Segmentation은 이미지를 input으로 받고, 이미지의 모든 픽셀에 대해 카테고리를 판단하는 것임 하지만 오른쪽 예시처럼 두 cow를 서로 구분하지 않고 단지 cow로..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com LeNet 이미지를 input으로 받아 5x5 필터를 거치고 여러 개의 Conv layer와 Pooling layer을 거침 AlexNet 2012년에 Image Classification Benchmark에서 우승한 모델이며, 최초의 large scale CNN임 Conv - Pool - Normalization 구조가 두 번 반복되고, 그 뒤에 Conv layer와 Pooling layer가 더 붙고 마지막에 FC layer..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 여러 Optimization 방식들 SGD SGD는 mini-batch에서의 loss를 계산하고 gradient의 반대 방향으로 이동하며 parameter vector를 update 하는 방식임 W1, W2 두 가중치가 있고 이를 최적화하고자 한다고 하자 Poor Conditioning - W1는 수평축으로 weight가 변하고 W2는 수직축으로 weight가 변한다면 loss는 매우 느리게 변함 - Loss function은 ..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Activation Functions Sigmoid - 값을 입력받아 [0, 1] 사이 값 출력 - 입력값이 크면 출력값은 1에 가깝고, 작으면 0에 가까움 - 입력값이 크거나 작을 때 gradient가 0에 가까워져 back prop 시 0이 계속 전달됨 - 출력값이 zero-centered이 아님 (ex. 입력값이 항상 양수이면 gradient 부호가 계속 같으므로 같은 방향으로만 이동하게 됨) tanh(x) - 값을 입력받..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Mark I Perceptron (1957, Frank Rosenblatt) - Perceptron 알고리즘을 구현한 최초의 기계 - Wx + b 와 유사한 함수 사용 - 가중치 W update하는 back propagation과 유사한 update rule 사용 Adaline/Madaline (1960, Widrow and Hoff) - 최초의 multilayer perceptron network - Neural network..