Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Activation Functions Sigmoid - 값을 입력받아 [0, 1] 사이 값 출력 - 입력값이 크면 출력값은 1에 가깝고, 작으면 0에 가까움 - 입력값이 크거나 작을 때 gradient가 0에 가까워져 back prop 시 0이 계속 전달됨 - 출력값이 zero-centered이 아님 (ex. 입력값이 항상 양수이면 gradient 부호가 계속 같으므로 같은 방향으로만 이동하게 됨) tanh(x) - 값을 입력받..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Mark I Perceptron (1957, Frank Rosenblatt) - Perceptron 알고리즘을 구현한 최초의 기계 - Wx + b 와 유사한 함수 사용 - 가중치 W update하는 back propagation과 유사한 update rule 사용 Adaline/Madaline (1960, Widrow and Hoff) - 최초의 multilayer perceptron network - Neural network..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com Backpropagation 편미분을 통해 $dq / dx = 1$, $dq / dy = 1$, $df / dq = z$, $df / dz = q$ 라는 것을 알아낼 수 있음 Backpropagation은 computational graph의 가장 마지막 부분에서 시작해 역순으로 진행 각 값이 최종 f 값에 영향을 미치는 정도를 알기 위해 gradient를 계산 $x$가 $f$ 값에 영향을 미치는 정도를 계산하기 위해 x → q..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 위 classifier는 첫 번째 이미지를 dog로, 두 번째 이미지를 automobile로, 세 번째 이미지를 truck으로 추측하고 있음 따라서 좋은 classifier가 아님, 우리가 원하는 것은 실제 정답인 class에 대해 가장 높은 score을 띄도록 하는 것 Weight를 사용하여 score을 구하고, 이를 바탕으로 weight가 얼마나 안 좋은지 측정하는 것이 loss function임 가능한 weight들 중 가..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 이 CNN 강의만 세 번째 돌려보는 거라 최대한 간략하고 이해하기 쉽게 쓰려고 한다. Image classification 이미지를 input으로 받고, 카테고리(라벨) 중 하나를 선택하기 위의 이미지는 800x600x3(RGB)개의 숫자들로 구성됨 컴퓨터는 이 숫자들을 보고 이미지 분류를 어떻게 수행하는가? Data-Driven Approach Image와 label 데이터셋을 수집함 Classifier을 학습시키기 위해 ma..

Singular Matrix $A$가 정사각행렬이고, $AB = BA = I$ 를 만하는 행렬 $B$가 존재하면 $A$는 invertible matrix (nonsingular matrix)이다. Nonsingular matrix는 단 하나의 inverse matrix를 갖는다. $A$가 nonsingular matrix일 필요충분조건은, $A$의 determinant가 0이 아니어야 하는 것이다. $det(A)$이 0이면 $A$의 역은 구할 수 없다. $Ax = y$를 풀 때, $x = A^{-1} y$ 로 구할 수 있다. 하지만 이는 $A$의 역(inverse)이 존재한다는 가정하에 계산 가능하다. $A$의 역이 존재하지 않는 경우 $A$는 singular matrix이다. $A$가 singular이..