참고자료를 기반으로 정리한 글입니다. AE, VAE, GAN) https://velog.io/@idj7183/AE-VAE GAN) https://blog.naver.com/euleekwon/221557899873 AutoEncoder 입력과 출력이 같은 구조로써, 중간에 bottleneck hidden layer을 활용하여 encode, decode를 수행함 높은 차원을 낮은 차원으로 변경하는 과정에서 원본 데이터 중 의미 있는 속성들을 추출하는 dimensionality reduction을 수행함 고차원 데이터를 에러 없이 잘 표현하는 subspace를 manifold라고 하는데, AE는 manifold learning을 통해 학습이 진행됨 Manifold learning의 목적은 차원을 잘 축소하여 ..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 이번 강의에서는 CNN layer의 데이터를 시각화하는 방법을 다룸 CNN의 첫 번째 layer를 시각화해보자 학습된 Weight를 시각화해보면 필터가 무엇을 인식하고자 하는지 대략 보임 필터의 layer는 점점 더 곱해지고, 나중에는 직관적으로는 이해할 수 없는 필터가 됨 네트워크의 마지막에서 FC layer을 통해 데이터를 4096차원으로 flatten 하고, 그렇게 생성된 feature vector는 nearest neig..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 여태껏 다룬 Image Classification은 이미지를 input으로 받아 label을 output으로 냄 컴퓨터 비전 분야에는 Image Classification 말고도 여러 task가 있음 Semantic Segmentation Semantic Segmentation은 이미지를 input으로 받고, 이미지의 모든 픽셀에 대해 카테고리를 판단하는 것임 하지만 오른쪽 예시처럼 두 cow를 서로 구분하지 않고 단지 cow로..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com (Vanilla) Neural Network & RNN One-to-One: vanilla neural network 네트워크는 이미지 또는 벡터를 입력받고, 입력 하나가 hidden layer를 거쳐 하나의 출력을 내보냄 하지만 머신러닝 관점에서 모델이 다양한 입력을 처리할 수 있도록 유연해질 필요가 있음 → RNN One-to-Many: 단일 입력 & 가변 출력 (ex. Image Captioning: Image → Sequ..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com LeNet 이미지를 input으로 받아 5x5 필터를 거치고 여러 개의 Conv layer와 Pooling layer을 거침 AlexNet 2012년에 Image Classification Benchmark에서 우승한 모델이며, 최초의 large scale CNN임 Conv - Pool - Normalization 구조가 두 번 반복되고, 그 뒤에 Conv layer와 Pooling layer가 더 붙고 마지막에 FC layer..

Stanford University CS231n, Spring 2017 CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/ www.youtube.com 여러 Optimization 방식들 SGD SGD는 mini-batch에서의 loss를 계산하고 gradient의 반대 방향으로 이동하며 parameter vector를 update 하는 방식임 W1, W2 두 가중치가 있고 이를 최적화하고자 한다고 하자 Poor Conditioning - W1는 수평축으로 weight가 변하고 W2는 수직축으로 weight가 변한다면 loss는 매우 느리게 변함 - Loss function은 ..