1. Parameters vs Hyperparameters What are hyperparameters? 최종적으로 parameter인 w,b를 결정하는데 영향을 주는 것들이다. learning rate 알파, iterations 횟수, hidden layer 개수 L, hidden unit 개수 n, activation function 종류 등 Applied deep learning is a very empirical process hyper parameter를 조정하면서 cost값이 작아지는 조건을 찾아나가는 것이다. 2. What does this have to do with the brain? Forward and backward propagation 교수님은 deep learning의 구조가 인..
1. Why Deep Representations? Intuition about deep representation CNN에서 이미지 분석 과정은 위와 같다. 작은 것들을(edge) 먼저 분석하고 이것으로부터 점점 큰 조각들을 합쳐 원래의 모습을 구성한다. speech recognition에도 적용 가능하다 low level의 speech sound phonemes words sentence, phrase Circuit theory and deep learning Informally: There are functions you can compute with a "small" L-layer deep neural network that shallower networks require exponentially..
1. Deep L-layer Neural Network What is a deep neural network? logistic regression은 shallow하다고 표현된다. 이와 대비되는 deep neural network는 그 성능히 월등히 좋은 것으로 알려져있다. Deep neural network notation 위 network는 input layer를 제외한 네 개의 layer로 구성된 4 layer NN이다. 기호의 위첨자로 사용하는 기호 l 에는 layer의 숫자가 들어간다. n은 각 layer의 unit 수를 나타낸다. a는 각 layer의 activation을 나타낸다. a[l]은 l번째 layer의 z에 l번째 활성화함수 g를 적용한 결과다. a[0] 는 input feature인..
1. Steps of PCA 1) subtract the mean from the data and send it at zero to avoid numerical problems 2) divide by the standard deviation to make the data unit-free 3) compute the eigenvalues and eigen vectors of the data covariance matrix 4) can project any data point onto the principal subspace 2. PCA in high dimensions 3. Steps of PCA 대충 pass 하려고 했는데 결국 거의 다 풀어낸..퀴즈였다..ㅜㅜ PCA는 결국 고차원의 데이터를 낮은 차원..
1. Finding the coordinates of the projected data determined the coordinates of the optimal projection with respect to the orthonormal basis that spans our principal subspace 2. Reformulation of the objective 3. Lagrange multipliers 4. Finding the basis vectors that span the principal subspace 출처: Coursera, Mathematics for Machine Learning: PCA, Imperial College London.
1. Vector spaces Group이라는 개념과 vector space에 대한 설명이 나와있는 pdf를 공부하도록 되어있다. 굉장히 불충분한 설명과 함께 다양한 기호들이 나열되어 있어서 무슨 뜻인지 하나도 이해가 되지 않는다. 아무래도 서칭을 통해 따로 공부할 필요가 있겠다... 2. Orthogonal complements 만약 n차원 벡터공간 V에 대하여 k차원 부분공간 W가 V에 속할 때, W의 orthogonal complement는 V에 속하는 (n-k)차원 부분공간이다. 그리고 W에 orthogonal하는 모든 V의 vector를 포함한다. 3. Problem setting and PCA objective 높은 차원에 있는 벡터를 낮은 차원의 벡터로 표현하는 것이 목표. 이때 최대한 re..
