PCA

1. Steps of PCA 1) subtract the mean from the data and send it at zero to avoid numerical problems 2) divide by the standard deviation to make the data unit-free 3) compute the eigenvalues and eigen vectors of the data covariance matrix 4) can project any data point onto the principal subspace 2. PCA in high dimensions 3. Steps of PCA 대충 pass 하려고 했는데 결국 거의 다 풀어낸..퀴즈였다..ㅜㅜ PCA는 결국 고차원의 데이터를 낮은 차원..

1. Finding the coordinates of the projected data determined the coordinates of the optimal projection with respect to the orthonormal basis that spans our principal subspace 2. Reformulation of the objective 3. Lagrange multipliers 4. Finding the basis vectors that span the principal subspace 출처: Coursera, Mathematics for Machine Learning: PCA, Imperial College London.

1. Vector spaces Group이라는 개념과 vector space에 대한 설명이 나와있는 pdf를 공부하도록 되어있다. 굉장히 불충분한 설명과 함께 다양한 기호들이 나열되어 있어서 무슨 뜻인지 하나도 이해가 되지 않는다. 아무래도 서칭을 통해 따로 공부할 필요가 있겠다... 2. Orthogonal complements 만약 n차원 벡터공간 V에 대하여 k차원 부분공간 W가 V에 속할 때, W의 orthogonal complement는 V에 속하는 (n-k)차원 부분공간이다. 그리고 W에 orthogonal하는 모든 V의 vector를 포함한다. 3. Problem setting and PCA objective 높은 차원에 있는 벡터를 낮은 차원의 벡터로 표현하는 것이 목표. 이때 최대한 re..

1. Full derivation of the projection 앞의 강의에서 다룬 투영행렬을 구하는 과정이 증명되어있다. 사실 강의에서 이미 그 과정을 보여주었기 때문에 특별한 내용은 없었다. 2. Example: projection onto a 2D subspace 3D 공간에 속하는 벡터 x를 2D의 부분공간에 대해 투영한 벡터를 구하는 예시다. 결과적으로 투영벡터도 부분공간 u의 기저벡터 b1,b2의 linear combination으로 표현되는 것을 확인할 수 있다. 3. Project 3D data onto a 2D subspace 3차원 공간의 벡터 x를 2차원 평면으로 표현되는 부분공간에 대해 내린 투영벡터를 구하는 문제(3개) 강의에서 설명된 공식을 잘 이용해야 한다. B.T와 B를 곱..

1. Projection onto 1D subspaces 벡터 u의 기저벡터는 b이다.(다른 말로 표현하면 벡터 b로 표현할 수 있는 subspace 내에 u가 존재한다) 따라서 어떤 scalar lamda를 기저벡터 b에 곱해주면 파이 x u(x)가 되는 것이다. 이때 벡터 u 위의 벡터 x와 가장 가까운 지점을 구하면 x에서 u에 대해 수선을 내려야 한다. 수선의 정의는 직교(orthogonal)한다는 것이다. 따라서 벡터 b와 수선을 표현하는 벡터의 내적은 0이 된다. 위 정의를 이용하여 식을 정리해보면 람다에 대해 내적과 norm으로 정의할 수 있게 된다. 결과적으로 (b x b.T) / norm(b)^2 은 projection matrix가 된다. 2. Example: projection ont..

1. Inner product: angles and orthogonality 두 벡터 사이의 각도 내적을 통해 정의할 수 있다. cos w(두 벡터 사이각 크기) = 내적 / (norm(x) * norm(y)) 이는 결국 두 벡터가 가리키는 방향의 유사도(simliarilty)를 알려주는 지표가 된다. 두 벡터가 직교하는 경우 두 벡터의 내적은 0이 된다. 이를 다른 내적을 통해 표현하는 경우 다른 값이 나오게 된다. 두 벡터가 직교(orthogonal to each other)하며 각 벡터의 길이가 1인 경우, 이를 orthonomal basis라고 부른다. 2. Angles between vectors using a non-standard inner product 문제에서 정의된 내적을 보고 두 벡터..