1. Vector spaces Group이라는 개념과 vector space에 대한 설명이 나와있는 pdf를 공부하도록 되어있다. 굉장히 불충분한 설명과 함께 다양한 기호들이 나열되어 있어서 무슨 뜻인지 하나도 이해가 되지 않는다. 아무래도 서칭을 통해 따로 공부할 필요가 있겠다... 2. Orthogonal complements 만약 n차원 벡터공간 V에 대하여 k차원 부분공간 W가 V에 속할 때, W의 orthogonal complement는 V에 속하는 (n-k)차원 부분공간이다. 그리고 W에 orthogonal하는 모든 V의 vector를 포함한다. 3. Problem setting and PCA objective 높은 차원에 있는 벡터를 낮은 차원의 벡터로 표현하는 것이 목표. 이때 최대한 re..
multivariate chain rule
1. Multivariate chain rule t에 관한 n개의 함수 x로 구성된 함수 f를 t에 대해 미분하는 것은 chain rule로 표현 가능하다. 이때 편미분벡터와 미분벡터를 내적하는 꼴이 된다. 2. More multivariate chain rule 앞서 배운 내용처럼 chain rule은 원래 단변수함수를 바로 미분한 것과 동일한 결과를 가진다. 하지만 벡터를 원소로 가지는 경우 위처럼 행렬의 편미분과 미분의 곱으로 표현된다. 위 예시에서 앞의 두 개는 Jacobian(편미분을 모아놓은 벡터)이고 행렬의 곱에 따라 1 x 1 사이즈의 결과가 나타난다. 따라서 계산결과는 scalar값이 된다. 3. Multivariate chain rule exercise multivariate chain..