PCA derivation(1) - 복습必

1. Vector spaces

• Group이라는 개념과 vector space에 대한 설명이 나와있는 pdf를 공부하도록 되어있다.
  굉장히 불충분한 설명과 함께 다양한 기호들이 나열되어 있어서 무슨 뜻인지 하나도 이해가 되지 않는다.
  아무래도 서칭을 통해 따로 공부할 필요가 있겠다...

 

2. Orthogonal complements

• 만약 n차원 벡터공간 V에 대하여 k차원 부분공간 W가 V에 속할 때,
  W의 orthogonal complement는 V에 속하는 (n-k)차원 부분공간이다.
  그리고 W에 orthogonal하는 모든 V의 vector를 포함한다.

 

3. Problem setting and PCA objective

• 높은 차원에 있는 벡터를 낮은 차원의 벡터로 표현하는 것이 목표.
  • 이때 최대한 reconstruction error를 최소화하는 벡터를 찾아야 한다.
  • projection을 활용

 

4. Multivariate chain rule

• 관련 pdf보고 공부하기
  • 편미분을 수행하되 순서에 유의할 것
  • 이때 미분 대상이 되는 변수를 제외한 다른 것들은 상수 취급한다.
  • 편미분의 결과를 모두 곱하여 결과를 구한다.

 

5. Chain rule practice

• ch.4에 게시된 pdf파일의 공식들을 잘 활용하여 편미분 결과를 계산하는 문제(3개)

 

 

 

출처: Coursera, Mathematics for Machine Learning: PCA, Imperial College London.