PCA/2주차

1. Inner product: angles and orthogonality 두 벡터 사이의 각도 내적을 통해 정의할 수 있다. cos w(두 벡터 사이각 크기) = 내적 / (norm(x) * norm(y)) 이는 결국 두 벡터가 가리키는 방향의 유사도(simliarilty)를 알려주는 지표가 된다. 두 벡터가 직교하는 경우 두 벡터의 내적은 0이 된다. 이를 다른 내적을 통해 표현하는 경우 다른 값이 나오게 된다. 두 벡터가 직교(orthogonal to each other)하며 각 벡터의 길이가 1인 경우, 이를 orthonomal basis라고 부른다. 2. Angles between vectors using a non-standard inner product 문제에서 정의된 내적을 보고 두 벡터..

1. Inner product: definition 내적은 이와 같이 정의된다. 벡터공간 v에 존재하는 세 벡터 x,y,z를 예시로, 내적의 세 가지 큰 특징을 알 수 있다. 1) Bilinear: 벡터의 합으로 표현된 벡터와 다른 벡터의 내적은 두 내적의 합으로 표현될 수 있다. 2) Positive definite: 자기 자신과의 내적의 값은 항상 0보다 크다. 자기 자신과의 내적의 값이 0이라는 것은 그 벡터가 영벡터라는 것과 필요충분 조건이다. 3) Symmetry: 두 벡터의 내적값은 순서를 바꿔도 동일하다. 대각성분을 제외한 다른 원소들은 대각성분을 기준으로 대칭을 이룬다. 2. Properties of inner products 특정함수 β(x,y) 의 알맞은 특성 고르기(5문제) symm..

1. Dot product 두 벡터가 있을 때, 두 벡터의 1) 길이 2) 사이의 각도 3) 거리를 구하기 위해서는 벡터 공간의 기하학적 특징(geometric properties in a vector space)과 관련이 있는 inner product(내적)가 필요하다. transpose를 취하는 것은 행렬간의 곱을 위한 size 조정이다. 1) 벡터의 길이는 자기 자신과 자기 자신의 transpose를 곱한 것에 루트를 씌운 것이다. 계산 자체는 각 원소를 제곱하여 더한 것에 루트를 씌운 것과 같다. 2) 두 벡터 사이의 거리는 두 벡터의 뺄셈의 norm을 구한 것과 같다. 3) 이제 코사인 법칙을 이용하여 두 벡터 사이의 각을 구할 수 있다. 코사인 알파(두 벡터 사이의 각)는 "두 벡터의 내적"을..