Inner products(1)

1. Inner product: definition

• 내적은 이와 같이 정의된다.
• 벡터공간 v에 존재하는 세 벡터 x,y,z를 예시로, 내적의 세 가지 큰 특징을 알 수 있다.
  • 1) Bilinear: 벡터의 합으로 표현된 벡터와 다른 벡터의 내적은 두 내적의 합으로 표현될 수 있다.
  • 2) Positive definite: 자기 자신과의 내적의 값은 항상 0보다 크다.
    자기 자신과의 내적의 값이 0이라는 것은 그 벡터가 영벡터라는 것과 필요충분 조건이다.
  • 3) Symmetry: 두 벡터의 내적값은 순서를 바꿔도 동일하다.
    대각성분을 제외한 다른 원소들은 대각성분을 기준으로 대칭을 이룬다.

 

 

 

2. Properties of inner products

• 특정함수 β(x,y) 의 알맞은 특성 고르기(5문제)
  • symmetric: 행렬의 원소들이 대각성분을 기준으로 대칭인지 확인하면 된다.
  • bilinear:  β(x+λz,y) = β(x,y) + λβ(z,y) 식이 성립하는지 확인하면 된다.
  • positive definite: 고윳값(eigenvalue)과 β(x,x) 둘 다 0보다 큰지 확인하면 된다.

 

3. Innder product: length of vectors

• 벡터 x의 길이는 자기 자신과의 내적에 루트를 씌운 값과 같다.

 

• 내적은 세 가지 특징(property)을 지닌다.
  • 1) '벡터에 실수배를 한 것의 길이'는 '실수에 절댓값을 씌운 값에 벡터의 길이를 곱한 것'과 같다.
  • 2) 삼각 부등식이 성립한다.
  • 3) 코시-슈바르츠 부등식이 성립한다.
  • 결국 요지는 내적은 벡터의 길이를 구하는데 사용되며,
    제곱의 개념이 들어가므로 대소 관계 비교에 두 가지 부등식이 적용된다는 것이다.

 

 

4. General inner products: lengths and distances

• 두 벡터 사이의 거리를 구할 때 dot product와 inner product는 각각 다른 값을 이끌어낸다.

 

 

5. General inner products: lengths and distances

• innder product를 이용하여 벡터의 길이 또는 벡터 간의 거리를 구하는 문제(5개)
  • 문제에서 정의한 행렬과 적절히 계산하고 루트를 씌워주면 된다.

 

 

 

출처: Coursera, Mathematics for Machine Learning: PCA, Imperial College London.