Multivariable Taylor Series

1. Linearisation

• 기존 Taylor Series에서는 p로부터 얼마나 떨어져있는지를 기준으로 표현이 되었다.
  이제 p를 델타 p 그리고 이것을 델타 x로 치환하여 표현한다.
• 실제 미분을 여러번 수행하면 그 결과값은 굉장히 작아지기 때문에 error로 보고 O로 묶어서 표현할 수 있게 된다.
• 심지어 f(x)에 대한 표현을 바꾸어 도함수를 기준으로 식을 정리하는 것도 가능하다.

 

 

2. Taylor series - Special cases (Quiz)

• odd function(기함수)은 원점대칭이고 even function(기함수)는 y축 대칭이다.
• 점근선이 존재하는 지점에서는 근사식을 구할 수 없다.
• 만약 그런 원함수에 대해 근사를 구하게 되면 approximation이 함수의 일부를 무시하거나 점근선을 무시하게 된다.
• f(x) = 1 / (1+x)^2 와 같은 함수에 대한 근사식은 제대로 구해지지 않는다.
  이는 복소평면에서 근사식이 불연속하기 때문이다. 이 부분은 아직 잘 이해되지 않아서 강의를 더 들어봐야 할 것 같다.
• 근사식을 구할 때 해당 order 이후의 값들을 O(델타x) 형태로 압축해서 표현할 수 있다. 이때 델타 x는 제곱의 형태로 작성한다.

 

3. Multivariate Taylor

• 두 개의 변수로 구성된 함수에 대해 근사를 하는 경우를 생각해본다.
  • zeroth order의 경우 단 하나의 값만을 갖게 되므로 3차원 공간에서 밑면과 평행한 평면이 된다.
  • first order의 경우 이전에 기울기 개념이 추가되므로 기울기를 갖는 평면이 된다.
  • second order의 경우 위와 같이 표현된다. 이 그림은 꼭대기 지점이 아닌 slope위의 한 점을 기준으로 표현한 것이다.
  • 꼭대기 지점을 기준으로 근사할 경우 겉으로 드러나는 것이 없게 된다.

 

• 이 내용을 편미분을 통해 전개하면 위와 같다.
  편미분으로 전개된 이 식은 마치 Jacobian에 델타 x를 곱한 것과 같고, Hessian에 델타 x의 전치와 델타 x를 곱한 것과 동일하다.

 

4. 2D Taylor series (Quiz)

• 3차원 시각화 자료를 보고 몇 번째 근사에 해당하는지 맞히는 문제가 출제된다.(3개)
• Jacobian과 Hessian을 직접 구해서 값을 대입하는 문제가 출제된다.
  이때 지수함수, 삼각함수의 미분과 곱의 미분을 정확하게 이해하고 있어야 풀이할 수 있다.

 

5. Taylor Series Assessment (Quiz)

• 주어진 그래프를 보고 몇 번째 근사인지 파악하는 문제.
  3차원 그래프를 보고 적절한 근사가 이루어진 것을 고르는 문제도 포함된다.
• 주어진 함수의 Taylor Series를 구하는 문제.
  정확히는 x = 0 에서 이므로 Maclaurin Series이다.
• 주어진 그래프를 보고 odd, even, neither를 고르는 문제.
  원점대칭 / y축대칭 / 둘 다 아님을 확인하면 된다.
• linearise는 두 번째 항까지 추정하고 이후의 계수들은 전부 error로 취급하면 된다.
  단, error의 변수는 델타 x의 제곱이다.

 

 

 

출처: Coursera, Mathematics for Machine Learning: Multivariate Calculus, Imperial College London.