The relationship between machine learning, linear algebra, and vectors and matrices

1. Motivations for linear algebra

 

바나나와 사과를 사러가는 쇼핑 상황

• 두 개로 연립 방정식을 구성(simultaneous equations)

 

선형 변수(linear coefficinets)를 가진 것으로 이해하기

• 행렬 문제로 변환할 수 있다.
• 두 개를 넘어서는 다양한 변수를 한꺼번에 계산할 수 있다.

 

최적화 문제(optimization problem)

• 히스토그램(histogram)처럼 데이터를 도식화한 것들을 처리할 것이다.
• 이때 어떤 방정식(equation)을 통해 매개변수(parameter)를 찾을(fit) 것인가가 중요

 

 

2. Getting a handle on vectors

 

두 개의 변수(parameters)만 존재한다고 가정

• 평균(μ)과 표준 편차(sigma)
• 이 둘로 분포(distribution) 그래프를 분석

 

평균(μ)은 그래프 중심의 위치를, 표준 편차(sigma)는 그래프의 모양을 변경시킨다.

• mu 가 클수록 그래프가 오른쪽으로 이동한다.
• sigma 가 클수록 그래프가 완만한 종모양(bell-shaped)이 된다.
• 이 둘의 값을 적당히 조정해서 data에 fit한 모양을 찾아간다.(근사한 정도로 좋고 나쁨을 판단)

 

평균(μ)과 표준 편차(sigma)로 만든 등고선(contour)

• 둘의 관계를 근사 정도(good/bad)가 동일한 것끼리 선으로 이어 등고선을 만들 수 있다.
• 둘의 값을 조정하여 등고선의 가장 아래 지점을 찾아가는 것이 목표다.(lowest possible point)
• 최저점에 도달한다고 하더라도, 이것보다 더 최적의 조합(평균과 표준편차의)이 존재하지 않음을 보장하지는 않는다.

 

 

3. Exploring parameter space(Quiz 1)

 

1. 히스토그램(histogram)을 보고 그 특징 옳은 것 고르기

• 유사한 조건에서 조사를 반복한다면 그래프는 지금과 broadly similar 할 것이다.

 

2. 정규분포(Normal/Gaussian Distribution) 그래프 보고 구체적인 값 찾기

• 정규분포 그래프의 종 모양을 이루는 x축의 범위는 보통 [평균 - 표준편차, 평균 + 표준편차]라고 보면 된다.
• 따라서 그래프의 중심 축을 통해 μ를 구할 수 있고, 그래프의 중심이 얼마나 벌어져 있는지를 보고 표준 편차(σ)를 구할 수 있다.

 

3. 평균과 표준 편차 벡터를 보고 알맞은 그래프 고르기

 

4. 주어진 data set에 better fit 하게 만드는 평균과 표준 편차 구하기

• 평균을 올리면 그래프는 우측으로 이동한다.
• 표준 편차를 유지하면 그래프는 그 모양을 유지한다.

 

5. 주어진 data set에 better fit 하게 만드는 평균과 표준 편차 구하기

• 직접 변수값을 조정하며 오차 SSR(Sum of Squared Residuals)를 최소화하는 평균과 표준 편차를 입력한다.
• 주어진 data set과 최대한 많이 겹치도록 해야 한다. 겹치지 않는 부분을 Squared Residuals 라고 부른다.

 

6. 평균, 표준 편차의 등고선 특징

• 등고선으로 표현되는 이 그래프의 모든 점은 p = [평균, 표준편차]^T 의 종벡터 형태의 매개 변수를 가지고 있다.
• 등고선을 따라 움직이는 것은 SSR에 어떤 영향도 주지 않는다. SSR이 같은 평균과 표준편차의 조합을 이어 만든 것이기 때문이다. 그렇기 때문에 그래프 상에서 수직으로 이동하는 것은 quality of the fit 을 좋게 만들거나 망치는데 큰 영향을 주게 된다.

 

 

 

4. Solving some simultaneous equations(Quiz 2)

 

중학교 수준의 연립 방정식 문제 5개

• 변수가 세 개인(x, y, z) 문제가 하나 포함되어 있다. 이 문제는 이후 선형 독립(linear independence)과 연관 된다.
• 여러 개의 변수(more variables)의 값을 지정하기 위해(uniquely determine) 필요한 최소의 방정식(equations)의 개수를 떠올려보자. 이것이 선형 독립과 관련된 idea이다.

 

 

 

출처: Coursera, Mathematics for Machine Learning: Linear Algebra, Imperial College London