Matrix

1. Neural Networks Overview What is a Neural Network? 앞선 강의들에서 배운 내용을 정리한 것이다. 입력 x를 가중치 w와 곱하고 편향 b를 더한 것을 z로 정의한다. 이 z에 시그모이드 함수를 적용하면 output이 된다. 만약 layer가 깊어지면 z가 새로운 입력이 되어 새로운 가중치 및 편향과 계산을 하게 된다. 변수의 우측 상단에 적힌 [ ] 안의 숫자는 몇 번째 layer에 속하는지를 나타내고 있다. 빨간색 화살표는 back-propagation을 뜻한다. 2. Neural Network Representation hidden layer: 어떤식으로 학습이 이루어지는지 우리가 직접 볼 수 없는 layer다. logistic regression에서는 a가..

1. Inner product: definition 내적은 이와 같이 정의된다. 벡터공간 v에 존재하는 세 벡터 x,y,z를 예시로, 내적의 세 가지 큰 특징을 알 수 있다. 1) Bilinear: 벡터의 합으로 표현된 벡터와 다른 벡터의 내적은 두 내적의 합으로 표현될 수 있다. 2) Positive definite: 자기 자신과의 내적의 값은 항상 0보다 크다. 자기 자신과의 내적의 값이 0이라는 것은 그 벡터가 영벡터라는 것과 필요충분 조건이다. 3) Symmetry: 두 벡터의 내적값은 순서를 바꿔도 동일하다. 대각성분을 제외한 다른 원소들은 대각성분을 기준으로 대칭을 이룬다. 2. Properties of inner products 특정함수 β(x,y) 의 알맞은 특성 고르기(5문제) symm..