![]()
1. Simple neural networks neural network를 이루는 작은 원 하나를 neuron이라고 한다. 그 구조는 활성화 함수인 시그모이드에 가중치 w와 입력 a를 곱하고 b를 더한 값을 집어넣는 것이다. 만약 입력이 여러개이고 이것이 여러개로 구성된 다음층으로 전달될 때는 위와 같은 구조를 가진다. 1번 layer에 속하는 neuron들이 0번 layer에 속하는 neuron들과 모두 연결되어있다. 그리고 그 연결은 위에서 설명한 가중치와의 곱 + 편향으로 구성된다. 이를 일반화하면 단순한 숫자(scalar)의 곱이 아닌 벡터의 곱으로 이해할 수 있게 된다. 가중치벡터 W와 입력벡터 a를 곱하고 여기에 편향벡터 b를 더한 결과를 시그모이드 함수에 집어넣는 것이다. 다양한 일들을 수행..
![]()
1. Multivariate chain rule t에 관한 n개의 함수 x로 구성된 함수 f를 t에 대해 미분하는 것은 chain rule로 표현 가능하다. 이때 편미분벡터와 미분벡터를 내적하는 꼴이 된다. 2. More multivariate chain rule 앞서 배운 내용처럼 chain rule은 원래 단변수함수를 바로 미분한 것과 동일한 결과를 가진다. 하지만 벡터를 원소로 가지는 경우 위처럼 행렬의 편미분과 미분의 곱으로 표현된다. 위 예시에서 앞의 두 개는 Jacobian(편미분을 모아놓은 벡터)이고 행렬의 곱에 따라 1 x 1 사이즈의 결과가 나타난다. 따라서 계산결과는 scalar값이 된다. 3. Multivariate chain rule exercise multivariate chain..
