분류 전체보기

1. Gradient Descent for Neural Networks 두 개의 hidden layers가 존재하는 neural network에 대해 gradient descent의 parameters는 네 개이다. w1, b1, w2, b2. 이를 cost function의 매개변수로 넣고 이 값들을 최적화하여 cost의 값을 최소화하는 것이 최종 목표이다. 값을 업데이트 하는 과정은 cost function을 각 변수로 편미분하여 구한 미분계수를 빼는 방식으로 진행한다. 이 반복은 적절한 값이 찾아질 때까지 계속된다. Formulas for computing derivatives forward/back propagation 의 공식이 나열되어있다. forward propagation은 앞에서 다룬 내..

1. Activation Functions 이제는 activation function으로 sigmoid를 사용하지 않는다. 거의 모든 경우에 대해서 tan h를 activation function으로 사용하는 것이 더 좋기 때문이다. tan h는 sigmoid와 달리 non-linear한 내용에도 적용될 수 있다. 단, output layer의 activation function으로 sigmoid를 사용하는 것이 tan h를 사용하는 것보다 편리한 경우가 예외로 존재한다. 이때는 y(label)이 0 또는 1로 구분되는 이진분류인 경우인데, y hat의 범위가 -1에서 1인 것보다 0에서 1로 나오는 것이 더 좋기 때문이다. 따라서 hidden layer의 activation function은 sigmo..

1. Neural Networks Overview What is a Neural Network? 앞선 강의들에서 배운 내용을 정리한 것이다. 입력 x를 가중치 w와 곱하고 편향 b를 더한 것을 z로 정의한다. 이 z에 시그모이드 함수를 적용하면 output이 된다. 만약 layer가 깊어지면 z가 새로운 입력이 되어 새로운 가중치 및 편향과 계산을 하게 된다. 변수의 우측 상단에 적힌 [ ] 안의 숫자는 몇 번째 layer에 속하는지를 나타내고 있다. 빨간색 화살표는 back-propagation을 뜻한다. 2. Neural Network Representation hidden layer: 어떤식으로 학습이 이루어지는지 우리가 직접 볼 수 없는 layer다. logistic regression에서는 a가..

1. Full derivation of the projection 앞의 강의에서 다룬 투영행렬을 구하는 과정이 증명되어있다. 사실 강의에서 이미 그 과정을 보여주었기 때문에 특별한 내용은 없었다. 2. Example: projection onto a 2D subspace 3D 공간에 속하는 벡터 x를 2D의 부분공간에 대해 투영한 벡터를 구하는 예시다. 결과적으로 투영벡터도 부분공간 u의 기저벡터 b1,b2의 linear combination으로 표현되는 것을 확인할 수 있다. 3. Project 3D data onto a 2D subspace 3차원 공간의 벡터 x를 2차원 평면으로 표현되는 부분공간에 대해 내린 투영벡터를 구하는 문제(3개) 강의에서 설명된 공식을 잘 이용해야 한다. B.T와 B를 곱..

1. Projection onto 1D subspaces 벡터 u의 기저벡터는 b이다.(다른 말로 표현하면 벡터 b로 표현할 수 있는 subspace 내에 u가 존재한다) 따라서 어떤 scalar lamda를 기저벡터 b에 곱해주면 파이 x u(x)가 되는 것이다. 이때 벡터 u 위의 벡터 x와 가장 가까운 지점을 구하면 x에서 u에 대해 수선을 내려야 한다. 수선의 정의는 직교(orthogonal)한다는 것이다. 따라서 벡터 b와 수선을 표현하는 벡터의 내적은 0이 된다. 위 정의를 이용하여 식을 정리해보면 람다에 대해 내적과 norm으로 정의할 수 있게 된다. 결과적으로 (b x b.T) / norm(b)^2 은 projection matrix가 된다. 2. Example: projection ont..

1. Simple neural networks neural network를 이루는 작은 원 하나를 neuron이라고 한다. 그 구조는 활성화 함수인 시그모이드에 가중치 w와 입력 a를 곱하고 b를 더한 값을 집어넣는 것이다. 만약 입력이 여러개이고 이것이 여러개로 구성된 다음층으로 전달될 때는 위와 같은 구조를 가진다. 1번 layer에 속하는 neuron들이 0번 layer에 속하는 neuron들과 모두 연결되어있다. 그리고 그 연결은 위에서 설명한 가중치와의 곱 + 편향으로 구성된다. 이를 일반화하면 단순한 숫자(scalar)의 곱이 아닌 벡터의 곱으로 이해할 수 있게 된다. 가중치벡터 W와 입력벡터 a를 곱하고 여기에 편향벡터 b를 더한 결과를 시그모이드 함수에 집어넣는 것이다. 다양한 일들을 수행..