Couresra

1. Optimization Algorithms (Quiz) minibatch, layer, example에 대한 notation 각각 { }, [ ], ( ) 기호를 사용한다. vectorization Batch gradient descent는 한꺼번에 모든 데이터를 묶어 학습하겠다는 것이다. 따라서 memory의 문제만 없다면 vectorization을 가장 많이 수행하는 학습법일 것이다. 그러나 batch gradient descent는 progress를 진행하기 전에 전체 training set을 처리해야 한다는 문제점이 있다. 한편 stochastic gradient descent는 여러 example을 vectorization 할 수 없다는 단점이 있다. iteration - cost(J) g..

1. Activation Functions 이제는 activation function으로 sigmoid를 사용하지 않는다. 거의 모든 경우에 대해서 tan h를 activation function으로 사용하는 것이 더 좋기 때문이다. tan h는 sigmoid와 달리 non-linear한 내용에도 적용될 수 있다. 단, output layer의 activation function으로 sigmoid를 사용하는 것이 tan h를 사용하는 것보다 편리한 경우가 예외로 존재한다. 이때는 y(label)이 0 또는 1로 구분되는 이진분류인 경우인데, y hat의 범위가 -1에서 1인 것보다 0에서 1로 나오는 것이 더 좋기 때문이다. 따라서 hidden layer의 activation function은 sigmo..

Self-driving car Can do: 센서를 통해 사물을 감지하고 다른 차가 어딨는지 파악할 수 있다. Cannot do: 사람이 뻗은 손 모양을 보고 이것이 stop, hitchhiker, bike turn left signal인지 구분할 수 없다. 인간 의도를 파악하기는 쉽지 않다. 1. Data 획득의 어려움 2. Need high accuaracy X-ray diagnosis Can do: Diagnose pneumonia from 10,000 labeld images Cannot do: Diagnose pneumonia from 10 images of a medical textbook chapter explaining pneumonia Strengths and weaknesses of m..