1. Key Concepts on Deep Neural Netoworks (Quiz) 어려운 내용은 아닌데 다 맞히기가 어려워서 몇 번이고 시도했다... cache는 forward를 진행하는 과정에서 backward 계산을 편리하게 하기위해 저장하는 변수값이다. 이때 저장되는 Z는 미분계수를 구하는데 사용된다. parameter에는 W,b가 포함된다. activation function, number of layers 등은 hyper parameter에 속한다. vecotirzation을 통해 explict한 for-loop를 줄일 수 있지만 각 layer에 대한 계산을 수행하는데 있어서는 for-loop를 제외할 수 없다. Z,A를 각 layer에 대해 계산하는 알맞은 코드를 고른다. 결과적으로 Z[1..
deep learning
1. Parameters vs Hyperparameters What are hyperparameters? 최종적으로 parameter인 w,b를 결정하는데 영향을 주는 것들이다. learning rate 알파, iterations 횟수, hidden layer 개수 L, hidden unit 개수 n, activation function 종류 등 Applied deep learning is a very empirical process hyper parameter를 조정하면서 cost값이 작아지는 조건을 찾아나가는 것이다. 2. What does this have to do with the brain? Forward and backward propagation 교수님은 deep learning의 구조가 인..
1. Adverse uses of AI DeepFakes Synthesize video of people doing things they never did Undermining of democracy and privacy Oppressive surveillance Generating fake comments Spam vs. anti-spam and fraued vs. anti-fraud 2. AI and developing economies Developing economies 기술이 발전함에 따라 개발도상국들은 선진국이 이미 거쳐갔던 단계를 반복할 필요가 없다. 성장 단계에 있어서 일종의 '도약'이 가능한 것이다. How developing economies can build AI US and Chin..
1. A realistic view of AI Goldilocks rule for AI Toop optimistic: Sentient / super-intelligent AI killer robots coming soon Too pessimistic: AI cannot do everything, so an AI winter is coming Just right: AI can't do everything, but will transform industries Limitations of AI Performance limitations Explainability is hard (but sometimes doable) Biased AI through biased data Adversarial attacks on..
1. Gradient Descent for Neural Networks 두 개의 hidden layers가 존재하는 neural network에 대해 gradient descent의 parameters는 네 개이다. w1, b1, w2, b2. 이를 cost function의 매개변수로 넣고 이 값들을 최적화하여 cost의 값을 최소화하는 것이 최종 목표이다. 값을 업데이트 하는 과정은 cost function을 각 변수로 편미분하여 구한 미분계수를 빼는 방식으로 진행한다. 이 반복은 적절한 값이 찾아질 때까지 계속된다. Formulas for computing derivatives forward/back propagation 의 공식이 나열되어있다. forward propagation은 앞에서 다룬 내..
1. Survey of major AI application areas (optional) Computer Vision Image classification/Object recognition Face recognintion Object detection Image segmentation Tracking Natural Language Processing Text classification Sentiment recognition Information retrieval E.g., web search Name entity recognition Machine translation Ohters: parsing, part-of-speech tagging Speech Speech recognition (speech-t..
