Deep Neural Network(3)

1. Parameters vs Hyperparameters

What are hyperparameters?

• 최종적으로 parameter인 w,b를 결정하는데 영향을 주는 것들이다.
  • learning rate 알파, iterations 횟수, hidden layer 개수 L, hidden unit 개수 n, activation function 종류 등

 

Applied deep learning is a very empirical process

• hyper parameter를 조정하면서 cost값이 작아지는 조건을 찾아나가는 것이다.

 

2. What does this have to do with the brain?

Forward and backward propagation

• 교수님은 deep learning의 구조가 인간 뇌 속의 neuron을 닮았다는 것에 이제는 크게 동의하지 않으신다고 한다.
  인간의 뉴런은 생각보다 복잡하고 다양한 일을 처리하기 때문에 단순히 구조의 생김새를 보고 비유하는 것에 무리가 있다고 말씀하셨다.
  물론 초기에는 어떤 input과 output을 mapping하는 위와 같은 구조가 사람들의 관심과 이목을 끌기에 좋기 때문에 잘 알려지긴 했지만, 더이상은 큰 의미가 없는 것으로 보시는듯하다.

 

 

 

출처: Coursera, Neural Networks and Deep Learning, DeepLearning.AI