인공지능 - Optimization(학습)

Backpropagation(scalar)

- 값을 뒤로 보내면서 W(weight)와 b(bias)를 업데이트 하는 방법

- Loss를 W로 미분. W가 변할 때 Loss값이 어떻게 변하는지에 대한 식

- 업데이트는 loss가 감소하는 방향으로 업데이트가 됨

 

 

 

*Neural Network에서는?

- chain rule을 사용해 backpr opagation

chain rule

자주 쓰이는 패턴

 

 

 

Backpropagation(Vector/Matrix)