Recurrent Neural Network

* RNN *

- 동영상은 4D tensor (T x 3 x H x W)

- RNN 네트워크 하나가 time 축마다 반복해서 나타남

fw는 같은 네트워크

hidden state와 output

 

- output layer에 Softmax 함수를 사용해 학습을 시킴

 

 

 

* LSTM *

- RNN은 short term memory에만 잘 작동한다는 문제점

그림이 약간 잘못됨

 

- 지난번 Cell state와 곱해지는 것은 forget gate

- Cell state 후보군과 input gate가 곱해져서 나중에 cell state에서 더해짐