BPTT, LSTM#

How does LSTM work?#

1. LSTM はロジスティックユニットやハイパータンジェントでアナログ値を保持している隠れ層のメモリユニットを置き換えたモデル
2. 各メモリセルは入出力ゲートを制御
3. メモリセルに保存されているアナログ値には忘却ゲートが付いている
4. 入出力ゲートが閉じていてで忘却ゲートが開いていれば，次の時刻も状態を保持する Le, Jaitly, & Hinton (2015)

双方向 RNN#