AIの基礎（ LSTM：Long Short-term Memory ）

こんにちは。ウェブ解析士の佐藤佳です。
今回は、AIの基礎（ LSTM：Long Short-term Memory ）の学びをシェアします。

※情報源は「窪田望のアンテナ！」です

■LSTM（Long Short-term Memory）
人は忘れる、ということをアルゴリズムにうまく取り込んだ仕組み。

＜誕生背景＞
時系列の情報を入力したときに使う
RNN（リカレントニューラルネットワーク）の問題点を解決するため。

①勾配消失問題
　過去に逆伝播する勾配が消えてしまう。

②入力重み衝突
　関係のある情報が入力されたら、重みが大きくするべき。
　しかし、時系列のデータを扱う際は
「今の時点では関係ないが、将来の時点では関係ある入力」もある。

＜LSTMブロック＞
隠れ層の中にある、①と②を解決する仕組み。

セル　：誤差を内部にとどめ、勾配消失を防ぐ役割。
ゲート：①入力ゲート（入力重み衝突を防ぐ役割）
　　　　②忘却ゲート（誤差がセルに底流しないようにリセットする役割）
　　　　③出力ゲート（出力重み衝突を防ぐ役割）

今回はここまでです。
また次回のブログでお会いしましょう。