写真イメージ

AIの基礎( LSTM:Long Short-term Memory )

投稿者:

こんにちは。ウェブ解析士の佐藤佳です。
今回は、AIの基礎( LSTM:Long Short-term Memory )の学びをシェアします。

※情報源は「窪田望のアンテナ!」です


■LSTM(Long Short-term Memory)
人は忘れる、ということをアルゴリズムにうまく取り込んだ仕組み。

<誕生背景>
時系列の情報を入力したときに使う
RNN(リカレントニューラルネットワーク)の問題点を解決するため。

①勾配消失問題
 過去に逆伝播する勾配が消えてしまう。

②入力重み衝突
 関係のある情報が入力されたら、重みが大きくするべき。
 しかし、時系列のデータを扱う際は
「今の時点では関係ないが、将来の時点では関係ある入力」もある。

<LSTMブロック>
隠れ層の中にある、①と②を解決する仕組み。

セル :誤差を内部にとどめ、勾配消失を防ぐ役割。
ゲート:①入力ゲート(入力重み衝突を防ぐ役割)
    ②忘却ゲート(誤差がセルに底流しないようにリセットする役割)
    ③出力ゲート(出力重み衝突を防ぐ役割)


今回はここまでです。
また次回のブログでお会いしましょう。

Follow me!

この記事を書いた人

Kei Sato
面白いと思ったモノ・コトを解析し、広く報せることに喜びと生きがいを感じる人です。広報やウェブマーケティングの仕事が大好き。個人ではウェブ解析士、キャリアトランプ ダイバーシティ ナビゲーターとしても活動中。ブログでウェブ解析×キャリア支援に役立つお話や、日々の気づきを綴っています。

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください