ディープラーニングの仕組み Vol.2
この映像補助教材はディープラーニングの仕組み vol.1と共通になっております。
CNN(折り畳みニューラルネットワーク)
ディープラーニングのアルゴリズムは用途によって分けられています。
CNNは入力層、出力層、隠れ層で構成されていて、これらの層には畳み込み層、正規化線形ユニット層、プーリング層の違った働きを持った層が何層にも重なって層ごとに異なる特徴を学習できるようになっています。
(これらはちょっと難しいので省きます)
RNN（再起型ニューラルネットワーク）
過去の情報を利用して、現在および将来の入力に対するネットワークの性能を向上させるディープラーニングのアルゴリズムです。
信号処理、テキスト解析などに適したアルゴリズムになります。
LSTM（Long Short Term Memory）
単純な RNN では長期の依存性の学習において問題が生じてしまいます。
LSTM は隠れセル内のどの情報を出力や次の隠れ状態にするかを制御します、これによってデータに含まれる長期の関係を効果的に学習できるようになります。
簡単に言うとLSTM は実用的な RNN の一種になります。
GAN(敵対的生成ネットワーク)
データから特徴を学習することによって実在しないデータを生成したり、存在するデータの特徴に沿って変換ができるアルゴリズムです。
GANの構造はgeneratorとdiscriminatorという2つのブロックで構成されています。
generator部分は「何らかの数値を入力として受け取り、その数値に基づいて新しいデータを出力」するものです。
discriminator部分は「入力されたデータがgeneratorの生成した偽物か、あるいは訓練データ用の本物か」を判別するものです。
これらの働きによって画質の高い画像の生成や、テキストから画像を生成する事が可能になっています。
ReLU（活性化関数）
関数への入力値が0以下の場合には出力値が常に0、入力値が0より上の場合には出力値が入力値と同じ値となる関数で、
これによってディープニューラルネットワークの勾配消失問題が解消されます。
【勾配消失問題とは】
層が深いニューラルネットワークにおいて、勾配がほぼ0になってしまい、学習が上手くいかなくなる問題です。
SGD(確率的勾配降下法)
最急降下法の一種で、ランダムなデータ一つのみで勾配を求め、パラメータの更新をしていく作業をデータの数だけ行う方法です。
最急降下法では局所解に陥ってしまう可能性がありましたが、この方法だと次のデータがランダムに選ばれるので局所解からの脱出が可能になっています。
深層学習や機械学習ではランダムに取り出した一部のデータを学習に使うので計算量も少なくなるので、この手法がしばしば使われています。