【Deep Learning】NNの重みは学習の度に異なり、初期値から大きく変化しない
はじめに
NNを学習する際に
まずは各重みに初期値が割り当てられる。
そして、NNの学習はこの初期値の重みを変えながら進んでいくことになる。
つまり、初期値が大事になる。
そこで、今回は
- 初期値が学習のたびにどれだけ異なるのか
- 繰り返し学習によってどれほど初期値が変化するのか
について評価する。
また、今回は評価するために重みを色で表現した。
例：
左の〇4つが入力層、真ん中の〇6つが中間層、右の〇3つが出力層となっている。
重みは各〇をつないでいる線の色で表す。
より赤ければ重みが大きく、黒ければ小さい。
初期値が学習のたびにどれだけ異なるのか
下の画像が各学習での初期値になる。
ぱっと見はわかりにくいが、よく見ると結構異なっている。
繰り返し学習によってどれほど初期値が変化するのか
以下に初期値と繰り返し学習回数を5,000回行ったときの画像を列挙した。
大きな変化がないことが分かる。
学習①
学習②
学習③
学習④
学習①の重みの移り変わりの動画
youtu.be
まとめ
今回は学習するNNモデルの重みについて、について、
学習による割り当てられる重みの初期値の差異と
繰り返し学習による重み変化を評価した。
結果として、
学習による割り当てられる重みの初期値の差異は大きく、
繰り返し学習による重みの変化は小さいことが分かった。
これらから、NNモデルの学習では重みの初期値が重要になることが分かる。
よって、
構築した学習モデルの評価を行う際は、
構築した学習モデルに対して学習を複数回行い、
各学習モデルの平均等を出すべきである。
