【Deep Learning】NNの重みの傾向(差分とヒストグラム)
はじめに
前にNNの重みに関する見解を書きました。
そこでは、以下のようにまとめていました。
学習による割り当てられる重みの初期値の差異は大きく、
繰り返し学習による重みの変化は小さいことが分かった。これらから、NNモデルの学習では重みの初期値が重要になることが分かる。
今回は、MNISTを使用し、
重みの初期値と学習終了時の差分と
学習終了時の重みのヒストグラムを求めて
NNの重みの傾向を探っていきます!
学習モデル
今回はMNISTを使用し、以下のモデルで学習しました。
#MNISTの取得方法はこちら
self.model = FunctionSet( l1 = L.Linear(784,1000), l2 = L.Linear(1000,1000), l3 = L.Linear(1000,10), )
まとめ
今回はMNISTによるNNの重みについて調査しました。
結果として、重み(l3)が最も初期値から学習終了までに変化する量が多くなりました。
これは、l3は1000次元から10次元に大きく減少している、
かつ、誤差量の影響が大きいためでしょうか。
また、重みのヒストグラムを見るとどれも同じような傾向になりました。
重み0に近くなるにつれて割合が多くなるのは興味深いですね。