Qstairs

現役AIベンチャーCTOの知見、画像認識(人工知能、Deep Learning)を中心とした技術ノウハウをアップしていきます

広告

【Deep Learning】NNの重みの傾向(差分とヒストグラム)

f:id:qstairs:20160601221351j:plain

はじめに

前にNNの重みに関する見解を書きました。
そこでは、以下のようにまとめていました。

学習による割り当てられる重みの初期値の差異は大きく、
繰り返し学習による重みの変化は小さいことが分かった。

これらから、NNモデルの学習では重みの初期値が重要になることが分かる。

今回は、MNISTを使用し、
重みの初期値と学習終了時の差分
学習終了時の重みのヒストグラムを求めて
NNの重みの傾向を探っていきます!


qstairs.hatenablog.com

学習モデル

今回はMNISTを使用し、以下のモデルで学習しました。
#MNISTの取得方法はこちら

self.model = FunctionSet(
      l1 = L.Linear(784,1000),
      l2 = L.Linear(1000,1000),
      l3 = L.Linear(1000,10),
)

重み(l1)の傾向

初期値と学習終了時の重みの最大差分(絶対値)

最大差分 ⇒ 0.0065

学習終了時の重みのヒストグラム


重み(l2)の傾向

初期値と学習終了時の重みの最大差分(絶対値)

最大差分 ⇒ 0.0041

学習終了時の重みのヒストグラム

重み(l3)の傾向

初期値と学習終了時の重みの最大差分(絶対値)

最大差分 ⇒ 0.0246

学習終了時の重みのヒストグラム

まとめ

今回はMNISTによるNNの重みについて調査しました。
結果として、重み(l3)が最も初期値から学習終了までに変化する量が多くなりました。
これは、l3は1000次元から10次元に大きく減少している、
かつ、誤差量の影響が大きいためでしょうか。

また、重みのヒストグラムを見るとどれも同じような傾向になりました。
重み0に近くなるにつれて割合が多くなるのは興味深いですね。


広告