2017-04-14

【Rails】Ruby on Rails始めました

f:id:qstairs:20160601221351j:plain

はじめに

現在のITサービスにおいて、
Webサービスは切っても切れないものになっています。
そんな中で事業を作っていく身としてはWebサービスはできませんでは話になりません。
ということで、Webアプリの開発が容易だという「Ruby on Rails」の勉強を始めました。

今回やったことは以下の２点になります。

環境構築
簡単なRailsアプリの作成

#環境はMac OSです。

環境構築

私は以下のサイトを参考にしました。
最初は他のサイトを参考にしていましたが途中うまくいかず、
以下のサイトに行き着きました。
【El Capitan】Mac OSX 10.11 El Capitan にRuby + Rails4 開発環境の構築【初心者必見】 - Qiita

簡単なRailsアプリの作成

環境構築まで完了した後、以下のサイトを参考に簡単なRailsアプリを作成しました。
タイトルにあるように、「小学生でもわかる」ということで
どんなものかと思い選んでみたところ、
とてもわかりやすかったです。

小学生でもわかるRuby on Rails入門 | OpenBook

ただ、ITリテラシーが低い方にとってはちょっと難しいかなと思います。(^_^;
ただ、行き詰まった際には関連するサイトを探して解決していけば問題ないかと思います。

最後に

今回はRuby on Railsの環境構築と簡単なRailsアプリの作成を行いました。
感想としては、「これは便利!!」の一言です。
というのも、画面と処理とDBが同じ環境内に収まっているので、
そういった各モジュールとの連携で悩む必要がありません。

今後はスマートフォンのアプリとの連携を含めた
Webサービスの開発まで検討していこうかと考えています。

2017-04-12

【Deep Learning】NNの重みは学習の度に異なり、初期値から大きく変化しない

AI （人工知能） Chainer Deep Learning（ディープラーニング） IT python

f:id:qstairs:20160601221351j:plain

はじめに

NNを学習する際に
まずは各重みに初期値が割り当てられる。

そして、NNの学習はこの初期値の重みを変えながら進んでいくことになる。

つまり、初期値が大事になる。

そこで、今回は

初期値が学習のたびにどれだけ異なるのか
繰り返し学習によってどれほど初期値が変化するのか

について評価する。

また、今回は評価するために重みを色で表現した。

例：
左の〇4つが入力層、真ん中の〇6つが中間層、右の〇3つが出力層となっている。
重みは各〇をつないでいる線の色で表す。
より赤ければ重みが大きく、黒ければ小さい。

f:id:qstairs:20170412214241p:plain

実験内容

この前の記事に書いたIris（アヤメ）の識別に構築した学習モデルを使用し、
繰り返し学習回数(epoch)を5,000で4回学習した。

各学習で得られた重みを色で表現した画像を出力した。

初期値が学習のたびにどれだけ異なるのか

下の画像が各学習での初期値になる。
ぱっと見はわかりにくいが、よく見ると結構異なっている。

f:id:qstairs:20170412215324p:plain

繰り返し学習によってどれほど初期値が変化するのか

以下に初期値と繰り返し学習回数を5,000回行ったときの画像を列挙した。
大きな変化がないことが分かる。

学習①
f:id:qstairs:20170412215947p:plain:h300
学習②
f:id:qstairs:20170412215959p:plain:h300
学習③
f:id:qstairs:20170412220008p:plain:h300
学習④
f:id:qstairs:20170412220019p:plain:h300

学習①の重みの移り変わりの動画
youtu.be

まとめ

今回は学習するNNモデルの重みについて、について、
学習による割り当てられる重みの初期値の差異と
繰り返し学習による重み変化を評価した。

結果として、
学習による割り当てられる重みの初期値の差異は大きく、
繰り返し学習による重みの変化は小さいことが分かった。

これらから、NNモデルの学習では重みの初期値が重要になることが分かる。

よって、
構築した学習モデルの評価を行う際は、
構築した学習モデルに対して学習を複数回行い、
各学習モデルの平均等を出すべきである。

注意事項

今回の評価ではDeep LearningのフレームワークであるChainerを使用しており、
他のフレームワークでは同様の結果が出ない可能性があります。

qstairs.hatenablog.com

2017-04-11

【Deep Learning】Chainerを使ったニューラルネットワークを再勉強

AI （人工知能） Deep Learning（ディープラーニング） Chainer IT python フリーランス

f:id:qstairs:20160601221351j:plain

はじめに

これから私が事業を考えていくうえで欠かせない技術が
Deep Learningをはじめとした機械学習です。

これまでは画像認識の分野でCNNを用いた画像の識別を勉強してきましたが、
CNNではなくRNNのほうが、私が考えている事業で利用することになります。

そこで、RNNを理解するにあたって、
Deep Learningを改めて勉強していこうという考えに至っています。

#フレームワークとしてChainerを使用しています。
qstairs.hatenablog.com

処理

今回はscikit-learnを使ってIris（アヤメ）データをダウンロードし、
ニューラルネットワークを構築して学習・評価します。

Iris（アヤメ）データは、
花びらの長さ、幅、がく片の長さ、幅の4次元データに対して、
アヤメの種類であるsetosa(0),versicolor(1),virginica(2)の3種類が割り当てられています。
データは全部で150個あり、
今回は学習に半分、評価に半分使用しています。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from chainer import cuda, Function, FunctionSet, gradient_check, Variable, optimizers, serializers
from chainer.training import extensions
import chainer.functions as F
import chainer.links as L

from sklearn import datasets
import numpy as np

import os

class IrisChain():
    cuda.get_device(0).use()
    def __init__(self):
        self.model = FunctionSet(
            l1 = L.Linear(4,6),
            l2 = L.Linear(6,3),
        ).to_gpu()
    def __call__(self, x, y, train=True):
        h1 = F.sigmoid(self.model.l1(x))
        h2 = self.model.l2(h1)

        if train == True:
            return F.mean_squared_error(h2, y)
        else:
            return h2

cuda.get_device(0).use()

# iris=[花びらの長さ、幅、がく片の長さ、幅]→[setosa(0),versicolor(1),virginica(2)]
# データ数：150個
iris = datasets.load_iris()
X = iris.data.astype(np.float32)
Y = iris.target
N = Y.size
Y2 = np.zeros(3 * N).reshape(N, 3).astype(np.float32)
for i in range(N):
    Y2[i, Y[i]] = 1.0

index = np.arange(N)
# 奇数番目のデータを学習データにする
xtrain = X[index[index % 2 != 0],:]
ytrain = Y2[index[index % 2 != 0],:]
# 偶数番目のデータを学習データにする
xtest = X[index[index % 2 == 0],:]
yans = Y[index[index % 2 == 0]]

print N

model = IrisChain()
optimizer = optimizers.SGD()
optimizer.setup(model.model)

f = open("loss.csv","w")
for i in range(50000):
    x = Variable(cuda.to_gpu(xtrain))
    y = Variable(cuda.to_gpu(ytrain))
    model.model.zerograds()
    loss = model(x,y)
    loss.backward()
    optimizer.update()
    print "%d: %f"%(i, loss.data)
    f.write("%d,%f\n"%(i, loss.data))
f.close()

xt = Variable(cuda.to_gpu(xtest), volatile='on')
yt = yans
result = model(xt, yt, train=False)
nrow, ncol = result.data.shape
print nrow
correct = 0
for j in range(nrow):
    c = np.argmax(result.data[j,:])
    if c == yans[j]:
        correct += 1

print "%d / %d = %f"%(correct, nrow, float(correct)/float(nrow))