今更ですが、TensorFlow で MNIST に挑戦です。しかも、ちょっと古い TensorFlow の書き方です。最新(2019.4月)では Keras スタイルになっていますので今から学ぶならそちらの方がいいでしょう。

今回は古いスタイルの TensorFlow からいろいろ屈指してbfloat16 の形式に変換し、最終的には FPGA で動かそうという目論見です。今回はその下準備でモデルからデータの作り方です。

TensorFlow サンプル

ちょっと長くなりますが、サンプルをつけておきます。Google Colab で実行すれば手間いらずです。もともと学習に時間がかからないモデルなので試すにははお手頃の感じです。(手元のデスクトップ PC でやってもたいして時間は かからなかった)

MNIST のデータをダウンロード

実はこのデータは deprecated で使うなという事らしく、実行するとおびただしいワーニングが出ます。現状はとりあえず、謝りながら使わせていただくことにします。

mnist.py

from tensorflow.examples.tutorials.mnist import input_data

import tensorflow as tf

mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

次のようなワーニングが出ます。

Please use alternatives such as official/mnist/dataset.py from tensorflow/models.

モデルの作成

実に TensorFlow ぽい書き方だったのですが、この書き方は最早古いようです。Keras が統合されて、最新はもっと見やすい書き方になっています。最新の書き方を学びたい方は、常に、最新の Google の TensorFlow の例を見てください。

784 のデータをそのまま 10 まで一気に落とすという非Deep なモデルです。あたり前ですが性能も出ません。最後に y の type を確認しています。TensorFlow 独自のクラスで ops からわかるように演算の定義になっています。

mnist.py

x = tf.placeholder(tf.float32, [None, 784])

W = tf.Variable(tf.zeros([784, 10]))

b = tf.Variable(tf.zeros([10]))

y = tf.nn.softmax(tf.matmul(x, W) + b)

print(y, type(y))

mnist.py

Tensor("Softmax:0", shape=(?, 10), dtype=float32) 

    <class 'tensorflow.python.framework.ops.Tensor'>

学習の為の設定

学習の為の設定もしておきます。

mnist.py

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = -tf.reduce_sum(y_ * tf.log(y))

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

実行

TensorFlow では Session をつくって実行するが基本です。with でちゃんと後始末をしておかないと Google Colab のメモリ不足に遭遇してkernel のリロードをする羽目になります。注意が必要です。最後に W と b を eval しておきます。こうしておくと親切なことに numpy へ変換してくれます。これも Session の中で行う必要があります。Session の外では動作しません。

mnist.py

with tf.Session() as sess:

  tf.initialize_all_variables().run()

  for i in range(10000):

    batch_xs, batch_ys = mnist.train.next_batch(100)

    train_step.run({x: batch_xs, y_: batch_ys})

  correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))

  accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

  print(accuracy.eval({x: mnist.test.images, y_: mnist.test.labels}))

  w0 = W.eval()

  b0 = b.eval()

ダウンロード

Google Colab を使っていたので最後はダウンロードしてデータを手元に持ってきます。Firefox とは相性が悪いようなのでダウンロードするなら Google Chrome を使いましょう。

リンク集