{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# TensorFlow による CNN MNIST 実習<br><small>ハンズオン資料</small>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p style=\"text-align:center;font-size:150%;line-height:150%\">2016/05/21 機械学習 名古屋 第4回勉強会</p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## はじめに"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ この資料は、TensorFlow を用いて、CNN（畳み込みニューラルネット）により MNIST の学習を実施することを目的とするものです。  \n",
    "+ この資料に掲載のコードは、本日の読書会の資料（[第6章](http://antimon2.github.io/MLNGY_201605/slides/Chapter6_ConvolutionalNeuralNetwork.slides.html)）、前回の読書会の資料（[第2章](http://antimon2.github.io/MLNGY_201604/slides/Chapter2_FeedforwardNeuralNetwork.slides.html)・[第3章](http://antimon2.github.io/MLNGY_201604/slides/Chapter3_StochasticGradientDescent.slides.html)）、および TensorFlow 公式のチュートリアル [Deep MNIST for Experts](https://www.tensorflow.org/versions/master/tutorials/mnist/pros/) を元に構築しております。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## 目標"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ TensorFlow を用いた基本的な CNN を自分で書ける。\n",
    "+ 学習の精度を上げる（オプション、もしくは宿題）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## 環境等"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "以下の環境を前提とします。\n",
    "\n",
    "+ Python（必須）（2.7.x / 3.x どちらでもOK）\n",
    "+ TensorFlow（必須）（0.8 を想定、0.6 / 0.7 でもOK）\n",
    "+ matplotlib（任意、結果を確認する際に利用）\n",
    "+ IPython（任意）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## TensorFlow"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ [公式サイト](https://www.tensorflow.org/)\n",
    "+ Google 製の「データフローグラフを用いた数値計算ライブラリ」（公式の説明を私訳）\n",
    "  + DeepLearning 用の機能も豊富。\n",
    "+ 最新バージョンは v0.8"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "インストールの詳細省略。  \n",
    "インストールが成功していれば、Python のインタラクティブシェル（もしくは ipython, Jupyter 等）で↓以下のようにすれば利用開始。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "import tensorflow as tf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "※ 今回は TensorBoard は不使用。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## MNIST"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ 機械学習定番の、多クラス分類（教師あり学習）問題「手書き数字認識」のサンプルデータ。\n",
    "+ 多くの機械学習ライブラリで、手軽に体験できるよう「MNIST をロードする関数（またはサンプル）」が用意されている。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "TensorFlow では、以下のようにすると MNIST データセット（訓練データおよびテストデータ）を扱えるようになる："
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from tensorflow.examples.tutorials.mnist import input_data\n",
    "mnist = input_data.read_data_sets(\"MNIST_data/\", one_hot=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "※↑データが存在しなければネットワーク経由でダウンロードから開始。  \n",
    "　ダウンロード後（or ダウンロード済のデータが存在する場合）そのデータを読み込んでくれる。  \n",
    "※⇒既にダウンロード済のデータ（4つの.gzファイル）を持っていたらそれを所定の場所に置いておくだけでもOK。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## CNN 構築"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 訓練データ（及び正解データ）用の変数（プレースホルダ）用意"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 訓練データ：長さ784のベクトルデータ(=28x28 の画像データ)\n",
    "x = tf.placeholder(tf.float32, [None, 784])\n",
    "# 正解データ：長さ10のベクトルデータ(0,1,…,9 の対応する要素のみ 1、他は 0)\n",
    "d = tf.placeholder(tf.float32, [None, 10])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 重みの初期化"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "shape（行列の行数と列数、もしくはベクトルの要素数）を指定して、重み（およびバイアス）を返すユーティリティ関数を用意しておく。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 重み（フィルター）は tf.truncated_normal() で初期化（tf.random_normal() でも大体同じ）\n",
    "def weight_variable(shape):\n",
    "    initial = tf.truncated_normal(shape, stddev=0.1)\n",
    "    return tf.Variable(initial)\n",
    "\n",
    "\n",
    "# バイアスは固定値 0.1 で初期化\n",
    "def bias_variable(shape):\n",
    "    initial = tf.constant(0.1, shape=shape)\n",
    "    return tf.Variable(initial)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 畳み込み層とプーリング層"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "同様、畳み込み層とプーリング層も定型のものを返すユーティリティ関数定義。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 畳み込み層は、tf.nn.conv2d() を利用。\n",
    "# ストライドは (1, 1)、パディングあり（＝入力と出力の画像サイズが同じ）\n",
    "def conv2d(x, W):\n",
    "    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')\n",
    "\n",
    "\n",
    "# プーリング層は、tf.nn.max_pool() を利用（最大プーリング）。\n",
    "# プーリングサイズ・ストライドはいずれも (2, 2)、パディングあり（＝出力の画像サイズは入力の1/2）\n",
    "def max_pool_2x2(x):\n",
    "    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],\n",
    "                            strides=[1, 2, 2, 1], padding='SAME')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 第1畳み込み層"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ 入力サイズ：28 x 28（=784：訓練データのサイズ）\n",
    "+ フィルター（重み）：\n",
    "  + サイズ：5 x 5（ストライド：1 x 1）\n",
    "  + 入力チャネル数：1\n",
    "  + 出力チャネル数：32\n",
    "+ プーリング（最大プーリング）：\n",
    "  + サイズ：2 x 2（ストライド：2 x 2）\n",
    "  + 参考出力サイズ：14 x 14 x 32\n",
    "+ 正規下層：なし"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 1件分のデータ（長さ784)を 28x28x1（W=28, K=1）に変換\n",
    "x_image = tf.reshape(x, [-1,28,28,1])\n",
    "\n",
    "# フィルターは 5x5x1x32（H=5, K=1, M=32）\n",
    "W_conv1 = weight_variable([5, 5, 1, 32])\n",
    "b_conv1 = bias_variable([32])\n",
    "\n",
    "# 畳み込み層・プーリング層を定義（活性化関数は正規化線形関数）\n",
    "h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)\n",
    "h_pool1 = max_pool_2x2(h_conv1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 第2畳み込み層"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ 参考入力サイズ：14 x 14 x 32\n",
    "+ フィルター（重み）：\n",
    "  + サイズ：5 x 5（ストライド：1 x 1）\n",
    "  + 入力チャネル数：32\n",
    "  + 出力チャネル数：64\n",
    "+ プーリング（最大プーリング）：\n",
    "  + サイズ：2 x 2（ストライド：2 x 2）\n",
    "  + 参考出力サイズ：7 x 7 x 64\n",
    "+ 正規下層：なし"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# フィルターは 5x5x32x64（H=5, K=32, M=64）\n",
    "W_conv2 = weight_variable([5, 5, 32, 64])\n",
    "b_conv2 = bias_variable([64])\n",
    "\n",
    "# 畳み込み層・プーリング層を定義（活性化関数は正規化線形関数）\n",
    "h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)\n",
    "h_pool2 = max_pool_2x2(h_conv2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 全結合層"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ 入力サイズ：3136（＝7\\*7\\*64＝前の層の出力サイズ）\n",
    "+ 出力サイズ：1024\n",
    "+ 活性化関数：正規化線形関数（ReLU）"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# 入力サイズ 3136（＝7x7x64）、出力サイズ 1024\n",
    "W_fc1 = weight_variable([7 * 7 * 64, 1024])\n",
    "b_fc1 = bias_variable([1024])\n",
    "\n",
    "# 前層（プーリング層2）の出力（7x7x64 の 3-D）を 1-D に変換してから適用\n",
    "h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])\n",
    "h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 出力層"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ 入力サイズ：1024（前の層の出力サイズ）\n",
    "+ 出力サイズ：10（正解データの要素数）\n",
    "+ ドロップアウト：実施\n",
    "+ 活性化関数：ソフトマックス関数"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# ドロップアウトの定義\n",
    "keep_prob = tf.placeholder(tf.float32)\n",
    "h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)\n",
    "\n",
    "# 入力1024、出力10\n",
    "W_fc2 = weight_variable([1024, 10])\n",
    "b_fc2 = bias_variable([10])\n",
    "\n",
    "# ソフトマックス出力\n",
    "y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 誤差関数（＝交差エントロピー）"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "x_entropy = tf.reduce_mean(-tf.reduce_sum(d * tf.log(y_conv), reduction_indices=[1]))\n",
    "# Tensorflow v0.7 以前の場合は↓\n",
    "# x_entropy = -tf.reduce_sum(d * tf.log(y_conv))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 最適化"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "source": [
    "+ 以下では、公式チュートリアルに倣って `tf.train.AdamOptimizer` を利用した例を示す。\n",
    "  + 引数（＝学習係数）は 1e-4(=0.0001)\n",
    "+ 他に、`tf.train.GradientDescentOptimizer`、`tf.train.MomentumOptimizer` 等を利用しても良い。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "optimizer = tf.train.AdamOptimizer(1e-4)\n",
    "train_step = optimizer.minimize(x_entropy)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## 学習"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### TensorFlow による学習の流れ"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "source": [
    "0. 変数の初期化\n",
    "1. セッションの開始\n",
    "2. ミニバッチを利用した学習ステップのループ\n",
    "3. （オプション）精度の確認\n",
    "4. （オプション）推測結果確認"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 1. 変数の初期化"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "init = tf.initialize_all_variables()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "notes"
    }
   },
   "source": [
    "※↑これも「変数を初期化する」という命令を宣言しているだけ。  \n",
    "　この後 `sess.run(init)` することで（そのセッション内で実際に）変数の初期化が実行される。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 2. セッションの開始"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "sess = tf.Session()\n",
    "sess.run(init)\n",
    "# ↑実際にはここで始めて各変数が初期化される"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 2.5. （先に）精度の確認（の準備）"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "今回は分かりやすくするため、ループ中にも随時精度を確認してみる。  \n",
    "そのため先に精度を確認する各種準備。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# y（＝学習結果の出力）と d（正解データ）で一致しているかどうかを確認\n",
    "correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(d, 1))\n",
    "# 平均（＝一致している個数÷全データ数）を計算\n",
    "accuracy = tf.reduce_mean(tf.cast(correct_prediction, \n",
    "                                  tf.float32))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 3. ミニバッチを利用した学習ステップのループ"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# ループ回数は 5000回\n",
    "# バッチサイズは 50\n",
    "# 200イテレーションごとに現在の精度を算出し出力\n",
    "for i in range(1, 5001):\n",
    "    batch_xs, batch_ys = mnist.train.next_batch(50)\n",
    "    sess.run(train_step, feed_dict={x: batch_xs, d: batch_ys, keep_prob: 0.5})\n",
    "    if i % 200 == 0:\n",
    "        train_accuracy = sess.run(accuracy, feed_dict={x: batch_xs, d: batch_ys, keep_prob: 1.0})\n",
    "        print('  step, accurary = %6d: %6.3f' % (i, train_accuracy))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "※注意：けっこう時間がかかります。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 4. 精度の確認"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "テストデータを利用して精度の確認。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "print(sess.run(accuracy, feed_dict={x: mnist.test.images, \n",
    "                                    d: mnist.test.labels,\n",
    "                                    keep_prob: 1.0}))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "↑だいたい0.98前後になる（と思われます）。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### 5. 推測結果の確認"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "matplotlib が入っている場合、以下を実行して実際のデータと推測結果を確認してみる。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "# ↑Jupyter 上で実行するときに必要\n",
    "\n",
    "import matplotlib\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import matplotlib.cm as cm\n",
    "import random"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "n = len(mnist.test.images)\n",
    "i = random.randrange(n)\n",
    "\n",
    "imageData = mnist.test.images[i]\n",
    "label = mnist.test.labels[i]\n",
    "\n",
    "result = sess.run(y_conv, feed_dict={x: [imageData], d: [label], keep_prob: 1.0})\n",
    "print(\"Classified as: %d\" % np.argmax(result))\n",
    "\n",
    "image = np.reshape(imageData, [28, 28])\n",
    "\n",
    "plt.imshow(image, cmap = cm.Greys)\n",
    "# plt.show()\n",
    "# ↑Jupyter 以外では必要"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## 発展"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### さらなる精度向上のためにできること"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "+ イテレーション回数を調整する\n",
    "  + TensorBoard を利用するか、自分で matplotlib を用いるなどして学習曲線を引く\n",
    "  + 公式チュートリアルでは、20000回イテレーションで 0.992 まで向上している。\n",
    "+ 畳み込み層（+プーリング層）を追加してみる\n",
    "+ 正規化層を追加してみる\n",
    "  + ※おそらく今回のMNISTではあまり効果は出ないと思われます…。\n",
    "+ フィルターのサイズ、ストライドの値、パディングの設定等を変更してみる\n",
    "+ `tf.train.AdagradOptimizer` の代わりに `tf.train.MomentumOptimizer` を試してみる。\n",
    "  + `optimizer = tf.train.MomentumOptimizer(0.001, 0.9)` 等"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "skip"
    }
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "TensorFlow v0.8 (Python 3)",
   "language": "python",
   "name": "tensorflow08"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}