{ "cells": [ { "cell_type": "code", "execution_count": 1, "metadata": { "scrolled": true }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "CPython 3.6.8\n", "IPython 7.2.0\n", "\n", "numpy 1.15.4\n", "sklearn 0.20.2\n", "scipy 1.1.0\n", "matplotlib 3.0.2\n", "tensorflow 1.13.1\n" ] } ], "source": [ "%load_ext watermark\n", "%watermark -v -p numpy,sklearn,scipy,matplotlib,tensorflow" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "**11장 – 심층 신경망 훈련**" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_이 노트북은 11장에 있는 연습문제 해답을 가지고 있습니다._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "# 설정" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "파이썬 2와 3을 모두 지원합니다. 공통 모듈을 임포트하고 맷플롯립 그림이 노트북 안에 포함되도록 설정하고 생성한 그림을 저장하기 위한 함수를 준비합니다:" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "# 파이썬 2와 파이썬 3 지원\n", "from __future__ import division, print_function, unicode_literals\n", "\n", "# 공통\n", "import numpy as np\n", "import os\n", "\n", "# 일관된 출력을 위해 유사난수 초기화\n", "def reset_graph(seed=42):\n", " tf.reset_default_graph()\n", " tf.set_random_seed(seed)\n", " np.random.seed(seed)\n", "\n", "# 맷플롯립 설정\n", "%matplotlib inline\n", "import matplotlib\n", "import matplotlib.pyplot as plt\n", "plt.rcParams['axes.labelsize'] = 14\n", "plt.rcParams['xtick.labelsize'] = 12\n", "plt.rcParams['ytick.labelsize'] = 12\n", "\n", "# 한글출력\n", "plt.rcParams['font.family'] = 'NanumBarunGothic'\n", "plt.rcParams['axes.unicode_minus'] = False\n", "\n", "# 그림을 저장할 폴더\n", "PROJECT_ROOT_DIR = \".\"\n", "CHAPTER_ID = \"deep\"\n", "\n", "def save_fig(fig_id, tight_layout=True):\n", " path = os.path.join(PROJECT_ROOT_DIR, \"images\", CHAPTER_ID, fig_id + \".png\")\n", " if tight_layout:\n", " plt.tight_layout()\n", " plt.savefig(path, format='png', dpi=300)" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [], "source": [ "import tensorflow as tf" ] }, { "cell_type": "markdown", "metadata": { "collapsed": true }, "source": [ "# 연습문제 해답" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 1. to 7." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "부록 A 참조." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 8. 딥러닝" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 8.1." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: He 초기화와 ELU 활성화 함수를 사용하여 각각 뉴런이 100개인 은닉층 다섯 개를 가진 DNN을 만드세요._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "다음 연습문제도 비슷한 모델을 만들어야하므로 여기서 DNN을 구성하는 함수를 만들겠습니다:" ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [], "source": [ "he_init = tf.variance_scaling_initializer()\n", "\n", "def dnn(inputs, n_hidden_layers=5, n_neurons=100, name=None,\n", " activation=tf.nn.elu, initializer=he_init):\n", " with tf.variable_scope(name, \"dnn\"):\n", " for layer in range(n_hidden_layers):\n", " inputs = tf.layers.dense(inputs, n_neurons, activation=activation,\n", " kernel_initializer=initializer,\n", " name=\"hidden%d\" % (layer + 1))\n", " return inputs" ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "scrolled": true }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "WARNING:tensorflow:From :9: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Use keras.layers.dense instead.\n", "WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/framework/op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Colocations handled automatically by placer.\n" ] } ], "source": [ "n_inputs = 28 * 28 # MNIST\n", "n_outputs = 5\n", "\n", "reset_graph()\n", "\n", "X = tf.placeholder(tf.float32, shape=(None, n_inputs), name=\"X\")\n", "y = tf.placeholder(tf.int32, shape=(None), name=\"y\")\n", "\n", "dnn_outputs = dnn(X)\n", "\n", "logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name=\"logits\")\n", "Y_proba = tf.nn.softmax(logits, name=\"Y_proba\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 8.2." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: Adam 최적화와 조기 종료를 사용하여 MNIST 데이터셋에 훈련시키되 0에서 4까지의 숫자만 사용하세요. 다음 연습문제에서 5에서 9까지의 숫자에 대해 전이 학습을 사용할 것입니다. 출력층은 다섯 개의 뉴런에 소프트맥스 함수를 사용합니다. 나중에 재사용할 수 있도록 항상 일정한 간격으로 체크포인트와 최종 모델을 저장하세요._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "비용 함수, 훈련 연산과 다른 필요한 구성 요소를 만듭니다:" ] }, { "cell_type": "code", "execution_count": 6, "metadata": {}, "outputs": [], "source": [ "learning_rate = 0.01\n", "\n", "xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)\n", "loss = tf.reduce_mean(xentropy, name=\"loss\")\n", "\n", "optimizer = tf.train.AdamOptimizer(learning_rate)\n", "training_op = optimizer.minimize(loss, name=\"training_op\")\n", "\n", "correct = tf.nn.in_top_k(logits, y, 1)\n", "accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name=\"accuracy\")\n", "\n", "init = tf.global_variables_initializer()\n", "saver = tf.train.Saver()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "MNIST 데이터셋을 로드합니다:" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "주의: `tf.examples.tutorials.mnist`은 삭제될 예정이므로 대신 `tf.keras.datasets.mnist`를 사용하겠습니다." ] }, { "cell_type": "code", "execution_count": 7, "metadata": {}, "outputs": [], "source": [ "(X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_data()\n", "X_train = X_train.astype(np.float32).reshape(-1, 28*28) / 255.0\n", "X_test = X_test.astype(np.float32).reshape(-1, 28*28) / 255.0\n", "y_train = y_train.astype(np.int32)\n", "y_test = y_test.astype(np.int32)\n", "X_valid, X_train = X_train[:5000], X_train[5000:]\n", "y_valid, y_train = y_train[:5000], y_train[5000:]" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "훈련 세트, 검증 세트, 테스트 세트를 만듭니다(검증 세트는 조기 종료에 사용합니다):" ] }, { "cell_type": "code", "execution_count": 8, "metadata": {}, "outputs": [], "source": [ "X_train1 = X_train[y_train < 5]\n", "y_train1 = y_train[y_train < 5]\n", "X_valid1 = X_valid[y_valid < 5]\n", "y_valid1 = y_valid[y_valid < 5]\n", "X_test1 = X_test[y_test < 5]\n", "y_test1 = y_test[y_test < 5]" ] }, { "cell_type": "code", "execution_count": 9, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.161705\t최선의 손실: 0.161705\t정확도: 96.56%\n", "1\t검증 세트 손실: 1.224550\t최선의 손실: 0.161705\t정확도: 37.22%\n", "2\t검증 세트 손실: 0.219565\t최선의 손실: 0.161705\t정확도: 96.09%\n", "3\t검증 세트 손실: 0.189125\t최선의 손실: 0.161705\t정확도: 97.11%\n", "4\t검증 세트 손실: 0.189588\t최선의 손실: 0.161705\t정확도: 96.40%\n", "5\t검증 세트 손실: 0.183252\t최선의 손실: 0.161705\t정확도: 97.11%\n", "6\t검증 세트 손실: 0.235175\t최선의 손실: 0.161705\t정확도: 95.54%\n", "7\t검증 세트 손실: 0.239276\t최선의 손실: 0.161705\t정확도: 96.87%\n", "8\t검증 세트 손실: 0.193213\t최선의 손실: 0.161705\t정확도: 97.62%\n", "9\t검증 세트 손실: 0.254931\t최선의 손실: 0.161705\t정확도: 97.03%\n", "10\t검증 세트 손실: 0.170333\t최선의 손실: 0.161705\t정확도: 97.26%\n", "11\t검증 세트 손실: 0.183142\t최선의 손실: 0.161705\t정확도: 97.38%\n", "12\t검증 세트 손실: 0.165072\t최선의 손실: 0.161705\t정확도: 97.62%\n", "13\t검증 세트 손실: 0.287263\t최선의 손실: 0.161705\t정확도: 95.82%\n", "14\t검증 세트 손실: 0.180744\t최선의 손실: 0.161705\t정확도: 97.58%\n", "15\t검증 세트 손실: 0.191835\t최선의 손실: 0.161705\t정확도: 97.69%\n", "16\t검증 세트 손실: 0.198290\t최선의 손실: 0.161705\t정확도: 98.08%\n", "17\t검증 세트 손실: 0.244855\t최선의 손실: 0.161705\t정확도: 97.22%\n", "18\t검증 세트 손실: 0.189315\t최선의 손실: 0.161705\t정확도: 97.89%\n", "19\t검증 세트 손실: 3.665245\t최선의 손실: 0.161705\t정확도: 68.53%\n", "20\t검증 세트 손실: 0.697931\t최선의 손실: 0.161705\t정확도: 94.72%\n", "조기 종료!\n", "WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/training/saver.py:1266: checkpoint_exists (from tensorflow.python.training.checkpoint_management) is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Use standard file APIs to check for files with this prefix.\n", "INFO:tensorflow:Restoring parameters from ./my_mnist_model_0_to_4.ckpt\n", "최종 테스트 정확도: 96.54%\n" ] } ], "source": [ "n_epochs = 1000\n", "batch_size = 20\n", "\n", "max_checks_without_progress = 20\n", "checks_without_progress = 0\n", "best_loss = np.infty\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", "\n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train1))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train1) // batch_size):\n", " X_batch, y_batch = X_train1[rnd_indices], y_train1[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid1, y: y_valid1})\n", " if loss_val < best_loss:\n", " save_path = saver.save(sess, \"./my_mnist_model_0_to_4.ckpt\")\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", "\n", "with tf.Session() as sess:\n", " saver.restore(sess, \"./my_mnist_model_0_to_4.ckpt\")\n", " acc_test = accuracy.eval(feed_dict={X: X_test1, y: y_test1})\n", " print(\"최종 테스트 정확도: {:.2f}%\".format(acc_test * 100))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아주 나쁘지는 않지만 하이퍼파라미터를 튜닝하여 더 개선할 수 있을지 보겠습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 8.3." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 교차 검증을 사용하여 하이퍼파라미터를 튜닝하고 얼마의 성능을 달성할 수 있는지 확인해보세요._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "하이퍼파라미터 튜닝을 하기 위해 사이킷런의 `RandomizedSearchCV` 클래스와 호환되는 `DNNClassifier` 클래스를 만듭니다. 이 클래스의 핵심은 다음과 같습니다:\n", "* `__init__()` 메서드(생성자)는 각 하이퍼파라미터에 대한 인스턴스 변수를 만듭니다.\n", "* `fit()` 메서드는 그래프를 만들고 세션을 시작해 모델을 훈련시킵니다:\n", " * `_build_graph()` 메서드를 호출해 그래프를 만듭니다(앞서 만든 그래프와 비슷합니다). 그래프가 만들어지면 다른 메서드에서 접근할 수 있도록 중요한 연산은 모두 인스턴스 변수로 저장합니다.\n", " * `_dnn()` 메서드는 위의 `dnn()` 함수와 비슷하게 은닉층을 만들고 배치 정규화와 드롭아웃을 추가합니다(다음 연습문제를 위해).\n", " * `fit()` 메서드에는 검증 세트(`X_valid`와 `y_valid`)가 주어지면 조기 종료를 실행합니다. 여기에서는 디스키 대신 메모리에 최상의 모델을 저장합니다. 이 함수는 그래프의 모든 변수와 값을 가져오기 위해 `_get_model_params()` 함수를 사용하고 (최상의 모델에서) 변수 값을 복원하기 위해 `_restore_model_params()` 함수를 사용합니다. 이런 방식은 훈련 속도를 높여 줍니다.\n", " * `fit()` 메서드가 모델 훈련을 마치면 예측을 만들기 위해 모델을 저장하고 복원하는 대신에 빠르게 예측을 만들기 위해 그대로 세션을 열어 둡니다. `close_session()` 메서드를 호출해 세션을 닫을 수 있습니다.\n", " * `predict_proba()` 메서드는 훈련 모델을 사용해 클래스 확률을 예측합니다.\n", " * `predict()` 메서드는 `predict_proba()`를 호출해 각 샘플에 대해 가장 높은 확률을 가진 클래스를 반환합니다." ] }, { "cell_type": "code", "execution_count": 10, "metadata": {}, "outputs": [], "source": [ "from sklearn.base import BaseEstimator, ClassifierMixin\n", "from sklearn.exceptions import NotFittedError\n", "\n", "class DNNClassifier(BaseEstimator, ClassifierMixin):\n", " def __init__(self, n_hidden_layers=5, n_neurons=100, optimizer_class=tf.train.AdamOptimizer,\n", " learning_rate=0.01, batch_size=20, activation=tf.nn.elu, initializer=he_init,\n", " batch_norm_momentum=None, dropout_rate=None, random_state=None):\n", " \"\"\"모든 하이퍼파파미터를 저장하는 것으로 DNNClassifier를 초기화합니다.\"\"\"\n", " self.n_hidden_layers = n_hidden_layers\n", " self.n_neurons = n_neurons\n", " self.optimizer_class = optimizer_class\n", " self.learning_rate = learning_rate\n", " self.batch_size = batch_size\n", " self.activation = activation\n", " self.initializer = initializer\n", " self.batch_norm_momentum = batch_norm_momentum\n", " self.dropout_rate = dropout_rate\n", " self.random_state = random_state\n", " self._session = None\n", "\n", " def _dnn(self, inputs):\n", " \"\"\"배치 정규화와 드롭아웃 기능을 넣어 은닉층을 구성합니다.\"\"\"\n", " for layer in range(self.n_hidden_layers):\n", " if self.dropout_rate:\n", " inputs = tf.layers.dropout(inputs, self.dropout_rate, training=self._training)\n", " inputs = tf.layers.dense(inputs, self.n_neurons,\n", " kernel_initializer=self.initializer,\n", " name=\"hidden%d\" % (layer + 1))\n", " if self.batch_norm_momentum:\n", " inputs = tf.layers.batch_normalization(inputs, momentum=self.batch_norm_momentum,\n", " training=self._training)\n", " inputs = self.activation(inputs, name=\"hidden%d_out\" % (layer + 1))\n", " return inputs\n", "\n", " def _build_graph(self, n_inputs, n_outputs):\n", " \"\"\"이전과 동일한 모델을 만듭니다.\"\"\"\n", " if self.random_state is not None:\n", " tf.set_random_seed(self.random_state)\n", " np.random.seed(self.random_state)\n", "\n", " X = tf.placeholder(tf.float32, shape=(None, n_inputs), name=\"X\")\n", " y = tf.placeholder(tf.int32, shape=(None), name=\"y\")\n", "\n", " if self.batch_norm_momentum or self.dropout_rate:\n", " self._training = tf.placeholder_with_default(False, shape=(), name='training')\n", " else:\n", " self._training = None\n", "\n", " dnn_outputs = self._dnn(X)\n", "\n", " logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init, name=\"logits\")\n", " Y_proba = tf.nn.softmax(logits, name=\"Y_proba\")\n", "\n", " xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y,\n", " logits=logits)\n", " loss = tf.reduce_mean(xentropy, name=\"loss\")\n", "\n", " optimizer = self.optimizer_class(learning_rate=self.learning_rate)\n", " training_op = optimizer.minimize(loss)\n", "\n", " correct = tf.nn.in_top_k(logits, y, 1)\n", " accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name=\"accuracy\")\n", "\n", " init = tf.global_variables_initializer()\n", " saver = tf.train.Saver()\n", "\n", " # 중요한 연산은 인스턴스 변수로 저장하여 참조하기 쉽게 합니다.\n", " self._X, self._y = X, y\n", " self._Y_proba, self._loss = Y_proba, loss\n", " self._training_op, self._accuracy = training_op, accuracy\n", " self._init, self._saver = init, saver\n", "\n", " def close_session(self):\n", " if self._session:\n", " self._session.close()\n", "\n", " def _get_model_params(self):\n", " \"\"\"모든 변수 값을 가져옵니다 (조기 종료를 위해 사용하며 디스크에 저장하는 것보다 빠릅니다)\"\"\"\n", " with self._graph.as_default():\n", " gvars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)\n", " return {gvar.op.name: value for gvar, value in zip(gvars, self._session.run(gvars))}\n", "\n", " def _restore_model_params(self, model_params):\n", " \"\"\"모든 변수를 주어진 값으로 설정합니다 (조기 종료를 위해 사용하며 디스크에 저장하는 것보다 빠릅니다)\"\"\"\n", " gvar_names = list(model_params.keys())\n", " assign_ops = {gvar_name: self._graph.get_operation_by_name(gvar_name + \"/Assign\")\n", " for gvar_name in gvar_names}\n", " init_values = {gvar_name: assign_op.inputs[1] for gvar_name, assign_op in assign_ops.items()}\n", " feed_dict = {init_values[gvar_name]: model_params[gvar_name] for gvar_name in gvar_names}\n", " self._session.run(assign_ops, feed_dict=feed_dict)\n", "\n", " def fit(self, X, y, n_epochs=100, X_valid=None, y_valid=None):\n", " \"\"\"훈련 세트에 모델을 훈련시킵니다. X_valid와 y_valid가 주어지면 조기 종료를 적용합니다.\"\"\"\n", " self.close_session()\n", "\n", " # 훈련 세트로부터 n_inputs와 n_outputs를 구합니다.\n", " n_inputs = X.shape[1]\n", " self.classes_ = np.unique(y)\n", " n_outputs = len(self.classes_)\n", " \n", " # 레이블 벡터를 정렬된 클래스 인덱스 벡터로 변환합니다.\n", " # 0부터 n_outputs - 1까지의 정수를 담고 있게 됩니다.\n", " # 예를 들어, y가 [8, 8, 9, 5, 7, 6, 6, 6]이면 \n", " # 정렬된 클래스 레이블(self.classes_)은 [5, 6, 7, 8, 9]가 되고\n", " # 레이블 벡터는 [3, 3, 4, 0, 2, 1, 1, 1]로 변환됩니다.\n", " self.class_to_index_ = {label: index\n", " for index, label in enumerate(self.classes_)}\n", " y = np.array([self.class_to_index_[label]\n", " for label in y], dtype=np.int32)\n", " \n", " self._graph = tf.Graph()\n", " with self._graph.as_default():\n", " self._build_graph(n_inputs, n_outputs)\n", " # 배치 정규화를 위한 추가 연산\n", " extra_update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)\n", "\n", " # 조기 종료를 위해\n", " max_checks_without_progress = 20\n", " checks_without_progress = 0\n", " best_loss = np.infty\n", " best_params = None\n", " \n", " # 이제 모델을 훈련합니다!\n", " self._session = tf.Session(graph=self._graph)\n", " with self._session.as_default() as sess:\n", " self._init.run()\n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X))\n", " for rnd_indices in np.array_split(rnd_idx, len(X) // self.batch_size):\n", " X_batch, y_batch = X[rnd_indices], y[rnd_indices]\n", " feed_dict = {self._X: X_batch, self._y: y_batch}\n", " if self._training is not None:\n", " feed_dict[self._training] = True\n", " sess.run(self._training_op, feed_dict=feed_dict)\n", " if extra_update_ops:\n", " sess.run(extra_update_ops, feed_dict=feed_dict)\n", " if X_valid is not None and y_valid is not None:\n", " loss_val, acc_val = sess.run([self._loss, self._accuracy],\n", " feed_dict={self._X: X_valid,\n", " self._y: y_valid})\n", " if loss_val < best_loss:\n", " best_params = self._get_model_params()\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " else:\n", " loss_train, acc_train = sess.run([self._loss, self._accuracy],\n", " feed_dict={self._X: X_batch,\n", " self._y: y_batch})\n", " print(\"{}\\t마지막 훈련 배치 손실: {:.6f}\\tAccuracy: {:.2f}%\".format(\n", " epoch, loss_train, acc_train * 100))\n", " # 조기 종료를 사용하면 이전의 최상의 모델로 되돌립니다.\n", " if best_params:\n", " self._restore_model_params(best_params)\n", " return self\n", "\n", " def predict_proba(self, X):\n", " if not self._session:\n", " raise NotFittedError(\"%s 객체가 아직 훈련되지 않았습니다\" % self.__class__.__name__)\n", " with self._session.as_default() as sess:\n", " return self._Y_proba.eval(feed_dict={self._X: X})\n", "\n", " def predict(self, X):\n", " class_indices = np.argmax(self.predict_proba(X), axis=1)\n", " return np.array([[self.classes_[class_index]]\n", " for class_index in class_indices], np.int32)\n", "\n", " def save(self, path):\n", " self._saver.save(self._session, path)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이 클래스를 사용하여 이전과 비슷한 정확도가 나오는지 확인해 보죠(드롭아웃과 배치 정규화는 사용하지 않습니다):" ] }, { "cell_type": "code", "execution_count": 11, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.161705\t최선의 손실: 0.161705\t정확도: 96.56%\n", "1\t검증 세트 손실: 1.224550\t최선의 손실: 0.161705\t정확도: 37.22%\n", "2\t검증 세트 손실: 0.219565\t최선의 손실: 0.161705\t정확도: 96.09%\n", "3\t검증 세트 손실: 0.189125\t최선의 손실: 0.161705\t정확도: 97.11%\n", "4\t검증 세트 손실: 0.189588\t최선의 손실: 0.161705\t정확도: 96.40%\n", "5\t검증 세트 손실: 0.183252\t최선의 손실: 0.161705\t정확도: 97.11%\n", "6\t검증 세트 손실: 0.235175\t최선의 손실: 0.161705\t정확도: 95.54%\n", "7\t검증 세트 손실: 0.239276\t최선의 손실: 0.161705\t정확도: 96.87%\n", "8\t검증 세트 손실: 0.193213\t최선의 손실: 0.161705\t정확도: 97.62%\n", "9\t검증 세트 손실: 0.254931\t최선의 손실: 0.161705\t정확도: 97.03%\n", "10\t검증 세트 손실: 0.170333\t최선의 손실: 0.161705\t정확도: 97.26%\n", "11\t검증 세트 손실: 0.183142\t최선의 손실: 0.161705\t정확도: 97.38%\n", "12\t검증 세트 손실: 0.165072\t최선의 손실: 0.161705\t정확도: 97.62%\n", "13\t검증 세트 손실: 0.287263\t최선의 손실: 0.161705\t정확도: 95.82%\n", "14\t검증 세트 손실: 0.180744\t최선의 손실: 0.161705\t정확도: 97.58%\n", "15\t검증 세트 손실: 0.191835\t최선의 손실: 0.161705\t정확도: 97.69%\n", "16\t검증 세트 손실: 0.198290\t최선의 손실: 0.161705\t정확도: 98.08%\n", "17\t검증 세트 손실: 0.244855\t최선의 손실: 0.161705\t정확도: 97.22%\n", "18\t검증 세트 손실: 0.189315\t최선의 손실: 0.161705\t정확도: 97.89%\n", "19\t검증 세트 손실: 3.665245\t최선의 손실: 0.161705\t정확도: 68.53%\n", "20\t검증 세트 손실: 0.697931\t최선의 손실: 0.161705\t정확도: 94.72%\n", "21\t검증 세트 손실: 1.126661\t최선의 손실: 0.161705\t정확도: 58.29%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "DNNClassifier(activation=,\n", " batch_norm_momentum=None, batch_size=20, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=100,\n", " optimizer_class=,\n", " random_state=42)" ] }, "execution_count": 11, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn_clf = DNNClassifier(random_state=42)\n", "dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "모델 훈련이 완료되면 이전과 비슷한 정확도가 나오는지 확인해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 12, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9653629110721931" ] }, "execution_count": 12, "metadata": {}, "output_type": "execute_result" } ], "source": [ "from sklearn.metrics import accuracy_score\n", "\n", "y_pred = dnn_clf.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "좋네요! 잘 작동합니다. 이제 사이킷런의 `RandomizedSearchCV` 클래스를 사용해서 더 나은 하이퍼파라미터를 찾아보겠습니다(시스템에 따라 이 작업은 한 시간 이상 걸릴지 모릅니다):\n", "\n", "*사이킷런 0.22 버전에서 cross_val_score 함수와 GridSearchCV, RandomizedSearchCV 클래스의 cv 매개변수 기본값이 3에서 5로 바뀔 예정입니다. 0.20 버전에서 cv 매개변수를 지정하지 않는 경우 이에 관한 경고 메세지가 출력됩니다. 경고 메세지를 피하기 위해 cv 매개변수 값을 명시적으로 3으로 지정합니다.*" ] }, { "cell_type": "code", "execution_count": 13, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Fitting 3 folds for each of 50 candidates, totalling 150 fits\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation= \n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.169612\t최선의 손실: 0.169612\t정확도: 95.86%\n", "1\t검증 세트 손실: 0.137028\t최선의 손실: 0.137028\t정확도: 96.36%\n", "2\t검증 세트 손실: 0.154441\t최선의 손실: 0.137028\t정확도: 96.48%\n", "3\t검증 세트 손실: 0.134872\t최선의 손실: 0.134872\t정확도: 96.79%\n", "4\t검증 세트 손실: 0.099001\t최선의 손실: 0.099001\t정확도: 97.30%\n", "5\t검증 세트 손실: 0.126843\t최선의 손실: 0.099001\t정확도: 97.30%\n", "6\t검증 세트 손실: 0.128056\t최선의 손실: 0.099001\t정확도: 96.91%\n", "7\t검증 세트 손실: 0.169414\t최선의 손실: 0.099001\t정확도: 96.40%\n", "8\t검증 세트 손실: 1.639446\t최선의 손실: 0.099001\t정확도: 19.51%\n", "9\t검증 세트 손실: 1.711398\t최선의 손실: 0.099001\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.608588\t최선의 손실: 0.099001\t정확도: 21.50%\n", "11\t검증 세트 손실: 1.614693\t최선의 손실: 0.099001\t정확도: 20.91%\n", "12\t검증 세트 손실: 1.626087\t최선의 손실: 0.099001\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.641145\t최선의 손실: 0.099001\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.614413\t최선의 손실: 0.099001\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.618399\t최선의 손실: 0.099001\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.610849\t최선의 손실: 0.099001\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.618682\t최선의 손실: 0.099001\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.612818\t최선의 손실: 0.099001\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.614698\t최선의 손실: 0.099001\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.625712\t최선의 손실: 0.099001\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.623401\t최선의 손실: 0.099001\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.627036\t최선의 손실: 0.099001\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.618181\t최선의 손실: 0.099001\t정확도: 19.27%\n", "24\t검증 세트 손실: 1.616966\t최선의 손실: 0.099001\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.619997\t최선의 손실: 0.099001\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=, total= 3.5s\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation= \n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 3.5s remaining: 0.0s\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.161831\t최선의 손실: 0.161831\t정확도: 96.21%\n", "1\t검증 세트 손실: 0.115342\t최선의 손실: 0.115342\t정확도: 97.11%\n", "2\t검증 세트 손실: 0.141663\t최선의 손실: 0.115342\t정확도: 97.19%\n", "3\t검증 세트 손실: 0.180142\t최선의 손실: 0.115342\t정확도: 96.40%\n", "4\t검증 세트 손실: 0.152933\t최선의 손실: 0.115342\t정확도: 96.64%\n", "5\t검증 세트 손실: 0.134434\t최선의 손실: 0.115342\t정확도: 97.19%\n", "6\t검증 세트 손실: 0.110120\t최선의 손실: 0.110120\t정확도: 97.30%\n", "7\t검증 세트 손실: 0.129287\t최선의 손실: 0.110120\t정확도: 97.22%\n", "8\t검증 세트 손실: 1.816588\t최선의 손실: 0.110120\t정확도: 39.05%\n", "9\t검증 세트 손실: 1.382134\t최선의 손실: 0.110120\t정확도: 32.64%\n", "10\t검증 세트 손실: 1.228535\t최선의 손실: 0.110120\t정확도: 39.87%\n", "11\t검증 세트 손실: 1.202906\t최선의 손실: 0.110120\t정확도: 39.52%\n", "12\t검증 세트 손실: 1.219439\t최선의 손실: 0.110120\t정확도: 39.95%\n", "13\t검증 세트 손실: 1.223669\t최선의 손실: 0.110120\t정확도: 39.01%\n", "14\t검증 세트 손실: 1.150941\t최선의 손실: 0.110120\t정확도: 41.95%\n", "15\t검증 세트 손실: 1.151576\t최선의 손실: 0.110120\t정확도: 41.95%\n", "16\t검증 세트 손실: 1.164400\t최선의 손실: 0.110120\t정확도: 40.19%\n", "17\t검증 세트 손실: 1.155117\t최선의 손실: 0.110120\t정확도: 41.87%\n", "18\t검증 세트 손실: 1.168984\t최선의 손실: 0.110120\t정확도: 39.91%\n", "19\t검증 세트 손실: 1.156087\t최선의 손실: 0.110120\t정확도: 41.71%\n", "20\t검증 세트 손실: 1.161918\t최선의 손실: 0.110120\t정확도: 39.91%\n", "21\t검증 세트 손실: 1.195756\t최선의 손실: 0.110120\t정확도: 40.38%\n", "22\t검증 세트 손실: 1.199676\t최선의 손실: 0.110120\t정확도: 40.42%\n", "23\t검증 세트 손실: 1.177805\t최선의 손실: 0.110120\t정확도: 40.30%\n", "24\t검증 세트 손실: 1.171966\t최선의 손실: 0.110120\t정확도: 39.13%\n", "25\t검증 세트 손실: 1.144288\t최선의 손실: 0.110120\t정확도: 42.03%\n", "26\t검증 세트 손실: 1.146498\t최선의 손실: 0.110120\t정확도: 40.30%\n", "27\t검증 세트 손실: 1.160356\t최선의 손실: 0.110120\t정확도: 40.23%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=, total= 3.7s\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.129187\t최선의 손실: 0.129187\t정확도: 96.87%\n", "1\t검증 세트 손실: 0.118899\t최선의 손실: 0.118899\t정확도: 96.99%\n", "2\t검증 세트 손실: 0.131234\t최선의 손실: 0.118899\t정확도: 96.01%\n", "3\t검증 세트 손실: 0.236573\t최선의 손실: 0.118899\t정확도: 93.47%\n", "4\t검증 세트 손실: 1.609613\t최선의 손실: 0.118899\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.620917\t최선의 손실: 0.118899\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.614585\t최선의 손실: 0.118899\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.624998\t최선의 손실: 0.118899\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.614702\t최선의 손실: 0.118899\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.608738\t최선의 손실: 0.118899\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.613762\t최선의 손실: 0.118899\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.615227\t최선의 손실: 0.118899\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.620622\t최선의 손실: 0.118899\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.634356\t최선의 손실: 0.118899\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.620624\t최선의 손실: 0.118899\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.629337\t최선의 손실: 0.118899\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.627128\t최선의 손실: 0.118899\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.637325\t최선의 손실: 0.118899\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.613848\t최선의 손실: 0.118899\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.616927\t최선의 손실: 0.118899\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.614749\t최선의 손실: 0.118899\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.633856\t최선의 손실: 0.118899\t정확도: 18.73%\n", "22\t검증 세트 손실: 1.628325\t최선의 손실: 0.118899\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=, total= 3.2s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.110739\t최선의 손실: 0.110739\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.083676\t최선의 손실: 0.083676\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.085564\t최선의 손실: 0.083676\t정확도: 97.81%\n", "3\t검증 세트 손실: 0.070900\t최선의 손실: 0.070900\t정확도: 98.05%\n", "4\t검증 세트 손실: 0.064577\t최선의 손실: 0.064577\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.063926\t최선의 손실: 0.063926\t정확도: 98.16%\n", "6\t검증 세트 손실: 0.065918\t최선의 손실: 0.063926\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.059087\t최선의 손실: 0.059087\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.058144\t최선의 손실: 0.058144\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.056851\t최선의 손실: 0.056851\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.075492\t최선의 손실: 0.056851\t정확도: 98.01%\n", "11\t검증 세트 손실: 0.065050\t최선의 손실: 0.056851\t정확도: 98.59%\n", "12\t검증 세트 손실: 0.078835\t최선의 손실: 0.056851\t정확도: 98.20%\n", "13\t검증 세트 손실: 0.072825\t최선의 손실: 0.056851\t정확도: 98.28%\n", "14\t검증 세트 손실: 0.085902\t최선의 손실: 0.056851\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.061247\t최선의 손실: 0.056851\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.062648\t최선의 손실: 0.056851\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.080298\t최선의 손실: 0.056851\t정확도: 98.51%\n", "18\t검증 세트 손실: 0.090790\t최선의 손실: 0.056851\t정확도: 98.32%\n", "19\t검증 세트 손실: 0.070806\t최선의 손실: 0.056851\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.085928\t최선의 손실: 0.056851\t정확도: 98.12%\n", "21\t검증 세트 손실: 0.078405\t최선의 손실: 0.056851\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.074821\t최선의 손실: 0.056851\t정확도: 98.36%\n", "23\t검증 세트 손실: 0.085305\t최선의 손실: 0.056851\t정확도: 98.12%\n", "24\t검증 세트 손실: 0.065801\t최선의 손실: 0.056851\t정확도: 98.48%\n", "25\t검증 세트 손실: 0.074315\t최선의 손실: 0.056851\t정확도: 98.12%\n", "26\t검증 세트 손실: 0.083856\t최선의 손실: 0.056851\t정확도: 98.24%\n", "27\t검증 세트 손실: 0.078093\t최선의 손실: 0.056851\t정확도: 98.59%\n", "28\t검증 세트 손실: 0.086948\t최선의 손실: 0.056851\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.092258\t최선의 손실: 0.056851\t정확도: 97.97%\n", "30\t검증 세트 손실: 0.116482\t최선의 손실: 0.056851\t정확도: 97.69%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=, total= 3.3s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.150243\t최선의 손실: 0.150243\t정확도: 95.93%\n", "1\t검증 세트 손실: 0.074734\t최선의 손실: 0.074734\t정확도: 97.85%\n", "2\t검증 세트 손실: 0.064674\t최선의 손실: 0.064674\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.059260\t최선의 손실: 0.059260\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.070795\t최선의 손실: 0.059260\t정확도: 97.93%\n", "5\t검증 세트 손실: 0.064103\t최선의 손실: 0.059260\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.058995\t최선의 손실: 0.058995\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.074334\t최선의 손실: 0.058995\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.063130\t최선의 손실: 0.058995\t정확도: 98.12%\n", "9\t검증 세트 손실: 0.052821\t최선의 손실: 0.052821\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.067567\t최선의 손실: 0.052821\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.059678\t최선의 손실: 0.052821\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.094348\t최선의 손실: 0.052821\t정확도: 98.08%\n", "13\t검증 세트 손실: 0.053173\t최선의 손실: 0.052821\t정확도: 98.55%\n", "14\t검증 세트 손실: 0.055377\t최선의 손실: 0.052821\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.056954\t최선의 손실: 0.052821\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.071836\t최선의 손실: 0.052821\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.089015\t최선의 손실: 0.052821\t정확도: 98.48%\n", "18\t검증 세트 손실: 0.078217\t최선의 손실: 0.052821\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.063984\t최선의 손실: 0.052821\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.065747\t최선의 손실: 0.052821\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.066643\t최선의 손실: 0.052821\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.076351\t최선의 손실: 0.052821\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.070130\t최선의 손실: 0.052821\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.070576\t최선의 손실: 0.052821\t정확도: 98.44%\n", "25\t검증 세트 손실: 0.090841\t최선의 손실: 0.052821\t정확도: 98.59%\n", "26\t검증 세트 손실: 0.060712\t최선의 손실: 0.052821\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.071062\t최선의 손실: 0.052821\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.070795\t최선의 손실: 0.052821\t정확도: 98.83%\n", "29\t검증 세트 손실: 0.071805\t최선의 손실: 0.052821\t정확도: 98.67%\n", "30\t검증 세트 손실: 0.083105\t최선의 손실: 0.052821\t정확도: 98.44%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=, total= 3.2s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.101571\t최선의 손실: 0.101571\t정확도: 96.79%\n", "1\t검증 세트 손실: 0.077616\t최선의 손실: 0.077616\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.059689\t최선의 손실: 0.059689\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.057170\t최선의 손실: 0.057170\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.051170\t최선의 손실: 0.051170\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.074582\t최선의 손실: 0.051170\t정확도: 97.81%\n", "6\t검증 세트 손실: 0.055337\t최선의 손실: 0.051170\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.057996\t최선의 손실: 0.051170\t정확도: 98.51%\n", "8\t검증 세트 손실: 0.052171\t최선의 손실: 0.051170\t정확도: 98.20%\n", "9\t검증 세트 손실: 0.083126\t최선의 손실: 0.051170\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.066241\t최선의 손실: 0.051170\t정확도: 98.24%\n", "11\t검증 세트 손실: 0.086855\t최선의 손실: 0.051170\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.064592\t최선의 손실: 0.051170\t정확도: 98.36%\n", "13\t검증 세트 손실: 0.064097\t최선의 손실: 0.051170\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.073890\t최선의 손실: 0.051170\t정확도: 98.20%\n", "15\t검증 세트 손실: 0.092007\t최선의 손실: 0.051170\t정확도: 98.32%\n", "16\t검증 세트 손실: 0.066213\t최선의 손실: 0.051170\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.073114\t최선의 손실: 0.051170\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.062950\t최선의 손실: 0.051170\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.065250\t최선의 손실: 0.051170\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.073439\t최선의 손실: 0.051170\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.078672\t최선의 손실: 0.051170\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.062747\t최선의 손실: 0.051170\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.080132\t최선의 손실: 0.051170\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.071110\t최선의 손실: 0.051170\t정확도: 98.59%\n", "25\t검증 세트 손실: 0.065921\t최선의 손실: 0.051170\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, activation=, total= 2.8s\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.396929\t최선의 손실: 0.396929\t정확도: 88.55%\n", "1\t검증 세트 손실: 6.478924\t최선의 손실: 0.396929\t정확도: 79.91%\n", "2\t검증 세트 손실: 1.505791\t최선의 손실: 0.396929\t정확도: 80.69%\n", "3\t검증 세트 손실: 1.195650\t최선의 손실: 0.396929\t정확도: 80.61%\n", "4\t검증 세트 손실: 2.563684\t최선의 손실: 0.396929\t정확도: 69.23%\n", "5\t검증 세트 손실: 536.572937\t최선의 손실: 0.396929\t정확도: 45.19%\n", "6\t검증 세트 손실: 89.243279\t최선의 손실: 0.396929\t정확도: 78.11%\n", "7\t검증 세트 손실: 79.655708\t최선의 손실: 0.396929\t정확도: 71.97%\n", "8\t검증 세트 손실: 122.312195\t최선의 손실: 0.396929\t정확도: 74.75%\n", "9\t검증 세트 손실: 47.916676\t최선의 손실: 0.396929\t정확도: 91.63%\n", "10\t검증 세트 손실: 58.104256\t최선의 손실: 0.396929\t정확도: 91.91%\n", "11\t검증 세트 손실: 44.203144\t최선의 손실: 0.396929\t정확도: 90.58%\n", "12\t검증 세트 손실: 33.199314\t최선의 손실: 0.396929\t정확도: 94.25%\n", "13\t검증 세트 손실: 34.830338\t최선의 손실: 0.396929\t정확도: 92.14%\n", "14\t검증 세트 손실: 30.196430\t최선의 손실: 0.396929\t정확도: 92.89%\n", "15\t검증 세트 손실: 23.511036\t최선의 손실: 0.396929\t정확도: 93.94%\n", "16\t검증 세트 손실: 66.064659\t최선의 손실: 0.396929\t정확도: 87.57%\n", "17\t검증 세트 손실: 154.809708\t최선의 손실: 0.396929\t정확도: 70.48%\n", "18\t검증 세트 손실: 157.595306\t최선의 손실: 0.396929\t정확도: 67.12%\n", "19\t검증 세트 손실: 46.421604\t최선의 손실: 0.396929\t정확도: 78.89%\n", "20\t검증 세트 손실: 40.813641\t최선의 손실: 0.396929\t정확도: 84.40%\n", "21\t검증 세트 손실: 45.768738\t최선의 손실: 0.396929\t정확도: 85.85%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 8.9s\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 4.739810\t최선의 손실: 4.739810\t정확도: 44.25%\n", "1\t검증 세트 손실: 52066.144531\t최선의 손실: 4.739810\t정확도: 28.89%\n", "2\t검증 세트 손실: 87.915123\t최선의 손실: 4.739810\t정확도: 65.44%\n", "3\t검증 세트 손실: 25.975292\t최선의 손실: 4.739810\t정확도: 81.51%\n", "4\t검증 세트 손실: 31.957380\t최선의 손실: 4.739810\t정확도: 79.55%\n", "5\t검증 세트 손실: 14.952983\t최선의 손실: 4.739810\t정확도: 83.78%\n", "6\t검증 세트 손실: 23.431433\t최선의 손실: 4.739810\t정확도: 78.26%\n", "7\t검증 세트 손실: 16.321989\t최선의 손실: 4.739810\t정확도: 72.09%\n", "8\t검증 세트 손실: 11.031761\t최선의 손실: 4.739810\t정확도: 88.74%\n", "9\t검증 세트 손실: 152.935760\t최선의 손실: 4.739810\t정확도: 81.70%\n", "10\t검증 세트 손실: 186.634201\t최선의 손실: 4.739810\t정확도: 47.07%\n", "11\t검증 세트 손실: 51.709373\t최선의 손실: 4.739810\t정확도: 66.30%\n", "12\t검증 세트 손실: 33.102184\t최선의 손실: 4.739810\t정확도: 69.82%\n", "13\t검증 세트 손실: 23.592550\t최선의 손실: 4.739810\t정확도: 85.65%\n", "14\t검증 세트 손실: 22.948610\t최선의 손실: 4.739810\t정확도: 83.58%\n", "15\t검증 세트 손실: 15.511449\t최선의 손실: 4.739810\t정확도: 85.97%\n", "16\t검증 세트 손실: 16.448492\t최선의 손실: 4.739810\t정확도: 77.17%\n", "17\t검증 세트 손실: 174.890411\t최선의 손실: 4.739810\t정확도: 45.15%\n", "18\t검증 세트 손실: 12.692270\t최선의 손실: 4.739810\t정확도: 91.83%\n", "19\t검증 세트 손실: 15.014576\t최선의 손실: 4.739810\t정확도: 89.52%\n", "20\t검증 세트 손실: 70118.351562\t최선의 손실: 4.739810\t정확도: 57.78%\n", "21\t검증 세트 손실: 5336.040039\t최선의 손실: 4.739810\t정확도: 75.22%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 8.8s\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 34.707134\t최선의 손실: 34.707134\t정확도: 44.02%\n", "1\t검증 세트 손실: 1.482173\t최선의 손실: 1.482173\t정확도: 77.72%\n", "2\t검증 세트 손실: 1.603607\t최선의 손실: 1.482173\t정확도: 76.74%\n", "3\t검증 세트 손실: 1.248135\t최선의 손실: 1.248135\t정확도: 79.24%\n", "4\t검증 세트 손실: 0.605569\t최선의 손실: 0.605569\t정확도: 88.15%\n", "5\t검증 세트 손실: 1.413563\t최선의 손실: 0.605569\t정확도: 71.42%\n", "6\t검증 세트 손실: 0.603150\t최선의 손실: 0.603150\t정확도: 89.29%\n", "7\t검증 세트 손실: 1.107997\t최선의 손실: 0.603150\t정확도: 79.40%\n", "8\t검증 세트 손실: 0.349525\t최선의 손실: 0.349525\t정확도: 91.44%\n", "9\t검증 세트 손실: 0.424007\t최선의 손실: 0.349525\t정확도: 91.01%\n", "10\t검증 세트 손실: 0.423164\t최선의 손실: 0.349525\t정확도: 90.34%\n", "11\t검증 세트 손실: 0.278822\t최선의 손실: 0.278822\t정확도: 93.59%\n", "12\t검증 세트 손실: 0.437423\t최선의 손실: 0.278822\t정확도: 89.68%\n", "13\t검증 세트 손실: 0.260361\t최선의 손실: 0.260361\t정확도: 93.12%\n", "14\t검증 세트 손실: 3576.981934\t최선의 손실: 0.260361\t정확도: 20.37%\n", "15\t검증 세트 손실: 119.415825\t최선의 손실: 0.260361\t정확도: 46.17%\n", "16\t검증 세트 손실: 110.711998\t최선의 손실: 0.260361\t정확도: 42.14%\n", "17\t검증 세트 손실: 27.452753\t최선의 손실: 0.260361\t정확도: 62.82%\n", "18\t검증 세트 손실: 46.970539\t최선의 손실: 0.260361\t정확도: 68.61%\n", "19\t검증 세트 손실: 119.639145\t최선의 손실: 0.260361\t정확도: 63.84%\n", "20\t검증 세트 손실: 78.779388\t최선의 손실: 0.260361\t정확도: 42.46%\n", "21\t검증 세트 손실: 51.610931\t최선의 손실: 0.260361\t정확도: 55.04%\n", "22\t검증 세트 손실: 30.280518\t최선의 손실: 0.260361\t정확도: 70.56%\n", "23\t검증 세트 손실: 14.281271\t최선의 손실: 0.260361\t정확도: 73.57%\n", "24\t검증 세트 손실: 35.734028\t최선의 손실: 0.260361\t정확도: 63.68%\n", "25\t검증 세트 손실: 20.424391\t최선의 손실: 0.260361\t정확도: 68.92%\n", "26\t검증 세트 손실: 35969.796875\t최선의 손실: 0.260361\t정확도: 45.15%\n", "27\t검증 세트 손실: 1212.543213\t최선의 손실: 0.260361\t정확도: 67.90%\n", "28\t검증 세트 손실: 655.318115\t최선의 손실: 0.260361\t정확도: 67.51%\n", "29\t검증 세트 손실: 267.746582\t최선의 손실: 0.260361\t정확도: 87.18%\n", "30\t검증 세트 손실: 509.052155\t최선의 손실: 0.260361\t정확도: 79.79%\n", "31\t검증 세트 손실: 682.841797\t최선의 손실: 0.260361\t정확도: 73.49%\n", "32\t검증 세트 손실: 384.203033\t최선의 손실: 0.260361\t정확도: 84.21%\n", "33\t검증 세트 손실: 212.137268\t최선의 손실: 0.260361\t정확도: 90.54%\n", "34\t검증 세트 손실: 382.472046\t최선의 손실: 0.260361\t정확도: 86.24%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.8s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 3.289538\t최선의 손실: 3.289538\t정확도: 84.44%\n", "1\t검증 세트 손실: 1.299825\t최선의 손실: 1.299825\t정확도: 89.05%\n", "2\t검증 세트 손실: 2.303078\t최선의 손실: 1.299825\t정확도: 72.40%\n", "3\t검증 세트 손실: 1.147589\t최선의 손실: 1.147589\t정확도: 89.84%\n", "4\t검증 세트 손실: 0.512307\t최선의 손실: 0.512307\t정확도: 91.56%\n", "5\t검증 세트 손실: 0.554251\t최선의 손실: 0.512307\t정확도: 92.96%\n", "6\t검증 세트 손실: 0.910844\t최선의 손실: 0.512307\t정확도: 89.29%\n", "7\t검증 세트 손실: 89697.218750\t최선의 손실: 0.512307\t정확도: 60.13%\n", "8\t검증 세트 손실: 26111.474609\t최선의 손실: 0.512307\t정확도: 77.21%\n", "9\t검증 세트 손실: 7906.910156\t최선의 손실: 0.512307\t정확도: 90.23%\n", "10\t검증 세트 손실: 11097.594727\t최선의 손실: 0.512307\t정확도: 85.89%\n", "11\t검증 세트 손실: 9426.625977\t최선의 손실: 0.512307\t정확도: 81.86%\n", "12\t검증 세트 손실: 9318.779297\t최선의 손실: 0.512307\t정확도: 82.29%\n", "13\t검증 세트 손실: 5717.183105\t최선의 손실: 0.512307\t정확도: 90.81%\n", "14\t검증 세트 손실: 6448.424316\t최선의 손실: 0.512307\t정확도: 89.52%\n", "15\t검증 세트 손실: 3354.368164\t최선의 손실: 0.512307\t정확도: 93.75%\n", "16\t검증 세트 손실: 4351.820312\t최선의 손실: 0.512307\t정확도: 93.04%\n", "17\t검증 세트 손실: 3315.935059\t최선의 손실: 0.512307\t정확도: 94.29%\n", "18\t검증 세트 손실: 3207.560059\t최선의 손실: 0.512307\t정확도: 91.83%\n", "19\t검증 세트 손실: 9689.852539\t최선의 손실: 0.512307\t정확도: 90.58%\n", "20\t검증 세트 손실: 2885.183594\t최선의 손실: 0.512307\t정확도: 95.23%\n", "21\t검증 세트 손실: 2095.049561\t최선의 손실: 0.512307\t정확도: 94.45%\n", "22\t검증 세트 손실: 1655.197388\t최선의 손실: 0.512307\t정확도: 94.92%\n", "23\t검증 세트 손실: 16705.595703\t최선의 손실: 0.512307\t정확도: 85.77%\n", "24\t검증 세트 손실: 4854.030273\t최선의 손실: 0.512307\t정확도: 92.14%\n", "25\t검증 세트 손실: 3260.917236\t최선의 손실: 0.512307\t정확도: 94.41%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.4s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 2.943871\t최선의 손실: 2.943871\t정확도: 75.25%\n", "1\t검증 세트 손실: 7814.180664\t최선의 손실: 2.943871\t정확도: 72.44%\n", "2\t검증 세트 손실: 7112.951660\t최선의 손실: 2.943871\t정확도: 62.82%\n", "3\t검증 세트 손실: 1214.788696\t최선의 손실: 2.943871\t정확도: 88.27%\n", "4\t검증 세트 손실: 1132.935913\t최선의 손실: 2.943871\t정확도: 88.27%\n", "5\t검증 세트 손실: 764.093994\t최선의 손실: 2.943871\t정확도: 93.20%\n", "6\t검증 세트 손실: 1287.751953\t최선의 손실: 2.943871\t정확도: 84.32%\n", "7\t검증 세트 손실: 367.602142\t최선의 손실: 2.943871\t정확도: 94.64%\n", "8\t검증 세트 손실: 3724.829590\t최선의 손실: 2.943871\t정확도: 77.37%\n", "9\t검증 세트 손실: 2475.678955\t최선의 손실: 2.943871\t정확도: 88.90%\n", "10\t검증 세트 손실: 378.125519\t최선의 손실: 2.943871\t정확도: 94.72%\n", "11\t검증 세트 손실: 355.467224\t최선의 손실: 2.943871\t정확도: 95.07%\n", "12\t검증 세트 손실: 275.537048\t최선의 손실: 2.943871\t정확도: 94.45%\n", "13\t검증 세트 손실: 736624.687500\t최선의 손실: 2.943871\t정확도: 82.29%\n", "14\t검증 세트 손실: 102468.914062\t최선의 손실: 2.943871\t정확도: 92.65%\n", "15\t검증 세트 손실: 111072.648438\t최선의 손실: 2.943871\t정확도: 91.59%\n", "16\t검증 세트 손실: 51086.437500\t최선의 손실: 2.943871\t정확도: 94.21%\n", "17\t검증 세트 손실: 47539.410156\t최선의 손실: 2.943871\t정확도: 93.98%\n", "18\t검증 세트 손실: 36284.523438\t최선의 손실: 2.943871\t정확도: 94.57%\n", "19\t검증 세트 손실: 44677.363281\t최선의 손실: 2.943871\t정확도: 93.55%\n", "20\t검증 세트 손실: 70205.539062\t최선의 손실: 2.943871\t정확도: 92.77%\n", "21\t검증 세트 손실: 25837.769531\t최선의 손실: 2.943871\t정확도: 95.15%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 8.1s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 64.866959\t최선의 손실: 64.866959\t정확도: 84.05%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 10.508960\t최선의 손실: 10.508960\t정확도: 91.99%\n", "2\t검증 세트 손실: 9.558105\t최선의 손실: 9.558105\t정확도: 89.48%\n", "3\t검증 세트 손실: 3.672984\t최선의 손실: 3.672984\t정확도: 92.65%\n", "4\t검증 세트 손실: 110.740875\t최선의 손실: 3.672984\t정확도: 67.90%\n", "5\t검증 세트 손실: 14681.238281\t최선의 손실: 3.672984\t정확도: 84.36%\n", "6\t검증 세트 손실: 7871.326172\t최선의 손실: 3.672984\t정확도: 90.19%\n", "7\t검증 세트 손실: 5917.387207\t최선의 손실: 3.672984\t정확도: 88.19%\n", "8\t검증 세트 손실: 9985.247070\t최선의 손실: 3.672984\t정확도: 85.34%\n", "9\t검증 세트 손실: 8143.510742\t최선의 손실: 3.672984\t정확도: 91.28%\n", "10\t검증 세트 손실: 3778.364258\t최선의 손실: 3.672984\t정확도: 92.18%\n", "11\t검증 세트 손실: 4556.745605\t최선의 손실: 3.672984\t정확도: 91.91%\n", "12\t검증 세트 손실: 2902.612305\t최선의 손실: 3.672984\t정확도: 92.85%\n", "13\t검증 세트 손실: 2551.194336\t최선의 손실: 3.672984\t정확도: 92.49%\n", "14\t검증 세트 손실: 8609.489258\t최선의 손실: 3.672984\t정확도: 84.79%\n", "15\t검증 세트 손실: 4247.188477\t최선의 손실: 3.672984\t정확도: 91.40%\n", "16\t검증 세트 손실: 2113.531250\t최선의 손실: 3.672984\t정확도: 93.98%\n", "17\t검증 세트 손실: 41574.953125\t최선의 손실: 3.672984\t정확도: 91.75%\n", "18\t검증 세트 손실: 34662.796875\t최선의 손실: 3.672984\t정확도: 94.80%\n", "19\t검증 세트 손실: 31649.097656\t최선의 손실: 3.672984\t정확도: 95.04%\n", "20\t검증 세트 손실: 34659.285156\t최선의 손실: 3.672984\t정확도: 96.17%\n", "21\t검증 세트 손실: 43335.621094\t최선의 손실: 3.672984\t정확도: 94.57%\n", "22\t검증 세트 손실: 30477.695312\t최선의 손실: 3.672984\t정확도: 94.45%\n", "23\t검증 세트 손실: 16619.791016\t최선의 손실: 3.672984\t정확도: 93.16%\n", "24\t검증 세트 손실: 14163.893555\t최선의 손실: 3.672984\t정확도: 96.33%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.1s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.116430\t최선의 손실: 0.116430\t정확도: 96.52%\n", "1\t검증 세트 손실: 0.058836\t최선의 손실: 0.058836\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.057258\t최선의 손실: 0.057258\t정확도: 98.36%\n", "3\t검증 세트 손실: 0.050221\t최선의 손실: 0.050221\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.050673\t최선의 손실: 0.050221\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.052190\t최선의 손실: 0.050221\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.059890\t최선의 손실: 0.050221\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.066746\t최선의 손실: 0.050221\t정확도: 98.59%\n", "8\t검증 세트 손실: 0.066103\t최선의 손실: 0.050221\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.061629\t최선의 손실: 0.050221\t정확도: 98.24%\n", "10\t검증 세트 손실: 0.056561\t최선의 손실: 0.050221\t정확도: 98.91%\n", "11\t검증 세트 손실: 0.058780\t최선의 손실: 0.050221\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.053118\t최선의 손실: 0.050221\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.061400\t최선의 손실: 0.050221\t정확도: 98.71%\n", "14\t검증 세트 손실: 0.055872\t최선의 손실: 0.050221\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.063880\t최선의 손실: 0.050221\t정확도: 98.67%\n", "16\t검증 세트 손실: 0.057265\t최선의 손실: 0.050221\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.073713\t최선의 손실: 0.050221\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.059552\t최선의 손실: 0.050221\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.051988\t최선의 손실: 0.050221\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.052571\t최선의 손실: 0.050221\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.048758\t최선의 손실: 0.048758\t정확도: 99.18%\n", "22\t검증 세트 손실: 0.063519\t최선의 손실: 0.048758\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.059674\t최선의 손실: 0.048758\t정확도: 98.87%\n", "24\t검증 세트 손실: 0.048063\t최선의 손실: 0.048063\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.049476\t최선의 손실: 0.048063\t정확도: 99.14%\n", "26\t검증 세트 손실: 0.041990\t최선의 손실: 0.041990\t정확도: 99.14%\n", "27\t검증 세트 손실: 0.051628\t최선의 손실: 0.041990\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.070495\t최선의 손실: 0.041990\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.061075\t최선의 손실: 0.041990\t정확도: 98.87%\n", "30\t검증 세트 손실: 0.068515\t최선의 손실: 0.041990\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.093530\t최선의 손실: 0.041990\t정확도: 98.16%\n", "32\t검증 세트 손실: 0.056517\t최선의 손실: 0.041990\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.047439\t최선의 손실: 0.041990\t정확도: 99.02%\n", "34\t검증 세트 손실: 0.063012\t최선의 손실: 0.041990\t정확도: 99.10%\n", "35\t검증 세트 손실: 0.069009\t최선의 손실: 0.041990\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.085532\t최선의 손실: 0.041990\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.079452\t최선의 손실: 0.041990\t정확도: 98.98%\n", "38\t검증 세트 손실: 0.061059\t최선의 손실: 0.041990\t정확도: 98.94%\n", "39\t검증 세트 손실: 0.069843\t최선의 손실: 0.041990\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.072306\t최선의 손실: 0.041990\t정확도: 98.94%\n", "41\t검증 세트 손실: 0.504272\t최선의 손실: 0.041990\t정확도: 94.45%\n", "42\t검증 세트 손실: 1.387064\t최선의 손실: 0.041990\t정확도: 86.16%\n", "43\t검증 세트 손실: 0.111866\t최선의 손실: 0.041990\t정확도: 97.38%\n", "44\t검증 세트 손실: 0.182682\t최선의 손실: 0.041990\t정확도: 98.24%\n", "45\t검증 세트 손실: 0.306056\t최선의 손실: 0.041990\t정확도: 98.36%\n", "46\t검증 세트 손실: 0.065390\t최선의 손실: 0.041990\t정확도: 98.36%\n", "47\t검증 세트 손실: 0.062764\t최선의 손실: 0.041990\t정확도: 98.51%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 11.0s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.100682\t최선의 손실: 0.100682\t정확도: 97.07%\n", "1\t검증 세트 손실: 0.067505\t최선의 손실: 0.067505\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.058056\t최선의 손실: 0.058056\t정확도: 98.05%\n", "3\t검증 세트 손실: 0.059793\t최선의 손실: 0.058056\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.062410\t최선의 손실: 0.058056\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.044132\t최선의 손실: 0.044132\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.050976\t최선의 손실: 0.044132\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.051979\t최선의 손실: 0.044132\t정확도: 98.63%\n", "8\t검증 세트 손실: 0.043669\t최선의 손실: 0.043669\t정확도: 99.06%\n", "9\t검증 세트 손실: 0.064304\t최선의 손실: 0.043669\t정확도: 98.59%\n", "10\t검증 세트 손실: 0.062636\t최선의 손실: 0.043669\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.058021\t최선의 손실: 0.043669\t정확도: 98.48%\n", "12\t검증 세트 손실: 0.069992\t최선의 손실: 0.043669\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.060716\t최선의 손실: 0.043669\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.070071\t최선의 손실: 0.043669\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.076873\t최선의 손실: 0.043669\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.089978\t최선의 손실: 0.043669\t정확도: 98.05%\n", "17\t검증 세트 손실: 0.074167\t최선의 손실: 0.043669\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.081114\t최선의 손실: 0.043669\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.054182\t최선의 손실: 0.043669\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.078447\t최선의 손실: 0.043669\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.064965\t최선의 손실: 0.043669\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.075467\t최선의 손실: 0.043669\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.071256\t최선의 손실: 0.043669\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.057043\t최선의 손실: 0.043669\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.074998\t최선의 손실: 0.043669\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.087076\t최선의 손실: 0.043669\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.079547\t최선의 손실: 0.043669\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.083177\t최선의 손실: 0.043669\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.085792\t최선의 손실: 0.043669\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.1s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.103850\t최선의 손실: 0.103850\t정확도: 97.30%\n", "1\t검증 세트 손실: 0.067564\t최선의 손실: 0.067564\t정확도: 98.12%\n", "2\t검증 세트 손실: 0.060161\t최선의 손실: 0.060161\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.064349\t최선의 손실: 0.060161\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.055648\t최선의 손실: 0.055648\t정확도: 98.55%\n", "5\t검증 세트 손실: 0.059491\t최선의 손실: 0.055648\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.049381\t최선의 손실: 0.049381\t정확도: 98.79%\n", "7\t검증 세트 손실: 0.066729\t최선의 손실: 0.049381\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.072768\t최선의 손실: 0.049381\t정확도: 98.20%\n", "9\t검증 세트 손실: 0.040212\t최선의 손실: 0.040212\t정확도: 98.94%\n", "10\t검증 세트 손실: 0.057280\t최선의 손실: 0.040212\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.054836\t최선의 손실: 0.040212\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.063390\t최선의 손실: 0.040212\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.051530\t최선의 손실: 0.040212\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.075230\t최선의 손실: 0.040212\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.062996\t최선의 손실: 0.040212\t정확도: 98.87%\n", "16\t검증 세트 손실: 0.056509\t최선의 손실: 0.040212\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.065633\t최선의 손실: 0.040212\t정확도: 99.02%\n", "18\t검증 세트 손실: 0.052158\t최선의 손실: 0.040212\t정확도: 99.06%\n", "19\t검증 세트 손실: 0.081302\t최선의 손실: 0.040212\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.081773\t최선의 손실: 0.040212\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.087875\t최선의 손실: 0.040212\t정확도: 98.75%\n", "22\t검증 세트 손실: 0.066737\t최선의 손실: 0.040212\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.078363\t최선의 손실: 0.040212\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.070105\t최선의 손실: 0.040212\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.060393\t최선의 손실: 0.040212\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.060355\t최선의 손실: 0.040212\t정확도: 98.98%\n", "27\t검증 세트 손실: 0.071796\t최선의 손실: 0.040212\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.080071\t최선의 손실: 0.040212\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.055605\t최선의 손실: 0.040212\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.061928\t최선의 손실: 0.040212\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.3s\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.125644\t최선의 손실: 0.125644\t정확도: 96.99%\n", "1\t검증 세트 손실: 0.061403\t최선의 손실: 0.061403\t정확도: 98.24%\n", "2\t검증 세트 손실: 0.066687\t최선의 손실: 0.061403\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.054368\t최선의 손실: 0.054368\t정확도: 98.20%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "4\t검증 세트 손실: 0.054328\t최선의 손실: 0.054328\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.067437\t최선의 손실: 0.054328\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.036356\t최선의 손실: 0.036356\t정확도: 98.83%\n", "7\t검증 세트 손실: 0.057743\t최선의 손실: 0.036356\t정확도: 98.40%\n", "8\t검증 세트 손실: 0.046037\t최선의 손실: 0.036356\t정확도: 98.71%\n", "9\t검증 세트 손실: 0.045686\t최선의 손실: 0.036356\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.044433\t최선의 손실: 0.036356\t정확도: 99.02%\n", "11\t검증 세트 손실: 0.046541\t최선의 손실: 0.036356\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.062337\t최선의 손실: 0.036356\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.065704\t최선의 손실: 0.036356\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.056532\t최선의 손실: 0.036356\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.057653\t최선의 손실: 0.036356\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.036613\t최선의 손실: 0.036356\t정확도: 99.10%\n", "17\t검증 세트 손실: 0.050595\t최선의 손실: 0.036356\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.060675\t최선의 손실: 0.036356\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.052941\t최선의 손실: 0.036356\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.045952\t최선의 손실: 0.036356\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.083539\t최선의 손실: 0.036356\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.087613\t최선의 손실: 0.036356\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.054027\t최선의 손실: 0.036356\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.044101\t최선의 손실: 0.036356\t정확도: 99.10%\n", "25\t검증 세트 손실: 0.071613\t최선의 손실: 0.036356\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.054607\t최선의 손실: 0.036356\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.061004\t최선의 손실: 0.036356\t정확도: 99.26%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 5.5s\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.086824\t최선의 손실: 0.086824\t정확도: 97.42%\n", "1\t검증 세트 손실: 0.062758\t최선의 손실: 0.062758\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.054979\t최선의 손실: 0.054979\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.050562\t최선의 손실: 0.050562\t정확도: 98.40%\n", "4\t검증 세트 손실: 0.049423\t최선의 손실: 0.049423\t정확도: 98.40%\n", "5\t검증 세트 손실: 0.060881\t최선의 손실: 0.049423\t정확도: 98.24%\n", "6\t검증 세트 손실: 0.042328\t최선의 손실: 0.042328\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.093644\t최선의 손실: 0.042328\t정확도: 97.54%\n", "8\t검증 세트 손실: 0.041667\t최선의 손실: 0.041667\t정확도: 98.94%\n", "9\t검증 세트 손실: 0.064672\t최선의 손실: 0.041667\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.039939\t최선의 손실: 0.039939\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.038714\t최선의 손실: 0.038714\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.048340\t최선의 손실: 0.038714\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.048865\t최선의 손실: 0.038714\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.050127\t최선의 손실: 0.038714\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.076632\t최선의 손실: 0.038714\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.059312\t최선의 손실: 0.038714\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.052989\t최선의 손실: 0.038714\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.050553\t최선의 손실: 0.038714\t정확도: 99.06%\n", "19\t검증 세트 손실: 0.068197\t최선의 손실: 0.038714\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.060219\t최선의 손실: 0.038714\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.106053\t최선의 손실: 0.038714\t정확도: 97.77%\n", "22\t검증 세트 손실: 0.077954\t최선의 손실: 0.038714\t정확도: 98.55%\n", "23\t검증 세트 손실: 0.064427\t최선의 손실: 0.038714\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.067822\t최선의 손실: 0.038714\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.085932\t최선의 손실: 0.038714\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.097478\t최선의 손실: 0.038714\t정확도: 98.36%\n", "27\t검증 세트 손실: 0.074513\t최선의 손실: 0.038714\t정확도: 98.67%\n", "28\t검증 세트 손실: 0.063021\t최선의 손실: 0.038714\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.064320\t최선의 손실: 0.038714\t정확도: 98.83%\n", "30\t검증 세트 손실: 0.065725\t최선의 손실: 0.038714\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.079540\t최선의 손실: 0.038714\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.056984\t최선의 손실: 0.038714\t정확도: 98.94%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 6.4s\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.093045\t최선의 손실: 0.093045\t정확도: 97.42%\n", "1\t검증 세트 손실: 0.062446\t최선의 손실: 0.062446\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.053794\t최선의 손실: 0.053794\t정확도: 98.51%\n", "3\t검증 세트 손실: 0.052708\t최선의 손실: 0.052708\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.045225\t최선의 손실: 0.045225\t정확도: 98.55%\n", "5\t검증 세트 손실: 0.059690\t최선의 손실: 0.045225\t정확도: 98.20%\n", "6\t검증 세트 손실: 0.061587\t최선의 손실: 0.045225\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.062032\t최선의 손실: 0.045225\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.064090\t최선의 손실: 0.045225\t정확도: 98.36%\n", "9\t검증 세트 손실: 0.060882\t최선의 손실: 0.045225\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.058720\t최선의 손실: 0.045225\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.048569\t최선의 손실: 0.045225\t정확도: 98.79%\n", "12\t검증 세트 손실: 0.052376\t최선의 손실: 0.045225\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.049417\t최선의 손실: 0.045225\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.059069\t최선의 손실: 0.045225\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.077342\t최선의 손실: 0.045225\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.065368\t최선의 손실: 0.045225\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.055816\t최선의 손실: 0.045225\t정확도: 98.63%\n", "18\t검증 세트 손실: 0.054167\t최선의 손실: 0.045225\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.058868\t최선의 손실: 0.045225\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.055102\t최선의 손실: 0.045225\t정확도: 99.02%\n", "21\t검증 세트 손실: 0.067657\t최선의 손실: 0.045225\t정확도: 98.51%\n", "22\t검증 세트 손실: 0.057822\t최선의 손실: 0.045225\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.084302\t최선의 손실: 0.045225\t정확도: 98.48%\n", "24\t검증 세트 손실: 0.066277\t최선의 손실: 0.045225\t정확도: 98.87%\n", "25\t검증 세트 손실: 0.077925\t최선의 손실: 0.045225\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 5.2s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.131316\t최선의 손실: 0.131316\t정확도: 95.70%\n", "1\t검증 세트 손실: 0.076757\t최선의 손실: 0.076757\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.071406\t최선의 손실: 0.071406\t정확도: 97.69%\n", "3\t검증 세트 손실: 0.085052\t최선의 손실: 0.071406\t정확도: 97.50%\n", "4\t검증 세트 손실: 0.065436\t최선의 손실: 0.065436\t정확도: 97.89%\n", "5\t검증 세트 손실: 0.070239\t최선의 손실: 0.065436\t정확도: 98.16%\n", "6\t검증 세트 손실: 0.058229\t최선의 손실: 0.058229\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.043609\t최선의 손실: 0.043609\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.047669\t최선의 손실: 0.043609\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.050014\t최선의 손실: 0.043609\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.045471\t최선의 손실: 0.043609\t정확도: 98.94%\n", "11\t검증 세트 손실: 0.064411\t최선의 손실: 0.043609\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.053780\t최선의 손실: 0.043609\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.048436\t최선의 손실: 0.043609\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.052409\t최선의 손실: 0.043609\t정확도: 98.98%\n", "15\t검증 세트 손실: 0.057364\t최선의 손실: 0.043609\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.056954\t최선의 손실: 0.043609\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.063567\t최선의 손실: 0.043609\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.060083\t최선의 손실: 0.043609\t정확도: 98.79%\n", "19\t검증 세트 손실: 0.086818\t최선의 손실: 0.043609\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.103629\t최선의 손실: 0.043609\t정확도: 97.81%\n", "21\t검증 세트 손실: 0.061445\t최선의 손실: 0.043609\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.066770\t최선의 손실: 0.043609\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.088259\t최선의 손실: 0.043609\t정확도: 98.48%\n", "24\t검증 세트 손실: 0.070522\t최선의 손실: 0.043609\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.053639\t최선의 손실: 0.043609\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.055513\t최선의 손실: 0.043609\t정확도: 99.10%\n", "27\t검증 세트 손실: 0.066452\t최선의 손실: 0.043609\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.067137\t최선의 손실: 0.043609\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=, total= 7.4s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.123218\t최선의 손실: 0.123218\t정확도: 95.93%\n", "1\t검증 세트 손실: 0.083363\t최선의 손실: 0.083363\t정확도: 97.30%\n", "2\t검증 세트 손실: 0.065928\t최선의 손실: 0.065928\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.059005\t최선의 손실: 0.059005\t정확도: 97.89%\n", "4\t검증 세트 손실: 0.071271\t최선의 손실: 0.059005\t정확도: 97.58%\n", "5\t검증 세트 손실: 0.065771\t최선의 손실: 0.059005\t정확도: 97.93%\n", "6\t검증 세트 손실: 0.048410\t최선의 손실: 0.048410\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.057414\t최선의 손실: 0.048410\t정확도: 98.28%\n", "8\t검증 세트 손실: 0.052810\t최선의 손실: 0.048410\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.054508\t최선의 손실: 0.048410\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.055793\t최선의 손실: 0.048410\t정확도: 98.44%\n", "11\t검증 세트 손실: 0.058459\t최선의 손실: 0.048410\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.069417\t최선의 손실: 0.048410\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.047549\t최선의 손실: 0.047549\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.097031\t최선의 손실: 0.047549\t정확도: 98.12%\n", "15\t검증 세트 손실: 0.071348\t최선의 손실: 0.047549\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.057430\t최선의 손실: 0.047549\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.065822\t최선의 손실: 0.047549\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.060730\t최선의 손실: 0.047549\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.082107\t최선의 손실: 0.047549\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.074310\t최선의 손실: 0.047549\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.074472\t최선의 손실: 0.047549\t정확도: 98.32%\n", "22\t검증 세트 손실: 0.080340\t최선의 손실: 0.047549\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.069632\t최선의 손실: 0.047549\t정확도: 98.28%\n", "24\t검증 세트 손실: 0.070948\t최선의 손실: 0.047549\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.064276\t최선의 손실: 0.047549\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.099554\t최선의 손실: 0.047549\t정확도: 98.40%\n", "27\t검증 세트 손실: 0.064798\t최선의 손실: 0.047549\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.074022\t최선의 손실: 0.047549\t정확도: 98.94%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "29\t검증 세트 손실: 0.072556\t최선의 손실: 0.047549\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.084082\t최선의 손실: 0.047549\t정확도: 98.59%\n", "31\t검증 세트 손실: 0.082196\t최선의 손실: 0.047549\t정확도: 98.79%\n", "32\t검증 세트 손실: 0.068429\t최선의 손실: 0.047549\t정확도: 98.91%\n", "33\t검증 세트 손실: 0.060926\t최선의 손실: 0.047549\t정확도: 98.87%\n", "34\t검증 세트 손실: 0.059046\t최선의 손실: 0.047549\t정확도: 98.98%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=, total= 8.8s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.108754\t최선의 손실: 0.108754\t정확도: 96.68%\n", "1\t검증 세트 손실: 0.076621\t최선의 손실: 0.076621\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.066869\t최선의 손실: 0.066869\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.059805\t최선의 손실: 0.059805\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.050830\t최선의 손실: 0.050830\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.050915\t최선의 손실: 0.050830\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.054090\t최선의 손실: 0.050830\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.041230\t최선의 손실: 0.041230\t정확도: 98.71%\n", "8\t검증 세트 손실: 0.049005\t최선의 손실: 0.041230\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.056138\t최선의 손실: 0.041230\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.073905\t최선의 손실: 0.041230\t정확도: 98.28%\n", "11\t검증 세트 손실: 0.062808\t최선의 손실: 0.041230\t정확도: 98.63%\n", "12\t검증 세트 손실: 0.087869\t최선의 손실: 0.041230\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.061957\t최선의 손실: 0.041230\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.062072\t최선의 손실: 0.041230\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.056108\t최선의 손실: 0.041230\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.070555\t최선의 손실: 0.041230\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.076794\t최선의 손실: 0.041230\t정확도: 98.40%\n", "18\t검증 세트 손실: 0.059209\t최선의 손실: 0.041230\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.067047\t최선의 손실: 0.041230\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.063466\t최선의 손실: 0.041230\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.073017\t최선의 손실: 0.041230\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.081922\t최선의 손실: 0.041230\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.091177\t최선의 손실: 0.041230\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.058785\t최선의 손실: 0.041230\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.063682\t최선의 손실: 0.041230\t정확도: 98.87%\n", "26\t검증 세트 손실: 0.087580\t최선의 손실: 0.041230\t정확도: 98.44%\n", "27\t검증 세트 손실: 0.069776\t최선의 손실: 0.041230\t정확도: 98.79%\n", "28\t검증 세트 손실: 0.073279\t최선의 손실: 0.041230\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=, total= 7.3s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.680824\t최선의 손실: 1.680824\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.621809\t최선의 손실: 1.621809\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.619829\t최선의 손실: 1.619829\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.616521\t최선의 손실: 1.616521\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.654961\t최선의 손실: 1.616521\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.621475\t최선의 손실: 1.616521\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.632695\t최선의 손실: 1.616521\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.614866\t최선의 손실: 1.614866\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.642610\t최선의 손실: 1.614866\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.639823\t최선의 손실: 1.614866\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.615378\t최선의 손실: 1.614866\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.630569\t최선의 손실: 1.614866\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.636738\t최선의 손실: 1.614866\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.613106\t최선의 손실: 1.613106\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.629267\t최선의 손실: 1.613106\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.617142\t최선의 손실: 1.613106\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.626923\t최선의 손실: 1.613106\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.608595\t최선의 손실: 1.608595\t정확도: 22.01%\n", "18\t검증 세트 손실: 1.624731\t최선의 손실: 1.608595\t정확도: 19.27%\n", "19\t검증 세트 손실: 1.624030\t최선의 손실: 1.608595\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.615448\t최선의 손실: 1.608595\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.629645\t최선의 손실: 1.608595\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.619089\t최선의 손실: 1.608595\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.621075\t최선의 손실: 1.608595\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.633985\t최선의 손실: 1.608595\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.647179\t최선의 손실: 1.608595\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.614125\t최선의 손실: 1.608595\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.638547\t최선의 손실: 1.608595\t정확도: 19.27%\n", "28\t검증 세트 손실: 1.656266\t최선의 손실: 1.608595\t정확도: 22.01%\n", "29\t검증 세트 손실: 1.617742\t최선의 손실: 1.608595\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.641872\t최선의 손실: 1.608595\t정확도: 19.27%\n", "31\t검증 세트 손실: 1.631484\t최선의 손실: 1.608595\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.641180\t최선의 손실: 1.608595\t정확도: 18.73%\n", "33\t검증 세트 손실: 1.647449\t최선의 손실: 1.608595\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.610285\t최선의 손실: 1.608595\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.624693\t최선의 손실: 1.608595\t정확도: 19.08%\n", "36\t검증 세트 손실: 1.630855\t최선의 손실: 1.608595\t정확도: 18.73%\n", "37\t검증 세트 손실: 1.632279\t최선의 손실: 1.608595\t정확도: 18.73%\n", "38\t검증 세트 손실: 1.631024\t최선의 손실: 1.608595\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=, total= 34.0s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.631946\t최선의 손실: 1.631946\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.644833\t최선의 손실: 1.631946\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.611661\t최선의 손실: 1.611661\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.614182\t최선의 손실: 1.611661\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.617815\t최선의 손실: 1.611661\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.624095\t최선의 손실: 1.611661\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.635101\t최선의 손실: 1.611661\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.630914\t최선의 손실: 1.611661\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.639863\t최선의 손실: 1.611661\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.611894\t최선의 손실: 1.611661\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.613292\t최선의 손실: 1.611661\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.614465\t최선의 손실: 1.611661\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.615519\t최선의 손실: 1.611661\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.609593\t최선의 손실: 1.609593\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.628134\t최선의 손실: 1.609593\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.613723\t최선의 손실: 1.609593\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.621646\t최선의 손실: 1.609593\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.612428\t최선의 손실: 1.609593\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.622170\t최선의 손실: 1.609593\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.611825\t최선의 손실: 1.609593\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.612158\t최선의 손실: 1.609593\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.657981\t최선의 손실: 1.609593\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.643383\t최선의 손실: 1.609593\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.647554\t최선의 손실: 1.609593\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.652203\t최선의 손실: 1.609593\t정확도: 18.73%\n", "25\t검증 세트 손실: 1.610976\t최선의 손실: 1.609593\t정확도: 20.91%\n", "26\t검증 세트 손실: 1.614098\t최선의 손실: 1.609593\t정확도: 20.91%\n", "27\t검증 세트 손실: 1.614371\t최선의 손실: 1.609593\t정확도: 20.91%\n", "28\t검증 세트 손실: 1.642984\t최선의 손실: 1.609593\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.614041\t최선의 손실: 1.609593\t정확도: 19.08%\n", "30\t검증 세트 손실: 1.609285\t최선의 손실: 1.609285\t정확도: 22.01%\n", "31\t검증 세트 손실: 1.634894\t최선의 손실: 1.609285\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.614006\t최선의 손실: 1.609285\t정확도: 19.08%\n", "33\t검증 세트 손실: 1.619314\t최선의 손실: 1.609285\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.611677\t최선의 손실: 1.609285\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.638075\t최선의 손실: 1.609285\t정확도: 20.91%\n", "36\t검증 세트 손실: 1.621402\t최선의 손실: 1.609285\t정확도: 22.01%\n", "37\t검증 세트 손실: 1.617570\t최선의 손실: 1.609285\t정확도: 22.01%\n", "38\t검증 세트 손실: 1.620770\t최선의 손실: 1.609285\t정확도: 20.91%\n", "39\t검증 세트 손실: 1.627340\t최선의 손실: 1.609285\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.607887\t최선의 손실: 1.607887\t정확도: 22.01%\n", "41\t검증 세트 손실: 1.634036\t최선의 손실: 1.607887\t정확도: 22.01%\n", "42\t검증 세트 손실: 1.618335\t최선의 손실: 1.607887\t정확도: 20.91%\n", "43\t검증 세트 손실: 1.618744\t최선의 손실: 1.607887\t정확도: 22.01%\n", "44\t검증 세트 손실: 1.621667\t최선의 손실: 1.607887\t정확도: 19.08%\n", "45\t검증 세트 손실: 1.629387\t최선의 손실: 1.607887\t정확도: 22.01%\n", "46\t검증 세트 손실: 1.637660\t최선의 손실: 1.607887\t정확도: 18.73%\n", "47\t검증 세트 손실: 1.609609\t최선의 손실: 1.607887\t정확도: 22.01%\n", "48\t검증 세트 손실: 1.612161\t최선의 손실: 1.607887\t정확도: 22.01%\n", "49\t검증 세트 손실: 1.643130\t최선의 손실: 1.607887\t정확도: 19.27%\n", "50\t검증 세트 손실: 1.611989\t최선의 손실: 1.607887\t정확도: 22.01%\n", "51\t검증 세트 손실: 1.619973\t최선의 손실: 1.607887\t정확도: 19.08%\n", "52\t검증 세트 손실: 1.627019\t최선의 손실: 1.607887\t정확도: 19.08%\n", "53\t검증 세트 손실: 1.618522\t최선의 손실: 1.607887\t정확도: 22.01%\n", "54\t검증 세트 손실: 1.654810\t최선의 손실: 1.607887\t정확도: 18.73%\n", "55\t검증 세트 손실: 1.645115\t최선의 손실: 1.607887\t정확도: 18.73%\n", "56\t검증 세트 손실: 1.669473\t최선의 손실: 1.607887\t정확도: 19.08%\n", "57\t검증 세트 손실: 1.619665\t최선의 손실: 1.607887\t정확도: 18.73%\n", "58\t검증 세트 손실: 1.612547\t최선의 손실: 1.607887\t정확도: 22.01%\n", "59\t검증 세트 손실: 1.619512\t최선의 손실: 1.607887\t정확도: 22.01%\n", "60\t검증 세트 손실: 1.635963\t최선의 손실: 1.607887\t정확도: 18.73%\n", "61\t검증 세트 손실: 1.627398\t최선의 손실: 1.607887\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=, total= 54.1s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.644702\t최선의 손실: 1.644702\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.624352\t최선의 손실: 1.624352\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.614131\t최선의 손실: 1.614131\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.616998\t최선의 손실: 1.614131\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.614502\t최선의 손실: 1.614131\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.627699\t최선의 손실: 1.614131\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.648675\t최선의 손실: 1.614131\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.627600\t최선의 손실: 1.614131\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.625684\t최선의 손실: 1.614131\t정확도: 22.01%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "9\t검증 세트 손실: 1.615554\t최선의 손실: 1.614131\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.619121\t최선의 손실: 1.614131\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.639597\t최선의 손실: 1.614131\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.627611\t최선의 손실: 1.614131\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.615012\t최선의 손실: 1.614131\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.624332\t최선의 손실: 1.614131\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.612443\t최선의 손실: 1.612443\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.627838\t최선의 손실: 1.612443\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.613231\t최선의 손실: 1.612443\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.615750\t최선의 손실: 1.612443\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.619094\t최선의 손실: 1.612443\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.609112\t최선의 손실: 1.609112\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.689015\t최선의 손실: 1.609112\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.618887\t최선의 손실: 1.609112\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.638923\t최선의 손실: 1.609112\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.660611\t최선의 손실: 1.609112\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.619327\t최선의 손실: 1.609112\t정확도: 19.27%\n", "26\t검증 세트 손실: 1.611328\t최선의 손실: 1.609112\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.614297\t최선의 손실: 1.609112\t정확도: 20.91%\n", "28\t검증 세트 손실: 1.628115\t최선의 손실: 1.609112\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.610351\t최선의 손실: 1.609112\t정확도: 20.91%\n", "30\t검증 세트 손실: 1.626940\t최선의 손실: 1.609112\t정확도: 20.91%\n", "31\t검증 세트 손실: 1.633271\t최선의 손실: 1.609112\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.609059\t최선의 손실: 1.609059\t정확도: 22.01%\n", "33\t검증 세트 손실: 1.610649\t최선의 손실: 1.609059\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.616985\t최선의 손실: 1.609059\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.627558\t최선의 손실: 1.609059\t정확도: 19.27%\n", "36\t검증 세트 손실: 1.609164\t최선의 손실: 1.609059\t정확도: 20.91%\n", "37\t검증 세트 손실: 1.626446\t최선의 손실: 1.609059\t정확도: 19.27%\n", "38\t검증 세트 손실: 1.614501\t최선의 손실: 1.609059\t정확도: 22.01%\n", "39\t검증 세트 손실: 1.617748\t최선의 손실: 1.609059\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.623124\t최선의 손실: 1.609059\t정확도: 22.01%\n", "41\t검증 세트 손실: 1.615785\t최선의 손실: 1.609059\t정확도: 19.27%\n", "42\t검증 세트 손실: 1.617481\t최선의 손실: 1.609059\t정확도: 19.27%\n", "43\t검증 세트 손실: 1.617776\t최선의 손실: 1.609059\t정확도: 19.08%\n", "44\t검증 세트 손실: 1.626857\t최선의 손실: 1.609059\t정확도: 22.01%\n", "45\t검증 세트 손실: 1.613782\t최선의 손실: 1.609059\t정확도: 22.01%\n", "46\t검증 세트 손실: 1.618688\t최선의 손실: 1.609059\t정확도: 22.01%\n", "47\t검증 세트 손실: 1.610628\t최선의 손실: 1.609059\t정확도: 22.01%\n", "48\t검증 세트 손실: 1.614394\t최선의 손실: 1.609059\t정확도: 18.73%\n", "49\t검증 세트 손실: 1.612177\t최선의 손실: 1.609059\t정확도: 19.27%\n", "50\t검증 세트 손실: 1.623884\t최선의 손실: 1.609059\t정확도: 19.27%\n", "51\t검증 세트 손실: 1.616774\t최선의 손실: 1.609059\t정확도: 22.01%\n", "52\t검증 세트 손실: 1.620593\t최선의 손실: 1.609059\t정확도: 18.73%\n", "53\t검증 세트 손실: 1.617683\t최선의 손실: 1.609059\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=10, activation=, total= 47.0s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.078571\t최선의 손실: 0.078571\t정확도: 97.73%\n", "1\t검증 세트 손실: 0.086604\t최선의 손실: 0.078571\t정확도: 97.77%\n", "2\t검증 세트 손실: 0.062715\t최선의 손실: 0.062715\t정확도: 98.48%\n", "3\t검증 세트 손실: 0.073588\t최선의 손실: 0.062715\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.099684\t최선의 손실: 0.062715\t정확도: 97.50%\n", "5\t검증 세트 손실: 0.080363\t최선의 손실: 0.062715\t정확도: 98.28%\n", "6\t검증 세트 손실: 0.078911\t최선의 손실: 0.062715\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.075540\t최선의 손실: 0.062715\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.106845\t최선의 손실: 0.062715\t정확도: 96.99%\n", "9\t검증 세트 손실: 0.089732\t최선의 손실: 0.062715\t정확도: 97.69%\n", "10\t검증 세트 손실: 0.081916\t최선의 손실: 0.062715\t정확도: 98.05%\n", "11\t검증 세트 손실: 0.134452\t최선의 손실: 0.062715\t정확도: 97.34%\n", "12\t검증 세트 손실: 0.080808\t최선의 손실: 0.062715\t정확도: 98.20%\n", "13\t검증 세트 손실: 0.090285\t최선의 손실: 0.062715\t정확도: 97.89%\n", "14\t검증 세트 손실: 0.098188\t최선의 손실: 0.062715\t정확도: 98.01%\n", "15\t검증 세트 손실: 0.066659\t최선의 손실: 0.062715\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.098462\t최선의 손실: 0.062715\t정확도: 98.01%\n", "17\t검증 세트 손실: 0.093574\t최선의 손실: 0.062715\t정확도: 98.05%\n", "18\t검증 세트 손실: 0.222328\t최선의 손실: 0.062715\t정확도: 97.54%\n", "19\t검증 세트 손실: 0.098380\t최선의 손실: 0.062715\t정확도: 97.26%\n", "20\t검증 세트 손실: 0.112617\t최선의 손실: 0.062715\t정확도: 97.69%\n", "21\t검증 세트 손실: 0.113867\t최선의 손실: 0.062715\t정확도: 96.91%\n", "22\t검증 세트 손실: 0.080042\t최선의 손실: 0.062715\t정확도: 98.08%\n", "23\t검증 세트 손실: 0.117727\t최선의 손실: 0.062715\t정확도: 97.03%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=, total= 3.8s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.129494\t최선의 손실: 0.129494\t정확도: 96.33%\n", "1\t검증 세트 손실: 0.119551\t최선의 손실: 0.119551\t정확도: 97.11%\n", "2\t검증 세트 손실: 0.086351\t최선의 손실: 0.086351\t정확도: 97.30%\n", "3\t검증 세트 손실: 0.080640\t최선의 손실: 0.080640\t정확도: 97.85%\n", "4\t검증 세트 손실: 0.093407\t최선의 손실: 0.080640\t정확도: 97.50%\n", "5\t검증 세트 손실: 0.101226\t최선의 손실: 0.080640\t정확도: 97.11%\n", "6\t검증 세트 손실: 0.140311\t최선의 손실: 0.080640\t정확도: 96.95%\n", "7\t검증 세트 손실: 0.076011\t최선의 손실: 0.076011\t정확도: 97.97%\n", "8\t검증 세트 손실: 0.139178\t최선의 손실: 0.076011\t정확도: 97.73%\n", "9\t검증 세트 손실: 0.074389\t최선의 손실: 0.074389\t정확도: 98.05%\n", "10\t검증 세트 손실: 0.084281\t최선의 손실: 0.074389\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.164974\t최선의 손실: 0.074389\t정확도: 98.28%\n", "12\t검증 세트 손실: 0.071322\t최선의 손실: 0.071322\t정확도: 98.12%\n", "13\t검증 세트 손실: 0.087620\t최선의 손실: 0.071322\t정확도: 98.16%\n", "14\t검증 세트 손실: 0.090056\t최선의 손실: 0.071322\t정확도: 98.08%\n", "15\t검증 세트 손실: 0.066347\t최선의 손실: 0.066347\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.077305\t최선의 손실: 0.066347\t정확도: 98.40%\n", "17\t검증 세트 손실: 0.101670\t최선의 손실: 0.066347\t정확도: 98.05%\n", "18\t검증 세트 손실: 0.075264\t최선의 손실: 0.066347\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.097956\t최선의 손실: 0.066347\t정확도: 98.05%\n", "20\t검증 세트 손실: 0.095701\t최선의 손실: 0.066347\t정확도: 98.40%\n", "21\t검증 세트 손실: 0.107292\t최선의 손실: 0.066347\t정확도: 97.30%\n", "22\t검증 세트 손실: 0.087180\t최선의 손실: 0.066347\t정확도: 97.81%\n", "23\t검증 세트 손실: 0.102036\t최선의 손실: 0.066347\t정확도: 97.65%\n", "24\t검증 세트 손실: 0.097211\t최선의 손실: 0.066347\t정확도: 98.12%\n", "25\t검증 세트 손실: 0.082003\t최선의 손실: 0.066347\t정확도: 98.44%\n", "26\t검증 세트 손실: 0.106933\t최선의 손실: 0.066347\t정확도: 98.01%\n", "27\t검증 세트 손실: 0.082594\t최선의 손실: 0.066347\t정확도: 98.40%\n", "28\t검증 세트 손실: 0.077675\t최선의 손실: 0.066347\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.086000\t최선의 손실: 0.066347\t정확도: 98.12%\n", "30\t검증 세트 손실: 0.077836\t최선의 손실: 0.066347\t정확도: 98.28%\n", "31\t검증 세트 손실: 0.073262\t최선의 손실: 0.066347\t정확도: 98.40%\n", "32\t검증 세트 손실: 0.143054\t최선의 손실: 0.066347\t정확도: 98.16%\n", "33\t검증 세트 손실: 0.143183\t최선의 손실: 0.066347\t정확도: 96.33%\n", "34\t검증 세트 손실: 0.098938\t최선의 손실: 0.066347\t정확도: 98.12%\n", "35\t검증 세트 손실: 0.185638\t최선의 손실: 0.066347\t정확도: 93.94%\n", "36\t검증 세트 손실: 0.092825\t최선의 손실: 0.066347\t정확도: 97.81%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=, total= 5.7s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.097943\t최선의 손실: 0.097943\t정확도: 97.73%\n", "1\t검증 세트 손실: 0.078470\t최선의 손실: 0.078470\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.099947\t최선의 손실: 0.078470\t정확도: 97.65%\n", "3\t검증 세트 손실: 0.089017\t최선의 손실: 0.078470\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.071668\t최선의 손실: 0.071668\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.094318\t최선의 손실: 0.071668\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.094176\t최선의 손실: 0.071668\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.075877\t최선의 손실: 0.071668\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.076313\t최선의 손실: 0.071668\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.078481\t최선의 손실: 0.071668\t정확도: 98.32%\n", "10\t검증 세트 손실: 0.122400\t최선의 손실: 0.071668\t정확도: 97.26%\n", "11\t검증 세트 손실: 0.072401\t최선의 손실: 0.071668\t정확도: 98.20%\n", "12\t검증 세트 손실: 0.095301\t최선의 손실: 0.071668\t정확도: 97.81%\n", "13\t검증 세트 손실: 0.076847\t최선의 손실: 0.071668\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.103863\t최선의 손실: 0.071668\t정확도: 98.36%\n", "15\t검증 세트 손실: 0.081043\t최선의 손실: 0.071668\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.089839\t최선의 손실: 0.071668\t정확도: 97.62%\n", "17\t검증 세트 손실: 0.071595\t최선의 손실: 0.071595\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.076594\t최선의 손실: 0.071595\t정확도: 98.32%\n", "19\t검증 세트 손실: 0.093071\t최선의 손실: 0.071595\t정확도: 98.16%\n", "20\t검증 세트 손실: 0.070257\t최선의 손실: 0.070257\t정확도: 98.28%\n", "21\t검증 세트 손실: 0.157739\t최선의 손실: 0.070257\t정확도: 97.97%\n", "22\t검증 세트 손실: 0.177188\t최선의 손실: 0.070257\t정확도: 95.90%\n", "23\t검증 세트 손실: 0.120664\t최선의 손실: 0.070257\t정확도: 96.91%\n", "24\t검증 세트 손실: 0.102688\t최선의 손실: 0.070257\t정확도: 98.08%\n", "25\t검증 세트 손실: 0.088356\t최선의 손실: 0.070257\t정확도: 98.48%\n", "26\t검증 세트 손실: 0.087845\t최선의 손실: 0.070257\t정확도: 98.20%\n", "27\t검증 세트 손실: 0.083557\t최선의 손실: 0.070257\t정확도: 98.01%\n", "28\t검증 세트 손실: 0.075139\t최선의 손실: 0.070257\t정확도: 98.16%\n", "29\t검증 세트 손실: 0.072139\t최선의 손실: 0.070257\t정확도: 98.24%\n", "30\t검증 세트 손실: 0.094946\t최선의 손실: 0.070257\t정확도: 98.28%\n", "31\t검증 세트 손실: 0.108458\t최선의 손실: 0.070257\t정확도: 98.48%\n", "32\t검증 세트 손실: 0.100851\t최선의 손실: 0.070257\t정확도: 98.55%\n", "33\t검증 세트 손실: 0.084456\t최선의 손실: 0.070257\t정확도: 98.32%\n", "34\t검증 세트 손실: 0.092506\t최선의 손실: 0.070257\t정확도: 98.48%\n", "35\t검증 세트 손실: 0.113258\t최선의 손실: 0.070257\t정확도: 98.36%\n", "36\t검증 세트 손실: 0.089383\t최선의 손실: 0.070257\t정확도: 98.40%\n", "37\t검증 세트 손실: 0.101454\t최선의 손실: 0.070257\t정확도: 98.20%\n", "38\t검증 세트 손실: 0.158697\t최선의 손실: 0.070257\t정확도: 95.00%\n", "39\t검증 세트 손실: 0.086534\t최선의 손실: 0.070257\t정확도: 98.24%\n", "40\t검증 세트 손실: 0.167023\t최선의 손실: 0.070257\t정확도: 97.93%\n", "41\t검증 세트 손실: 0.355330\t최선의 손실: 0.070257\t정확도: 78.50%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=, total= 6.5s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.951716\t최선의 손실: 0.951716\t정확도: 91.24%\n", "1\t검증 세트 손실: 2.091279\t최선의 손실: 0.951716\t정확도: 82.92%\n", "2\t검증 세트 손실: 115.965340\t최선의 손실: 0.951716\t정확도: 36.32%\n", "3\t검증 세트 손실: 4.553381\t최선의 손실: 0.951716\t정확도: 79.95%\n", "4\t검증 세트 손실: 2.752819\t최선의 손실: 0.951716\t정확도: 84.68%\n", "5\t검증 세트 손실: 1.339062\t최선의 손실: 0.951716\t정확도: 86.75%\n", "6\t검증 세트 손실: 1.767870\t최선의 손실: 0.951716\t정확도: 78.30%\n", "7\t검증 세트 손실: 0.931114\t최선의 손실: 0.931114\t정확도: 84.09%\n", "8\t검증 세트 손실: 0.878914\t최선의 손실: 0.878914\t정확도: 87.57%\n", "9\t검증 세트 손실: 0.861499\t최선의 손실: 0.861499\t정확도: 85.85%\n", "10\t검증 세트 손실: 1.051922\t최선의 손실: 0.861499\t정확도: 78.46%\n", "11\t검증 세트 손실: 0.581692\t최선의 손실: 0.581692\t정확도: 89.44%\n", "12\t검증 세트 손실: 0.509965\t최선의 손실: 0.509965\t정확도: 90.30%\n", "13\t검증 세트 손실: 0.906986\t최선의 손실: 0.509965\t정확도: 77.91%\n", "14\t검증 세트 손실: 0.664253\t최선의 손실: 0.509965\t정확도: 88.27%\n", "15\t검증 세트 손실: 0.692753\t최선의 손실: 0.509965\t정확도: 89.72%\n", "16\t검증 세트 손실: 0.376335\t최선의 손실: 0.376335\t정확도: 91.52%\n", "17\t검증 세트 손실: 0.463672\t최선의 손실: 0.376335\t정확도: 90.50%\n", "18\t검증 세트 손실: 0.452051\t최선의 손실: 0.376335\t정확도: 91.28%\n", "19\t검증 세트 손실: 0.499479\t최선의 손실: 0.376335\t정확도: 90.15%\n", "20\t검증 세트 손실: 0.450932\t최선의 손실: 0.376335\t정확도: 90.27%\n", "21\t검증 세트 손실: 0.403222\t최선의 손실: 0.376335\t정확도: 90.62%\n", "22\t검증 세트 손실: 0.360197\t최선의 손실: 0.360197\t정확도: 90.97%\n", "23\t검증 세트 손실: 0.327277\t최선의 손실: 0.327277\t정확도: 93.32%\n", "24\t검증 세트 손실: 0.372522\t최선의 손실: 0.327277\t정확도: 92.03%\n", "25\t검증 세트 손실: 39.087326\t최선의 손실: 0.327277\t정확도: 19.74%\n", "26\t검증 세트 손실: 1.160039\t최선의 손실: 0.327277\t정확도: 86.86%\n", "27\t검증 세트 손실: 1.035741\t최선의 손실: 0.327277\t정확도: 84.25%\n", "28\t검증 세트 손실: 0.625567\t최선의 손실: 0.327277\t정확도: 86.79%\n", "29\t검증 세트 손실: 0.591116\t최선의 손실: 0.327277\t정확도: 88.12%\n", "30\t검증 세트 손실: 0.458627\t최선의 손실: 0.327277\t정확도: 89.64%\n", "31\t검증 세트 손실: 0.389704\t최선의 손실: 0.327277\t정확도: 90.70%\n", "32\t검증 세트 손실: 0.449166\t최선의 손실: 0.327277\t정확도: 89.99%\n", "33\t검증 세트 손실: 0.309842\t최선의 손실: 0.309842\t정확도: 92.38%\n", "34\t검증 세트 손실: 0.348911\t최선의 손실: 0.309842\t정확도: 91.52%\n", "35\t검증 세트 손실: 0.312382\t최선의 손실: 0.309842\t정확도: 91.95%\n", "36\t검증 세트 손실: 0.287358\t최선의 손실: 0.287358\t정확도: 92.38%\n", "37\t검증 세트 손실: 0.254006\t최선의 손실: 0.254006\t정확도: 92.96%\n", "38\t검증 세트 손실: 0.248036\t최선의 손실: 0.248036\t정확도: 93.28%\n", "39\t검증 세트 손실: 0.359787\t최선의 손실: 0.248036\t정확도: 89.91%\n", "40\t검증 세트 손실: 0.233699\t최선의 손실: 0.233699\t정확도: 93.82%\n", "41\t검증 세트 손실: 0.251902\t최선의 손실: 0.233699\t정확도: 93.24%\n", "42\t검증 세트 손실: 0.320863\t최선의 손실: 0.233699\t정확도: 90.30%\n", "43\t검증 세트 손실: 0.221458\t최선의 손실: 0.221458\t정확도: 93.55%\n", "44\t검증 세트 손실: 0.187932\t최선의 손실: 0.187932\t정확도: 95.00%\n", "45\t검증 세트 손실: 0.246497\t최선의 손실: 0.187932\t정확도: 93.86%\n", "46\t검증 세트 손실: 0.499306\t최선의 손실: 0.187932\t정확도: 94.64%\n", "47\t검증 세트 손실: 1742.010376\t최선의 손실: 0.187932\t정확도: 19.27%\n", "48\t검증 세트 손실: 391.704865\t최선의 손실: 0.187932\t정확도: 39.13%\n", "49\t검증 세트 손실: 181.028992\t최선의 손실: 0.187932\t정확도: 41.09%\n", "50\t검증 세트 손실: 94.528633\t최선의 손실: 0.187932\t정확도: 45.31%\n", "51\t검증 세트 손실: 73.160339\t최선의 손실: 0.187932\t정확도: 41.13%\n", "52\t검증 세트 손실: 23.359838\t최선의 손실: 0.187932\t정확도: 53.56%\n", "53\t검증 세트 손실: 13.328618\t최선의 손실: 0.187932\t정확도: 73.26%\n", "54\t검증 세트 손실: 31.473148\t최선의 손실: 0.187932\t정확도: 64.93%\n", "55\t검증 세트 손실: 59.254642\t최선의 손실: 0.187932\t정확도: 56.88%\n", "56\t검증 세트 손실: 25.177927\t최선의 손실: 0.187932\t정확도: 57.43%\n", "57\t검증 세트 손실: 11.013567\t최선의 손실: 0.187932\t정확도: 81.31%\n", "58\t검증 세트 손실: 25.625578\t최선의 손실: 0.187932\t정확도: 63.49%\n", "59\t검증 세트 손실: 13.449788\t최선의 손실: 0.187932\t정확도: 80.41%\n", "60\t검증 세트 손실: 27.670340\t최선의 손실: 0.187932\t정확도: 66.97%\n", "61\t검증 세트 손실: 13.741262\t최선의 손실: 0.187932\t정확도: 77.33%\n", "62\t검증 세트 손실: 31.890701\t최선의 손실: 0.187932\t정확도: 62.31%\n", "63\t검증 세트 손실: 35.600574\t최선의 손실: 0.187932\t정확도: 65.91%\n", "64\t검증 세트 손실: 20.181162\t최선의 손실: 0.187932\t정확도: 73.34%\n", "65\t검증 세트 손실: 12.032900\t최선의 손실: 0.187932\t정확도: 79.32%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.2s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.179815\t최선의 손실: 0.179815\t정확도: 95.23%\n", "1\t검증 세트 손실: 0.117306\t최선의 손실: 0.117306\t정확도: 96.68%\n", "2\t검증 세트 손실: 201.056870\t최선의 손실: 0.117306\t정확도: 19.27%\n", "3\t검증 세트 손실: 13.298692\t최선의 손실: 0.117306\t정확도: 24.59%\n", "4\t검증 세트 손실: 4.579219\t최선의 손실: 0.117306\t정확도: 43.39%\n", "5\t검증 세트 손실: 1.271192\t최선의 손실: 0.117306\t정확도: 61.14%\n", "6\t검증 세트 손실: 1.666028\t최선의 손실: 0.117306\t정확도: 56.57%\n", "7\t검증 세트 손실: 9.050961\t최선의 손실: 0.117306\t정확도: 27.91%\n", "8\t검증 세트 손실: 1.989570\t최선의 손실: 0.117306\t정확도: 57.19%\n", "9\t검증 세트 손실: 1.592043\t최선의 손실: 0.117306\t정확도: 59.62%\n", "10\t검증 세트 손실: 1.175512\t최선의 손실: 0.117306\t정확도: 68.57%\n", "11\t검증 세트 손실: 0.877519\t최선의 손실: 0.117306\t정확도: 71.74%\n", "12\t검증 세트 손실: 1.029731\t최선의 손실: 0.117306\t정확도: 71.70%\n", "13\t검증 세트 손실: 0.853719\t최선의 손실: 0.117306\t정확도: 71.46%\n", "14\t검증 세트 손실: 0.741847\t최선의 손실: 0.117306\t정확도: 75.72%\n", "15\t검증 세트 손실: 0.716557\t최선의 손실: 0.117306\t정확도: 77.13%\n", "16\t검증 세트 손실: 0.655223\t최선의 손실: 0.117306\t정확도: 78.58%\n", "17\t검증 세트 손실: 0.643704\t최선의 손실: 0.117306\t정확도: 77.60%\n", "18\t검증 세트 손실: 0.548966\t최선의 손실: 0.117306\t정확도: 82.76%\n", "19\t검증 세트 손실: 0.618546\t최선의 손실: 0.117306\t정확도: 82.37%\n", "20\t검증 세트 손실: 0.730336\t최선의 손실: 0.117306\t정확도: 84.28%\n", "21\t검증 세트 손실: 0.403706\t최선의 손실: 0.117306\t정확도: 89.21%\n", "22\t검증 세트 손실: 0.353552\t최선의 손실: 0.117306\t정확도: 91.32%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 5.0s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.142473\t최선의 손실: 0.142473\t정확도: 95.54%\n", "1\t검증 세트 손실: 1.069016\t최선의 손실: 0.142473\t정확도: 57.82%\n", "2\t검증 세트 손실: 1.061630\t최선의 손실: 0.142473\t정확도: 57.51%\n", "3\t검증 세트 손실: 1.039428\t최선의 손실: 0.142473\t정확도: 56.06%\n", "4\t검증 세트 손실: 0.527311\t최선의 손실: 0.142473\t정확도: 81.86%\n", "5\t검증 세트 손실: 0.385806\t최선의 손실: 0.142473\t정확도: 87.37%\n", "6\t검증 세트 손실: 0.292696\t최선의 손실: 0.142473\t정확도: 91.32%\n", "7\t검증 세트 손실: 0.221437\t최선의 손실: 0.142473\t정확도: 93.51%\n", "8\t검증 세트 손실: 0.429490\t최선의 손실: 0.142473\t정확도: 86.36%\n", "9\t검증 세트 손실: 18.061663\t최선의 손실: 0.142473\t정확도: 31.63%\n", "10\t검증 세트 손실: 1.180915\t최선의 손실: 0.142473\t정확도: 48.67%\n", "11\t검증 세트 손실: 1.152141\t최선의 손실: 0.142473\t정확도: 50.12%\n", "12\t검증 세트 손실: 0.947133\t최선의 손실: 0.142473\t정확도: 52.42%\n", "13\t검증 세트 손실: 0.875760\t최선의 손실: 0.142473\t정확도: 62.63%\n", "14\t검증 세트 손실: 1.023189\t최선의 손실: 0.142473\t정확도: 57.54%\n", "15\t검증 세트 손실: 0.892058\t최선의 손실: 0.142473\t정확도: 64.43%\n", "16\t검증 세트 손실: 0.698537\t최선의 손실: 0.142473\t정확도: 69.51%\n", "17\t검증 세트 손실: 0.734095\t최선의 손실: 0.142473\t정확도: 71.77%\n", "18\t검증 세트 손실: 0.651536\t최선의 손실: 0.142473\t정확도: 75.53%\n", "19\t검증 세트 손실: 0.578318\t최선의 손실: 0.142473\t정확도: 76.74%\n", "20\t검증 세트 손실: 0.718826\t최선의 손실: 0.142473\t정확도: 70.99%\n", "21\t검증 세트 손실: 0.737624\t최선의 손실: 0.142473\t정확도: 70.21%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 4.7s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.141077\t최선의 손실: 0.141077\t정확도: 96.87%\n", "1\t검증 세트 손실: 0.078047\t최선의 손실: 0.078047\t정확도: 97.65%\n", "2\t검증 세트 손실: 0.068856\t최선의 손실: 0.068856\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.118753\t최선의 손실: 0.068856\t정확도: 96.76%\n", "4\t검증 세트 손실: 0.078877\t최선의 손실: 0.068856\t정확도: 98.01%\n", "5\t검증 세트 손실: 0.085876\t최선의 손실: 0.068856\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.078028\t최선의 손실: 0.068856\t정확도: 97.85%\n", "7\t검증 세트 손실: 0.082451\t최선의 손실: 0.068856\t정확도: 98.16%\n", "8\t검증 세트 손실: 0.063992\t최선의 손실: 0.063992\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.093663\t최선의 손실: 0.063992\t정확도: 97.54%\n", "10\t검증 세트 손실: 0.100377\t최선의 손실: 0.063992\t정확도: 97.97%\n", "11\t검증 세트 손실: 0.171897\t최선의 손실: 0.063992\t정확도: 98.24%\n", "12\t검증 세트 손실: 0.085452\t최선의 손실: 0.063992\t정확도: 98.44%\n", "13\t검증 세트 손실: 6.157323\t최선의 손실: 0.063992\t정확도: 93.98%\n", "14\t검증 세트 손실: 0.207973\t최선의 손실: 0.063992\t정확도: 97.85%\n", "15\t검증 세트 손실: 0.150130\t최선의 손실: 0.063992\t정확도: 97.89%\n", "16\t검증 세트 손실: 0.169306\t최선의 손실: 0.063992\t정확도: 98.16%\n", "17\t검증 세트 손실: 0.182848\t최선의 손실: 0.063992\t정확도: 97.85%\n", "18\t검증 세트 손실: 0.224429\t최선의 손실: 0.063992\t정확도: 97.97%\n", "19\t검증 세트 손실: 0.289862\t최선의 손실: 0.063992\t정확도: 97.69%\n", "20\t검증 세트 손실: 0.355624\t최선의 손실: 0.063992\t정확도: 97.97%\n", "21\t검증 세트 손실: 0.266535\t최선의 손실: 0.063992\t정확도: 98.08%\n", "22\t검증 세트 손실: 0.419849\t최선의 손실: 0.063992\t정확도: 97.81%\n", "23\t검증 세트 손실: 0.495333\t최선의 손실: 0.063992\t정확도: 97.85%\n", "24\t검증 세트 손실: 1.653165\t최선의 손실: 0.063992\t정확도: 92.10%\n", "25\t검증 세트 손실: 0.814543\t최선의 손실: 0.063992\t정확도: 96.21%\n", "26\t검증 세트 손실: 0.203611\t최선의 손실: 0.063992\t정확도: 97.46%\n", "27\t검증 세트 손실: 0.203346\t최선의 손실: 0.063992\t정확도: 97.93%\n", "28\t검증 세트 손실: 0.177424\t최선의 손실: 0.063992\t정확도: 97.97%\n", "29\t검증 세트 손실: 0.154935\t최선의 손실: 0.063992\t정확도: 97.93%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.1s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.100823\t최선의 손실: 0.100823\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.091461\t최선의 손실: 0.091461\t정확도: 97.81%\n", "2\t검증 세트 손실: 0.068144\t최선의 손실: 0.068144\t정확도: 97.93%\n", "3\t검증 세트 손실: 0.062620\t최선의 손실: 0.062620\t정확도: 98.32%\n", "4\t검증 세트 손실: 0.077762\t최선의 손실: 0.062620\t정확도: 97.97%\n", "5\t검증 세트 손실: 0.116759\t최선의 손실: 0.062620\t정확도: 96.87%\n", "6\t검증 세트 손실: 0.098177\t최선의 손실: 0.062620\t정확도: 97.65%\n", "7\t검증 세트 손실: 0.100118\t최선의 손실: 0.062620\t정확도: 97.62%\n", "8\t검증 세트 손실: 0.088412\t최선의 손실: 0.062620\t정확도: 97.69%\n", "9\t검증 세트 손실: 0.108396\t최선의 손실: 0.062620\t정확도: 98.01%\n", "10\t검증 세트 손실: 0.076244\t최선의 손실: 0.062620\t정확도: 97.97%\n", "11\t검증 세트 손실: 1.181290\t최선의 손실: 0.062620\t정확도: 92.69%\n", "12\t검증 세트 손실: 0.090115\t최선의 손실: 0.062620\t정확도: 97.58%\n", "13\t검증 세트 손실: 0.103583\t최선의 손실: 0.062620\t정확도: 97.69%\n", "14\t검증 세트 손실: 0.094801\t최선의 손실: 0.062620\t정확도: 98.01%\n", "15\t검증 세트 손실: 0.072825\t최선의 손실: 0.062620\t정확도: 98.32%\n", "16\t검증 세트 손실: 0.073025\t최선의 손실: 0.062620\t정확도: 98.20%\n", "17\t검증 세트 손실: 0.100266\t최선의 손실: 0.062620\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.075702\t최선의 손실: 0.062620\t정확도: 98.32%\n", "19\t검증 세트 손실: 0.168579\t최선의 손실: 0.062620\t정확도: 97.38%\n", "20\t검증 세트 손실: 0.328357\t최선의 손실: 0.062620\t정확도: 97.54%\n", "21\t검증 세트 손실: 0.167139\t최선의 손실: 0.062620\t정확도: 97.77%\n", "22\t검증 세트 손실: 0.178472\t최선의 손실: 0.062620\t정확도: 97.69%\n", "23\t검증 세트 손실: 0.343570\t최선의 손실: 0.062620\t정확도: 92.34%\n", "24\t검증 세트 손실: 0.129392\t최선의 손실: 0.062620\t정확도: 98.08%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 7.7s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.086895\t최선의 손실: 0.086895\t정확도: 97.81%\n", "1\t검증 세트 손실: 0.080882\t최선의 손실: 0.080882\t정확도: 97.65%\n", "2\t검증 세트 손실: 0.071770\t최선의 손실: 0.071770\t정확도: 98.24%\n", "3\t검증 세트 손실: 2.222625\t최선의 손실: 0.071770\t정확도: 93.86%\n", "4\t검증 세트 손실: 0.081986\t최선의 손실: 0.071770\t정확도: 97.73%\n", "5\t검증 세트 손실: 0.092579\t최선의 손실: 0.071770\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.089889\t최선의 손실: 0.071770\t정확도: 97.73%\n", "7\t검증 세트 손실: 0.149572\t최선의 손실: 0.071770\t정확도: 97.81%\n", "8\t검증 세트 손실: 0.105642\t최선의 손실: 0.071770\t정확도: 97.77%\n", "9\t검증 세트 손실: 0.124405\t최선의 손실: 0.071770\t정확도: 97.62%\n", "10\t검증 세트 손실: 0.092457\t최선의 손실: 0.071770\t정확도: 98.40%\n", "11\t검증 세트 손실: 0.077412\t최선의 손실: 0.071770\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.078346\t최선의 손실: 0.071770\t정확도: 98.36%\n", "13\t검증 세트 손실: 2.289061\t최선의 손실: 0.071770\t정확도: 88.74%\n", "14\t검증 세트 손실: 0.145992\t최선의 손실: 0.071770\t정확도: 97.38%\n", "15\t검증 세트 손실: 0.098554\t최선의 손실: 0.071770\t정확도: 98.12%\n", "16\t검증 세트 손실: 0.073152\t최선의 손실: 0.071770\t정확도: 98.28%\n", "17\t검증 세트 손실: 0.061156\t최선의 손실: 0.061156\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.128521\t최선의 손실: 0.061156\t정확도: 97.81%\n", "19\t검증 세트 손실: 0.119571\t최선의 손실: 0.061156\t정확도: 98.01%\n", "20\t검증 세트 손실: 0.111635\t최선의 손실: 0.061156\t정확도: 98.44%\n", "21\t검증 세트 손실: 0.176255\t최선의 손실: 0.061156\t정확도: 98.05%\n", "22\t검증 세트 손실: 0.261963\t최선의 손실: 0.061156\t정확도: 97.15%\n", "23\t검증 세트 손실: 0.278664\t최선의 손실: 0.061156\t정확도: 97.34%\n", "24\t검증 세트 손실: 0.163934\t최선의 손실: 0.061156\t정확도: 97.89%\n", "25\t검증 세트 손실: 0.206291\t최선의 손실: 0.061156\t정확도: 97.73%\n", "26\t검증 세트 손실: 0.147195\t최선의 손실: 0.061156\t정확도: 98.32%\n", "27\t검증 세트 손실: 0.126331\t최선의 손실: 0.061156\t정확도: 98.48%\n", "28\t검증 세트 손실: 0.274872\t최선의 손실: 0.061156\t정확도: 97.93%\n", "29\t검증 세트 손실: 0.167464\t최선의 손실: 0.061156\t정확도: 98.32%\n", "30\t검증 세트 손실: 0.155879\t최선의 손실: 0.061156\t정확도: 98.12%\n", "31\t검증 세트 손실: 0.176197\t최선의 손실: 0.061156\t정확도: 98.28%\n", "32\t검증 세트 손실: 0.204813\t최선의 손실: 0.061156\t정확도: 98.48%\n", "33\t검증 세트 손실: 0.451964\t최선의 손실: 0.061156\t정확도: 98.08%\n", "34\t검증 세트 손실: 0.325901\t최선의 손실: 0.061156\t정확도: 98.40%\n", "35\t검증 세트 손실: 0.351507\t최선의 손실: 0.061156\t정확도: 98.48%\n", "36\t검증 세트 손실: 0.349268\t최선의 손실: 0.061156\t정확도: 98.48%\n", "37\t검증 세트 손실: 0.264415\t최선의 손실: 0.061156\t정확도: 97.65%\n", "38\t검증 세트 손실: 10.992128\t최선의 손실: 0.061156\t정확도: 96.91%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 11.6s\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.222944\t최선의 손실: 0.222944\t정확도: 95.11%\n", "1\t검증 세트 손실: 14.132704\t최선의 손실: 0.222944\t정확도: 92.42%\n", "2\t검증 세트 손실: 26.910059\t최선의 손실: 0.222944\t정확도: 92.38%\n", "3\t검증 세트 손실: 441.585968\t최선의 손실: 0.222944\t정확도: 93.00%\n", "4\t검증 세트 손실: 348.810486\t최선의 손실: 0.222944\t정확도: 94.14%\n", "5\t검증 세트 손실: 365.228485\t최선의 손실: 0.222944\t정확도: 92.10%\n", "6\t검증 세트 손실: 673.098389\t최선의 손실: 0.222944\t정확도: 95.58%\n", "7\t검증 세트 손실: 101.628532\t최선의 손실: 0.222944\t정확도: 97.19%\n", "8\t검증 세트 손실: 1743.063965\t최선의 손실: 0.222944\t정확도: 97.26%\n", "9\t검증 세트 손실: 13346.161133\t최선의 손실: 0.222944\t정확도: 95.43%\n", "10\t검증 세트 손실: 1700.885864\t최선의 손실: 0.222944\t정확도: 96.33%\n", "11\t검증 세트 손실: 2618.142578\t최선의 손실: 0.222944\t정확도: 94.61%\n", "12\t검증 세트 손실: 1014.710510\t최선의 손실: 0.222944\t정확도: 96.29%\n", "13\t검증 세트 손실: 1985.383667\t최선의 손실: 0.222944\t정확도: 95.58%\n", "14\t검증 세트 손실: 1640.009033\t최선의 손실: 0.222944\t정확도: 97.03%\n", "15\t검증 세트 손실: 1071.437988\t최선의 손실: 0.222944\t정확도: 97.85%\n", "16\t검증 세트 손실: 6358.932617\t최선의 손실: 0.222944\t정확도: 97.30%\n", "17\t검증 세트 손실: 4367.097168\t최선의 손실: 0.222944\t정확도: 96.72%\n", "18\t검증 세트 손실: 5756.040527\t최선의 손실: 0.222944\t정확도: 97.30%\n", "19\t검증 세트 손실: 7655.868652\t최선의 손실: 0.222944\t정확도: 97.54%\n", "20\t검증 세트 손실: 4712.624023\t최선의 손실: 0.222944\t정확도: 97.97%\n", "21\t검증 세트 손실: 4544.354004\t최선의 손실: 0.222944\t정확도: 97.89%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 31.9s\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.289286\t최선의 손실: 0.289286\t정확도: 95.47%\n", "1\t검증 세트 손실: 117.665558\t최선의 손실: 0.289286\t정확도: 93.24%\n", "2\t검증 세트 손실: 70.733574\t최선의 손실: 0.289286\t정확도: 95.23%\n", "3\t검증 세트 손실: 59.198849\t최선의 손실: 0.289286\t정확도: 96.25%\n", "4\t검증 세트 손실: 795.103027\t최선의 손실: 0.289286\t정확도: 94.84%\n", "5\t검증 세트 손실: 645.191345\t최선의 손실: 0.289286\t정확도: 93.90%\n", "6\t검증 세트 손실: 793.415222\t최선의 손실: 0.289286\t정확도: 93.63%\n", "7\t검증 세트 손실: 19155.058594\t최선의 손실: 0.289286\t정확도: 92.73%\n", "8\t검증 세트 손실: 485.487091\t최선의 손실: 0.289286\t정확도: 94.45%\n", "9\t검증 세트 손실: 4140.378418\t최선의 손실: 0.289286\t정확도: 94.14%\n", "10\t검증 세트 손실: 638.269531\t최선의 손실: 0.289286\t정확도: 96.60%\n", "11\t검증 세트 손실: 474.704315\t최선의 손실: 0.289286\t정확도: 97.22%\n", "12\t검증 세트 손실: 881.685486\t최선의 손실: 0.289286\t정확도: 96.44%\n", "13\t검증 세트 손실: 993.797791\t최선의 손실: 0.289286\t정확도: 96.36%\n", "14\t검증 세트 손실: 490.194427\t최선의 손실: 0.289286\t정확도: 96.56%\n", "15\t검증 세트 손실: 1700.400269\t최선의 손실: 0.289286\t정확도: 97.50%\n", "16\t검증 세트 손실: 807.565552\t최선의 손실: 0.289286\t정확도: 97.58%\n", "17\t검증 세트 손실: 2874.251465\t최선의 손실: 0.289286\t정확도: 96.83%\n", "18\t검증 세트 손실: 3256.020264\t최선의 손실: 0.289286\t정확도: 96.99%\n", "19\t검증 세트 손실: 2035.143066\t최선의 손실: 0.289286\t정확도: 97.38%\n", "20\t검증 세트 손실: 37909.234375\t최선의 손실: 0.289286\t정확도: 88.00%\n", "21\t검증 세트 손실: 2593.375000\t최선의 손실: 0.289286\t정확도: 97.58%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 32.1s\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.590318\t최선의 손실: 0.590318\t정확도: 94.57%\n", "1\t검증 세트 손실: 0.264964\t최선의 손실: 0.264964\t정확도: 95.97%\n", "2\t검증 세트 손실: 95.680405\t최선의 손실: 0.264964\t정확도: 87.22%\n", "3\t검증 세트 손실: 33.931328\t최선의 손실: 0.264964\t정확도: 94.96%\n", "4\t검증 세트 손실: 446.602264\t최선의 손실: 0.264964\t정확도: 82.68%\n", "5\t검증 세트 손실: 1422.288696\t최선의 손실: 0.264964\t정확도: 93.12%\n", "6\t검증 세트 손실: 551.399658\t최선의 손실: 0.264964\t정확도: 89.37%\n", "7\t검증 세트 손실: 470.668976\t최선의 손실: 0.264964\t정확도: 83.74%\n", "8\t검증 세트 손실: 107259.062500\t최선의 손실: 0.264964\t정확도: 69.98%\n", "9\t검증 세트 손실: 1467.659912\t최선의 손실: 0.264964\t정확도: 94.80%\n", "10\t검증 세트 손실: 778.111877\t최선의 손실: 0.264964\t정확도: 95.97%\n", "11\t검증 세트 손실: 967.139587\t최선의 손실: 0.264964\t정확도: 95.31%\n", "12\t검증 세트 손실: 1595.240967\t최선의 손실: 0.264964\t정확도: 96.33%\n", "13\t검증 세트 손실: 617.537598\t최선의 손실: 0.264964\t정확도: 96.87%\n", "14\t검증 세트 손실: 12146.346680\t최선의 손실: 0.264964\t정확도: 96.01%\n", "15\t검증 세트 손실: 13624.348633\t최선의 손실: 0.264964\t정확도: 94.06%\n", "16\t검증 세트 손실: 6802.010254\t최선의 손실: 0.264964\t정확도: 95.74%\n", "17\t검증 세트 손실: 4340.350098\t최선의 손실: 0.264964\t정확도: 96.17%\n", "18\t검증 세트 손실: 2508.006348\t최선의 손실: 0.264964\t정확도: 97.62%\n", "19\t검증 세트 손실: 4677.810547\t최선의 손실: 0.264964\t정확도: 97.38%\n", "20\t검증 세트 손실: 21832.429688\t최선의 손실: 0.264964\t정확도: 93.35%\n", "21\t검증 세트 손실: 12114.728516\t최선의 손실: 0.264964\t정확도: 97.46%\n", "22\t검증 세트 손실: 4624.625000\t최선의 손실: 0.264964\t정확도: 97.62%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 33.4s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 1.148822\t최선의 손실: 1.148822\t정확도: 47.07%\n", "1\t검증 세트 손실: 1.213831\t최선의 손실: 1.148822\t정확도: 39.21%\n", "2\t검증 세트 손실: 1.158854\t최선의 손실: 1.148822\t정확도: 39.87%\n", "3\t검증 세트 손실: 1.173183\t최선의 손실: 1.148822\t정확도: 39.09%\n", "4\t검증 세트 손실: 1.155171\t최선의 손실: 1.148822\t정확도: 39.76%\n", "5\t검증 세트 손실: 1.197210\t최선의 손실: 1.148822\t정확도: 40.27%\n", "6\t검증 세트 손실: 1.154690\t최선의 손실: 1.148822\t정확도: 40.50%\n", "7\t검증 세트 손실: 1.177344\t최선의 손실: 1.148822\t정확도: 40.70%\n", "8\t검증 세트 손실: 0.850207\t최선의 손실: 0.850207\t정확도: 59.38%\n", "9\t검증 세트 손실: 0.585442\t최선의 손실: 0.585442\t정확도: 76.94%\n", "10\t검증 세트 손실: 1.401432\t최선의 손실: 0.585442\t정확도: 67.44%\n", "11\t검증 세트 손실: 0.443632\t최선의 손실: 0.443632\t정확도: 89.56%\n", "12\t검증 세트 손실: 0.638570\t최선의 손실: 0.443632\t정확도: 76.97%\n", "13\t검증 세트 손실: 0.857933\t최선의 손실: 0.443632\t정확도: 78.23%\n", "14\t검증 세트 손실: 0.654789\t최선의 손실: 0.443632\t정확도: 78.11%\n", "15\t검증 세트 손실: 0.625885\t최선의 손실: 0.443632\t정확도: 79.05%\n", "16\t검증 세트 손실: 0.593792\t최선의 손실: 0.443632\t정확도: 77.80%\n", "17\t검증 세트 손실: 0.701244\t최선의 손실: 0.443632\t정확도: 78.85%\n", "18\t검증 세트 손실: 0.526679\t최선의 손실: 0.443632\t정확도: 79.59%\n", "19\t검증 세트 손실: 2.987692\t최선의 손실: 0.443632\t정확도: 39.91%\n", "20\t검증 세트 손실: 1.704102\t최선의 손실: 0.443632\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.624855\t최선의 손실: 0.443632\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.611139\t최선의 손실: 0.443632\t정확도: 20.91%\n", "23\t검증 세트 손실: 1.609448\t최선의 손실: 0.443632\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.616210\t최선의 손실: 0.443632\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.621164\t최선의 손실: 0.443632\t정확도: 19.27%\n", "26\t검증 세트 손실: 1.614155\t최선의 손실: 0.443632\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.628621\t최선의 손실: 0.443632\t정확도: 18.73%\n", "28\t검증 세트 손실: 1.617029\t최선의 손실: 0.443632\t정확도: 20.91%\n", "29\t검증 세트 손실: 1.632013\t최선의 손실: 0.443632\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.626915\t최선의 손실: 0.443632\t정확도: 19.27%\n", "31\t검증 세트 손실: 1.620182\t최선의 손실: 0.443632\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.617947\t최선의 손실: 0.443632\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=, total= 4.3s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation= \n", "0\t검증 세트 손실: 1.705831\t최선의 손실: 1.705831\t정확도: 37.45%\n", "1\t검증 세트 손실: 0.661845\t최선의 손실: 0.661845\t정확도: 74.67%\n", "2\t검증 세트 손실: 0.387982\t최선의 손실: 0.387982\t정확도: 84.68%\n", "3\t검증 세트 손실: 0.289455\t최선의 손실: 0.289455\t정확도: 90.89%\n", "4\t검증 세트 손실: 0.224888\t최선의 손실: 0.224888\t정확도: 93.51%\n", "5\t검증 세트 손실: 0.223294\t최선의 손실: 0.223294\t정확도: 93.12%\n", "6\t검증 세트 손실: 0.230652\t최선의 손실: 0.223294\t정확도: 93.47%\n", "7\t검증 세트 손실: 2.815432\t최선의 손실: 0.223294\t정확도: 54.93%\n", "8\t검증 세트 손실: 0.982214\t최선의 손실: 0.223294\t정확도: 54.30%\n", "9\t검증 세트 손실: 0.883264\t최선의 손실: 0.223294\t정확도: 60.83%\n", "10\t검증 세트 손실: 2.246536\t최선의 손실: 0.223294\t정확도: 67.24%\n", "11\t검증 세트 손실: 0.710642\t최선의 손실: 0.223294\t정확도: 69.00%\n", "12\t검증 세트 손실: 0.580903\t최선의 손실: 0.223294\t정확도: 75.92%\n", "13\t검증 세트 손실: 0.504758\t최선의 손실: 0.223294\t정확도: 78.89%\n", "14\t검증 세트 손실: 0.492412\t최선의 손실: 0.223294\t정확도: 80.22%\n", "15\t검증 세트 손실: 0.557402\t최선의 손실: 0.223294\t정확도: 78.42%\n", "16\t검증 세트 손실: 0.470357\t최선의 손실: 0.223294\t정확도: 83.07%\n", "17\t검증 세트 손실: 0.424118\t최선의 손실: 0.223294\t정확도: 84.71%\n", "18\t검증 세트 손실: 0.507435\t최선의 손실: 0.223294\t정확도: 80.73%\n", "19\t검증 세트 손실: 0.731395\t최선의 손실: 0.223294\t정확도: 57.90%\n", "20\t검증 세트 손실: 0.449223\t최선의 손실: 0.223294\t정확도: 83.19%\n", "21\t검증 세트 손실: 0.406612\t최선의 손실: 0.223294\t정확도: 85.42%\n", "22\t검증 세트 손실: 0.760414\t최선의 손실: 0.223294\t정확도: 75.14%\n", "23\t검증 세트 손실: 0.443632\t최선의 손실: 0.223294\t정확도: 86.12%\n", "24\t검증 세트 손실: 0.391436\t최선의 손실: 0.223294\t정확도: 88.15%\n", "25\t검증 세트 손실: 0.427505\t최선의 손실: 0.223294\t정확도: 86.04%\n", "26\t검증 세트 손실: 0.368003\t최선의 손실: 0.223294\t정확도: 90.03%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=, total= 3.5s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation= \n", "0\t검증 세트 손실: 1.719839\t최선의 손실: 1.719839\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.623658\t최선의 손실: 1.623658\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.617375\t최선의 손실: 1.617375\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.626064\t최선의 손실: 1.617375\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.616276\t최선의 손실: 1.616276\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.613683\t최선의 손실: 1.613683\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.615637\t최선의 손실: 1.613683\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.631290\t최선의 손실: 1.613683\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.612280\t최선의 손실: 1.612280\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.613432\t최선의 손실: 1.612280\t정확도: 18.73%\n", "10\t검증 세트 손실: 1.617714\t최선의 손실: 1.612280\t정확도: 19.27%\n", "11\t검증 세트 손실: 1.646660\t최선의 손실: 1.612280\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.614820\t최선의 손실: 1.612280\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.610559\t최선의 손실: 1.610559\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.619380\t최선의 손실: 1.610559\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.635474\t최선의 손실: 1.610559\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.629788\t최선의 손실: 1.610559\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.612352\t최선의 손실: 1.610559\t정확도: 22.01%\n", "18\t검증 세트 손실: 1.614932\t최선의 손실: 1.610559\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.615351\t최선의 손실: 1.610559\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.638466\t최선의 손실: 1.610559\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.638186\t최선의 손실: 1.610559\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.645105\t최선의 손실: 1.610559\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.621164\t최선의 손실: 1.610559\t정확도: 18.73%\n", "24\t검증 세트 손실: 1.644718\t최선의 손실: 1.610559\t정확도: 19.27%\n", "25\t검증 세트 손실: 1.623361\t최선의 손실: 1.610559\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.613383\t최선의 손실: 1.610559\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.636156\t최선의 손실: 1.610559\t정확도: 19.27%\n", "28\t검증 세트 손실: 1.647457\t최선의 손실: 1.610559\t정확도: 22.01%\n", "29\t검증 세트 손실: 1.622684\t최선의 손실: 1.610559\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.634938\t최선의 손실: 1.610559\t정확도: 19.08%\n", "31\t검증 세트 손실: 1.627927\t최선의 손실: 1.610559\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.639017\t최선의 손실: 1.610559\t정확도: 18.73%\n", "33\t검증 세트 손실: 1.621583\t최선의 손실: 1.610559\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.624100\t최선의 손실: 1.610559\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=, total= 4.6s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 13068.746094\t최선의 손실: 13068.746094\t정확도: 20.91%\n", "1\t검증 세트 손실: 173.019791\t최선의 손실: 173.019791\t정확도: 55.98%\n", "2\t검증 세트 손실: 138.092865\t최선의 손실: 138.092865\t정확도: 66.61%\n", "3\t검증 세트 손실: 89.267876\t최선의 손실: 89.267876\t정확도: 74.16%\n", "4\t검증 세트 손실: 31.273142\t최선의 손실: 31.273142\t정확도: 85.07%\n", "5\t검증 세트 손실: 61.124371\t최선의 손실: 31.273142\t정확도: 76.00%\n", "6\t검증 세트 손실: 20.100601\t최선의 손실: 20.100601\t정확도: 90.85%\n", "7\t검증 세트 손실: 20.297197\t최선의 손실: 20.100601\t정확도: 88.47%\n", "8\t검증 세트 손실: 17.456469\t최선의 손실: 17.456469\t정확도: 90.66%\n", "9\t검증 세트 손실: 15.774197\t최선의 손실: 15.774197\t정확도: 94.64%\n", "10\t검증 세트 손실: 4106.851074\t최선의 손실: 15.774197\t정확도: 69.66%\n", "11\t검증 세트 손실: 1518.754150\t최선의 손실: 15.774197\t정확도: 86.55%\n", "12\t검증 세트 손실: 50911.367188\t최선의 손실: 15.774197\t정확도: 54.38%\n", "13\t검증 세트 손실: 656669.250000\t최선의 손실: 15.774197\t정확도: 39.01%\n", "14\t검증 세트 손실: 24311.792969\t최선의 손실: 15.774197\t정확도: 51.13%\n", "15\t검증 세트 손실: 17656.449219\t최선의 손실: 15.774197\t정확도: 65.60%\n", "16\t검증 세트 손실: 21729.988281\t최선의 손실: 15.774197\t정확도: 53.48%\n", "17\t검증 세트 손실: 35699.144531\t최선의 손실: 15.774197\t정확도: 48.79%\n", "18\t검증 세트 손실: 5645.808105\t최선의 손실: 15.774197\t정확도: 87.22%\n", "19\t검증 세트 손실: 6794.997559\t최선의 손실: 15.774197\t정확도: 80.81%\n", "20\t검증 세트 손실: 6159.350098\t최선의 손실: 15.774197\t정확도: 81.67%\n", "21\t검증 세트 손실: 19637.652344\t최선의 손실: 15.774197\t정확도: 76.43%\n", "22\t검증 세트 손실: 8213.773438\t최선의 손실: 15.774197\t정확도: 81.86%\n", "23\t검증 세트 손실: 6905.885742\t최선의 손실: 15.774197\t정확도: 84.83%\n", "24\t검증 세트 손실: 7456.993164\t최선의 손실: 15.774197\t정확도: 85.22%\n", "25\t검증 세트 손실: 4240.890625\t최선의 손실: 15.774197\t정확도: 91.28%\n", "26\t검증 세트 손실: 2607.236572\t최선의 손실: 15.774197\t정확도: 92.53%\n", "27\t검증 세트 손실: 3322.704346\t최선의 손실: 15.774197\t정확도: 91.44%\n", "28\t검증 세트 손실: 3628.825684\t최선의 손실: 15.774197\t정확도: 89.99%\n", "29\t검증 세트 손실: 2307.210205\t최선의 손실: 15.774197\t정확도: 92.65%\n", "30\t검증 세트 손실: 2264.366211\t최선의 손실: 15.774197\t정확도: 91.09%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.4s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.908990\t최선의 손실: 0.908990\t정확도: 67.59%\n", "1\t검증 세트 손실: 0.312177\t최선의 손실: 0.312177\t정확도: 91.44%\n", "2\t검증 세트 손실: 0.192297\t최선의 손실: 0.192297\t정확도: 94.53%\n", "3\t검증 세트 손실: 0.166873\t최선의 손실: 0.166873\t정확도: 95.62%\n", "4\t검증 세트 손실: 0.192419\t최선의 손실: 0.166873\t정확도: 94.64%\n", "5\t검증 세트 손실: 0.171311\t최선의 손실: 0.166873\t정확도: 96.09%\n", "6\t검증 세트 손실: 5671.211426\t최선의 손실: 0.166873\t정확도: 71.77%\n", "7\t검증 세트 손실: 1019.070557\t최선의 손실: 0.166873\t정확도: 80.10%\n", "8\t검증 세트 손실: 761.369446\t최선의 손실: 0.166873\t정확도: 78.11%\n", "9\t검증 세트 손실: 558.659851\t최선의 손실: 0.166873\t정확도: 89.29%\n", "10\t검증 세트 손실: 560.691528\t최선의 손실: 0.166873\t정확도: 77.83%\n", "11\t검증 세트 손실: 256.186035\t최선의 손실: 0.166873\t정확도: 90.07%\n", "12\t검증 세트 손실: 454.642151\t최선의 손실: 0.166873\t정확도: 84.75%\n", "13\t검증 세트 손실: 209.309586\t최선의 손실: 0.166873\t정확도: 91.28%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "14\t검증 세트 손실: 566.059509\t최선의 손실: 0.166873\t정확도: 81.59%\n", "15\t검증 세트 손실: 250.336609\t최선의 손실: 0.166873\t정확도: 89.09%\n", "16\t검증 세트 손실: 184.179749\t최선의 손실: 0.166873\t정확도: 88.19%\n", "17\t검증 세트 손실: 3015.023926\t최선의 손실: 0.166873\t정확도: 87.10%\n", "18\t검증 세트 손실: 3456.912354\t최선의 손실: 0.166873\t정확도: 92.03%\n", "19\t검증 세트 손실: 907.970276\t최선의 손실: 0.166873\t정확도: 88.74%\n", "20\t검증 세트 손실: 497.557770\t최선의 손실: 0.166873\t정확도: 93.71%\n", "21\t검증 세트 손실: 279.949585\t최선의 손실: 0.166873\t정확도: 94.53%\n", "22\t검증 세트 손실: 218.020370\t최선의 손실: 0.166873\t정확도: 95.82%\n", "23\t검증 세트 손실: 197.380722\t최선의 손실: 0.166873\t정확도: 95.35%\n", "24\t검증 세트 손실: 639.380310\t최선의 손실: 0.166873\t정확도: 83.15%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 11.0s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 28561.357422\t최선의 손실: 28561.357422\t정확도: 41.28%\n", "1\t검증 세트 손실: 1076.284790\t최선의 손실: 1076.284790\t정확도: 46.76%\n", "2\t검증 세트 손실: 1404.401489\t최선의 손실: 1076.284790\t정확도: 63.02%\n", "3\t검증 세트 손실: 2495.003418\t최선의 손실: 1076.284790\t정확도: 49.96%\n", "4\t검증 세트 손실: 418.948547\t최선의 손실: 418.948547\t정확도: 74.86%\n", "5\t검증 세트 손실: 4745.711914\t최선의 손실: 418.948547\t정확도: 55.71%\n", "6\t검증 세트 손실: 1249.802002\t최선의 손실: 418.948547\t정확도: 65.21%\n", "7\t검증 세트 손실: 619.809814\t최선의 손실: 418.948547\t정확도: 79.83%\n", "8\t검증 세트 손실: 240.740417\t최선의 손실: 240.740417\t정확도: 90.03%\n", "9\t검증 세트 손실: 291.102905\t최선의 손실: 240.740417\t정확도: 90.34%\n", "10\t검증 세트 손실: 622817.000000\t최선의 손실: 240.740417\t정확도: 27.56%\n", "11\t검증 세트 손실: 446596.812500\t최선의 손실: 240.740417\t정확도: 23.61%\n", "12\t검증 세트 손실: 31512.136719\t최선의 손실: 240.740417\t정확도: 46.09%\n", "13\t검증 세트 손실: 38355.648438\t최선의 손실: 240.740417\t정확도: 41.01%\n", "14\t검증 세트 손실: 64157.484375\t최선의 손실: 240.740417\t정확도: 37.88%\n", "15\t검증 세트 손실: 35889.859375\t최선의 손실: 240.740417\t정확도: 41.63%\n", "16\t검증 세트 손실: 55765.531250\t최선의 손실: 240.740417\t정확도: 40.89%\n", "17\t검증 세트 손실: 34041.464844\t최선의 손실: 240.740417\t정확도: 48.83%\n", "18\t검증 세트 손실: 39425.671875\t최선의 손실: 240.740417\t정확도: 40.46%\n", "19\t검증 세트 손실: 12961.490234\t최선의 손실: 240.740417\t정확도: 49.65%\n", "20\t검증 세트 손실: 5841.863770\t최선의 손실: 240.740417\t정확도: 55.82%\n", "21\t검증 세트 손실: 29198.615234\t최선의 손실: 240.740417\t정확도: 40.23%\n", "22\t검증 세트 손실: 26503.925781\t최선의 손실: 240.740417\t정확도: 37.84%\n", "23\t검증 세트 손실: 11956.325195\t최선의 손실: 240.740417\t정확도: 50.27%\n", "24\t검증 세트 손실: 7013481.500000\t최선의 손실: 240.740417\t정확도: 39.37%\n", "25\t검증 세트 손실: 57214.660156\t최선의 손실: 240.740417\t정확도: 55.24%\n", "26\t검증 세트 손실: 23070.476562\t최선의 손실: 240.740417\t정확도: 68.84%\n", "27\t검증 세트 손실: 17963.191406\t최선의 손실: 240.740417\t정확도: 78.38%\n", "28\t검증 세트 손실: 41626.371094\t최선의 손실: 240.740417\t정확도: 55.79%\n", "29\t검증 세트 손실: 18991.974609\t최선의 손실: 240.740417\t정확도: 76.35%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.0s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 5.413154\t최선의 손실: 5.413154\t정확도: 90.23%\n", "1\t검증 세트 손실: 2.335205\t최선의 손실: 2.335205\t정확도: 88.51%\n", "2\t검증 세트 손실: 1.865068\t최선의 손실: 1.865068\t정확도: 91.44%\n", "3\t검증 세트 손실: 0.887989\t최선의 손실: 0.887989\t정확도: 94.10%\n", "4\t검증 세트 손실: 1.967932\t최선의 손실: 0.887989\t정확도: 93.16%\n", "5\t검증 세트 손실: 0.691477\t최선의 손실: 0.691477\t정확도: 95.74%\n", "6\t검증 세트 손실: 1.265961\t최선의 손실: 0.691477\t정확도: 95.31%\n", "7\t검증 세트 손실: 8.335981\t최선의 손실: 0.691477\t정확도: 94.49%\n", "8\t검증 세트 손실: 1.733429\t최선의 손실: 0.691477\t정확도: 91.20%\n", "9\t검증 세트 손실: 1.187357\t최선의 손실: 0.691477\t정확도: 92.81%\n", "10\t검증 세트 손실: 0.455939\t최선의 손실: 0.455939\t정확도: 96.17%\n", "11\t검증 세트 손실: 0.313774\t최선의 손실: 0.313774\t정확도: 96.68%\n", "12\t검증 세트 손실: 260030.750000\t최선의 손실: 0.313774\t정확도: 50.90%\n", "13\t검증 세트 손실: 11933.045898\t최선의 손실: 0.313774\t정확도: 90.73%\n", "14\t검증 세트 손실: 6031.375977\t최선의 손실: 0.313774\t정확도: 92.38%\n", "15\t검증 세트 손실: 5064.738770\t최선의 손실: 0.313774\t정확도: 93.32%\n", "16\t검증 세트 손실: 2772.798584\t최선의 손실: 0.313774\t정확도: 95.11%\n", "17\t검증 세트 손실: 2713.607178\t최선의 손실: 0.313774\t정확도: 95.15%\n", "18\t검증 세트 손실: 2480.450928\t최선의 손실: 0.313774\t정확도: 94.61%\n", "19\t검증 세트 손실: 5676.205078\t최선의 손실: 0.313774\t정확도: 90.62%\n", "20\t검증 세트 손실: 3683.535645\t최선의 손실: 0.313774\t정확도: 94.33%\n", "21\t검증 세트 손실: 89547.585938\t최선의 손실: 0.313774\t정확도: 93.16%\n", "22\t검증 세트 손실: 3330.138428\t최선의 손실: 0.313774\t정확도: 96.17%\n", "23\t검증 세트 손실: 4790.824707\t최선의 손실: 0.313774\t정확도: 93.55%\n", "24\t검증 세트 손실: 44094.945312\t최선의 손실: 0.313774\t정확도: 66.54%\n", "25\t검증 세트 손실: 3138.680908\t최선의 손실: 0.313774\t정확도: 96.05%\n", "26\t검증 세트 손실: 2097.746582\t최선의 손실: 0.313774\t정확도: 96.48%\n", "27\t검증 세트 손실: 1685.792969\t최선의 손실: 0.313774\t정확도: 97.07%\n", "28\t검증 세트 손실: 1861.947266\t최선의 손실: 0.313774\t정확도: 97.46%\n", "29\t검증 세트 손실: 1631.026733\t최선의 손실: 0.313774\t정확도: 96.64%\n", "30\t검증 세트 손실: 1523.757080\t최선의 손실: 0.313774\t정확도: 97.50%\n", "31\t검증 세트 손실: 1377.818604\t최선의 손실: 0.313774\t정확도: 96.48%\n", "32\t검증 세트 손실: 1842.982788\t최선의 손실: 0.313774\t정확도: 96.79%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 8.5s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 2546.781738\t최선의 손실: 2546.781738\t정확도: 50.86%\n", "1\t검증 세트 손실: 38.256748\t최선의 손실: 38.256748\t정확도: 87.22%\n", "2\t검증 세트 손실: 37.551113\t최선의 손실: 37.551113\t정확도: 88.70%\n", "3\t검증 세트 손실: 21.225380\t최선의 손실: 21.225380\t정확도: 88.55%\n", "4\t검증 세트 손실: 14.073637\t최선의 손실: 14.073637\t정확도: 92.81%\n", "5\t검증 세트 손실: 8.793891\t최선의 손실: 8.793891\t정확도: 95.07%\n", "6\t검증 세트 손실: 14.796718\t최선의 손실: 8.793891\t정확도: 93.24%\n", "7\t검증 세트 손실: 6.090724\t최선의 손실: 6.090724\t정확도: 95.93%\n", "8\t검증 세트 손실: 8.372476\t최선의 손실: 6.090724\t정확도: 95.27%\n", "9\t검증 세트 손실: 8.692408\t최선의 손실: 6.090724\t정확도: 95.35%\n", "10\t검증 세트 손실: 5.657032\t최선의 손실: 5.657032\t정확도: 95.43%\n", "11\t검증 세트 손실: 11.487044\t최선의 손실: 5.657032\t정확도: 94.41%\n", "12\t검증 세트 손실: 4.641850\t최선의 손실: 4.641850\t정확도: 96.56%\n", "13\t검증 세트 손실: 3.814003\t최선의 손실: 3.814003\t정확도: 96.87%\n", "14\t검증 세트 손실: 70.368889\t최선의 손실: 3.814003\t정확도: 83.70%\n", "15\t검증 세트 손실: 56550.968750\t최선의 손실: 3.814003\t정확도: 75.25%\n", "16\t검증 세트 손실: 13168.267578\t최선의 손실: 3.814003\t정확도: 85.38%\n", "17\t검증 세트 손실: 14821.100586\t최선의 손실: 3.814003\t정확도: 79.59%\n", "18\t검증 세트 손실: 11850.468750\t최선의 손실: 3.814003\t정확도: 83.35%\n", "19\t검증 세트 손실: 8953.185547\t최선의 손실: 3.814003\t정확도: 85.85%\n", "20\t검증 세트 손실: 24498.355469\t최선의 손실: 3.814003\t정확도: 70.37%\n", "21\t검증 세트 손실: 5835.713379\t최선의 손실: 3.814003\t정확도: 92.73%\n", "22\t검증 세트 손실: 7197.416016\t최선의 손실: 3.814003\t정확도: 86.79%\n", "23\t검증 세트 손실: 4070.374023\t최선의 손실: 3.814003\t정확도: 90.58%\n", "24\t검증 세트 손실: 4160.066406\t최선의 손실: 3.814003\t정확도: 90.30%\n", "25\t검증 세트 손실: 3425.521484\t최선의 손실: 3.814003\t정확도: 92.65%\n", "26\t검증 세트 손실: 6447.624512\t최선의 손실: 3.814003\t정확도: 87.33%\n", "27\t검증 세트 손실: 3291.083252\t최선의 손실: 3.814003\t정확도: 91.63%\n", "28\t검증 세트 손실: 3627.269775\t최선의 손실: 3.814003\t정확도: 91.48%\n", "29\t검증 세트 손실: 6319.331055\t최선의 손실: 3.814003\t정확도: 84.99%\n", "30\t검증 세트 손실: 5595.559082\t최선의 손실: 3.814003\t정확도: 90.11%\n", "31\t검증 세트 손실: 3352.125977\t최선의 손실: 3.814003\t정확도: 91.87%\n", "32\t검증 세트 손실: 3492.978516\t최선의 손실: 3.814003\t정확도: 89.13%\n", "33\t검증 세트 손실: 1498.493652\t최선의 손실: 3.814003\t정확도: 95.35%\n", "34\t검증 세트 손실: 2025.615112\t최선의 손실: 3.814003\t정확도: 94.10%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.0s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 14428.106445\t최선의 손실: 14428.106445\t정확도: 18.73%\n", "1\t검증 세트 손실: 97.355049\t최선의 손실: 97.355049\t정확도: 59.34%\n", "2\t검증 세트 손실: 17.617222\t최선의 손실: 17.617222\t정확도: 81.16%\n", "3\t검증 세트 손실: 12.494961\t최선의 손실: 12.494961\t정확도: 88.39%\n", "4\t검증 세트 손실: 14.719613\t최선의 손실: 12.494961\t정확도: 87.53%\n", "5\t검증 세트 손실: 12.193923\t최선의 손실: 12.193923\t정확도: 86.32%\n", "6\t검증 세트 손실: 8.901318\t최선의 손실: 8.901318\t정확도: 88.31%\n", "7\t검증 세트 손실: 10.385693\t최선의 손실: 8.901318\t정확도: 87.92%\n", "8\t검증 세트 손실: 20.340471\t최선의 손실: 8.901318\t정확도: 82.10%\n", "9\t검증 세트 손실: 10.751019\t최선의 손실: 8.901318\t정확도: 88.82%\n", "10\t검증 세트 손실: 23.130636\t최선의 손실: 8.901318\t정확도: 82.37%\n", "11\t검증 세트 손실: 5.877099\t최선의 손실: 5.877099\t정확도: 92.92%\n", "12\t검증 세트 손실: 3.927591\t최선의 손실: 3.927591\t정확도: 93.75%\n", "13\t검증 세트 손실: 4.252292\t최선의 손실: 3.927591\t정확도: 93.24%\n", "14\t검증 세트 손실: 4.891749\t최선의 손실: 3.927591\t정확도: 94.57%\n", "15\t검증 세트 손실: 4.837025\t최선의 손실: 3.927591\t정확도: 93.75%\n", "16\t검증 세트 손실: 5.262472\t최선의 손실: 3.927591\t정확도: 93.08%\n", "17\t검증 세트 손실: 3.936181\t최선의 손실: 3.927591\t정확도: 94.33%\n", "18\t검증 세트 손실: 3.127215\t최선의 손실: 3.127215\t정확도: 94.64%\n", "19\t검증 세트 손실: 3.649201\t최선의 손실: 3.127215\t정확도: 93.94%\n", "20\t검증 세트 손실: 3.627139\t최선의 손실: 3.127215\t정확도: 91.99%\n", "21\t검증 세트 손실: 582.599915\t최선의 손실: 3.127215\t정확도: 33.42%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "22\t검증 세트 손실: 126555.500000\t최선의 손실: 3.127215\t정확도: 76.19%\n", "23\t검증 세트 손실: 37859.531250\t최선의 손실: 3.127215\t정확도: 72.63%\n", "24\t검증 세트 손실: 35585.226562\t최선의 손실: 3.127215\t정확도: 80.84%\n", "25\t검증 세트 손실: 23134.175781\t최선의 손실: 3.127215\t정확도: 81.78%\n", "26\t검증 세트 손실: 10451.040039\t최선의 손실: 3.127215\t정확도: 89.01%\n", "27\t검증 세트 손실: 6008.763184\t최선의 손실: 3.127215\t정확도: 92.06%\n", "28\t검증 세트 손실: 9381.696289\t최선의 손실: 3.127215\t정확도: 88.47%\n", "29\t검증 세트 손실: 5388.400879\t최선의 손실: 3.127215\t정확도: 92.22%\n", "30\t검증 세트 손실: 26328.181641\t최선의 손실: 3.127215\t정확도: 73.49%\n", "31\t검증 세트 손실: 6009.228516\t최선의 손실: 3.127215\t정확도: 91.13%\n", "32\t검증 세트 손실: 7528.229980\t최선의 손실: 3.127215\t정확도: 87.14%\n", "33\t검증 세트 손실: 3268.595703\t최선의 손실: 3.127215\t정확도: 94.49%\n", "34\t검증 세트 손실: 5617.716797\t최선의 손실: 3.127215\t정확도: 93.90%\n", "35\t검증 세트 손실: 4708.864746\t최선의 손실: 3.127215\t정확도: 94.06%\n", "36\t검증 세트 손실: 24444.380859\t최선의 손실: 3.127215\t정확도: 88.78%\n", "37\t검증 세트 손실: 6551.906738\t최선의 손실: 3.127215\t정확도: 94.18%\n", "38\t검증 세트 손실: 4448.666016\t최선의 손실: 3.127215\t정확도: 95.47%\n", "39\t검증 세트 손실: 3126.424561\t최선의 손실: 3.127215\t정확도: 94.57%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 10.1s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.075023\t최선의 손실: 2.075023\t정확도: 18.73%\n", "1\t검증 세트 손실: 2.392765\t최선의 손실: 2.075023\t정확도: 18.73%\n", "2\t검증 세트 손실: 2.045198\t최선의 손실: 2.045198\t정확도: 19.27%\n", "3\t검증 세트 손실: 2.207034\t최선의 손실: 2.045198\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.794731\t최선의 손실: 1.794731\t정확도: 22.01%\n", "5\t검증 세트 손실: 2.012966\t최선의 손실: 1.794731\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.975259\t최선의 손실: 1.794731\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.949084\t최선의 손실: 1.794731\t정확도: 18.73%\n", "8\t검증 세트 손실: 2.035789\t최선의 손실: 1.794731\t정확도: 19.08%\n", "9\t검증 세트 손실: 2.281121\t최선의 손실: 1.794731\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.806986\t최선의 손실: 1.794731\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.917274\t최선의 손실: 1.794731\t정확도: 19.08%\n", "12\t검증 세트 손실: 2.006843\t최선의 손실: 1.794731\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.773531\t최선의 손실: 1.773531\t정확도: 19.08%\n", "14\t검증 세트 손실: 3.055529\t최선의 손실: 1.773531\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.692753\t최선의 손실: 1.692753\t정확도: 19.27%\n", "16\t검증 세트 손실: 2.644387\t최선의 손실: 1.692753\t정확도: 20.91%\n", "17\t검증 세트 손실: 2.019650\t최선의 손실: 1.692753\t정확도: 20.91%\n", "18\t검증 세트 손실: 2.567739\t최선의 손실: 1.692753\t정확도: 22.01%\n", "19\t검증 세트 손실: 2.833768\t최선의 손실: 1.692753\t정확도: 22.01%\n", "20\t검증 세트 손실: 2.283569\t최선의 손실: 1.692753\t정확도: 22.01%\n", "21\t검증 세트 손실: 2.377184\t최선의 손실: 1.692753\t정확도: 20.91%\n", "22\t검증 세트 손실: 1.983371\t최선의 손실: 1.692753\t정확도: 18.73%\n", "23\t검증 세트 손실: 2.143984\t최선의 손실: 1.692753\t정확도: 19.27%\n", "24\t검증 세트 손실: 2.032387\t최선의 손실: 1.692753\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.828012\t최선의 손실: 1.692753\t정확도: 20.91%\n", "26\t검증 세트 손실: 1.893220\t최선의 손실: 1.692753\t정확도: 19.08%\n", "27\t검증 세트 손실: 2.163724\t최선의 손실: 1.692753\t정확도: 22.01%\n", "28\t검증 세트 손실: 2.621585\t최선의 손실: 1.692753\t정확도: 19.08%\n", "29\t검증 세트 손실: 2.281008\t최선의 손실: 1.692753\t정확도: 20.91%\n", "30\t검증 세트 손실: 1.913917\t최선의 손실: 1.692753\t정확도: 19.27%\n", "31\t검증 세트 손실: 2.141617\t최선의 손실: 1.692753\t정확도: 19.27%\n", "32\t검증 세트 손실: 2.017922\t최선의 손실: 1.692753\t정확도: 19.27%\n", "33\t검증 세트 손실: 1.835147\t최선의 손실: 1.692753\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.877346\t최선의 손실: 1.692753\t정확도: 19.08%\n", "35\t검증 세트 손실: 2.370304\t최선의 손실: 1.692753\t정확도: 19.27%\n", "36\t검증 세트 손실: 2.066645\t최선의 손실: 1.692753\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=, total= 43.5s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.086180\t최선의 손실: 2.086180\t정확도: 19.27%\n", "1\t검증 세트 손실: 2.040330\t최선의 손실: 2.040330\t정확도: 20.91%\n", "2\t검증 세트 손실: 2.146819\t최선의 손실: 2.040330\t정확도: 22.01%\n", "3\t검증 세트 손실: 2.180535\t최선의 손실: 2.040330\t정확도: 22.01%\n", "4\t검증 세트 손실: 2.009214\t최선의 손실: 2.009214\t정확도: 20.91%\n", "5\t검증 세트 손실: 2.124437\t최선의 손실: 2.009214\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.798526\t최선의 손실: 1.798526\t정확도: 19.27%\n", "7\t검증 세트 손실: 2.029066\t최선의 손실: 1.798526\t정확도: 19.08%\n", "8\t검증 세트 손실: 2.358270\t최선의 손실: 1.798526\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.772398\t최선의 손실: 1.772398\t정확도: 19.27%\n", "10\t검증 세트 손실: 2.146672\t최선의 손실: 1.772398\t정확도: 19.08%\n", "11\t검증 세트 손실: 2.742556\t최선의 손실: 1.772398\t정확도: 22.01%\n", "12\t검증 세트 손실: 2.154563\t최선의 손실: 1.772398\t정확도: 19.27%\n", "13\t검증 세트 손실: 2.503036\t최선의 손실: 1.772398\t정확도: 19.27%\n", "14\t검증 세트 손실: 2.296438\t최선의 손실: 1.772398\t정확도: 19.27%\n", "15\t검증 세트 손실: 2.037246\t최선의 손실: 1.772398\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.655975\t최선의 손실: 1.655975\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.940822\t최선의 손실: 1.655975\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.873852\t최선의 손실: 1.655975\t정확도: 19.08%\n", "19\t검증 세트 손실: 2.003685\t최선의 손실: 1.655975\t정확도: 18.73%\n", "20\t검증 세트 손실: 2.406449\t최선의 손실: 1.655975\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.857483\t최선의 손실: 1.655975\t정확도: 19.27%\n", "22\t검증 세트 손실: 2.096717\t최선의 손실: 1.655975\t정확도: 19.27%\n", "23\t검증 세트 손실: 2.520994\t최선의 손실: 1.655975\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.893641\t최선의 손실: 1.655975\t정확도: 19.08%\n", "25\t검증 세트 손실: 2.078129\t최선의 손실: 1.655975\t정확도: 22.01%\n", "26\t검증 세트 손실: 2.804221\t최선의 손실: 1.655975\t정확도: 19.08%\n", "27\t검증 세트 손실: 2.394255\t최선의 손실: 1.655975\t정확도: 20.91%\n", "28\t검증 세트 손실: 1.977029\t최선의 손실: 1.655975\t정확도: 20.91%\n", "29\t검증 세트 손실: 1.721668\t최선의 손실: 1.655975\t정확도: 19.27%\n", "30\t검증 세트 손실: 2.203054\t최선의 손실: 1.655975\t정확도: 19.08%\n", "31\t검증 세트 손실: 2.605257\t최선의 손실: 1.655975\t정확도: 22.01%\n", "32\t검증 세트 손실: 2.066093\t최선의 손실: 1.655975\t정확도: 18.73%\n", "33\t검증 세트 손실: 2.527786\t최선의 손실: 1.655975\t정확도: 19.08%\n", "34\t검증 세트 손실: 2.730592\t최선의 손실: 1.655975\t정확도: 18.73%\n", "35\t검증 세트 손실: 2.582781\t최선의 손실: 1.655975\t정확도: 22.01%\n", "36\t검증 세트 손실: 2.845666\t최선의 손실: 1.655975\t정확도: 19.27%\n", "37\t검증 세트 손실: 1.998371\t최선의 손실: 1.655975\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=, total= 44.4s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.830006\t최선의 손실: 1.830006\t정확도: 22.01%\n", "1\t검증 세트 손실: 2.131338\t최선의 손실: 1.830006\t정확도: 22.01%\n", "2\t검증 세트 손실: 2.190770\t최선의 손실: 1.830006\t정확도: 19.08%\n", "3\t검증 세트 손실: 2.143046\t최선의 손실: 1.830006\t정확도: 19.27%\n", "4\t검증 세트 손실: 3.100336\t최선의 손실: 1.830006\t정확도: 20.91%\n", "5\t검증 세트 손실: 2.463856\t최선의 손실: 1.830006\t정확도: 20.91%\n", "6\t검증 세트 손실: 2.003280\t최선의 손실: 1.830006\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.763765\t최선의 손실: 1.763765\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.700586\t최선의 손실: 1.700586\t정확도: 19.27%\n", "9\t검증 세트 손실: 2.334467\t최선의 손실: 1.700586\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.853936\t최선의 손실: 1.700586\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.842177\t최선의 손실: 1.700586\t정확도: 19.27%\n", "12\t검증 세트 손실: 2.091001\t최선의 손실: 1.700586\t정확도: 20.91%\n", "13\t검증 세트 손실: 3.280352\t최선의 손실: 1.700586\t정확도: 19.08%\n", "14\t검증 세트 손실: 2.147484\t최선의 손실: 1.700586\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.816309\t최선의 손실: 1.700586\t정확도: 19.27%\n", "16\t검증 세트 손실: 1.802175\t최선의 손실: 1.700586\t정확도: 18.73%\n", "17\t검증 세트 손실: 2.435381\t최선의 손실: 1.700586\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.970497\t최선의 손실: 1.700586\t정확도: 19.27%\n", "19\t검증 세트 손실: 2.368725\t최선의 손실: 1.700586\t정확도: 22.01%\n", "20\t검증 세트 손실: 2.211070\t최선의 손실: 1.700586\t정확도: 19.27%\n", "21\t검증 세트 손실: 2.549927\t최선의 손실: 1.700586\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.926622\t최선의 손실: 1.700586\t정확도: 19.27%\n", "23\t검증 세트 손실: 2.675780\t최선의 손실: 1.700586\t정확도: 19.08%\n", "24\t검증 세트 손실: 2.494112\t최선의 손실: 1.700586\t정확도: 19.27%\n", "25\t검증 세트 손실: 1.703840\t최선의 손실: 1.700586\t정확도: 22.01%\n", "26\t검증 세트 손실: 2.280957\t최선의 손실: 1.700586\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.996817\t최선의 손실: 1.700586\t정확도: 18.73%\n", "28\t검증 세트 손실: 2.451431\t최선의 손실: 1.700586\t정확도: 19.08%\n", "29\t검증 세트 손실: 2.784983\t최선의 손실: 1.700586\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=10, activation=, total= 35.0s\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.153380\t최선의 손실: 0.153380\t정확도: 94.80%\n", "1\t검증 세트 손실: 0.087586\t최선의 손실: 0.087586\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.076680\t최선의 손실: 0.076680\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.081570\t최선의 손실: 0.076680\t정확도: 97.69%\n", "4\t검증 세트 손실: 0.075922\t최선의 손실: 0.075922\t정확도: 97.93%\n", "5\t검증 세트 손실: 0.065010\t최선의 손실: 0.065010\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.065706\t최선의 손실: 0.065010\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.071053\t최선의 손실: 0.065010\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.070527\t최선의 손실: 0.065010\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.073580\t최선의 손실: 0.065010\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.048505\t최선의 손실: 0.048505\t정확도: 98.94%\n", "11\t검증 세트 손실: 0.065689\t최선의 손실: 0.048505\t정확도: 98.36%\n", "12\t검증 세트 손실: 0.071522\t최선의 손실: 0.048505\t정확도: 98.16%\n", "13\t검증 세트 손실: 0.068540\t최선의 손실: 0.048505\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.079861\t최선의 손실: 0.048505\t정확도: 98.36%\n", "15\t검증 세트 손실: 0.075419\t최선의 손실: 0.048505\t정확도: 98.20%\n", "16\t검증 세트 손실: 0.085131\t최선의 손실: 0.048505\t정확도: 98.20%\n", "17\t검증 세트 손실: 0.074155\t최선의 손실: 0.048505\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.067812\t최선의 손실: 0.048505\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.070843\t최선의 손실: 0.048505\t정확도: 98.75%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "20\t검증 세트 손실: 0.079976\t최선의 손실: 0.048505\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.067650\t최선의 손실: 0.048505\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.073264\t최선의 손실: 0.048505\t정확도: 98.48%\n", "23\t검증 세트 손실: 0.079828\t최선의 손실: 0.048505\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.069711\t최선의 손실: 0.048505\t정확도: 98.44%\n", "25\t검증 세트 손실: 0.087333\t최선의 손실: 0.048505\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.092510\t최선의 손실: 0.048505\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.104338\t최선의 손실: 0.048505\t정확도: 98.28%\n", "28\t검증 세트 손실: 0.079420\t최선의 손실: 0.048505\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.085931\t최선의 손실: 0.048505\t정확도: 98.67%\n", "30\t검증 세트 손실: 0.081857\t최선의 손실: 0.048505\t정확도: 98.51%\n", "31\t검증 세트 손실: 0.093568\t최선의 손실: 0.048505\t정확도: 98.28%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=, total= 5.7s\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.142724\t최선의 손실: 0.142724\t정확도: 96.09%\n", "1\t검증 세트 손실: 0.077564\t최선의 손실: 0.077564\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.068069\t최선의 손실: 0.068069\t정확도: 97.81%\n", "3\t검증 세트 손실: 0.056794\t최선의 손실: 0.056794\t정확도: 98.24%\n", "4\t검증 세트 손실: 0.057224\t최선의 손실: 0.056794\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.047567\t최선의 손실: 0.047567\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.064623\t최선의 손실: 0.047567\t정확도: 97.93%\n", "7\t검증 세트 손실: 0.063472\t최선의 손실: 0.047567\t정확도: 98.12%\n", "8\t검증 세트 손실: 0.088332\t최선의 손실: 0.047567\t정확도: 97.58%\n", "9\t검증 세트 손실: 0.055690\t최선의 손실: 0.047567\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.052995\t최선의 손실: 0.047567\t정확도: 98.71%\n", "11\t검증 세트 손실: 0.076544\t최선의 손실: 0.047567\t정확도: 98.32%\n", "12\t검증 세트 손실: 0.061579\t최선의 손실: 0.047567\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.055622\t최선의 손실: 0.047567\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.062736\t최선의 손실: 0.047567\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.090491\t최선의 손실: 0.047567\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.053311\t최선의 손실: 0.047567\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.061010\t최선의 손실: 0.047567\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.068575\t최선의 손실: 0.047567\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.063921\t최선의 손실: 0.047567\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.056553\t최선의 손실: 0.047567\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.064097\t최선의 손실: 0.047567\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.071911\t최선의 손실: 0.047567\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.074017\t최선의 손실: 0.047567\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.065793\t최선의 손실: 0.047567\t정확도: 98.87%\n", "25\t검증 세트 손실: 0.082452\t최선의 손실: 0.047567\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.062957\t최선의 손실: 0.047567\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=, total= 4.9s\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.140301\t최선의 손실: 0.140301\t정확도: 95.31%\n", "1\t검증 세트 손실: 0.078181\t최선의 손실: 0.078181\t정확도: 97.30%\n", "2\t검증 세트 손실: 0.067004\t최선의 손실: 0.067004\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.056316\t최선의 손실: 0.056316\t정확도: 98.24%\n", "4\t검증 세트 손실: 0.059319\t최선의 손실: 0.056316\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.053590\t최선의 손실: 0.053590\t정확도: 98.28%\n", "6\t검증 세트 손실: 0.082156\t최선의 손실: 0.053590\t정확도: 97.85%\n", "7\t검증 세트 손실: 0.063492\t최선의 손실: 0.053590\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.054046\t최선의 손실: 0.053590\t정확도: 98.48%\n", "9\t검증 세트 손실: 0.064006\t최선의 손실: 0.053590\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.062416\t최선의 손실: 0.053590\t정확도: 98.40%\n", "11\t검증 세트 손실: 0.062902\t최선의 손실: 0.053590\t정확도: 98.28%\n", "12\t검증 세트 손실: 0.062604\t최선의 손실: 0.053590\t정확도: 98.32%\n", "13\t검증 세트 손실: 0.067877\t최선의 손실: 0.053590\t정확도: 98.59%\n", "14\t검증 세트 손실: 0.067826\t최선의 손실: 0.053590\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.066816\t최선의 손실: 0.053590\t정확도: 98.55%\n", "16\t검증 세트 손실: 0.074994\t최선의 손실: 0.053590\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.077950\t최선의 손실: 0.053590\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.060889\t최선의 손실: 0.053590\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.064673\t최선의 손실: 0.053590\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.064803\t최선의 손실: 0.053590\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.072526\t최선의 손실: 0.053590\t정확도: 98.59%\n", "22\t검증 세트 손실: 0.062641\t최선의 손실: 0.053590\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.044543\t최선의 손실: 0.044543\t정확도: 99.14%\n", "24\t검증 세트 손실: 0.063428\t최선의 손실: 0.044543\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.056027\t최선의 손실: 0.044543\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.074050\t최선의 손실: 0.044543\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.072819\t최선의 손실: 0.044543\t정확도: 98.40%\n", "28\t검증 세트 손실: 0.055905\t최선의 손실: 0.044543\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.064613\t최선의 손실: 0.044543\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.066320\t최선의 손실: 0.044543\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.055651\t최선의 손실: 0.044543\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.066779\t최선의 손실: 0.044543\t정확도: 98.71%\n", "33\t검증 세트 손실: 0.065109\t최선의 손실: 0.044543\t정확도: 98.71%\n", "34\t검증 세트 손실: 0.065098\t최선의 손실: 0.044543\t정확도: 98.75%\n", "35\t검증 세트 손실: 0.060093\t최선의 손실: 0.044543\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.069519\t최선의 손실: 0.044543\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.084380\t최선의 손실: 0.044543\t정확도: 98.91%\n", "38\t검증 세트 손실: 0.109287\t최선의 손실: 0.044543\t정확도: 98.36%\n", "39\t검증 세트 손실: 0.073206\t최선의 손실: 0.044543\t정확도: 98.83%\n", "40\t검증 세트 손실: 0.066892\t최선의 손실: 0.044543\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.054476\t최선의 손실: 0.044543\t정확도: 98.83%\n", "42\t검증 세트 손실: 0.099790\t최선의 손실: 0.044543\t정확도: 98.55%\n", "43\t검증 세트 손실: 0.078520\t최선의 손실: 0.044543\t정확도: 98.67%\n", "44\t검증 세트 손실: 0.059422\t최선의 손실: 0.044543\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=500, activation=, total= 7.8s\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.467548\t최선의 손실: 0.467548\t정확도: 89.68%\n", "1\t검증 세트 손실: 0.252414\t최선의 손실: 0.252414\t정확도: 92.61%\n", "2\t검증 세트 손실: 0.688882\t최선의 손실: 0.252414\t정확도: 75.18%\n", "3\t검증 세트 손실: 1.595843\t최선의 손실: 0.252414\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.617073\t최선의 손실: 0.252414\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.614134\t최선의 손실: 0.252414\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.609219\t최선의 손실: 0.252414\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.614352\t최선의 손실: 0.252414\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.616958\t최선의 손실: 0.252414\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.608661\t최선의 손실: 0.252414\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.608050\t최선의 손실: 0.252414\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.613508\t최선의 손실: 0.252414\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.609078\t최선의 손실: 0.252414\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.615909\t최선의 손실: 0.252414\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.613166\t최선의 손실: 0.252414\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.611266\t최선의 손실: 0.252414\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.609476\t최선의 손실: 0.252414\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.610101\t최선의 손실: 0.252414\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.615433\t최선의 손실: 0.252414\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.608982\t최선의 손실: 0.252414\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.609123\t최선의 손실: 0.252414\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.615655\t최선의 손실: 0.252414\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.613657\t최선의 손실: 0.252414\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=, total= 5.9s\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.171215\t최선의 손실: 0.171215\t정확도: 94.80%\n", "1\t검증 세트 손실: 0.276635\t최선의 손실: 0.171215\t정확도: 93.90%\n", "2\t검증 세트 손실: 0.714480\t최선의 손실: 0.171215\t정확도: 76.58%\n", "3\t검증 세트 손실: 1.261391\t최선의 손실: 0.171215\t정확도: 38.94%\n", "4\t검증 세트 손실: 1.207924\t최선의 손실: 0.171215\t정확도: 39.91%\n", "5\t검증 세트 손실: 1.168964\t최선의 손실: 0.171215\t정확도: 42.42%\n", "6\t검증 세트 손실: 1.211761\t최선의 손실: 0.171215\t정확도: 33.11%\n", "7\t검증 세트 손실: 1.655871\t최선의 손실: 0.171215\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.608976\t최선의 손실: 0.171215\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.608349\t최선의 손실: 0.171215\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.614480\t최선의 손실: 0.171215\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.610581\t최선의 손실: 0.171215\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.609118\t최선의 손실: 0.171215\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.612355\t최선의 손실: 0.171215\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.609242\t최선의 손실: 0.171215\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.610152\t최선의 손실: 0.171215\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.613015\t최선의 손실: 0.171215\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.615447\t최선의 손실: 0.171215\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.610247\t최선의 손실: 0.171215\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.609071\t최선의 손실: 0.171215\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.610649\t최선의 손실: 0.171215\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.612858\t최선의 손실: 0.171215\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=, total= 5.6s\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.148792\t최선의 손실: 0.148792\t정확도: 95.74%\n", "1\t검증 세트 손실: 0.146185\t최선의 손실: 0.146185\t정확도: 96.13%\n", "2\t검증 세트 손실: 0.332904\t최선의 손실: 0.146185\t정확도: 92.49%\n", "3\t검증 세트 손실: 0.192183\t최선의 손실: 0.146185\t정확도: 94.72%\n", "4\t검증 세트 손실: 0.247676\t최선의 손실: 0.146185\t정확도: 94.10%\n", "5\t검증 세트 손실: 0.617268\t최선의 손실: 0.146185\t정확도: 75.49%\n", "6\t검증 세트 손실: 0.521337\t최선의 손실: 0.146185\t정확도: 79.52%\n", "7\t검증 세트 손실: 0.701716\t최선의 손실: 0.146185\t정확도: 71.03%\n", "8\t검증 세트 손실: 0.645204\t최선의 손실: 0.146185\t정확도: 74.94%\n", "9\t검증 세트 손실: 1.015691\t최선의 손실: 0.146185\t정확도: 54.46%\n", "10\t검증 세트 손실: 1.017543\t최선의 손실: 0.146185\t정확도: 52.66%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "11\t검증 세트 손실: 0.885283\t최선의 손실: 0.146185\t정확도: 57.23%\n", "12\t검증 세트 손실: 0.825017\t최선의 손실: 0.146185\t정확도: 62.59%\n", "13\t검증 세트 손실: 0.744610\t최선의 손실: 0.146185\t정확도: 66.69%\n", "14\t검증 세트 손실: 0.783117\t최선의 손실: 0.146185\t정확도: 63.10%\n", "15\t검증 세트 손실: 0.719829\t최선의 손실: 0.146185\t정확도: 68.18%\n", "16\t검증 세트 손실: 0.745726\t최선의 손실: 0.146185\t정확도: 67.44%\n", "17\t검증 세트 손실: 0.831390\t최선의 손실: 0.146185\t정확도: 63.10%\n", "18\t검증 세트 손실: 0.704464\t최선의 손실: 0.146185\t정확도: 68.37%\n", "19\t검증 세트 손실: 0.519329\t최선의 손실: 0.146185\t정확도: 83.70%\n", "20\t검증 세트 손실: 0.706356\t최선의 손실: 0.146185\t정확도: 69.47%\n", "21\t검증 세트 손실: 0.731465\t최선의 손실: 0.146185\t정확도: 74.28%\n", "22\t검증 세트 손실: 0.811508\t최선의 손실: 0.146185\t정확도: 71.85%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=50, activation=, total= 5.8s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.186992\t최선의 손실: 0.186992\t정확도: 95.07%\n", "1\t검증 세트 손실: 0.133227\t최선의 손실: 0.133227\t정확도: 96.17%\n", "2\t검증 세트 손실: 0.155530\t최선의 손실: 0.133227\t정확도: 96.40%\n", "3\t검증 세트 손실: 1222.078613\t최선의 손실: 0.133227\t정확도: 44.53%\n", "4\t검증 세트 손실: 22.377054\t최선의 손실: 0.133227\t정확도: 83.62%\n", "5\t검증 세트 손실: 18.422031\t최선의 손실: 0.133227\t정확도: 84.09%\n", "6\t검증 세트 손실: 12.475811\t최선의 손실: 0.133227\t정확도: 86.86%\n", "7\t검증 세트 손실: 6.948159\t최선의 손실: 0.133227\t정확도: 90.77%\n", "8\t검증 세트 손실: 6.151453\t최선의 손실: 0.133227\t정확도: 92.34%\n", "9\t검증 세트 손실: 5.959032\t최선의 손실: 0.133227\t정확도: 93.00%\n", "10\t검증 세트 손실: 7.751710\t최선의 손실: 0.133227\t정확도: 92.57%\n", "11\t검증 세트 손실: 11.911991\t최선의 손실: 0.133227\t정확도: 91.40%\n", "12\t검증 세트 손실: 14.854826\t최선의 손실: 0.133227\t정확도: 83.50%\n", "13\t검증 세트 손실: 12.104122\t최선의 손실: 0.133227\t정확도: 87.33%\n", "14\t검증 세트 손실: 5.944398\t최선의 손실: 0.133227\t정확도: 92.57%\n", "15\t검증 세트 손실: 4.527845\t최선의 손실: 0.133227\t정확도: 94.72%\n", "16\t검증 세트 손실: 3.968540\t최선의 손실: 0.133227\t정확도: 94.57%\n", "17\t검증 세트 손실: 4.558530\t최선의 손실: 0.133227\t정확도: 95.11%\n", "18\t검증 세트 손실: 2.712705\t최선의 손실: 0.133227\t정확도: 95.90%\n", "19\t검증 세트 손실: 15.300344\t최선의 손실: 0.133227\t정확도: 82.41%\n", "20\t검증 세트 손실: 468.918549\t최선의 손실: 0.133227\t정확도: 83.62%\n", "21\t검증 세트 손실: 118.987038\t최선의 손실: 0.133227\t정확도: 92.73%\n", "22\t검증 세트 손실: 64.619713\t최선의 손실: 0.133227\t정확도: 94.14%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.9s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.154682\t최선의 손실: 0.154682\t정확도: 95.90%\n", "1\t검증 세트 손실: 0.094245\t최선의 손실: 0.094245\t정확도: 97.15%\n", "2\t검증 세트 손실: 485.391602\t최선의 손실: 0.094245\t정확도: 69.04%\n", "3\t검증 세트 손실: 20.694063\t최선의 손실: 0.094245\t정확도: 91.95%\n", "4\t검증 세트 손실: 11.762389\t최선의 손실: 0.094245\t정확도: 92.69%\n", "5\t검증 세트 손실: 13.786525\t최선의 손실: 0.094245\t정확도: 89.29%\n", "6\t검증 세트 손실: 5.673931\t최선의 손실: 0.094245\t정확도: 93.78%\n", "7\t검증 세트 손실: 6.248975\t최선의 손실: 0.094245\t정확도: 93.63%\n", "8\t검증 세트 손실: 2.227148\t최선의 손실: 0.094245\t정확도: 96.25%\n", "9\t검증 세트 손실: 3.098826\t최선의 손실: 0.094245\t정확도: 96.36%\n", "10\t검증 세트 손실: 1.799981\t최선의 손실: 0.094245\t정확도: 96.72%\n", "11\t검증 세트 손실: 2.176519\t최선의 손실: 0.094245\t정확도: 96.21%\n", "12\t검증 세트 손실: 1.224813\t최선의 손실: 0.094245\t정확도: 97.19%\n", "13\t검증 세트 손실: 1.304725\t최선의 손실: 0.094245\t정확도: 96.44%\n", "14\t검증 세트 손실: 1.456729\t최선의 손실: 0.094245\t정확도: 96.13%\n", "15\t검증 세트 손실: 1.089426\t최선의 손실: 0.094245\t정확도: 97.34%\n", "16\t검증 세트 손실: 1.918825\t최선의 손실: 0.094245\t정확도: 95.07%\n", "17\t검증 세트 손실: 1.288564\t최선의 손실: 0.094245\t정확도: 96.17%\n", "18\t검증 세트 손실: 1.381156\t최선의 손실: 0.094245\t정확도: 97.15%\n", "19\t검증 세트 손실: 0.806893\t최선의 손실: 0.094245\t정확도: 96.40%\n", "20\t검증 세트 손실: 26.981449\t최선의 손실: 0.094245\t정확도: 83.62%\n", "21\t검증 세트 손실: 4.928243\t최선의 손실: 0.094245\t정확도: 94.45%\n", "22\t검증 세트 손실: 6.141958\t최선의 손실: 0.094245\t정확도: 91.16%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 5.0s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.116965\t최선의 손실: 0.116965\t정확도: 96.56%\n", "1\t검증 세트 손실: 0.153705\t최선의 손실: 0.116965\t정확도: 95.86%\n", "2\t검증 세트 손실: 1047.593994\t최선의 손실: 0.116965\t정확도: 48.83%\n", "3\t검증 세트 손실: 3.903300\t최선의 손실: 0.116965\t정확도: 91.32%\n", "4\t검증 세트 손실: 2.520075\t최선의 손실: 0.116965\t정확도: 93.55%\n", "5\t검증 세트 손실: 2.371787\t최선의 손실: 0.116965\t정확도: 94.92%\n", "6\t검증 세트 손실: 2.089808\t최선의 손실: 0.116965\t정확도: 93.20%\n", "7\t검증 세트 손실: 4.908280\t최선의 손실: 0.116965\t정확도: 91.24%\n", "8\t검증 세트 손실: 1.802907\t최선의 손실: 0.116965\t정확도: 94.49%\n", "9\t검증 세트 손실: 2.673851\t최선의 손실: 0.116965\t정확도: 93.98%\n", "10\t검증 세트 손실: 3.813082\t최선의 손실: 0.116965\t정확도: 95.39%\n", "11\t검증 세트 손실: 4.047690\t최선의 손실: 0.116965\t정확도: 94.84%\n", "12\t검증 세트 손실: 2.102582\t최선의 손실: 0.116965\t정확도: 90.66%\n", "13\t검증 세트 손실: 1.635320\t최선의 손실: 0.116965\t정확도: 95.66%\n", "14\t검증 세트 손실: 1.308619\t최선의 손실: 0.116965\t정확도: 92.26%\n", "15\t검증 세트 손실: 0.540125\t최선의 손실: 0.116965\t정확도: 96.95%\n", "16\t검증 세트 손실: 0.524107\t최선의 손실: 0.116965\t정확도: 96.83%\n", "17\t검증 세트 손실: 1.382948\t최선의 손실: 0.116965\t정확도: 93.98%\n", "18\t검증 세트 손실: 0.452829\t최선의 손실: 0.116965\t정확도: 96.52%\n", "19\t검증 세트 손실: 0.371988\t최선의 손실: 0.116965\t정확도: 96.72%\n", "20\t검증 세트 손실: 0.380312\t최선의 손실: 0.116965\t정확도: 95.47%\n", "21\t검증 세트 손실: 0.427113\t최선의 손실: 0.116965\t정확도: 95.54%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.7s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.251900\t최선의 손실: 0.251900\t정확도: 93.67%\n", "1\t검증 세트 손실: 0.203994\t최선의 손실: 0.203994\t정확도: 94.72%\n", "2\t검증 세트 손실: 0.170632\t최선의 손실: 0.170632\t정확도: 95.47%\n", "3\t검증 세트 손실: 0.145789\t최선의 손실: 0.145789\t정확도: 95.97%\n", "4\t검증 세트 손실: 0.111856\t최선의 손실: 0.111856\t정확도: 96.79%\n", "5\t검증 세트 손실: 0.205407\t최선의 손실: 0.111856\t정확도: 96.13%\n", "6\t검증 세트 손실: 0.131561\t최선의 손실: 0.111856\t정확도: 96.44%\n", "7\t검증 세트 손실: 0.138781\t최선의 손실: 0.111856\t정확도: 96.68%\n", "8\t검증 세트 손실: 0.191409\t최선의 손실: 0.111856\t정확도: 94.57%\n", "9\t검증 세트 손실: 0.193376\t최선의 손실: 0.111856\t정확도: 95.70%\n", "10\t검증 세트 손실: 0.193110\t최선의 손실: 0.111856\t정확도: 94.57%\n", "11\t검증 세트 손실: 0.276580\t최선의 손실: 0.111856\t정확도: 92.89%\n", "12\t검증 세트 손실: 0.300255\t최선의 손실: 0.111856\t정확도: 92.53%\n", "13\t검증 세트 손실: 0.243310\t최선의 손실: 0.111856\t정확도: 95.50%\n", "14\t검증 세트 손실: 0.443112\t최선의 손실: 0.111856\t정확도: 95.86%\n", "15\t검증 세트 손실: 0.219680\t최선의 손실: 0.111856\t정확도: 94.88%\n", "16\t검증 세트 손실: 0.199926\t최선의 손실: 0.111856\t정확도: 96.25%\n", "17\t검증 세트 손실: 0.184721\t최선의 손실: 0.111856\t정확도: 96.29%\n", "18\t검증 세트 손실: 0.213894\t최선의 손실: 0.111856\t정확도: 95.19%\n", "19\t검증 세트 손실: 0.335216\t최선의 손실: 0.111856\t정확도: 93.04%\n", "20\t검증 세트 손실: 1.160094\t최선의 손실: 0.111856\t정확도: 40.46%\n", "21\t검증 세트 손실: 1.180431\t최선의 손실: 0.111856\t정확도: 40.73%\n", "22\t검증 세트 손실: 1.199585\t최선의 손실: 0.111856\t정확도: 40.19%\n", "23\t검증 세트 손실: 1.617542\t최선의 손실: 0.111856\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.646355\t최선의 손실: 0.111856\t정확도: 22.05%\n", "25\t검증 세트 손실: 1.655502\t최선의 손실: 0.111856\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=, total= 18.0s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.293539\t최선의 손실: 0.293539\t정확도: 91.95%\n", "1\t검증 세트 손실: 0.201445\t최선의 손실: 0.201445\t정확도: 95.39%\n", "2\t검증 세트 손실: 0.155083\t최선의 손실: 0.155083\t정확도: 96.05%\n", "3\t검증 세트 손실: 0.121911\t최선의 손실: 0.121911\t정확도: 96.76%\n", "4\t검증 세트 손실: 0.106857\t최선의 손실: 0.106857\t정확도: 97.03%\n", "5\t검증 세트 손실: 0.243694\t최선의 손실: 0.106857\t정확도: 95.58%\n", "6\t검증 세트 손실: 0.166254\t최선의 손실: 0.106857\t정확도: 96.17%\n", "7\t검증 세트 손실: 0.197603\t최선의 손실: 0.106857\t정확도: 96.01%\n", "8\t검증 세트 손실: 0.585144\t최선의 손실: 0.106857\t정확도: 74.71%\n", "9\t검증 세트 손실: 0.347678\t최선의 손실: 0.106857\t정확도: 91.36%\n", "10\t검증 세트 손실: 0.304710\t최선의 손실: 0.106857\t정확도: 93.75%\n", "11\t검증 세트 손실: 0.174496\t최선의 손실: 0.106857\t정확도: 96.56%\n", "12\t검증 세트 손실: 0.463943\t최선의 손실: 0.106857\t정확도: 77.09%\n", "13\t검증 세트 손실: 0.758214\t최선의 손실: 0.106857\t정확도: 63.37%\n", "14\t검증 세트 손실: 0.531307\t최선의 손실: 0.106857\t정확도: 75.45%\n", "15\t검증 세트 손실: 0.758179\t최선의 손실: 0.106857\t정확도: 71.11%\n", "16\t검증 세트 손실: 0.627861\t최선의 손실: 0.106857\t정확도: 73.53%\n", "17\t검증 세트 손실: 0.496033\t최선의 손실: 0.106857\t정확도: 75.41%\n", "18\t검증 세트 손실: 0.534288\t최선의 손실: 0.106857\t정확도: 73.77%\n", "19\t검증 세트 손실: 0.934053\t최선의 손실: 0.106857\t정확도: 57.27%\n", "20\t검증 세트 손실: 1.245830\t최선의 손실: 0.106857\t정확도: 36.75%\n", "21\t검증 세트 손실: 1.626114\t최선의 손실: 0.106857\t정확도: 24.94%\n", "22\t검증 세트 손실: 1.328982\t최선의 손실: 0.106857\t정확도: 36.24%\n", "23\t검증 세트 손실: 1.431234\t최선의 손실: 0.106857\t정확도: 36.63%\n", "24\t검증 세트 손실: 1.245528\t최선의 손실: 0.106857\t정확도: 38.78%\n", "25\t검증 세트 손실: 1.199934\t최선의 손실: 0.106857\t정확도: 41.40%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=, total= 17.7s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.218326\t최선의 손실: 0.218326\t정확도: 95.62%\n", "1\t검증 세트 손실: 0.139652\t최선의 손실: 0.139652\t정확도: 96.48%\n", "2\t검증 세트 손실: 0.185367\t최선의 손실: 0.139652\t정확도: 95.97%\n", "3\t검증 세트 손실: 0.503665\t최선의 손실: 0.139652\t정확도: 84.21%\n", "4\t검증 세트 손실: 0.306959\t최선의 손실: 0.139652\t정확도: 92.34%\n", "5\t검증 세트 손실: 0.312952\t최선의 손실: 0.139652\t정확도: 92.65%\n", "6\t검증 세트 손실: 0.321531\t최선의 손실: 0.139652\t정확도: 93.55%\n", "7\t검증 세트 손실: 0.217648\t최선의 손실: 0.139652\t정확도: 95.47%\n", "8\t검증 세트 손실: 0.443441\t최선의 손실: 0.139652\t정확도: 75.53%\n", "9\t검증 세트 손실: 0.296745\t최선의 손실: 0.139652\t정확도: 93.59%\n", "10\t검증 세트 손실: 0.235967\t최선의 손실: 0.139652\t정확도: 95.04%\n", "11\t검증 세트 손실: 0.506821\t최선의 손실: 0.139652\t정확도: 93.90%\n", "12\t검증 세트 손실: 0.451871\t최선의 손실: 0.139652\t정확도: 92.49%\n", "13\t검증 세트 손실: 1.391686\t최선의 손실: 0.139652\t정확도: 93.86%\n", "14\t검증 세트 손실: 0.550413\t최선의 손실: 0.139652\t정확도: 93.39%\n", "15\t검증 세트 손실: 0.399842\t최선의 손실: 0.139652\t정확도: 95.35%\n", "16\t검증 세트 손실: 2.315573\t최선의 손실: 0.139652\t정확도: 94.06%\n", "17\t검증 세트 손실: 0.433348\t최선의 손실: 0.139652\t정확도: 89.25%\n", "18\t검증 세트 손실: 0.271465\t최선의 손실: 0.139652\t정확도: 93.82%\n", "19\t검증 세트 손실: 0.309291\t최선의 손실: 0.139652\t정확도: 94.37%\n", "20\t검증 세트 손실: 0.566560\t최선의 손실: 0.139652\t정확도: 79.63%\n", "21\t검증 세트 손실: 0.314433\t최선의 손실: 0.139652\t정확도: 92.85%\n", "22\t검증 세트 손실: 0.250561\t최선의 손실: 0.139652\t정확도: 94.14%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=10, activation=, total= 16.0s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 690.126282\t최선의 손실: 690.126282\t정확도: 18.73%\n", "1\t검증 세트 손실: 10985.355469\t최선의 손실: 690.126282\t정확도: 13.02%\n", "2\t검증 세트 손실: 65.520966\t최선의 손실: 65.520966\t정확도: 73.49%\n", "3\t검증 세트 손실: 29.767363\t최선의 손실: 29.767363\t정확도: 87.10%\n", "4\t검증 세트 손실: 6.690353\t최선의 손실: 6.690353\t정확도: 92.77%\n", "5\t검증 세트 손실: 4.564709\t최선의 손실: 4.564709\t정확도: 92.69%\n", "6\t검증 세트 손실: 3.826008\t최선의 손실: 3.826008\t정확도: 92.42%\n", "7\t검증 세트 손실: 3.776085\t최선의 손실: 3.776085\t정확도: 92.46%\n", "8\t검증 세트 손실: 2.571607\t최선의 손실: 2.571607\t정확도: 94.45%\n", "9\t검증 세트 손실: 3.960520\t최선의 손실: 2.571607\t정확도: 92.42%\n", "10\t검증 세트 손실: 1.987760\t최선의 손실: 1.987760\t정확도: 93.98%\n", "11\t검증 세트 손실: 1.603755\t최선의 손실: 1.603755\t정확도: 95.23%\n", "12\t검증 세트 손실: 2.144811\t최선의 손실: 1.603755\t정확도: 94.37%\n", "13\t검증 세트 손실: 1.458449\t최선의 손실: 1.458449\t정확도: 94.92%\n", "14\t검증 세트 손실: 5.154097\t최선의 손실: 1.458449\t정확도: 84.60%\n", "15\t검증 세트 손실: 2.715806\t최선의 손실: 1.458449\t정확도: 94.61%\n", "16\t검증 세트 손실: 3.013890\t최선의 손실: 1.458449\t정확도: 92.89%\n", "17\t검증 세트 손실: 1.571816\t최선의 손실: 1.458449\t정확도: 95.43%\n", "18\t검증 세트 손실: 1.303513\t최선의 손실: 1.303513\t정확도: 96.40%\n", "19\t검증 세트 손실: 1.824095\t최선의 손실: 1.303513\t정확도: 94.92%\n", "20\t검증 세트 손실: 2.066882\t최선의 손실: 1.303513\t정확도: 93.63%\n", "21\t검증 세트 손실: 1.799434\t최선의 손실: 1.303513\t정확도: 94.37%\n", "22\t검증 세트 손실: 1.023286\t최선의 손실: 1.023286\t정확도: 95.78%\n", "23\t검증 세트 손실: 0.801162\t최선의 손실: 0.801162\t정확도: 97.15%\n", "24\t검증 세트 손실: 1.622330\t최선의 손실: 0.801162\t정확도: 95.50%\n", "25\t검증 세트 손실: 1.221080\t최선의 손실: 0.801162\t정확도: 96.95%\n", "26\t검증 세트 손실: 0.726078\t최선의 손실: 0.726078\t정확도: 97.34%\n", "27\t검증 세트 손실: 1.180433\t최선의 손실: 0.726078\t정확도: 94.25%\n", "28\t검증 세트 손실: 0.622583\t최선의 손실: 0.622583\t정확도: 96.79%\n", "29\t검증 세트 손실: 0.597420\t최선의 손실: 0.597420\t정확도: 96.60%\n", "30\t검증 세트 손실: 0.829324\t최선의 손실: 0.597420\t정확도: 95.93%\n", "31\t검증 세트 손실: 0.622161\t최선의 손실: 0.597420\t정확도: 96.48%\n", "32\t검증 세트 손실: 0.717351\t최선의 손실: 0.597420\t정확도: 96.83%\n", "33\t검증 세트 손실: 0.763994\t최선의 손실: 0.597420\t정확도: 96.21%\n", "34\t검증 세트 손실: 0.623744\t최선의 손실: 0.597420\t정확도: 96.40%\n", "35\t검증 세트 손실: 0.638363\t최선의 손실: 0.597420\t정확도: 96.64%\n", "36\t검증 세트 손실: 0.839009\t최선의 손실: 0.597420\t정확도: 96.21%\n", "37\t검증 세트 손실: 3.418992\t최선의 손실: 0.597420\t정확도: 84.79%\n", "38\t검증 세트 손실: 1.179810\t최선의 손실: 0.597420\t정확도: 96.25%\n", "39\t검증 세트 손실: 0.713854\t최선의 손실: 0.597420\t정확도: 96.87%\n", "40\t검증 세트 손실: 1.143013\t최선의 손실: 0.597420\t정확도: 95.00%\n", "41\t검증 세트 손실: 0.770571\t최선의 손실: 0.597420\t정확도: 96.36%\n", "42\t검증 세트 손실: 0.614120\t최선의 손실: 0.597420\t정확도: 96.48%\n", "43\t검증 세트 손실: 0.664119\t최선의 손실: 0.597420\t정확도: 96.99%\n", "44\t검증 세트 손실: 0.572742\t최선의 손실: 0.572742\t정확도: 97.38%\n", "45\t검증 세트 손실: 0.457800\t최선의 손실: 0.457800\t정확도: 97.54%\n", "46\t검증 세트 손실: 0.607914\t최선의 손실: 0.457800\t정확도: 97.81%\n", "47\t검증 세트 손실: 0.586952\t최선의 손실: 0.457800\t정확도: 96.87%\n", "48\t검증 세트 손실: 0.529874\t최선의 손실: 0.457800\t정확도: 97.46%\n", "49\t검증 세트 손실: 0.461592\t최선의 손실: 0.457800\t정확도: 97.46%\n", "50\t검증 세트 손실: 0.639595\t최선의 손실: 0.457800\t정확도: 97.46%\n", "51\t검증 세트 손실: 0.746161\t최선의 손실: 0.457800\t정확도: 96.52%\n", "52\t검증 세트 손실: 0.669263\t최선의 손실: 0.457800\t정확도: 97.11%\n", "53\t검증 세트 손실: 0.697061\t최선의 손실: 0.457800\t정확도: 97.58%\n", "54\t검증 세트 손실: 0.600990\t최선의 손실: 0.457800\t정확도: 97.15%\n", "55\t검증 세트 손실: 0.527703\t최선의 손실: 0.457800\t정확도: 97.22%\n", "56\t검증 세트 손실: 0.450883\t최선의 손실: 0.450883\t정확도: 97.50%\n", "57\t검증 세트 손실: 0.474334\t최선의 손실: 0.450883\t정확도: 97.19%\n", "58\t검증 세트 손실: 0.482776\t최선의 손실: 0.450883\t정확도: 97.93%\n", "59\t검증 세트 손실: 0.443026\t최선의 손실: 0.443026\t정확도: 97.46%\n", "60\t검증 세트 손실: 0.520535\t최선의 손실: 0.443026\t정확도: 97.15%\n", "61\t검증 세트 손실: 0.471838\t최선의 손실: 0.443026\t정확도: 96.83%\n", "62\t검증 세트 손실: 0.491998\t최선의 손실: 0.443026\t정확도: 97.30%\n", "63\t검증 세트 손실: 0.576398\t최선의 손실: 0.443026\t정확도: 97.30%\n", "64\t검증 세트 손실: 0.414311\t최선의 손실: 0.414311\t정확도: 97.77%\n", "65\t검증 세트 손실: 0.514725\t최선의 손실: 0.414311\t정확도: 96.83%\n", "66\t검증 세트 손실: 0.477323\t최선의 손실: 0.414311\t정확도: 97.03%\n", "67\t검증 세트 손실: 0.402293\t최선의 손실: 0.402293\t정확도: 97.19%\n", "68\t검증 세트 손실: 0.446427\t최선의 손실: 0.402293\t정확도: 97.30%\n", "69\t검증 세트 손실: 0.456274\t최선의 손실: 0.402293\t정확도: 96.72%\n", "70\t검증 세트 손실: 0.417880\t최선의 손실: 0.402293\t정확도: 97.11%\n", "71\t검증 세트 손실: 0.375337\t최선의 손실: 0.375337\t정확도: 97.54%\n", "72\t검증 세트 손실: 0.393498\t최선의 손실: 0.375337\t정확도: 97.50%\n", "73\t검증 세트 손실: 0.919915\t최선의 손실: 0.375337\t정확도: 95.15%\n", "74\t검증 세트 손실: 0.486201\t최선의 손실: 0.375337\t정확도: 97.93%\n", "75\t검증 세트 손실: 0.513115\t최선의 손실: 0.375337\t정확도: 96.60%\n", "76\t검증 세트 손실: 0.471187\t최선의 손실: 0.375337\t정확도: 97.65%\n", "77\t검증 세트 손실: 0.412200\t최선의 손실: 0.375337\t정확도: 97.07%\n", "78\t검증 세트 손실: 0.666218\t최선의 손실: 0.375337\t정확도: 96.29%\n", "79\t검증 세트 손실: 0.469811\t최선의 손실: 0.375337\t정확도: 97.65%\n", "80\t검증 세트 손실: 2.055529\t최선의 손실: 0.375337\t정확도: 96.13%\n", "81\t검증 세트 손실: 1.967403\t최선의 손실: 0.375337\t정확도: 94.96%\n", "82\t검증 세트 손실: 2.951912\t최선의 손실: 0.375337\t정확도: 94.37%\n", "83\t검증 세트 손실: 11651673.000000\t최선의 손실: 0.375337\t정확도: 20.91%\n", "84\t검증 세트 손실: 17368434.000000\t최선의 손실: 0.375337\t정확도: 20.05%\n", "85\t검증 세트 손실: 447642.906250\t최선의 손실: 0.375337\t정확도: 82.33%\n", "86\t검증 세트 손실: 97908.468750\t최선의 손실: 0.375337\t정확도: 91.71%\n", "87\t검증 세트 손실: 172383.046875\t최선의 손실: 0.375337\t정확도: 89.52%\n", "88\t검증 세트 손실: 79056.265625\t최선의 손실: 0.375337\t정확도: 90.77%\n", "89\t검증 세트 손실: 61543.378906\t최선의 손실: 0.375337\t정확도: 89.41%\n", "90\t검증 세트 손실: 42715.472656\t최선의 손실: 0.375337\t정확도: 93.63%\n", "91\t검증 세트 손실: 30656.837891\t최선의 손실: 0.375337\t정확도: 93.47%\n", "92\t검증 세트 손실: 89969.890625\t최선의 손실: 0.375337\t정확도: 87.49%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 24.8s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 751.876587\t최선의 손실: 751.876587\t정확도: 23.34%\n", "1\t검증 세트 손실: 7966.148438\t최선의 손실: 751.876587\t정확도: 14.70%\n", "2\t검증 세트 손실: 164.735748\t최선의 손실: 164.735748\t정확도: 19.59%\n", "3\t검증 세트 손실: 8.663122\t최선의 손실: 8.663122\t정확도: 79.75%\n", "4\t검증 세트 손실: 2.519771\t최선의 손실: 2.519771\t정확도: 90.38%\n", "5\t검증 세트 손실: 1.763240\t최선의 손실: 1.763240\t정확도: 91.05%\n", "6\t검증 세트 손실: 1.467391\t최선의 손실: 1.467391\t정확도: 92.10%\n", "7\t검증 세트 손실: 1.235044\t최선의 손실: 1.235044\t정확도: 91.71%\n", "8\t검증 세트 손실: 3.214026\t최선의 손실: 1.235044\t정확도: 82.02%\n", "9\t검증 세트 손실: 1.246960\t최선의 손실: 1.235044\t정확도: 92.30%\n", "10\t검증 세트 손실: 0.743482\t최선의 손실: 0.743482\t정확도: 94.45%\n", "11\t검증 세트 손실: 0.984030\t최선의 손실: 0.743482\t정확도: 93.67%\n", "12\t검증 세트 손실: 0.711798\t최선의 손실: 0.711798\t정확도: 94.80%\n", "13\t검증 세트 손실: 0.634941\t최선의 손실: 0.634941\t정확도: 94.68%\n", "14\t검증 세트 손실: 0.592689\t최선의 손실: 0.592689\t정확도: 95.00%\n", "15\t검증 세트 손실: 2.013277\t최선의 손실: 0.592689\t정확도: 93.00%\n", "16\t검증 세트 손실: 1.237718\t최선의 손실: 0.592689\t정확도: 94.45%\n", "17\t검증 세트 손실: 1.138459\t최선의 손실: 0.592689\t정확도: 94.10%\n", "18\t검증 세트 손실: 0.596466\t최선의 손실: 0.592689\t정확도: 96.05%\n", "19\t검증 세트 손실: 0.555123\t최선의 손실: 0.555123\t정확도: 95.86%\n", "20\t검증 세트 손실: 0.685788\t최선의 손실: 0.555123\t정확도: 94.57%\n", "21\t검증 세트 손실: 0.758175\t최선의 손실: 0.555123\t정확도: 94.92%\n", "22\t검증 세트 손실: 0.522133\t최선의 손실: 0.522133\t정확도: 94.76%\n", "23\t검증 세트 손실: 0.469285\t최선의 손실: 0.469285\t정확도: 95.74%\n", "24\t검증 세트 손실: 0.383536\t최선의 손실: 0.383536\t정확도: 96.05%\n", "25\t검증 세트 손실: 0.328238\t최선의 손실: 0.328238\t정확도: 96.48%\n", "26\t검증 세트 손실: 0.391604\t최선의 손실: 0.328238\t정확도: 95.47%\n", "27\t검증 세트 손실: 0.362059\t최선의 손실: 0.328238\t정확도: 95.93%\n", "28\t검증 세트 손실: 0.316595\t최선의 손실: 0.316595\t정확도: 96.60%\n", "29\t검증 세트 손실: 0.335434\t최선의 손실: 0.316595\t정확도: 95.86%\n", "30\t검증 세트 손실: 0.401593\t최선의 손실: 0.316595\t정확도: 95.74%\n", "31\t검증 세트 손실: 0.304675\t최선의 손실: 0.304675\t정확도: 96.21%\n", "32\t검증 세트 손실: 0.322787\t최선의 손실: 0.304675\t정확도: 95.86%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "33\t검증 세트 손실: 0.741534\t최선의 손실: 0.304675\t정확도: 91.44%\n", "34\t검증 세트 손실: 0.293327\t최선의 손실: 0.293327\t정확도: 96.87%\n", "35\t검증 세트 손실: 0.229800\t최선의 손실: 0.229800\t정확도: 96.83%\n", "36\t검증 세트 손실: 0.443321\t최선의 손실: 0.229800\t정확도: 95.74%\n", "37\t검증 세트 손실: 0.319572\t최선의 손실: 0.229800\t정확도: 96.21%\n", "38\t검증 세트 손실: 0.216998\t최선의 손실: 0.216998\t정확도: 97.22%\n", "39\t검증 세트 손실: 0.252087\t최선의 손실: 0.216998\t정확도: 96.83%\n", "40\t검증 세트 손실: 0.234185\t최선의 손실: 0.216998\t정확도: 97.03%\n", "41\t검증 세트 손실: 0.574896\t최선의 손실: 0.216998\t정확도: 93.63%\n", "42\t검증 세트 손실: 0.430997\t최선의 손실: 0.216998\t정확도: 97.15%\n", "43\t검증 세트 손실: 0.397157\t최선의 손실: 0.216998\t정확도: 96.72%\n", "44\t검증 세트 손실: 0.293270\t최선의 손실: 0.216998\t정확도: 97.15%\n", "45\t검증 세트 손실: 0.336327\t최선의 손실: 0.216998\t정확도: 96.44%\n", "46\t검증 세트 손실: 0.387701\t최선의 손실: 0.216998\t정확도: 95.70%\n", "47\t검증 세트 손실: 0.334939\t최선의 손실: 0.216998\t정확도: 96.52%\n", "48\t검증 세트 손실: 0.241557\t최선의 손실: 0.216998\t정확도: 97.30%\n", "49\t검증 세트 손실: 0.268649\t최선의 손실: 0.216998\t정확도: 97.11%\n", "50\t검증 세트 손실: 0.255088\t최선의 손실: 0.216998\t정확도: 97.07%\n", "51\t검증 세트 손실: 0.260927\t최선의 손실: 0.216998\t정확도: 96.64%\n", "52\t검증 세트 손실: 0.267437\t최선의 손실: 0.216998\t정확도: 96.21%\n", "53\t검증 세트 손실: 0.437193\t최선의 손실: 0.216998\t정확도: 96.52%\n", "54\t검증 세트 손실: 0.347985\t최선의 손실: 0.216998\t정확도: 96.33%\n", "55\t검증 세트 손실: 0.222590\t최선의 손실: 0.216998\t정확도: 97.26%\n", "56\t검증 세트 손실: 0.209646\t최선의 손실: 0.209646\t정확도: 97.58%\n", "57\t검증 세트 손실: 0.183275\t최선의 손실: 0.183275\t정확도: 97.69%\n", "58\t검증 세트 손실: 0.214317\t최선의 손실: 0.183275\t정확도: 97.30%\n", "59\t검증 세트 손실: 0.207787\t최선의 손실: 0.183275\t정확도: 97.34%\n", "60\t검증 세트 손실: 0.223133\t최선의 손실: 0.183275\t정확도: 96.91%\n", "61\t검증 세트 손실: 0.230149\t최선의 손실: 0.183275\t정확도: 96.91%\n", "62\t검증 세트 손실: 0.303706\t최선의 손실: 0.183275\t정확도: 95.23%\n", "63\t검증 세트 손실: 0.181842\t최선의 손실: 0.181842\t정확도: 97.93%\n", "64\t검증 세트 손실: 0.207723\t최선의 손실: 0.181842\t정확도: 97.19%\n", "65\t검증 세트 손실: 0.169559\t최선의 손실: 0.169559\t정확도: 97.69%\n", "66\t검증 세트 손실: 0.200212\t최선의 손실: 0.169559\t정확도: 96.91%\n", "67\t검증 세트 손실: 0.184128\t최선의 손실: 0.169559\t정확도: 97.42%\n", "68\t검증 세트 손실: 0.145672\t최선의 손실: 0.145672\t정확도: 97.38%\n", "69\t검증 세트 손실: 0.153731\t최선의 손실: 0.145672\t정확도: 97.73%\n", "70\t검증 세트 손실: 0.732135\t최선의 손실: 0.145672\t정확도: 93.04%\n", "71\t검증 세트 손실: 0.337038\t최선의 손실: 0.145672\t정확도: 96.72%\n", "72\t검증 세트 손실: 0.264949\t최선의 손실: 0.145672\t정확도: 97.15%\n", "73\t검증 세트 손실: 0.229966\t최선의 손실: 0.145672\t정확도: 97.62%\n", "74\t검증 세트 손실: 0.317549\t최선의 손실: 0.145672\t정확도: 95.97%\n", "75\t검증 세트 손실: 0.188669\t최선의 손실: 0.145672\t정확도: 97.54%\n", "76\t검증 세트 손실: 0.191383\t최선의 손실: 0.145672\t정확도: 97.62%\n", "77\t검증 세트 손실: 0.189786\t최선의 손실: 0.145672\t정확도: 97.58%\n", "78\t검증 세트 손실: 0.350416\t최선의 손실: 0.145672\t정확도: 96.99%\n", "79\t검증 세트 손실: 0.239820\t최선의 손실: 0.145672\t정확도: 97.38%\n", "80\t검증 세트 손실: 0.221083\t최선의 손실: 0.145672\t정확도: 97.50%\n", "81\t검증 세트 손실: 0.254571\t최선의 손실: 0.145672\t정확도: 97.26%\n", "82\t검증 세트 손실: 0.171014\t최선의 손실: 0.145672\t정확도: 97.62%\n", "83\t검증 세트 손실: 0.179741\t최선의 손실: 0.145672\t정확도: 97.81%\n", "84\t검증 세트 손실: 0.199969\t최선의 손실: 0.145672\t정확도: 96.87%\n", "85\t검증 세트 손실: 0.306728\t최선의 손실: 0.145672\t정확도: 97.03%\n", "86\t검증 세트 손실: 0.206837\t최선의 손실: 0.145672\t정확도: 97.69%\n", "87\t검증 세트 손실: 0.267688\t최선의 손실: 0.145672\t정확도: 97.03%\n", "88\t검증 세트 손실: 0.203605\t최선의 손실: 0.145672\t정확도: 97.58%\n", "89\t검증 세트 손실: 0.286352\t최선의 손실: 0.145672\t정확도: 97.07%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 24.0s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 5.728026\t최선의 손실: 5.728026\t정확도: 61.53%\n", "1\t검증 세트 손실: 0.636858\t최선의 손실: 0.636858\t정확도: 93.59%\n", "2\t검증 세트 손실: 0.267661\t최선의 손실: 0.267661\t정확도: 94.53%\n", "3\t검증 세트 손실: 0.168073\t최선의 손실: 0.168073\t정확도: 95.35%\n", "4\t검증 세트 손실: 0.225098\t최선의 손실: 0.168073\t정확도: 94.06%\n", "5\t검증 세트 손실: 0.160530\t최선의 손실: 0.160530\t정확도: 95.90%\n", "6\t검증 세트 손실: 0.163593\t최선의 손실: 0.160530\t정확도: 95.23%\n", "7\t검증 세트 손실: 0.145624\t최선의 손실: 0.145624\t정확도: 96.40%\n", "8\t검증 세트 손실: 0.130919\t최선의 손실: 0.130919\t정확도: 96.83%\n", "9\t검증 세트 손실: 0.136875\t최선의 손실: 0.130919\t정확도: 96.05%\n", "10\t검증 세트 손실: 0.117099\t최선의 손실: 0.117099\t정확도: 96.91%\n", "11\t검증 세트 손실: 0.112784\t최선의 손실: 0.112784\t정확도: 97.34%\n", "12\t검증 세트 손실: 0.114994\t최선의 손실: 0.112784\t정확도: 97.11%\n", "13\t검증 세트 손실: 0.116046\t최선의 손실: 0.112784\t정확도: 97.54%\n", "14\t검증 세트 손실: 0.108455\t최선의 손실: 0.108455\t정확도: 97.07%\n", "15\t검증 세트 손실: 0.124856\t최선의 손실: 0.108455\t정확도: 97.07%\n", "16\t검증 세트 손실: 0.101602\t최선의 손실: 0.101602\t정확도: 97.77%\n", "17\t검증 세트 손실: 0.109768\t최선의 손실: 0.101602\t정확도: 97.15%\n", "18\t검증 세트 손실: 0.110131\t최선의 손실: 0.101602\t정확도: 97.81%\n", "19\t검증 세트 손실: 0.089321\t최선의 손실: 0.089321\t정확도: 97.65%\n", "20\t검증 세트 손실: 0.082800\t최선의 손실: 0.082800\t정확도: 98.08%\n", "21\t검증 세트 손실: 0.085954\t최선의 손실: 0.082800\t정확도: 97.77%\n", "22\t검증 세트 손실: 0.099558\t최선의 손실: 0.082800\t정확도: 97.93%\n", "23\t검증 세트 손실: 0.082258\t최선의 손실: 0.082258\t정확도: 97.54%\n", "24\t검증 세트 손실: 0.076333\t최선의 손실: 0.076333\t정확도: 97.62%\n", "25\t검증 세트 손실: 0.080922\t최선의 손실: 0.076333\t정확도: 98.05%\n", "26\t검증 세트 손실: 0.086210\t최선의 손실: 0.076333\t정확도: 98.08%\n", "27\t검증 세트 손실: 0.097129\t최선의 손실: 0.076333\t정확도: 97.89%\n", "28\t검증 세트 손실: 0.081111\t최선의 손실: 0.076333\t정확도: 97.97%\n", "29\t검증 세트 손실: 0.079537\t최선의 손실: 0.076333\t정확도: 98.28%\n", "30\t검증 세트 손실: 0.088455\t최선의 손실: 0.076333\t정확도: 97.93%\n", "31\t검증 세트 손실: 0.084870\t최선의 손실: 0.076333\t정확도: 98.40%\n", "32\t검증 세트 손실: 0.075438\t최선의 손실: 0.075438\t정확도: 98.28%\n", "33\t검증 세트 손실: 0.087953\t최선의 손실: 0.075438\t정확도: 98.32%\n", "34\t검증 세트 손실: 0.098571\t최선의 손실: 0.075438\t정확도: 98.28%\n", "35\t검증 세트 손실: 0.076184\t최선의 손실: 0.075438\t정확도: 98.08%\n", "36\t검증 세트 손실: 0.202228\t최선의 손실: 0.075438\t정확도: 97.38%\n", "37\t검증 세트 손실: 0.098111\t최선의 손실: 0.075438\t정확도: 97.73%\n", "38\t검증 세트 손실: 0.110263\t최선의 손실: 0.075438\t정확도: 97.30%\n", "39\t검증 세트 손실: 0.111694\t최선의 손실: 0.075438\t정확도: 97.89%\n", "40\t검증 세트 손실: 0.126187\t최선의 손실: 0.075438\t정확도: 97.89%\n", "41\t검증 세트 손실: 0.171487\t최선의 손실: 0.075438\t정확도: 97.58%\n", "42\t검증 세트 손실: 0.080683\t최선의 손실: 0.075438\t정확도: 98.40%\n", "43\t검증 세트 손실: 0.074382\t최선의 손실: 0.074382\t정확도: 98.48%\n", "44\t검증 세트 손실: 0.075319\t최선의 손실: 0.074382\t정확도: 98.63%\n", "45\t검증 세트 손실: 0.069824\t최선의 손실: 0.069824\t정확도: 98.63%\n", "46\t검증 세트 손실: 0.078424\t최선의 손실: 0.069824\t정확도: 98.36%\n", "47\t검증 세트 손실: 0.073932\t최선의 손실: 0.069824\t정확도: 98.48%\n", "48\t검증 세트 손실: 0.086350\t최선의 손실: 0.069824\t정확도: 98.48%\n", "49\t검증 세트 손실: 0.082335\t최선의 손실: 0.069824\t정확도: 98.55%\n", "50\t검증 세트 손실: 0.083764\t최선의 손실: 0.069824\t정확도: 98.40%\n", "51\t검증 세트 손실: 0.082354\t최선의 손실: 0.069824\t정확도: 98.79%\n", "52\t검증 세트 손실: 0.101799\t최선의 손실: 0.069824\t정확도: 98.36%\n", "53\t검증 세트 손실: 0.075515\t최선의 손실: 0.069824\t정확도: 98.91%\n", "54\t검증 세트 손실: 0.089485\t최선의 손실: 0.069824\t정확도: 98.55%\n", "55\t검증 세트 손실: 0.095375\t최선의 손실: 0.069824\t정확도: 98.63%\n", "56\t검증 세트 손실: 0.078092\t최선의 손실: 0.069824\t정확도: 98.59%\n", "57\t검증 세트 손실: 0.113737\t최선의 손실: 0.069824\t정확도: 98.44%\n", "58\t검증 세트 손실: 0.113555\t최선의 손실: 0.069824\t정확도: 97.58%\n", "59\t검증 세트 손실: 0.139272\t최선의 손실: 0.069824\t정확도: 98.01%\n", "60\t검증 세트 손실: 0.094155\t최선의 손실: 0.069824\t정확도: 98.36%\n", "61\t검증 세트 손실: 0.103017\t최선의 손실: 0.069824\t정확도: 98.40%\n", "62\t검증 세트 손실: 0.093321\t최선의 손실: 0.069824\t정확도: 98.59%\n", "63\t검증 세트 손실: 0.096376\t최선의 손실: 0.069824\t정확도: 98.51%\n", "64\t검증 세트 손실: 0.098016\t최선의 손실: 0.069824\t정확도: 98.63%\n", "65\t검증 세트 손실: 0.104939\t최선의 손실: 0.069824\t정확도: 98.75%\n", "66\t검증 세트 손실: 0.108317\t최선의 손실: 0.069824\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 18.0s\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.178874\t최선의 손실: 0.178874\t정확도: 96.17%\n", "1\t검증 세트 손실: 0.168464\t최선의 손실: 0.168464\t정확도: 95.90%\n", "2\t검증 세트 손실: 0.137177\t최선의 손실: 0.137177\t정확도: 96.52%\n", "3\t검증 세트 손실: 0.135009\t최선의 손실: 0.135009\t정확도: 96.60%\n", "4\t검증 세트 손실: 0.136809\t최선의 손실: 0.135009\t정확도: 96.72%\n", "5\t검증 세트 손실: 0.182949\t최선의 손실: 0.135009\t정확도: 96.76%\n", "6\t검증 세트 손실: 0.161491\t최선의 손실: 0.135009\t정확도: 96.52%\n", "7\t검증 세트 손실: 0.149442\t최선의 손실: 0.135009\t정확도: 96.64%\n", "8\t검증 세트 손실: 0.302683\t최선의 손실: 0.135009\t정확도: 96.56%\n", "9\t검증 세트 손실: 0.233316\t최선의 손실: 0.135009\t정확도: 94.25%\n", "10\t검증 세트 손실: 0.320868\t최선의 손실: 0.135009\t정확도: 93.59%\n", "11\t검증 세트 손실: 0.434802\t최선의 손실: 0.135009\t정확도: 82.60%\n", "12\t검증 세트 손실: 0.371503\t최선의 손실: 0.135009\t정확도: 87.37%\n", "13\t검증 세트 손실: 0.581885\t최선의 손실: 0.135009\t정확도: 85.26%\n", "14\t검증 세트 손실: 0.332079\t최선의 손실: 0.135009\t정확도: 90.34%\n", "15\t검증 세트 손실: 0.311369\t최선의 손실: 0.135009\t정확도: 90.93%\n", "16\t검증 세트 손실: 0.343563\t최선의 손실: 0.135009\t정확도: 89.84%\n", "17\t검증 세트 손실: 0.335769\t최선의 손실: 0.135009\t정확도: 90.73%\n", "18\t검증 세트 손실: 0.269528\t최선의 손실: 0.135009\t정확도: 93.71%\n", "19\t검증 세트 손실: 0.485307\t최선의 손실: 0.135009\t정확도: 79.16%\n", "20\t검증 세트 손실: 0.253127\t최선의 손실: 0.135009\t정확도: 93.20%\n", "21\t검증 세트 손실: 0.308981\t최선의 손실: 0.135009\t정확도: 94.53%\n", "22\t검증 세트 손실: 0.290109\t최선의 손실: 0.135009\t정확도: 94.88%\n", "23\t검증 세트 손실: 0.228698\t최선의 손실: 0.135009\t정확도: 95.47%\n", "24\t검증 세트 손실: 0.220054\t최선의 손실: 0.135009\t정확도: 95.97%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=, total= 3.3s\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.566352\t최선의 손실: 0.566352\t정확도: 74.59%\n", "1\t검증 세트 손실: 0.570032\t최선의 손실: 0.566352\t정확도: 75.14%\n", "2\t검증 세트 손실: 0.541036\t최선의 손실: 0.541036\t정확도: 76.35%\n", "3\t검증 세트 손실: 0.555777\t최선의 손실: 0.541036\t정확도: 79.20%\n", "4\t검증 세트 손실: 0.548118\t최선의 손실: 0.541036\t정확도: 76.90%\n", "5\t검증 세트 손실: 0.593899\t최선의 손실: 0.541036\t정확도: 75.72%\n", "6\t검증 세트 손실: 0.487665\t최선의 손실: 0.487665\t정확도: 81.90%\n", "7\t검증 세트 손실: 0.473824\t최선의 손실: 0.473824\t정확도: 83.78%\n", "8\t검증 세트 손실: 0.424803\t최선의 손실: 0.424803\t정확도: 87.29%\n", "9\t검증 세트 손실: 0.365355\t최선의 손실: 0.365355\t정확도: 89.68%\n", "10\t검증 세트 손실: 0.353226\t최선의 손실: 0.353226\t정확도: 88.82%\n", "11\t검증 세트 손실: 0.758854\t최선의 손실: 0.353226\t정확도: 60.56%\n", "12\t검증 세트 손실: 0.764915\t최선의 손실: 0.353226\t정확도: 60.56%\n", "13\t검증 세트 손실: 0.774055\t최선의 손실: 0.353226\t정확도: 60.20%\n", "14\t검증 세트 손실: 0.742843\t최선의 손실: 0.353226\t정확도: 60.36%\n", "15\t검증 세트 손실: 0.752301\t최선의 손실: 0.353226\t정확도: 59.77%\n", "16\t검증 세트 손실: 0.764330\t최선의 손실: 0.353226\t정확도: 59.54%\n", "17\t검증 세트 손실: 0.799040\t최선의 손실: 0.353226\t정확도: 58.60%\n", "18\t검증 세트 손실: 0.748442\t최선의 손실: 0.353226\t정확도: 60.16%\n", "19\t검증 세트 손실: 0.744866\t최선의 손실: 0.353226\t정확도: 59.81%\n", "20\t검증 세트 손실: 0.753063\t최선의 손실: 0.353226\t정확도: 59.70%\n", "21\t검증 세트 손실: 0.763252\t최선의 손실: 0.353226\t정확도: 60.75%\n", "22\t검증 세트 손실: 0.750028\t최선의 손실: 0.353226\t정확도: 60.36%\n", "23\t검증 세트 손실: 0.745839\t최선의 손실: 0.353226\t정확도: 60.40%\n", "24\t검증 세트 손실: 0.756703\t최선의 손실: 0.353226\t정확도: 59.62%\n", "25\t검증 세트 손실: 0.760251\t최선의 손실: 0.353226\t정확도: 59.38%\n", "26\t검증 세트 손실: 0.765373\t최선의 손실: 0.353226\t정확도: 59.30%\n", "27\t검증 세트 손실: 0.780413\t최선의 손실: 0.353226\t정확도: 59.54%\n", "28\t검증 세트 손실: 0.772096\t최선의 손실: 0.353226\t정확도: 59.15%\n", "29\t검증 세트 손실: 0.817674\t최선의 손실: 0.353226\t정확도: 59.30%\n", "30\t검증 세트 손실: 1.183463\t최선의 손실: 0.353226\t정확도: 41.63%\n", "31\t검증 세트 손실: 1.183334\t최선의 손실: 0.353226\t정확도: 38.74%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=, total= 4.2s\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.586215\t최선의 손실: 0.586215\t정확도: 70.33%\n", "1\t검증 세트 손실: 0.614080\t최선의 손실: 0.586215\t정확도: 70.80%\n", "2\t검증 세트 손실: 0.509042\t최선의 손실: 0.509042\t정확도: 74.20%\n", "3\t검증 세트 손실: 0.414994\t최선의 손실: 0.414994\t정확도: 88.58%\n", "4\t검증 세트 손실: 0.563855\t최선의 손실: 0.414994\t정확도: 84.95%\n", "5\t검증 세트 손실: 0.474266\t최선의 손실: 0.414994\t정확도: 84.83%\n", "6\t검증 세트 손실: 0.335126\t최선의 손실: 0.335126\t정확도: 89.87%\n", "7\t검증 세트 손실: 0.384594\t최선의 손실: 0.335126\t정확도: 86.63%\n", "8\t검증 세트 손실: 0.554683\t최선의 손실: 0.335126\t정확도: 83.23%\n", "9\t검증 세트 손실: 0.394285\t최선의 손실: 0.335126\t정확도: 87.65%\n", "10\t검증 세트 손실: 0.522484\t최선의 손실: 0.335126\t정확도: 85.97%\n", "11\t검증 세트 손실: 0.848857\t최선의 손실: 0.335126\t정확도: 55.59%\n", "12\t검증 세트 손실: 1.144138\t최선의 손실: 0.335126\t정확도: 42.22%\n", "13\t검증 세트 손실: 1.184581\t최선의 손실: 0.335126\t정확도: 40.58%\n", "14\t검증 세트 손실: 1.135363\t최선의 손실: 0.335126\t정확도: 40.27%\n", "15\t검증 세트 손실: 1.174794\t최선의 손실: 0.335126\t정확도: 39.60%\n", "16\t검증 세트 손실: 1.215346\t최선의 손실: 0.335126\t정확도: 40.46%\n", "17\t검증 세트 손실: 1.246966\t최선의 손실: 0.335126\t정확도: 40.46%\n", "18\t검증 세트 손실: 1.206455\t최선의 손실: 0.335126\t정확도: 41.91%\n", "19\t검증 세트 손실: 1.206769\t최선의 손실: 0.335126\t정확도: 40.46%\n", "20\t검증 세트 손실: 1.213995\t최선의 손실: 0.335126\t정확도: 40.03%\n", "21\t검증 세트 손실: 1.206895\t최선의 손실: 0.335126\t정확도: 41.91%\n", "22\t검증 세트 손실: 1.209544\t최선의 손실: 0.335126\t정확도: 40.03%\n", "23\t검증 세트 손실: 1.207423\t최선의 손실: 0.335126\t정확도: 40.46%\n", "24\t검증 세트 손실: 1.205273\t최선의 손실: 0.335126\t정확도: 41.91%\n", "25\t검증 세트 손실: 1.208551\t최선의 손실: 0.335126\t정확도: 40.03%\n", "26\t검증 세트 손실: 1.205681\t최선의 손실: 0.335126\t정확도: 40.46%\n", "27\t검증 세트 손실: 1.209201\t최선의 손실: 0.335126\t정확도: 40.03%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.05, batch_size=100, activation=, total= 3.6s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.207486\t최선의 손실: 0.207486\t정확도: 94.53%\n", "1\t검증 세트 손실: 0.130800\t최선의 손실: 0.130800\t정확도: 96.01%\n", "2\t검증 세트 손실: 0.107869\t최선의 손실: 0.107869\t정확도: 97.22%\n", "3\t검증 세트 손실: 0.092574\t최선의 손실: 0.092574\t정확도: 97.54%\n", "4\t검증 세트 손실: 0.100508\t최선의 손실: 0.092574\t정확도: 96.83%\n", "5\t검증 세트 손실: 0.084469\t최선의 손실: 0.084469\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.083164\t최선의 손실: 0.083164\t정확도: 97.69%\n", "7\t검증 세트 손실: 0.075947\t최선의 손실: 0.075947\t정확도: 97.73%\n", "8\t검증 세트 손실: 0.075357\t최선의 손실: 0.075357\t정확도: 97.58%\n", "9\t검증 세트 손실: 0.080147\t최선의 손실: 0.075357\t정확도: 97.97%\n", "10\t검증 세트 손실: 0.089389\t최선의 손실: 0.075357\t정확도: 97.81%\n", "11\t검증 세트 손실: 0.097586\t최선의 손실: 0.075357\t정확도: 97.54%\n", "12\t검증 세트 손실: 0.082163\t최선의 손실: 0.075357\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.079640\t최선의 손실: 0.075357\t정확도: 97.85%\n", "14\t검증 세트 손실: 0.076942\t최선의 손실: 0.075357\t정확도: 97.89%\n", "15\t검증 세트 손실: 0.074154\t최선의 손실: 0.074154\t정확도: 97.77%\n", "16\t검증 세트 손실: 0.099050\t최선의 손실: 0.074154\t정확도: 97.26%\n", "17\t검증 세트 손실: 0.097326\t최선의 손실: 0.074154\t정확도: 97.77%\n", "18\t검증 세트 손실: 0.093988\t최선의 손실: 0.074154\t정확도: 97.62%\n", "19\t검증 세트 손실: 0.090262\t최선의 손실: 0.074154\t정확도: 97.54%\n", "20\t검증 세트 손실: 0.081459\t최선의 손실: 0.074154\t정확도: 97.73%\n", "21\t검증 세트 손실: 0.089478\t최선의 손실: 0.074154\t정확도: 97.73%\n", "22\t검증 세트 손실: 0.079805\t최선의 손실: 0.074154\t정확도: 98.01%\n", "23\t검증 세트 손실: 0.108147\t최선의 손실: 0.074154\t정확도: 97.85%\n", "24\t검증 세트 손실: 0.105120\t최선의 손실: 0.074154\t정확도: 97.54%\n", "25\t검증 세트 손실: 0.096132\t최선의 손실: 0.074154\t정확도: 97.54%\n", "26\t검증 세트 손실: 0.097558\t최선의 손실: 0.074154\t정확도: 97.89%\n", "27\t검증 세트 손실: 0.105943\t최선의 손실: 0.074154\t정확도: 97.69%\n", "28\t검증 세트 손실: 0.089630\t최선의 손실: 0.074154\t정확도: 97.81%\n", "29\t검증 세트 손실: 0.107367\t최선의 손실: 0.074154\t정확도: 97.89%\n", "30\t검증 세트 손실: 0.087503\t최선의 손실: 0.074154\t정확도: 98.08%\n", "31\t검증 세트 손실: 0.111345\t최선의 손실: 0.074154\t정확도: 98.01%\n", "32\t검증 세트 손실: 0.093124\t최선의 손실: 0.074154\t정확도: 97.89%\n", "33\t검증 세트 손실: 0.119177\t최선의 손실: 0.074154\t정확도: 97.69%\n", "34\t검증 세트 손실: 0.102487\t최선의 손실: 0.074154\t정확도: 97.58%\n", "35\t검증 세트 손실: 0.115130\t최선의 손실: 0.074154\t정확도: 97.69%\n", "36\t검증 세트 손실: 0.098754\t최선의 손실: 0.074154\t정확도: 97.69%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 2.7s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.213791\t최선의 손실: 0.213791\t정확도: 93.98%\n", "1\t검증 세트 손실: 0.134713\t최선의 손실: 0.134713\t정확도: 96.36%\n", "2\t검증 세트 손실: 0.122060\t최선의 손실: 0.122060\t정확도: 96.44%\n", "3\t검증 세트 손실: 0.105862\t최선의 손실: 0.105862\t정확도: 97.34%\n", "4\t검증 세트 손실: 0.097588\t최선의 손실: 0.097588\t정확도: 97.34%\n", "5\t검증 세트 손실: 0.094758\t최선의 손실: 0.094758\t정확도: 97.26%\n", "6\t검증 세트 손실: 0.101506\t최선의 손실: 0.094758\t정확도: 96.99%\n", "7\t검증 세트 손실: 0.105163\t최선의 손실: 0.094758\t정확도: 96.95%\n", "8\t검증 세트 손실: 0.094037\t최선의 손실: 0.094037\t정확도: 97.65%\n", "9\t검증 세트 손실: 0.097605\t최선의 손실: 0.094037\t정확도: 97.11%\n", "10\t검증 세트 손실: 0.113056\t최선의 손실: 0.094037\t정확도: 97.22%\n", "11\t검증 세트 손실: 0.095446\t최선의 손실: 0.094037\t정확도: 97.38%\n", "12\t검증 세트 손실: 0.098122\t최선의 손실: 0.094037\t정확도: 97.26%\n", "13\t검증 세트 손실: 0.088003\t최선의 손실: 0.088003\t정확도: 97.65%\n", "14\t검증 세트 손실: 0.100637\t최선의 손실: 0.088003\t정확도: 97.30%\n", "15\t검증 세트 손실: 0.087943\t최선의 손실: 0.087943\t정확도: 97.54%\n", "16\t검증 세트 손실: 0.090365\t최선의 손실: 0.087943\t정확도: 97.65%\n", "17\t검증 세트 손실: 0.090855\t최선의 손실: 0.087943\t정확도: 97.54%\n", "18\t검증 세트 손실: 0.102127\t최선의 손실: 0.087943\t정확도: 97.65%\n", "19\t검증 세트 손실: 0.127125\t최선의 손실: 0.087943\t정확도: 96.95%\n", "20\t검증 세트 손실: 0.095296\t최선의 손실: 0.087943\t정확도: 97.46%\n", "21\t검증 세트 손실: 0.126552\t최선의 손실: 0.087943\t정확도: 96.83%\n", "22\t검증 세트 손실: 0.096040\t최선의 손실: 0.087943\t정확도: 97.54%\n", "23\t검증 세트 손실: 0.097918\t최선의 손실: 0.087943\t정확도: 97.69%\n", "24\t검증 세트 손실: 0.089013\t최선의 손실: 0.087943\t정확도: 97.69%\n", "25\t검증 세트 손실: 0.081795\t최선의 손실: 0.081795\t정확도: 97.81%\n", "26\t검증 세트 손실: 0.099960\t최선의 손실: 0.081795\t정확도: 97.50%\n", "27\t검증 세트 손실: 0.106775\t최선의 손실: 0.081795\t정확도: 97.50%\n", "28\t검증 세트 손실: 0.101248\t최선의 손실: 0.081795\t정확도: 97.65%\n", "29\t검증 세트 손실: 0.104577\t최선의 손실: 0.081795\t정확도: 98.20%\n", "30\t검증 세트 손실: 0.103716\t최선의 손실: 0.081795\t정확도: 97.73%\n", "31\t검증 세트 손실: 0.100573\t최선의 손실: 0.081795\t정확도: 97.89%\n", "32\t검증 세트 손실: 0.114881\t최선의 손실: 0.081795\t정확도: 97.81%\n", "33\t검증 세트 손실: 0.090023\t최선의 손실: 0.081795\t정확도: 97.85%\n", "34\t검증 세트 손실: 0.147444\t최선의 손실: 0.081795\t정확도: 97.30%\n", "35\t검증 세트 손실: 0.093965\t최선의 손실: 0.081795\t정확도: 97.85%\n", "36\t검증 세트 손실: 0.114427\t최선의 손실: 0.081795\t정확도: 97.65%\n", "37\t검증 세트 손실: 0.107856\t최선의 손실: 0.081795\t정확도: 97.69%\n", "38\t검증 세트 손실: 0.112271\t최선의 손실: 0.081795\t정확도: 97.89%\n", "39\t검증 세트 손실: 0.129546\t최선의 손실: 0.081795\t정확도: 97.58%\n", "40\t검증 세트 손실: 0.125476\t최선의 손실: 0.081795\t정확도: 97.11%\n", "41\t검증 세트 손실: 0.126041\t최선의 손실: 0.081795\t정확도: 97.77%\n", "42\t검증 세트 손실: 0.102021\t최선의 손실: 0.081795\t정확도: 97.50%\n", "43\t검증 세트 손실: 0.107025\t최선의 손실: 0.081795\t정확도: 97.81%\n", "44\t검증 세트 손실: 0.111732\t최선의 손실: 0.081795\t정확도: 97.65%\n", "45\t검증 세트 손실: 0.153487\t최선의 손실: 0.081795\t정확도: 97.22%\n", "46\t검증 세트 손실: 0.130821\t최선의 손실: 0.081795\t정확도: 97.73%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 3.4s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.394790\t최선의 손실: 0.394790\t정확도: 92.77%\n", "1\t검증 세트 손실: 0.149463\t최선의 손실: 0.149463\t정확도: 95.86%\n", "2\t검증 세트 손실: 0.117006\t최선의 손실: 0.117006\t정확도: 96.52%\n", "3\t검증 세트 손실: 0.110410\t최선의 손실: 0.110410\t정확도: 96.60%\n", "4\t검증 세트 손실: 0.101255\t최선의 손실: 0.101255\t정확도: 96.87%\n", "5\t검증 세트 손실: 0.093461\t최선의 손실: 0.093461\t정확도: 97.42%\n", "6\t검증 세트 손실: 0.092672\t최선의 손실: 0.092672\t정확도: 97.03%\n", "7\t검증 세트 손실: 0.085061\t최선의 손실: 0.085061\t정확도: 97.50%\n", "8\t검증 세트 손실: 0.092167\t최선의 손실: 0.085061\t정확도: 97.34%\n", "9\t검증 세트 손실: 0.103642\t최선의 손실: 0.085061\t정확도: 96.95%\n", "10\t검증 세트 손실: 0.090204\t최선의 손실: 0.085061\t정확도: 97.54%\n", "11\t검증 세트 손실: 0.086944\t최선의 손실: 0.085061\t정확도: 97.58%\n", "12\t검증 세트 손실: 0.076301\t최선의 손실: 0.076301\t정확도: 97.81%\n", "13\t검증 세트 손실: 0.080905\t최선의 손실: 0.076301\t정확도: 97.81%\n", "14\t검증 세트 손실: 0.102347\t최선의 손실: 0.076301\t정확도: 97.34%\n", "15\t검증 세트 손실: 0.083201\t최선의 손실: 0.076301\t정확도: 97.93%\n", "16\t검증 세트 손실: 0.089948\t최선의 손실: 0.076301\t정확도: 97.46%\n", "17\t검증 세트 손실: 0.098370\t최선의 손실: 0.076301\t정확도: 97.30%\n", "18\t검증 세트 손실: 0.090863\t최선의 손실: 0.076301\t정확도: 97.46%\n", "19\t검증 세트 손실: 0.099144\t최선의 손실: 0.076301\t정확도: 97.54%\n", "20\t검증 세트 손실: 0.091318\t최선의 손실: 0.076301\t정확도: 97.54%\n", "21\t검증 세트 손실: 0.092398\t최선의 손실: 0.076301\t정확도: 97.81%\n", "22\t검증 세트 손실: 0.104217\t최선의 손실: 0.076301\t정확도: 97.50%\n", "23\t검증 세트 손실: 0.092128\t최선의 손실: 0.076301\t정확도: 97.58%\n", "24\t검증 세트 손실: 0.097106\t최선의 손실: 0.076301\t정확도: 97.81%\n", "25\t검증 세트 손실: 0.112606\t최선의 손실: 0.076301\t정확도: 97.34%\n", "26\t검증 세트 손실: 0.097347\t최선의 손실: 0.076301\t정확도: 97.46%\n", "27\t검증 세트 손실: 0.116242\t최선의 손실: 0.076301\t정확도: 97.30%\n", "28\t검증 세트 손실: 0.103642\t최선의 손실: 0.076301\t정확도: 97.81%\n", "29\t검증 세트 손실: 0.115101\t최선의 손실: 0.076301\t정확도: 97.58%\n", "30\t검증 세트 손실: 0.104617\t최선의 손실: 0.076301\t정확도: 97.77%\n", "31\t검증 세트 손실: 0.106787\t최선의 손실: 0.076301\t정확도: 97.46%\n", "32\t검증 세트 손실: 0.112354\t최선의 손실: 0.076301\t정확도: 97.34%\n", "33\t검증 세트 손실: 0.110330\t최선의 손실: 0.076301\t정확도: 97.77%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 2.6s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.098629\t최선의 손실: 0.098629\t정확도: 97.46%\n", "1\t검증 세트 손실: 0.160645\t최선의 손실: 0.098629\t정확도: 96.95%\n", "2\t검증 세트 손실: 0.118853\t최선의 손실: 0.098629\t정확도: 97.62%\n", "3\t검증 세트 손실: 0.120856\t최선의 손실: 0.098629\t정확도: 97.34%\n", "4\t검증 세트 손실: 0.088769\t최선의 손실: 0.088769\t정확도: 97.65%\n", "5\t검증 세트 손실: 0.340726\t최선의 손실: 0.088769\t정확도: 95.27%\n", "6\t검증 세트 손실: 1.652843\t최선의 손실: 0.088769\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.637792\t최선의 손실: 0.088769\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.697906\t최선의 손실: 0.088769\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.747859\t최선의 손실: 0.088769\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.634763\t최선의 손실: 0.088769\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.628972\t최선의 손실: 0.088769\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.618302\t최선의 손실: 0.088769\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.609168\t최선의 손실: 0.088769\t정확도: 20.91%\n", "14\t검증 세트 손실: 1.646181\t최선의 손실: 0.088769\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.625818\t최선의 손실: 0.088769\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.632980\t최선의 손실: 0.088769\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.629138\t최선의 손실: 0.088769\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.687351\t최선의 손실: 0.088769\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.623718\t최선의 손실: 0.088769\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.652336\t최선의 손실: 0.088769\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.650169\t최선의 손실: 0.088769\t정확도: 19.08%\n", "22\t검증 세트 손실: 1.633536\t최선의 손실: 0.088769\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.614805\t최선의 손실: 0.088769\t정확도: 19.08%\n", "24\t검증 세트 손실: 1.662865\t최선의 손실: 0.088769\t정확도: 19.27%\n", "25\t검증 세트 손실: 1.664499\t최선의 손실: 0.088769\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=, total= 6.5s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.117705\t최선의 손실: 0.117705\t정확도: 97.22%\n", "1\t검증 세트 손실: 0.074115\t최선의 손실: 0.074115\t정확도: 98.05%\n", "2\t검증 세트 손실: 0.102854\t최선의 손실: 0.074115\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.766439\t최선의 손실: 0.074115\t정확도: 82.80%\n", "4\t검증 세트 손실: 0.127101\t최선의 손실: 0.074115\t정확도: 96.83%\n", "5\t검증 세트 손실: 0.104400\t최선의 손실: 0.074115\t정확도: 97.42%\n", "6\t검증 세트 손실: 0.057533\t최선의 손실: 0.057533\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.122922\t최선의 손실: 0.057533\t정확도: 97.85%\n", "8\t검증 세트 손실: 0.090492\t최선의 손실: 0.057533\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.298647\t최선의 손실: 0.057533\t정확도: 91.32%\n", "10\t검증 세트 손실: 0.081541\t최선의 손실: 0.057533\t정확도: 97.77%\n", "11\t검증 세트 손실: 0.490874\t최선의 손실: 0.057533\t정확도: 88.90%\n", "12\t검증 세트 손실: 0.469737\t최선의 손실: 0.057533\t정확도: 93.51%\n", "13\t검증 세트 손실: 0.203566\t최선의 손실: 0.057533\t정확도: 96.25%\n", "14\t검증 세트 손실: 0.126177\t최선의 손실: 0.057533\t정확도: 97.50%\n", "15\t검증 세트 손실: 0.091925\t최선의 손실: 0.057533\t정확도: 97.50%\n", "16\t검증 세트 손실: 0.115791\t최선의 손실: 0.057533\t정확도: 97.42%\n", "17\t검증 세트 손실: 0.362830\t최선의 손실: 0.057533\t정확도: 90.23%\n", "18\t검증 세트 손실: 0.118158\t최선의 손실: 0.057533\t정확도: 97.19%\n", "19\t검증 세트 손실: 0.139162\t최선의 손실: 0.057533\t정확도: 96.79%\n", "20\t검증 세트 손실: 0.336435\t최선의 손실: 0.057533\t정확도: 96.76%\n", "21\t검증 세트 손실: 0.111332\t최선의 손실: 0.057533\t정확도: 97.73%\n", "22\t검증 세트 손실: 8.772380\t최선의 손실: 0.057533\t정확도: 74.24%\n", "23\t검증 세트 손실: 1.675194\t최선의 손실: 0.057533\t정확도: 22.20%\n", "24\t검증 세트 손실: 1.775376\t최선의 손실: 0.057533\t정확도: 18.92%\n", "25\t검증 세트 손실: 1.644954\t최선의 손실: 0.057533\t정확도: 18.92%\n", "26\t검증 세트 손실: 1.634844\t최선의 손실: 0.057533\t정확도: 19.27%\n", "27\t검증 세트 손실: 1.640786\t최선의 손실: 0.057533\t정확도: 19.47%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=, total= 7.0s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.120756\t최선의 손실: 0.120756\t정확도: 96.33%\n", "1\t검증 세트 손실: 0.134354\t최선의 손실: 0.120756\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.178365\t최선의 손실: 0.120756\t정확도: 95.93%\n", "3\t검증 세트 손실: 0.064231\t최선의 손실: 0.064231\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.090468\t최선의 손실: 0.064231\t정확도: 98.05%\n", "5\t검증 세트 손실: 0.089283\t최선의 손실: 0.064231\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.063750\t최선의 손실: 0.063750\t정확도: 98.55%\n", "7\t검증 세트 손실: 0.138512\t최선의 손실: 0.063750\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.825524\t최선의 손실: 0.063750\t정확도: 94.18%\n", "9\t검증 세트 손실: 0.396089\t최선의 손실: 0.063750\t정확도: 92.14%\n", "10\t검증 세트 손실: 0.261599\t최선의 손실: 0.063750\t정확도: 94.14%\n", "11\t검증 세트 손실: 0.171289\t최선의 손실: 0.063750\t정확도: 96.01%\n", "12\t검증 세트 손실: 0.121224\t최선의 손실: 0.063750\t정확도: 97.34%\n", "13\t검증 세트 손실: 0.148863\t최선의 손실: 0.063750\t정확도: 97.11%\n", "14\t검증 세트 손실: 0.108797\t최선의 손실: 0.063750\t정확도: 97.50%\n", "15\t검증 세트 손실: 0.098000\t최선의 손실: 0.063750\t정확도: 97.81%\n", "16\t검증 세트 손실: 0.102723\t최선의 손실: 0.063750\t정확도: 97.81%\n", "17\t검증 세트 손실: 0.099556\t최선의 손실: 0.063750\t정확도: 97.85%\n", "18\t검증 세트 손실: 0.143722\t최선의 손실: 0.063750\t정확도: 97.89%\n", "19\t검증 세트 손실: 0.140191\t최선의 손실: 0.063750\t정확도: 97.62%\n", "20\t검증 세트 손실: 0.529107\t최선의 손실: 0.063750\t정확도: 94.88%\n", "21\t검증 세트 손실: 0.103748\t최선의 손실: 0.063750\t정확도: 98.08%\n", "22\t검증 세트 손실: 0.121067\t최선의 손실: 0.063750\t정확도: 97.19%\n", "23\t검증 세트 손실: 0.091932\t최선의 손실: 0.063750\t정확도: 98.16%\n", "24\t검증 세트 손실: 0.152030\t최선의 손실: 0.063750\t정확도: 98.05%\n", "25\t검증 세트 손실: 0.118690\t최선의 손실: 0.063750\t정확도: 98.20%\n", "26\t검증 세트 손실: 0.123812\t최선의 손실: 0.063750\t정확도: 98.36%\n", "27\t검증 세트 손실: 0.108752\t최선의 손실: 0.063750\t정확도: 98.36%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=, total= 7.1s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.124028\t최선의 손실: 0.124028\t정확도: 96.99%\n", "1\t검증 세트 손실: 0.105041\t최선의 손실: 0.105041\t정확도: 97.19%\n", "2\t검증 세트 손실: 0.086250\t최선의 손실: 0.086250\t정확도: 97.65%\n", "3\t검증 세트 손실: 0.094049\t최선의 손실: 0.086250\t정확도: 97.50%\n", "4\t검증 세트 손실: 0.087575\t최선의 손실: 0.086250\t정확도: 97.85%\n", "5\t검증 세트 손실: 0.077451\t최선의 손실: 0.077451\t정확도: 97.93%\n", "6\t검증 세트 손실: 0.415449\t최선의 손실: 0.077451\t정확도: 93.67%\n", "7\t검증 세트 손실: 0.160814\t최선의 손실: 0.077451\t정확도: 96.87%\n", "8\t검증 세트 손실: 0.162500\t최선의 손실: 0.077451\t정확도: 97.54%\n", "9\t검증 세트 손실: 0.266064\t최선의 손실: 0.077451\t정확도: 97.58%\n", "10\t검증 세트 손실: 0.299668\t최선의 손실: 0.077451\t정확도: 97.69%\n", "11\t검증 세트 손실: 0.338111\t최선의 손실: 0.077451\t정확도: 97.65%\n", "12\t검증 세트 손실: 0.379714\t최선의 손실: 0.077451\t정확도: 97.42%\n", "13\t검증 세트 손실: 0.377035\t최선의 손실: 0.077451\t정확도: 97.54%\n", "14\t검증 세트 손실: 0.484574\t최선의 손실: 0.077451\t정확도: 97.46%\n", "15\t검증 세트 손실: 0.194351\t최선의 손실: 0.077451\t정확도: 97.22%\n", "16\t검증 세트 손실: 0.238746\t최선의 손실: 0.077451\t정확도: 97.89%\n", "17\t검증 세트 손실: 0.337602\t최선의 손실: 0.077451\t정확도: 97.81%\n", "18\t검증 세트 손실: 0.592396\t최선의 손실: 0.077451\t정확도: 97.65%\n", "19\t검증 세트 손실: 0.304590\t최선의 손실: 0.077451\t정확도: 97.69%\n", "20\t검증 세트 손실: 0.350255\t최선의 손실: 0.077451\t정확도: 97.89%\n", "21\t검증 세트 손실: 0.319910\t최선의 손실: 0.077451\t정확도: 98.28%\n", "22\t검증 세트 손실: 0.418130\t최선의 손실: 0.077451\t정확도: 97.97%\n", "23\t검증 세트 손실: 0.247930\t최선의 손실: 0.077451\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.396137\t최선의 손실: 0.077451\t정확도: 97.65%\n", "25\t검증 세트 손실: 0.480483\t최선의 손실: 0.077451\t정확도: 95.54%\n", "26\t검증 세트 손실: 1.306810\t최선의 손실: 0.077451\t정확도: 94.29%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.7s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.158430\t최선의 손실: 0.158430\t정확도: 96.44%\n", "1\t검증 세트 손실: 0.085704\t최선의 손실: 0.085704\t정확도: 97.77%\n", "2\t검증 세트 손실: 0.108427\t최선의 손실: 0.085704\t정확도: 97.03%\n", "3\t검증 세트 손실: 0.076443\t최선의 손실: 0.076443\t정확도: 98.01%\n", "4\t검증 세트 손실: 0.071128\t최선의 손실: 0.071128\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.123939\t최선의 손실: 0.071128\t정확도: 97.34%\n", "6\t검증 세트 손실: 0.126308\t최선의 손실: 0.071128\t정확도: 96.29%\n", "7\t검증 세트 손실: 0.108919\t최선의 손실: 0.071128\t정확도: 96.91%\n", "8\t검증 세트 손실: 0.081721\t최선의 손실: 0.071128\t정확도: 97.81%\n", "9\t검증 세트 손실: 0.119417\t최선의 손실: 0.071128\t정확도: 97.26%\n", "10\t검증 세트 손실: 0.087401\t최선의 손실: 0.071128\t정확도: 97.93%\n", "11\t검증 세트 손실: 0.082822\t최선의 손실: 0.071128\t정확도: 97.65%\n", "12\t검증 세트 손실: 0.139534\t최선의 손실: 0.071128\t정확도: 97.77%\n", "13\t검증 세트 손실: 0.075277\t최선의 손실: 0.071128\t정확도: 98.12%\n", "14\t검증 세트 손실: 0.095059\t최선의 손실: 0.071128\t정확도: 98.05%\n", "15\t검증 세트 손실: 0.083915\t최선의 손실: 0.071128\t정확도: 98.36%\n", "16\t검증 세트 손실: 0.097499\t최선의 손실: 0.071128\t정확도: 97.62%\n", "17\t검증 세트 손실: 0.091903\t최선의 손실: 0.071128\t정확도: 98.01%\n", "18\t검증 세트 손실: 0.578454\t최선의 손실: 0.071128\t정확도: 93.39%\n", "19\t검증 세트 손실: 0.104725\t최선의 손실: 0.071128\t정확도: 97.81%\n", "20\t검증 세트 손실: 0.113461\t최선의 손실: 0.071128\t정확도: 97.54%\n", "21\t검증 세트 손실: 0.138661\t최선의 손실: 0.071128\t정확도: 97.65%\n", "22\t검증 세트 손실: 0.160091\t최선의 손실: 0.071128\t정확도: 97.50%\n", "23\t검증 세트 손실: 0.190161\t최선의 손실: 0.071128\t정확도: 97.38%\n", "24\t검증 세트 손실: 0.153419\t최선의 손실: 0.071128\t정확도: 97.89%\n", "25\t검증 세트 손실: 0.177787\t최선의 손실: 0.071128\t정확도: 97.93%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.6s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.104343\t최선의 손실: 0.104343\t정확도: 97.50%\n", "1\t검증 세트 손실: 0.091037\t최선의 손실: 0.091037\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.224616\t최선의 손실: 0.091037\t정확도: 96.29%\n", "3\t검증 세트 손실: 0.436669\t최선의 손실: 0.091037\t정확도: 95.66%\n", "4\t검증 세트 손실: 0.113760\t최선의 손실: 0.091037\t정확도: 96.83%\n", "5\t검증 세트 손실: 0.079982\t최선의 손실: 0.079982\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.073724\t최선의 손실: 0.073724\t정확도: 97.93%\n", "7\t검증 세트 손실: 0.070780\t최선의 손실: 0.070780\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.086831\t최선의 손실: 0.070780\t정확도: 97.54%\n", "9\t검증 세트 손실: 0.065515\t최선의 손실: 0.065515\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.086769\t최선의 손실: 0.065515\t정확도: 97.62%\n", "11\t검증 세트 손실: 0.073929\t최선의 손실: 0.065515\t정확도: 97.93%\n", "12\t검증 세트 손실: 0.065510\t최선의 손실: 0.065510\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.078231\t최선의 손실: 0.065510\t정확도: 98.16%\n", "14\t검증 세트 손실: 0.072493\t최선의 손실: 0.065510\t정확도: 98.05%\n", "15\t검증 세트 손실: 0.096357\t최선의 손실: 0.065510\t정확도: 97.77%\n", "16\t검증 세트 손실: 0.104474\t최선의 손실: 0.065510\t정확도: 97.73%\n", "17\t검증 세트 손실: 0.088071\t최선의 손실: 0.065510\t정확도: 97.77%\n", "18\t검증 세트 손실: 0.085734\t최선의 손실: 0.065510\t정확도: 98.24%\n", "19\t검증 세트 손실: 0.092710\t최선의 손실: 0.065510\t정확도: 98.08%\n", "20\t검증 세트 손실: 0.076570\t최선의 손실: 0.065510\t정확도: 98.05%\n", "21\t검증 세트 손실: 0.077357\t최선의 손실: 0.065510\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.089391\t최선의 손실: 0.065510\t정확도: 98.32%\n", "23\t검증 세트 손실: 0.078522\t최선의 손실: 0.065510\t정확도: 98.05%\n", "24\t검증 세트 손실: 0.141950\t최선의 손실: 0.065510\t정확도: 97.77%\n", "25\t검증 세트 손실: 0.098782\t최선의 손실: 0.065510\t정확도: 97.81%\n", "26\t검증 세트 손실: 0.118327\t최선의 손실: 0.065510\t정확도: 98.08%\n", "27\t검증 세트 손실: 5.636372\t최선의 손실: 0.065510\t정확도: 87.84%\n", "28\t검증 세트 손실: 1.696772\t최선의 손실: 0.065510\t정확도: 89.99%\n", "29\t검증 세트 손실: 0.314153\t최선의 손실: 0.065510\t정확도: 96.25%\n", "30\t검증 세트 손실: 0.242097\t최선의 손실: 0.065510\t정확도: 96.72%\n", "31\t검증 세트 손실: 0.178663\t최선의 손실: 0.065510\t정확도: 96.99%\n", "32\t검증 세트 손실: 0.180681\t최선의 손실: 0.065510\t정확도: 97.46%\n", "33\t검증 세트 손실: 0.159723\t최선의 손실: 0.065510\t정확도: 97.34%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 5.9s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.087434\t최선의 손실: 2.087434\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.908950\t최선의 손실: 1.908950\t정확도: 22.01%\n", "2\t검증 세트 손실: 2.399851\t최선의 손실: 1.908950\t정확도: 19.27%\n", "3\t검증 세트 손실: 2.329918\t최선의 손실: 1.908950\t정확도: 22.01%\n", "4\t검증 세트 손실: 2.813124\t최선의 손실: 1.908950\t정확도: 18.73%\n", "5\t검증 세트 손실: 1.788857\t최선의 손실: 1.788857\t정확도: 19.27%\n", "6\t검증 세트 손실: 2.586871\t최선의 손실: 1.788857\t정확도: 18.73%\n", "7\t검증 세트 손실: 2.335348\t최선의 손실: 1.788857\t정확도: 18.73%\n", "8\t검증 세트 손실: 2.733963\t최선의 손실: 1.788857\t정확도: 19.08%\n", "9\t검증 세트 손실: 3.051122\t최선의 손실: 1.788857\t정확도: 22.01%\n", "10\t검증 세트 손실: 2.424796\t최선의 손실: 1.788857\t정확도: 19.27%\n", "11\t검증 세트 손실: 2.792954\t최선의 손실: 1.788857\t정확도: 19.08%\n", "12\t검증 세트 손실: 2.119969\t최선의 손실: 1.788857\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.997621\t최선의 손실: 1.788857\t정확도: 19.27%\n", "14\t검증 세트 손실: 4.296135\t최선의 손실: 1.788857\t정확도: 18.73%\n", "15\t검증 세트 손실: 2.671153\t최선의 손실: 1.788857\t정확도: 22.01%\n", "16\t검증 세트 손실: 3.082329\t최선의 손실: 1.788857\t정확도: 20.91%\n", "17\t검증 세트 손실: 3.032700\t최선의 손실: 1.788857\t정확도: 20.91%\n", "18\t검증 세트 손실: 2.500189\t최선의 손실: 1.788857\t정확도: 20.91%\n", "19\t검증 세트 손실: 3.373904\t최선의 손실: 1.788857\t정확도: 22.01%\n", "20\t검증 세트 손실: 3.018165\t최선의 손실: 1.788857\t정확도: 20.91%\n", "21\t검증 세트 손실: 2.359832\t최선의 손실: 1.788857\t정확도: 20.91%\n", "22\t검증 세트 손실: 1.775837\t최선의 손실: 1.775837\t정확도: 22.01%\n", "23\t검증 세트 손실: 2.021168\t최선의 손실: 1.775837\t정확도: 20.91%\n", "24\t검증 세트 손실: 2.938191\t최선의 손실: 1.775837\t정확도: 19.08%\n", "25\t검증 세트 손실: 3.343242\t최선의 손실: 1.775837\t정확도: 19.27%\n", "26\t검증 세트 손실: 2.519327\t최선의 손실: 1.775837\t정확도: 20.91%\n", "27\t검증 세트 손실: 2.366913\t최선의 손실: 1.775837\t정확도: 19.08%\n", "28\t검증 세트 손실: 3.581156\t최선의 손실: 1.775837\t정확도: 19.08%\n", "29\t검증 세트 손실: 3.505234\t최선의 손실: 1.775837\t정확도: 20.91%\n", "30\t검증 세트 손실: 2.071998\t최선의 손실: 1.775837\t정확도: 22.01%\n", "31\t검증 세트 손실: 3.687669\t최선의 손실: 1.775837\t정확도: 19.08%\n", "32\t검증 세트 손실: 2.071436\t최선의 손실: 1.775837\t정확도: 20.91%\n", "33\t검증 세트 손실: 2.781656\t최선의 손실: 1.775837\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.631321\t최선의 손실: 1.631321\t정확도: 22.01%\n", "35\t검증 세트 손실: 2.686703\t최선의 손실: 1.631321\t정확도: 18.73%\n", "36\t검증 세트 손실: 3.073051\t최선의 손실: 1.631321\t정확도: 22.01%\n", "37\t검증 세트 손실: 2.643429\t최선의 손실: 1.631321\t정확도: 20.91%\n", "38\t검증 세트 손실: 2.137609\t최선의 손실: 1.631321\t정확도: 19.08%\n", "39\t검증 세트 손실: 3.021153\t최선의 손실: 1.631321\t정확도: 19.08%\n", "40\t검증 세트 손실: 2.709573\t최선의 손실: 1.631321\t정확도: 18.73%\n", "41\t검증 세트 손실: 2.258729\t최선의 손실: 1.631321\t정확도: 19.27%\n", "42\t검증 세트 손실: 3.737108\t최선의 손실: 1.631321\t정확도: 22.01%\n", "43\t검증 세트 손실: 2.650852\t최선의 손실: 1.631321\t정확도: 19.27%\n", "44\t검증 세트 손실: 2.797873\t최선의 손실: 1.631321\t정확도: 19.08%\n", "45\t검증 세트 손실: 2.693038\t최선의 손실: 1.631321\t정확도: 18.73%\n", "46\t검증 세트 손실: 3.000969\t최선의 손실: 1.631321\t정확도: 18.73%\n", "47\t검증 세트 손실: 3.582025\t최선의 손실: 1.631321\t정확도: 19.27%\n", "48\t검증 세트 손실: 3.139403\t최선의 손실: 1.631321\t정확도: 18.73%\n", "49\t검증 세트 손실: 3.971894\t최선의 손실: 1.631321\t정확도: 19.27%\n", "50\t검증 세트 손실: 2.952584\t최선의 손실: 1.631321\t정확도: 19.27%\n", "51\t검증 세트 손실: 2.712203\t최선의 손실: 1.631321\t정확도: 22.01%\n", "52\t검증 세트 손실: 3.130972\t최선의 손실: 1.631321\t정확도: 19.27%\n", "53\t검증 세트 손실: 2.222214\t최선의 손실: 1.631321\t정확도: 19.08%\n", "54\t검증 세트 손실: 2.964400\t최선의 손실: 1.631321\t정확도: 19.27%\n", "55\t검증 세트 손실: 3.681787\t최선의 손실: 1.631321\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=, total= 1.1min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.666739\t최선의 손실: 1.666739\t정확도: 19.08%\n", "1\t검증 세트 손실: 2.039531\t최선의 손실: 1.666739\t정확도: 20.91%\n", "2\t검증 세트 손실: 1.904579\t최선의 손실: 1.666739\t정확도: 22.01%\n", "3\t검증 세트 손실: 2.727735\t최선의 손실: 1.666739\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.837169\t최선의 손실: 1.666739\t정확도: 22.01%\n", "5\t검증 세트 손실: 2.607653\t최선의 손실: 1.666739\t정확도: 18.73%\n", "6\t검증 세트 손실: 2.757694\t최선의 손실: 1.666739\t정확도: 18.73%\n", "7\t검증 세트 손실: 2.429045\t최선의 손실: 1.666739\t정확도: 19.08%\n", "8\t검증 세트 손실: 3.118255\t최선의 손실: 1.666739\t정확도: 19.08%\n", "9\t검증 세트 손실: 2.238760\t최선의 손실: 1.666739\t정확도: 19.27%\n", "10\t검증 세트 손실: 2.540496\t최선의 손실: 1.666739\t정확도: 20.91%\n", "11\t검증 세트 손실: 4.024342\t최선의 손실: 1.666739\t정확도: 19.08%\n", "12\t검증 세트 손실: 2.217903\t최선의 손실: 1.666739\t정확도: 20.91%\n", "13\t검증 세트 손실: 2.776817\t최선의 손실: 1.666739\t정확도: 22.01%\n", "14\t검증 세트 손실: 2.959257\t최선의 손실: 1.666739\t정확도: 20.91%\n", "15\t검증 세트 손실: 2.762816\t최선의 손실: 1.666739\t정확도: 20.91%\n", "16\t검증 세트 손실: 2.245259\t최선의 손실: 1.666739\t정확도: 22.01%\n", "17\t검증 세트 손실: 2.643824\t최선의 손실: 1.666739\t정확도: 19.08%\n", "18\t검증 세트 손실: 3.454876\t최선의 손실: 1.666739\t정확도: 22.01%\n", "19\t검증 세트 손실: 3.536183\t최선의 손실: 1.666739\t정확도: 19.27%\n", "20\t검증 세트 손실: 2.250038\t최선의 손실: 1.666739\t정확도: 18.73%\n", "21\t검증 세트 손실: 2.961766\t최선의 손실: 1.666739\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=, total= 25.8s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.752184\t최선의 손실: 1.752184\t정확도: 20.91%\n", "1\t검증 세트 손실: 2.232301\t최선의 손실: 1.752184\t정확도: 22.01%\n", "2\t검증 세트 손실: 2.635562\t최선의 손실: 1.752184\t정확도: 19.08%\n", "3\t검증 세트 손실: 3.032478\t최선의 손실: 1.752184\t정확도: 22.01%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "4\t검증 세트 손실: 2.674482\t최선의 손실: 1.752184\t정확도: 20.91%\n", "5\t검증 세트 손실: 3.170716\t최선의 손실: 1.752184\t정확도: 20.91%\n", "6\t검증 세트 손실: 2.329651\t최선의 손실: 1.752184\t정확도: 20.91%\n", "7\t검증 세트 손실: 2.229480\t최선의 손실: 1.752184\t정확도: 19.27%\n", "8\t검증 세트 손실: 2.274400\t최선의 손실: 1.752184\t정확도: 22.01%\n", "9\t검증 세트 손실: 2.208699\t최선의 손실: 1.752184\t정확도: 22.01%\n", "10\t검증 세트 손실: 2.130490\t최선의 손실: 1.752184\t정확도: 18.73%\n", "11\t검증 세트 손실: 2.541695\t최선의 손실: 1.752184\t정확도: 19.08%\n", "12\t검증 세트 손실: 4.161201\t최선의 손실: 1.752184\t정확도: 20.91%\n", "13\t검증 세트 손실: 2.705544\t최선의 손실: 1.752184\t정확도: 22.01%\n", "14\t검증 세트 손실: 2.812274\t최선의 손실: 1.752184\t정확도: 19.27%\n", "15\t검증 세트 손실: 2.892021\t최선의 손실: 1.752184\t정확도: 18.73%\n", "16\t검증 세트 손실: 2.830200\t최선의 손실: 1.752184\t정확도: 20.91%\n", "17\t검증 세트 손실: 2.845695\t최선의 손실: 1.752184\t정확도: 20.91%\n", "18\t검증 세트 손실: 3.050031\t최선의 손실: 1.752184\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.988322\t최선의 손실: 1.752184\t정확도: 22.01%\n", "20\t검증 세트 손실: 2.268836\t최선의 손실: 1.752184\t정확도: 19.08%\n", "21\t검증 세트 손실: 3.946499\t최선의 손실: 1.752184\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, activation=, total= 25.6s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation= \n", "0\t검증 세트 손실: 3.830313\t최선의 손실: 3.830313\t정확도: 19.08%\n", "1\t검증 세트 손실: 1.650776\t최선의 손실: 1.650776\t정확도: 22.01%\n", "2\t검증 세트 손실: 1.617856\t최선의 손실: 1.617856\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.650861\t최선의 손실: 1.617856\t정확도: 19.08%\n", "4\t검증 세트 손실: 1.683475\t최선의 손실: 1.617856\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.649877\t최선의 손실: 1.617856\t정확도: 18.73%\n", "6\t검증 세트 손실: 1.639223\t최선의 손실: 1.617856\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.632789\t최선의 손실: 1.617856\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.708920\t최선의 손실: 1.617856\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.831940\t최선의 손실: 1.617856\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.676429\t최선의 손실: 1.617856\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.683612\t최선의 손실: 1.617856\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.693113\t최선의 손실: 1.617856\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.672475\t최선의 손실: 1.617856\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.727265\t최선의 손실: 1.617856\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.654443\t최선의 손실: 1.617856\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.699802\t최선의 손실: 1.617856\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.705097\t최선의 손실: 1.617856\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.749858\t최선의 손실: 1.617856\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.812719\t최선의 손실: 1.617856\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.623283\t최선의 손실: 1.617856\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.690679\t최선의 손실: 1.617856\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.661573\t최선의 손실: 1.617856\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.762110\t최선의 손실: 1.617856\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=, total= 7.3s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.323893\t최선의 손실: 0.323893\t정확도: 91.16%\n", "1\t검증 세트 손실: 0.176155\t최선의 손실: 0.176155\t정확도: 95.23%\n", "2\t검증 세트 손실: 0.135404\t최선의 손실: 0.135404\t정확도: 96.25%\n", "3\t검증 세트 손실: 0.154597\t최선의 손실: 0.135404\t정확도: 95.82%\n", "4\t검증 세트 손실: 0.132032\t최선의 손실: 0.132032\t정확도: 96.01%\n", "5\t검증 세트 손실: 0.198237\t최선의 손실: 0.132032\t정확도: 94.45%\n", "6\t검증 세트 손실: 0.179919\t최선의 손실: 0.132032\t정확도: 95.15%\n", "7\t검증 세트 손실: 0.112613\t최선의 손실: 0.112613\t정확도: 97.07%\n", "8\t검증 세트 손실: 0.127910\t최선의 손실: 0.112613\t정확도: 97.03%\n", "9\t검증 세트 손실: 0.179741\t최선의 손실: 0.112613\t정확도: 95.31%\n", "10\t검증 세트 손실: 0.097553\t최선의 손실: 0.097553\t정확도: 97.38%\n", "11\t검증 세트 손실: 0.093191\t최선의 손실: 0.093191\t정확도: 97.73%\n", "12\t검증 세트 손실: 0.112318\t최선의 손실: 0.093191\t정확도: 97.26%\n", "13\t검증 세트 손실: 0.095564\t최선의 손실: 0.093191\t정확도: 97.38%\n", "14\t검증 세트 손실: 0.253895\t최선의 손실: 0.093191\t정확도: 91.75%\n", "15\t검증 세트 손실: 0.140040\t최선의 손실: 0.093191\t정확도: 96.95%\n", "16\t검증 세트 손실: 3837240.750000\t최선의 손실: 0.093191\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.638530\t최선의 손실: 0.093191\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.658970\t최선의 손실: 0.093191\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.640542\t최선의 손실: 0.093191\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.624574\t최선의 손실: 0.093191\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.679665\t최선의 손실: 0.093191\t정확도: 18.73%\n", "22\t검증 세트 손실: 1.623782\t최선의 손실: 0.093191\t정확도: 19.08%\n", "23\t검증 세트 손실: 1.680036\t최선의 손실: 0.093191\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.695089\t최선의 손실: 0.093191\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.652078\t최선의 손실: 0.093191\t정확도: 20.91%\n", "26\t검증 세트 손실: 1.613163\t최선의 손실: 0.093191\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.611891\t최선의 손실: 0.093191\t정확도: 20.91%\n", "28\t검증 세트 손실: 1.768672\t최선의 손실: 0.093191\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.630288\t최선의 손실: 0.093191\t정확도: 22.01%\n", "30\t검증 세트 손실: 1.685753\t최선의 손실: 0.093191\t정확도: 19.27%\n", "31\t검증 세트 손실: 1.760716\t최선의 손실: 0.093191\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.724452\t최선의 손실: 0.093191\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=, total= 9.9s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.161498\t최선의 손실: 1.161498\t정확도: 63.25%\n", "1\t검증 세트 손실: 1.106220\t최선의 손실: 1.106220\t정확도: 57.94%\n", "2\t검증 세트 손실: 0.613850\t최선의 손실: 0.613850\t정확도: 69.94%\n", "3\t검증 세트 손실: 0.393908\t최선의 손실: 0.393908\t정확도: 87.61%\n", "4\t검증 세트 손실: 0.469406\t최선의 손실: 0.393908\t정확도: 85.73%\n", "5\t검증 세트 손실: 0.615940\t최선의 손실: 0.393908\t정확도: 73.57%\n", "6\t검증 세트 손실: 0.594170\t최선의 손실: 0.393908\t정확도: 74.63%\n", "7\t검증 세트 손실: 0.448402\t최선의 손실: 0.393908\t정확도: 85.38%\n", "8\t검증 세트 손실: 0.413376\t최선의 손실: 0.393908\t정확도: 87.65%\n", "9\t검증 세트 손실: 0.483879\t최선의 손실: 0.393908\t정확도: 86.32%\n", "10\t검증 세트 손실: 0.522526\t최선의 손실: 0.393908\t정확도: 90.30%\n", "11\t검증 세트 손실: 0.427490\t최선의 손실: 0.393908\t정확도: 90.93%\n", "12\t검증 세트 손실: 0.401578\t최선의 손실: 0.393908\t정확도: 92.10%\n", "13\t검증 세트 손실: 0.790456\t최선의 손실: 0.393908\t정확도: 75.29%\n", "14\t검증 세트 손실: 1.691996\t최선의 손실: 0.393908\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.686038\t최선의 손실: 0.393908\t정확도: 20.91%\n", "16\t검증 세트 손실: 1.669205\t최선의 손실: 0.393908\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.656164\t최선의 손실: 0.393908\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.700728\t최선의 손실: 0.393908\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.649013\t최선의 손실: 0.393908\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.659578\t최선의 손실: 0.393908\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.735483\t최선의 손실: 0.393908\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.628036\t최선의 손실: 0.393908\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.744426\t최선의 손실: 0.393908\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.620579\t최선의 손실: 0.393908\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, activation=, total= 7.6s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 1.807269\t최선의 손실: 1.807269\t정확도: 22.01%\n", "1\t검증 세트 손실: 0.911535\t최선의 손실: 0.911535\t정확도: 66.42%\n", "2\t검증 세트 손실: 0.710055\t최선의 손실: 0.710055\t정확도: 76.19%\n", "3\t검증 세트 손실: 0.404699\t최선의 손실: 0.404699\t정확도: 86.43%\n", "4\t검증 세트 손실: 0.352462\t최선의 손실: 0.352462\t정확도: 89.41%\n", "5\t검증 세트 손실: 0.289252\t최선의 손실: 0.289252\t정확도: 91.24%\n", "6\t검증 세트 손실: 0.259428\t최선의 손실: 0.259428\t정확도: 92.14%\n", "7\t검증 세트 손실: 0.245226\t최선의 손실: 0.245226\t정확도: 93.28%\n", "8\t검증 세트 손실: 0.267662\t최선의 손실: 0.245226\t정확도: 91.91%\n", "9\t검증 세트 손실: 0.217012\t최선의 손실: 0.217012\t정확도: 94.02%\n", "10\t검증 세트 손실: 0.284637\t최선의 손실: 0.217012\t정확도: 91.67%\n", "11\t검증 세트 손실: 0.200155\t최선의 손실: 0.200155\t정확도: 94.53%\n", "12\t검증 세트 손실: 0.205396\t최선의 손실: 0.200155\t정확도: 94.06%\n", "13\t검증 세트 손실: 0.165258\t최선의 손실: 0.165258\t정확도: 95.70%\n", "14\t검증 세트 손실: 0.268083\t최선의 손실: 0.165258\t정확도: 92.53%\n", "15\t검증 세트 손실: 0.222046\t최선의 손실: 0.165258\t정확도: 94.68%\n", "16\t검증 세트 손실: 0.190499\t최선의 손실: 0.165258\t정확도: 94.96%\n", "17\t검증 세트 손실: 0.183101\t최선의 손실: 0.165258\t정확도: 95.50%\n", "18\t검증 세트 손실: 0.182017\t최선의 손실: 0.165258\t정확도: 95.27%\n", "19\t검증 세트 손실: 0.165296\t최선의 손실: 0.165258\t정확도: 96.01%\n", "20\t검증 세트 손실: 0.183133\t최선의 손실: 0.165258\t정확도: 95.31%\n", "21\t검증 세트 손실: 0.170318\t최선의 손실: 0.165258\t정확도: 95.58%\n", "22\t검증 세트 손실: 0.143872\t최선의 손실: 0.143872\t정확도: 96.40%\n", "23\t검증 세트 손실: 0.181190\t최선의 손실: 0.143872\t정확도: 96.09%\n", "24\t검증 세트 손실: 0.153716\t최선의 손실: 0.143872\t정확도: 96.29%\n", "25\t검증 세트 손실: 0.138413\t최선의 손실: 0.138413\t정확도: 96.17%\n", "26\t검증 세트 손실: 0.142351\t최선의 손실: 0.138413\t정확도: 96.44%\n", "27\t검증 세트 손실: 0.151613\t최선의 손실: 0.138413\t정확도: 96.79%\n", "28\t검증 세트 손실: 0.142824\t최선의 손실: 0.138413\t정확도: 96.33%\n", "29\t검증 세트 손실: 0.178391\t최선의 손실: 0.138413\t정확도: 96.21%\n", "30\t검증 세트 손실: 0.164442\t최선의 손실: 0.138413\t정확도: 96.40%\n", "31\t검증 세트 손실: 146359.328125\t최선의 손실: 0.138413\t정확도: 19.27%\n", "32\t검증 세트 손실: 39845.687500\t최선의 손실: 0.138413\t정확도: 32.72%\n", "33\t검증 세트 손실: 49817.398438\t최선의 손실: 0.138413\t정확도: 18.73%\n", "34\t검증 세트 손실: 2817.191650\t최선의 손실: 0.138413\t정확도: 52.89%\n", "35\t검증 세트 손실: 629.332947\t최선의 손실: 0.138413\t정확도: 64.82%\n", "36\t검증 세트 손실: 470.566895\t최선의 손실: 0.138413\t정확도: 67.08%\n", "37\t검증 세트 손실: 289.060455\t최선의 손실: 0.138413\t정확도: 70.29%\n", "38\t검증 세트 손실: 354.870422\t최선의 손실: 0.138413\t정확도: 67.90%\n", "39\t검증 세트 손실: 571.651794\t최선의 손실: 0.138413\t정확도: 54.93%\n", "40\t검증 세트 손실: 367.481293\t최선의 손실: 0.138413\t정확도: 72.05%\n", "41\t검증 세트 손실: 232.462540\t최선의 손실: 0.138413\t정확도: 74.16%\n", "42\t검증 세트 손실: 221.746948\t최선의 손실: 0.138413\t정확도: 74.04%\n", "43\t검증 세트 손실: 317.330841\t최선의 손실: 0.138413\t정확도: 66.93%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "44\t검증 세트 손실: 416.549988\t최선의 손실: 0.138413\t정확도: 70.88%\n", "45\t검증 세트 손실: 209.800720\t최선의 손실: 0.138413\t정확도: 74.04%\n", "46\t검증 세트 손실: 291.509277\t최선의 손실: 0.138413\t정확도: 64.11%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 6.1s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 20.778124\t최선의 손실: 20.778124\t정확도: 23.46%\n", "1\t검증 세트 손실: 0.841452\t최선의 손실: 0.841452\t정확도: 60.20%\n", "2\t검증 세트 손실: 38.603653\t최선의 손실: 0.841452\t정확도: 19.51%\n", "3\t검증 세트 손실: 46.469101\t최선의 손실: 0.841452\t정확도: 38.31%\n", "4\t검증 세트 손실: 56.912247\t최선의 손실: 0.841452\t정확도: 41.75%\n", "5\t검증 세트 손실: 65.621674\t최선의 손실: 0.841452\t정확도: 25.06%\n", "6\t검증 세트 손실: 52.181984\t최선의 손실: 0.841452\t정확도: 29.05%\n", "7\t검증 세트 손실: 16.714733\t최선의 손실: 0.841452\t정확도: 39.72%\n", "8\t검증 세트 손실: 38.031467\t최선의 손실: 0.841452\t정확도: 38.19%\n", "9\t검증 세트 손실: 66.451088\t최선의 손실: 0.841452\t정확도: 20.91%\n", "10\t검증 세트 손실: 250.794937\t최선의 손실: 0.841452\t정확도: 30.57%\n", "11\t검증 세트 손실: 274.370941\t최선의 손실: 0.841452\t정확도: 41.32%\n", "12\t검증 세트 손실: 139.683319\t최선의 손실: 0.841452\t정확도: 37.22%\n", "13\t검증 세트 손실: 257.156525\t최선의 손실: 0.841452\t정확도: 38.70%\n", "14\t검증 세트 손실: 58.699226\t최선의 손실: 0.841452\t정확도: 39.80%\n", "15\t검증 세트 손실: 9.395611\t최선의 손실: 0.841452\t정확도: 52.81%\n", "16\t검증 세트 손실: 2.514303\t최선의 손실: 0.841452\t정확도: 57.66%\n", "17\t검증 세트 손실: 1.732949\t최선의 손실: 0.841452\t정확도: 58.17%\n", "18\t검증 세트 손실: 1.582303\t최선의 손실: 0.841452\t정확도: 62.39%\n", "19\t검증 세트 손실: 1.452186\t최선의 손실: 0.841452\t정확도: 60.16%\n", "20\t검증 세트 손실: 1.944729\t최선의 손실: 0.841452\t정확도: 53.32%\n", "21\t검증 세트 손실: 1.658557\t최선의 손실: 0.841452\t정확도: 57.31%\n", "22\t검증 세트 손실: 1.190262\t최선의 손실: 0.841452\t정확도: 64.74%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 3.2s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 1.287868\t최선의 손실: 1.287868\t정확도: 36.59%\n", "1\t검증 세트 손실: 0.790487\t최선의 손실: 0.790487\t정확도: 77.37%\n", "2\t검증 세트 손실: 0.254012\t최선의 손실: 0.254012\t정확도: 92.89%\n", "3\t검증 세트 손실: 0.162328\t최선의 손실: 0.162328\t정확도: 95.54%\n", "4\t검증 세트 손실: 0.143176\t최선의 손실: 0.143176\t정확도: 95.93%\n", "5\t검증 세트 손실: 0.135789\t최선의 손실: 0.135789\t정확도: 96.52%\n", "6\t검증 세트 손실: 0.114483\t최선의 손실: 0.114483\t정확도: 96.95%\n", "7\t검증 세트 손실: 0.120295\t최선의 손실: 0.114483\t정확도: 97.03%\n", "8\t검증 세트 손실: 0.140572\t최선의 손실: 0.114483\t정확도: 96.21%\n", "9\t검증 세트 손실: 0.118083\t최선의 손실: 0.114483\t정확도: 96.95%\n", "10\t검증 세트 손실: 0.108246\t최선의 손실: 0.108246\t정확도: 96.76%\n", "11\t검증 세트 손실: 0.106903\t최선의 손실: 0.106903\t정확도: 97.22%\n", "12\t검증 세트 손실: 0.116481\t최선의 손실: 0.106903\t정확도: 96.83%\n", "13\t검증 세트 손실: 0.102811\t최선의 손실: 0.102811\t정확도: 97.19%\n", "14\t검증 세트 손실: 1104.990967\t최선의 손실: 0.102811\t정확도: 13.53%\n", "15\t검증 세트 손실: 37721.363281\t최선의 손실: 0.102811\t정확도: 20.91%\n", "16\t검증 세트 손실: 10684.943359\t최선의 손실: 0.102811\t정확도: 19.00%\n", "17\t검증 세트 손실: 2338.797363\t최선의 손실: 0.102811\t정확도: 29.91%\n", "18\t검증 세트 손실: 613.114563\t최선의 손실: 0.102811\t정확도: 26.62%\n", "19\t검증 세트 손실: 78.562546\t최선의 손실: 0.102811\t정확도: 50.31%\n", "20\t검증 세트 손실: 71.951393\t최선의 손실: 0.102811\t정확도: 37.41%\n", "21\t검증 세트 손실: 104.248756\t최선의 손실: 0.102811\t정확도: 46.52%\n", "22\t검증 세트 손실: 29.271074\t최선의 손실: 0.102811\t정확도: 43.28%\n", "23\t검증 세트 손실: 44.263405\t최선의 손실: 0.102811\t정확도: 41.05%\n", "24\t검증 세트 손실: 20.849890\t최선의 손실: 0.102811\t정확도: 59.97%\n", "25\t검증 세트 손실: 13.023427\t최선의 손실: 0.102811\t정확도: 62.67%\n", "26\t검증 세트 손실: 25.583759\t최선의 손실: 0.102811\t정확도: 50.27%\n", "27\t검증 세트 손실: 19.600494\t최선의 손실: 0.102811\t정확도: 49.02%\n", "28\t검증 세트 손실: 15.171478\t최선의 손실: 0.102811\t정확도: 48.94%\n", "29\t검증 세트 손실: 17.203144\t최선의 손실: 0.102811\t정확도: 55.67%\n", "30\t검증 세트 손실: 73.088692\t최선의 손실: 0.102811\t정확도: 38.39%\n", "31\t검증 세트 손실: 15.996584\t최선의 손실: 0.102811\t정확도: 65.72%\n", "32\t검증 세트 손실: 35.748741\t최선의 손실: 0.102811\t정확도: 46.76%\n", "33\t검증 세트 손실: 16.192059\t최선의 손실: 0.102811\t정확도: 60.91%\n", "34\t검증 세트 손실: 9.493767\t최선의 손실: 0.102811\t정확도: 70.37%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 4.7s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.258346\t최선의 손실: 0.258346\t정확도: 92.92%\n", "1\t검증 세트 손실: 0.115569\t최선의 손실: 0.115569\t정확도: 96.13%\n", "2\t검증 세트 손실: 0.093414\t최선의 손실: 0.093414\t정확도: 96.83%\n", "3\t검증 세트 손실: 0.082853\t최선의 손실: 0.082853\t정확도: 97.62%\n", "4\t검증 세트 손실: 0.082376\t최선의 손실: 0.082376\t정확도: 97.58%\n", "5\t검증 세트 손실: 0.098352\t최선의 손실: 0.082376\t정확도: 97.38%\n", "6\t검증 세트 손실: 0.080265\t최선의 손실: 0.080265\t정확도: 97.69%\n", "7\t검증 세트 손실: 0.060859\t최선의 손실: 0.060859\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.076406\t최선의 손실: 0.060859\t정확도: 97.81%\n", "9\t검증 세트 손실: 0.050390\t최선의 손실: 0.050390\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.063549\t최선의 손실: 0.050390\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.041948\t최선의 손실: 0.041948\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.055138\t최선의 손실: 0.041948\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.063095\t최선의 손실: 0.041948\t정확도: 98.28%\n", "14\t검증 세트 손실: 0.057324\t최선의 손실: 0.041948\t정확도: 98.36%\n", "15\t검증 세트 손실: 0.067169\t최선의 손실: 0.041948\t정확도: 98.24%\n", "16\t검증 세트 손실: 0.051719\t최선의 손실: 0.041948\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.077193\t최선의 손실: 0.041948\t정확도: 98.32%\n", "18\t검증 세트 손실: 0.058704\t최선의 손실: 0.041948\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.064403\t최선의 손실: 0.041948\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.062971\t최선의 손실: 0.041948\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.066842\t최선의 손실: 0.041948\t정확도: 98.59%\n", "22\t검증 세트 손실: 0.050229\t최선의 손실: 0.041948\t정확도: 98.91%\n", "23\t검증 세트 손실: 0.056101\t최선의 손실: 0.041948\t정확도: 98.75%\n", "24\t검증 세트 손실: 0.057269\t최선의 손실: 0.041948\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.051091\t최선의 손실: 0.041948\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.067612\t최선의 손실: 0.041948\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.048603\t최선의 손실: 0.041948\t정확도: 98.79%\n", "28\t검증 세트 손실: 0.072469\t최선의 손실: 0.041948\t정확도: 98.67%\n", "29\t검증 세트 손실: 0.054817\t최선의 손실: 0.041948\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.069431\t최선의 손실: 0.041948\t정확도: 98.67%\n", "31\t검증 세트 손실: 0.066136\t최선의 손실: 0.041948\t정확도: 98.48%\n", "32\t검증 세트 손실: 0.062417\t최선의 손실: 0.041948\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=, total= 8.5s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.195872\t최선의 손실: 0.195872\t정확도: 94.41%\n", "1\t검증 세트 손실: 0.101573\t최선의 손실: 0.101573\t정확도: 96.87%\n", "2\t검증 세트 손실: 0.073405\t최선의 손실: 0.073405\t정확도: 97.62%\n", "3\t검증 세트 손실: 0.072313\t최선의 손실: 0.072313\t정확도: 97.77%\n", "4\t검증 세트 손실: 0.081940\t최선의 손실: 0.072313\t정확도: 97.62%\n", "5\t검증 세트 손실: 0.068814\t최선의 손실: 0.068814\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.055325\t최선의 손실: 0.055325\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.052300\t최선의 손실: 0.052300\t정확도: 98.51%\n", "8\t검증 세트 손실: 0.072461\t최선의 손실: 0.052300\t정확도: 98.01%\n", "9\t검증 세트 손실: 0.057561\t최선의 손실: 0.052300\t정확도: 98.51%\n", "10\t검증 세트 손실: 0.070066\t최선의 손실: 0.052300\t정확도: 98.32%\n", "11\t검증 세트 손실: 0.059997\t최선의 손실: 0.052300\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.068310\t최선의 손실: 0.052300\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.061924\t최선의 손실: 0.052300\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.082505\t최선의 손실: 0.052300\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.055486\t최선의 손실: 0.052300\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.073439\t최선의 손실: 0.052300\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.076521\t최선의 손실: 0.052300\t정확도: 98.20%\n", "18\t검증 세트 손실: 0.076692\t최선의 손실: 0.052300\t정확도: 98.48%\n", "19\t검증 세트 손실: 0.050850\t최선의 손실: 0.050850\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.059829\t최선의 손실: 0.050850\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.091174\t최선의 손실: 0.050850\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.094306\t최선의 손실: 0.050850\t정확도: 98.12%\n", "23\t검증 세트 손실: 0.060996\t최선의 손실: 0.050850\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.064586\t최선의 손실: 0.050850\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.054206\t최선의 손실: 0.050850\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.065694\t최선의 손실: 0.050850\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.066808\t최선의 손실: 0.050850\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.070468\t최선의 손실: 0.050850\t정확도: 98.71%\n", "29\t검증 세트 손실: 0.074899\t최선의 손실: 0.050850\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.071318\t최선의 손실: 0.050850\t정확도: 98.59%\n", "31\t검증 세트 손실: 0.055325\t최선의 손실: 0.050850\t정확도: 98.79%\n", "32\t검증 세트 손실: 0.054561\t최선의 손실: 0.050850\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.061971\t최선의 손실: 0.050850\t정확도: 98.91%\n", "34\t검증 세트 손실: 0.055827\t최선의 손실: 0.050850\t정확도: 98.87%\n", "35\t검증 세트 손실: 0.070484\t최선의 손실: 0.050850\t정확도: 98.67%\n", "36\t검증 세트 손실: 0.103618\t최선의 손실: 0.050850\t정확도: 98.51%\n", "37\t검증 세트 손실: 0.105434\t최선의 손실: 0.050850\t정확도: 98.40%\n", "38\t검증 세트 손실: 0.077507\t최선의 손실: 0.050850\t정확도: 98.79%\n", "39\t검증 세트 손실: 0.068305\t최선의 손실: 0.050850\t정확도: 98.59%\n", "40\t검증 세트 손실: 0.089939\t최선의 손실: 0.050850\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=, total= 10.2s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.196188\t최선의 손실: 0.196188\t정확도: 95.04%\n", "1\t검증 세트 손실: 0.106764\t최선의 손실: 0.106764\t정확도: 96.44%\n", "2\t검증 세트 손실: 0.080421\t최선의 손실: 0.080421\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.070176\t최선의 손실: 0.070176\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.060331\t최선의 손실: 0.060331\t정확도: 98.24%\n", "5\t검증 세트 손실: 0.058828\t최선의 손실: 0.058828\t정확도: 98.28%\n", "6\t검증 세트 손실: 0.085333\t최선의 손실: 0.058828\t정확도: 97.81%\n", "7\t검증 세트 손실: 0.082869\t최선의 손실: 0.058828\t정확도: 97.62%\n", "8\t검증 세트 손실: 0.074095\t최선의 손실: 0.058828\t정확도: 97.81%\n", "9\t검증 세트 손실: 0.063897\t최선의 손실: 0.058828\t정확도: 98.32%\n", "10\t검증 세트 손실: 0.088539\t최선의 손실: 0.058828\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.087619\t최선의 손실: 0.058828\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.064403\t최선의 손실: 0.058828\t정확도: 98.75%\n", "13\t검증 세트 손실: 0.093617\t최선의 손실: 0.058828\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.128280\t최선의 손실: 0.058828\t정확도: 98.20%\n", "15\t검증 세트 손실: 0.148228\t최선의 손실: 0.058828\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.131943\t최선의 손실: 0.058828\t정확도: 97.93%\n", "17\t검증 세트 손실: 0.161355\t최선의 손실: 0.058828\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.141140\t최선의 손실: 0.058828\t정확도: 98.98%\n", "19\t검증 세트 손실: 0.104495\t최선의 손실: 0.058828\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.164517\t최선의 손실: 0.058828\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.151339\t최선의 손실: 0.058828\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.224617\t최선의 손실: 0.058828\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.090235\t최선의 손실: 0.058828\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.073771\t최선의 손실: 0.058828\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.210827\t최선의 손실: 0.058828\t정확도: 98.28%\n", "26\t검증 세트 손실: 0.136752\t최선의 손실: 0.058828\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, activation=, total= 6.9s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.101546\t최선의 손실: 0.101546\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.082136\t최선의 손실: 0.082136\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.072097\t최선의 손실: 0.072097\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.076751\t최선의 손실: 0.072097\t정확도: 97.77%\n", "4\t검증 세트 손실: 0.086610\t최선의 손실: 0.072097\t정확도: 98.01%\n", "5\t검증 세트 손실: 0.109313\t최선의 손실: 0.072097\t정확도: 97.38%\n", "6\t검증 세트 손실: 0.084512\t최선의 손실: 0.072097\t정확도: 97.81%\n", "7\t검증 세트 손실: 0.053906\t최선의 손실: 0.053906\t정확도: 98.51%\n", "8\t검증 세트 손실: 0.072115\t최선의 손실: 0.053906\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.049249\t최선의 손실: 0.049249\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.053867\t최선의 손실: 0.049249\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.073971\t최선의 손실: 0.049249\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.085170\t최선의 손실: 0.049249\t정확도: 97.89%\n", "13\t검증 세트 손실: 0.055490\t최선의 손실: 0.049249\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.091008\t최선의 손실: 0.049249\t정확도: 98.01%\n", "15\t검증 세트 손실: 0.086047\t최선의 손실: 0.049249\t정확도: 98.51%\n", "16\t검증 세트 손실: 0.077619\t최선의 손실: 0.049249\t정확도: 98.08%\n", "17\t검증 세트 손실: 0.071642\t최선의 손실: 0.049249\t정확도: 98.32%\n", "18\t검증 세트 손실: 0.074711\t최선의 손실: 0.049249\t정확도: 98.48%\n", "19\t검증 세트 손실: 0.075567\t최선의 손실: 0.049249\t정확도: 98.16%\n", "20\t검증 세트 손실: 0.081512\t최선의 손실: 0.049249\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.090575\t최선의 손실: 0.049249\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.078730\t최선의 손실: 0.049249\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.068170\t최선의 손실: 0.049249\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.084520\t최선의 손실: 0.049249\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.097886\t최선의 손실: 0.049249\t정확도: 98.44%\n", "26\t검증 세트 손실: 0.078767\t최선의 손실: 0.049249\t정확도: 98.40%\n", "27\t검증 세트 손실: 0.098270\t최선의 손실: 0.049249\t정확도: 98.12%\n", "28\t검증 세트 손실: 0.102802\t최선의 손실: 0.049249\t정확도: 98.55%\n", "29\t검증 세트 손실: 0.093235\t최선의 손실: 0.049249\t정확도: 98.05%\n", "30\t검증 세트 손실: 0.188131\t최선의 손실: 0.049249\t정확도: 98.08%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=, total= 4.9s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.117540\t최선의 손실: 0.117540\t정확도: 96.29%\n", "1\t검증 세트 손실: 0.087592\t최선의 손실: 0.087592\t정확도: 97.46%\n", "2\t검증 세트 손실: 0.068490\t최선의 손실: 0.068490\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.064289\t최선의 손실: 0.064289\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.067965\t최선의 손실: 0.064289\t정확도: 98.08%\n", "5\t검증 세트 손실: 0.063595\t최선의 손실: 0.063595\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.053204\t최선의 손실: 0.053204\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.054387\t최선의 손실: 0.053204\t정확도: 98.28%\n", "8\t검증 세트 손실: 0.060520\t최선의 손실: 0.053204\t정확도: 98.40%\n", "9\t검증 세트 손실: 0.063563\t최선의 손실: 0.053204\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.061216\t최선의 손실: 0.053204\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.063242\t최선의 손실: 0.053204\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.047236\t최선의 손실: 0.047236\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.063282\t최선의 손실: 0.047236\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.076994\t최선의 손실: 0.047236\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.053452\t최선의 손실: 0.047236\t정확도: 98.83%\n", "16\t검증 세트 손실: 0.048381\t최선의 손실: 0.047236\t정확도: 98.79%\n", "17\t검증 세트 손실: 0.062976\t최선의 손실: 0.047236\t정확도: 98.48%\n", "18\t검증 세트 손실: 0.052734\t최선의 손실: 0.047236\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.074565\t최선의 손실: 0.047236\t정확도: 98.20%\n", "20\t검증 세트 손실: 0.075304\t최선의 손실: 0.047236\t정확도: 98.48%\n", "21\t검증 세트 손실: 0.058000\t최선의 손실: 0.047236\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.057406\t최선의 손실: 0.047236\t정확도: 98.55%\n", "23\t검증 세트 손실: 0.107294\t최선의 손실: 0.047236\t정확도: 98.12%\n", "24\t검증 세트 손실: 0.085174\t최선의 손실: 0.047236\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.062431\t최선의 손실: 0.047236\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.089923\t최선의 손실: 0.047236\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.064975\t최선의 손실: 0.047236\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.081977\t최선의 손실: 0.047236\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.112734\t최선의 손실: 0.047236\t정확도: 98.28%\n", "30\t검증 세트 손실: 0.075127\t최선의 손실: 0.047236\t정확도: 98.55%\n", "31\t검증 세트 손실: 0.070647\t최선의 손실: 0.047236\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.088370\t최선의 손실: 0.047236\t정확도: 98.36%\n", "33\t검증 세트 손실: 0.090565\t최선의 손실: 0.047236\t정확도: 98.40%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=, total= 5.3s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.080869\t최선의 손실: 0.080869\t정확도: 97.65%\n", "1\t검증 세트 손실: 0.084524\t최선의 손실: 0.080869\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.074250\t최선의 손실: 0.074250\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.069767\t최선의 손실: 0.069767\t정확도: 98.01%\n", "4\t검증 세트 손실: 0.057988\t최선의 손실: 0.057988\t정확도: 98.24%\n", "5\t검증 세트 손실: 0.053651\t최선의 손실: 0.053651\t정확도: 98.63%\n", "6\t검증 세트 손실: 0.056923\t최선의 손실: 0.053651\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.070807\t최선의 손실: 0.053651\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.069595\t최선의 손실: 0.053651\t정확도: 98.24%\n", "9\t검증 세트 손실: 0.048992\t최선의 손실: 0.048992\t정확도: 98.55%\n", "10\t검증 세트 손실: 0.078665\t최선의 손실: 0.048992\t정확도: 98.40%\n", "11\t검증 세트 손실: 0.104213\t최선의 손실: 0.048992\t정확도: 97.50%\n", "12\t검증 세트 손실: 0.087808\t최선의 손실: 0.048992\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.067442\t최선의 손실: 0.048992\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.046367\t최선의 손실: 0.046367\t정확도: 98.71%\n", "15\t검증 세트 손실: 0.063746\t최선의 손실: 0.046367\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.098996\t최선의 손실: 0.046367\t정확도: 97.85%\n", "17\t검증 세트 손실: 0.057366\t최선의 손실: 0.046367\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.053537\t최선의 손실: 0.046367\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.058873\t최선의 손실: 0.046367\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.055933\t최선의 손실: 0.046367\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.088518\t최선의 손실: 0.046367\t정확도: 98.12%\n", "22\t검증 세트 손실: 0.058719\t최선의 손실: 0.046367\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.069045\t최선의 손실: 0.046367\t정확도: 98.48%\n", "24\t검증 세트 손실: 0.068237\t최선의 손실: 0.046367\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.059698\t최선의 손실: 0.046367\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.074621\t최선의 손실: 0.046367\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.070647\t최선의 손실: 0.046367\t정확도: 98.71%\n", "28\t검증 세트 손실: 0.080725\t최선의 손실: 0.046367\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.081091\t최선의 손실: 0.046367\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.082911\t최선의 손실: 0.046367\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.086343\t최선의 손실: 0.046367\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.103251\t최선의 손실: 0.046367\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.088668\t최선의 손실: 0.046367\t정확도: 98.67%\n", "34\t검증 세트 손실: 0.109706\t최선의 손실: 0.046367\t정확도: 98.12%\n", "35\t검증 세트 손실: 0.145077\t최선의 손실: 0.046367\t정확도: 98.20%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, activation=, total= 5.5s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.212875\t최선의 손실: 0.212875\t정확도: 95.23%\n", "1\t검증 세트 손실: 0.113960\t최선의 손실: 0.113960\t정확도: 96.79%\n", "2\t검증 세트 손실: 0.097396\t최선의 손실: 0.097396\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.080144\t최선의 손실: 0.080144\t정확도: 97.58%\n", "4\t검증 세트 손실: 0.074924\t최선의 손실: 0.074924\t정확도: 97.69%\n", "5\t검증 세트 손실: 0.067560\t최선의 손실: 0.067560\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.072236\t최선의 손실: 0.067560\t정확도: 97.73%\n", "7\t검증 세트 손실: 0.074215\t최선의 손실: 0.067560\t정확도: 97.97%\n", "8\t검증 세트 손실: 0.088533\t최선의 손실: 0.067560\t정확도: 97.85%\n", "9\t검증 세트 손실: 0.074745\t최선의 손실: 0.067560\t정확도: 98.20%\n", "10\t검증 세트 손실: 0.077253\t최선의 손실: 0.067560\t정확도: 98.01%\n", "11\t검증 세트 손실: 0.090083\t최선의 손실: 0.067560\t정확도: 97.93%\n", "12\t검증 세트 손실: 0.074602\t최선의 손실: 0.067560\t정확도: 98.05%\n", "13\t검증 세트 손실: 0.085689\t최선의 손실: 0.067560\t정확도: 97.93%\n", "14\t검증 세트 손실: 0.089099\t최선의 손실: 0.067560\t정확도: 97.85%\n", "15\t검증 세트 손실: 0.103719\t최선의 손실: 0.067560\t정확도: 97.42%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "16\t검증 세트 손실: 0.080579\t최선의 손실: 0.067560\t정확도: 97.81%\n", "17\t검증 세트 손실: 0.087162\t최선의 손실: 0.067560\t정확도: 97.65%\n", "18\t검증 세트 손실: 0.082101\t최선의 손실: 0.067560\t정확도: 98.16%\n", "19\t검증 세트 손실: 0.084787\t최선의 손실: 0.067560\t정확도: 97.93%\n", "20\t검증 세트 손실: 0.096990\t최선의 손실: 0.067560\t정확도: 97.65%\n", "21\t검증 세트 손실: 0.103908\t최선의 손실: 0.067560\t정확도: 97.69%\n", "22\t검증 세트 손실: 0.109099\t최선의 손실: 0.067560\t정확도: 97.69%\n", "23\t검증 세트 손실: 0.102675\t최선의 손실: 0.067560\t정확도: 97.77%\n", "24\t검증 세트 손실: 0.101835\t최선의 손실: 0.067560\t정확도: 98.05%\n", "25\t검증 세트 손실: 0.110644\t최선의 손실: 0.067560\t정확도: 97.65%\n", "26\t검증 세트 손실: 0.100249\t최선의 손실: 0.067560\t정확도: 97.89%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 3.8s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.213180\t최선의 손실: 0.213180\t정확도: 93.59%\n", "1\t검증 세트 손실: 0.124260\t최선의 손실: 0.124260\t정확도: 96.17%\n", "2\t검증 세트 손실: 0.085883\t최선의 손실: 0.085883\t정확도: 97.15%\n", "3\t검증 세트 손실: 0.092605\t최선의 손실: 0.085883\t정확도: 97.30%\n", "4\t검증 세트 손실: 0.089042\t최선의 손실: 0.085883\t정확도: 97.38%\n", "5\t검증 세트 손실: 0.078863\t최선의 손실: 0.078863\t정확도: 97.46%\n", "6\t검증 세트 손실: 0.082750\t최선의 손실: 0.078863\t정확도: 97.42%\n", "7\t검증 세트 손실: 0.083143\t최선의 손실: 0.078863\t정확도: 97.77%\n", "8\t검증 세트 손실: 0.107170\t최선의 손실: 0.078863\t정확도: 96.87%\n", "9\t검증 세트 손실: 0.069031\t최선의 손실: 0.069031\t정확도: 97.85%\n", "10\t검증 세트 손실: 0.077893\t최선의 손실: 0.069031\t정확도: 97.85%\n", "11\t검증 세트 손실: 0.085357\t최선의 손실: 0.069031\t정확도: 97.46%\n", "12\t검증 세트 손실: 0.084824\t최선의 손실: 0.069031\t정확도: 97.62%\n", "13\t검증 세트 손실: 0.079653\t최선의 손실: 0.069031\t정확도: 97.97%\n", "14\t검증 세트 손실: 0.073391\t최선의 손실: 0.069031\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.078991\t최선의 손실: 0.069031\t정확도: 97.65%\n", "16\t검증 세트 손실: 0.078874\t최선의 손실: 0.069031\t정확도: 98.01%\n", "17\t검증 세트 손실: 0.103181\t최선의 손실: 0.069031\t정확도: 97.69%\n", "18\t검증 세트 손실: 0.070365\t최선의 손실: 0.069031\t정확도: 97.93%\n", "19\t검증 세트 손실: 0.081235\t최선의 손실: 0.069031\t정확도: 97.81%\n", "20\t검증 세트 손실: 0.126838\t최선의 손실: 0.069031\t정확도: 97.38%\n", "21\t검증 세트 손실: 0.095968\t최선의 손실: 0.069031\t정확도: 97.69%\n", "22\t검증 세트 손실: 0.078708\t최선의 손실: 0.069031\t정확도: 98.28%\n", "23\t검증 세트 손실: 0.088696\t최선의 손실: 0.069031\t정확도: 98.05%\n", "24\t검증 세트 손실: 0.091864\t최선의 손실: 0.069031\t정확도: 97.77%\n", "25\t검증 세트 손실: 0.080878\t최선의 손실: 0.069031\t정확도: 98.28%\n", "26\t검증 세트 손실: 0.103983\t최선의 손실: 0.069031\t정확도: 98.05%\n", "27\t검증 세트 손실: 0.103126\t최선의 손실: 0.069031\t정확도: 98.32%\n", "28\t검증 세트 손실: 0.101387\t최선의 손실: 0.069031\t정확도: 98.32%\n", "29\t검증 세트 손실: 0.106423\t최선의 손실: 0.069031\t정확도: 98.01%\n", "30\t검증 세트 손실: 0.072576\t최선의 손실: 0.069031\t정확도: 98.24%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.2s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.166428\t최선의 손실: 0.166428\t정확도: 95.43%\n", "1\t검증 세트 손실: 0.121890\t최선의 손실: 0.121890\t정확도: 96.72%\n", "2\t검증 세트 손실: 0.095715\t최선의 손실: 0.095715\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.097156\t최선의 손실: 0.095715\t정확도: 97.15%\n", "4\t검증 세트 손실: 0.092978\t최선의 손실: 0.092978\t정확도: 97.34%\n", "5\t검증 세트 손실: 0.077669\t최선의 손실: 0.077669\t정확도: 97.93%\n", "6\t검증 세트 손실: 0.079195\t최선의 손실: 0.077669\t정확도: 97.58%\n", "7\t검증 세트 손실: 0.120522\t최선의 손실: 0.077669\t정확도: 96.60%\n", "8\t검증 세트 손실: 0.091598\t최선의 손실: 0.077669\t정확도: 98.05%\n", "9\t검증 세트 손실: 0.069478\t최선의 손실: 0.069478\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.077665\t최선의 손실: 0.069478\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.112279\t최선의 손실: 0.069478\t정확도: 97.11%\n", "12\t검증 세트 손실: 0.073951\t최선의 손실: 0.069478\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.080725\t최선의 손실: 0.069478\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.085754\t최선의 손실: 0.069478\t정확도: 98.28%\n", "15\t검증 세트 손실: 0.086104\t최선의 손실: 0.069478\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.071641\t최선의 손실: 0.069478\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.076974\t최선의 손실: 0.069478\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.077270\t최선의 손실: 0.069478\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.075749\t최선의 손실: 0.069478\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.075004\t최선의 손실: 0.069478\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.088684\t최선의 손실: 0.069478\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.073580\t최선의 손실: 0.069478\t정확도: 98.36%\n", "23\t검증 세트 손실: 0.085322\t최선의 손실: 0.069478\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.094158\t최선의 손실: 0.069478\t정확도: 98.24%\n", "25\t검증 세트 손실: 0.083997\t최선의 손실: 0.069478\t정확도: 97.97%\n", "26\t검증 세트 손실: 0.086031\t최선의 손실: 0.069478\t정확도: 98.55%\n", "27\t검증 세트 손실: 0.116207\t최선의 손실: 0.069478\t정확도: 98.05%\n", "28\t검증 세트 손실: 0.108292\t최선의 손실: 0.069478\t정확도: 98.28%\n", "29\t검증 세트 손실: 0.119581\t최선의 손실: 0.069478\t정확도: 98.40%\n", "30\t검증 세트 손실: 0.080126\t최선의 손실: 0.069478\t정확도: 98.44%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 4.2s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.104764\t최선의 손실: 0.104764\t정확도: 96.91%\n", "1\t검증 세트 손실: 0.110970\t최선의 손실: 0.104764\t정확도: 96.76%\n", "2\t검증 세트 손실: 0.115587\t최선의 손실: 0.104764\t정확도: 96.79%\n", "3\t검증 세트 손실: 0.116857\t최선의 손실: 0.104764\t정확도: 97.62%\n", "4\t검증 세트 손실: 0.123063\t최선의 손실: 0.104764\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.952959\t최선의 손실: 0.104764\t정확도: 95.47%\n", "6\t검증 세트 손실: 0.451843\t최선의 손실: 0.104764\t정확도: 97.22%\n", "7\t검증 세트 손실: 0.316619\t최선의 손실: 0.104764\t정확도: 97.62%\n", "8\t검증 세트 손실: 0.338952\t최선의 손실: 0.104764\t정확도: 97.73%\n", "9\t검증 세트 손실: 0.365099\t최선의 손실: 0.104764\t정확도: 97.73%\n", "10\t검증 세트 손실: 0.302474\t최선의 손실: 0.104764\t정확도: 97.85%\n", "11\t검증 세트 손실: 0.300077\t최선의 손실: 0.104764\t정확도: 98.16%\n", "12\t검증 세트 손실: 0.330472\t최선의 손실: 0.104764\t정확도: 97.77%\n", "13\t검증 세트 손실: 0.297387\t최선의 손실: 0.104764\t정확도: 98.01%\n", "14\t검증 세트 손실: 0.390530\t최선의 손실: 0.104764\t정확도: 98.01%\n", "15\t검증 세트 손실: 0.370889\t최선의 손실: 0.104764\t정확도: 97.81%\n", "16\t검증 세트 손실: 0.382760\t최선의 손실: 0.104764\t정확도: 97.38%\n", "17\t검증 세트 손실: 0.489265\t최선의 손실: 0.104764\t정확도: 98.05%\n", "18\t검증 세트 손실: 0.457509\t최선의 손실: 0.104764\t정확도: 97.77%\n", "19\t검증 세트 손실: 0.555101\t최선의 손실: 0.104764\t정확도: 97.97%\n", "20\t검증 세트 손실: 0.411939\t최선의 손실: 0.104764\t정확도: 97.81%\n", "21\t검증 세트 손실: 0.248465\t최선의 손실: 0.104764\t정확도: 98.20%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 5.9s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.121848\t최선의 손실: 0.121848\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.106237\t최선의 손실: 0.106237\t정확도: 97.11%\n", "2\t검증 세트 손실: 29.268187\t최선의 손실: 0.106237\t정확도: 74.20%\n", "3\t검증 세트 손실: 0.971927\t최선의 손실: 0.106237\t정확도: 95.04%\n", "4\t검증 세트 손실: 0.813555\t최선의 손실: 0.106237\t정확도: 96.17%\n", "5\t검증 세트 손실: 0.823636\t최선의 손실: 0.106237\t정확도: 95.19%\n", "6\t검증 세트 손실: 0.744390\t최선의 손실: 0.106237\t정확도: 95.97%\n", "7\t검증 세트 손실: 0.296253\t최선의 손실: 0.106237\t정확도: 96.68%\n", "8\t검증 세트 손실: 0.440452\t최선의 손실: 0.106237\t정확도: 97.07%\n", "9\t검증 세트 손실: 0.358504\t최선의 손실: 0.106237\t정확도: 96.72%\n", "10\t검증 세트 손실: 0.463130\t최선의 손실: 0.106237\t정확도: 97.30%\n", "11\t검증 세트 손실: 0.406218\t최선의 손실: 0.106237\t정확도: 97.15%\n", "12\t검증 세트 손실: 0.403257\t최선의 손실: 0.106237\t정확도: 96.79%\n", "13\t검증 세트 손실: 0.490214\t최선의 손실: 0.106237\t정확도: 97.11%\n", "14\t검증 세트 손실: 0.533155\t최선의 손실: 0.106237\t정확도: 96.99%\n", "15\t검증 세트 손실: 0.461475\t최선의 손실: 0.106237\t정확도: 97.11%\n", "16\t검증 세트 손실: 0.186743\t최선의 손실: 0.106237\t정확도: 97.22%\n", "17\t검증 세트 손실: 0.355679\t최선의 손실: 0.106237\t정확도: 97.54%\n", "18\t검증 세트 손실: 0.415325\t최선의 손실: 0.106237\t정확도: 97.58%\n", "19\t검증 세트 손실: 0.402398\t최선의 손실: 0.106237\t정확도: 97.62%\n", "20\t검증 세트 손실: 0.425782\t최선의 손실: 0.106237\t정확도: 97.46%\n", "21\t검증 세트 손실: 0.724683\t최선의 손실: 0.106237\t정확도: 97.97%\n", "22\t검증 세트 손실: 0.431599\t최선의 손실: 0.106237\t정확도: 97.93%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 6.1s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.147452\t최선의 손실: 0.147452\t정확도: 96.56%\n", "1\t검증 세트 손실: 0.131744\t최선의 손실: 0.131744\t정확도: 96.52%\n", "2\t검증 세트 손실: 49.168221\t최선의 손실: 0.131744\t정확도: 72.75%\n", "3\t검증 세트 손실: 0.826743\t최선의 손실: 0.131744\t정확도: 91.16%\n", "4\t검증 세트 손실: 0.480151\t최선의 손실: 0.131744\t정확도: 93.75%\n", "5\t검증 세트 손실: 0.258057\t최선의 손실: 0.131744\t정확도: 94.57%\n", "6\t검증 세트 손실: 0.244983\t최선의 손실: 0.131744\t정확도: 95.47%\n", "7\t검증 세트 손실: 0.196643\t최선의 손실: 0.131744\t정확도: 96.25%\n", "8\t검증 세트 손실: 0.204151\t최선의 손실: 0.131744\t정확도: 96.21%\n", "9\t검증 세트 손실: 0.149058\t최선의 손실: 0.131744\t정확도: 96.76%\n", "10\t검증 세트 손실: 0.188256\t최선의 손실: 0.131744\t정확도: 95.82%\n", "11\t검증 세트 손실: 0.125892\t최선의 손실: 0.125892\t정확도: 96.91%\n", "12\t검증 세트 손실: 0.141992\t최선의 손실: 0.125892\t정확도: 96.83%\n", "13\t검증 세트 손실: 0.121019\t최선의 손실: 0.121019\t정확도: 96.99%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "14\t검증 세트 손실: 0.138222\t최선의 손실: 0.121019\t정확도: 96.95%\n", "15\t검증 세트 손실: 0.140306\t최선의 손실: 0.121019\t정확도: 97.42%\n", "16\t검증 세트 손실: 0.150200\t최선의 손실: 0.121019\t정확도: 97.07%\n", "17\t검증 세트 손실: 0.109025\t최선의 손실: 0.109025\t정확도: 97.42%\n", "18\t검증 세트 손실: 0.104251\t최선의 손실: 0.104251\t정확도: 97.58%\n", "19\t검증 세트 손실: 0.121654\t최선의 손실: 0.104251\t정확도: 97.42%\n", "20\t검증 세트 손실: 0.112447\t최선의 손실: 0.104251\t정확도: 97.81%\n", "21\t검증 세트 손실: 0.123894\t최선의 손실: 0.104251\t정확도: 97.69%\n", "22\t검증 세트 손실: 0.099557\t최선의 손실: 0.099557\t정확도: 97.89%\n", "23\t검증 세트 손실: 0.159849\t최선의 손실: 0.099557\t정확도: 96.91%\n", "24\t검증 세트 손실: 0.148704\t최선의 손실: 0.099557\t정확도: 97.15%\n", "25\t검증 세트 손실: 0.125386\t최선의 손실: 0.099557\t정확도: 97.73%\n", "26\t검증 세트 손실: 0.134735\t최선의 손실: 0.099557\t정확도: 97.42%\n", "27\t검증 세트 손실: 0.080927\t최선의 손실: 0.080927\t정확도: 98.08%\n", "28\t검증 세트 손실: 0.105084\t최선의 손실: 0.080927\t정확도: 98.05%\n", "29\t검증 세트 손실: 0.144913\t최선의 손실: 0.080927\t정확도: 98.01%\n", "30\t검증 세트 손실: 0.153863\t최선의 손실: 0.080927\t정확도: 98.20%\n", "31\t검증 세트 손실: 0.173227\t최선의 손실: 0.080927\t정확도: 96.44%\n", "32\t검증 세트 손실: 0.148350\t최선의 손실: 0.080927\t정확도: 97.54%\n", "33\t검증 세트 손실: 53.899048\t최선의 손실: 0.080927\t정확도: 93.47%\n", "34\t검증 세트 손실: 8.181740\t최선의 손실: 0.080927\t정확도: 93.43%\n", "35\t검증 세트 손실: 1.644172\t최선의 손실: 0.080927\t정확도: 96.52%\n", "36\t검증 세트 손실: 5.560501\t최선의 손실: 0.080927\t정확도: 89.01%\n", "37\t검증 세트 손실: 2.844989\t최선의 손실: 0.080927\t정확도: 95.39%\n", "38\t검증 세트 손실: 1.567148\t최선의 손실: 0.080927\t정확도: 97.03%\n", "39\t검증 세트 손실: 0.928165\t최선의 손실: 0.080927\t정확도: 96.91%\n", "40\t검증 세트 손실: 1.197466\t최선의 손실: 0.080927\t정확도: 96.83%\n", "41\t검증 세트 손실: 1.261754\t최선의 손실: 0.080927\t정확도: 97.11%\n", "42\t검증 세트 손실: 0.942041\t최선의 손실: 0.080927\t정확도: 97.34%\n", "43\t검증 세트 손실: 0.874590\t최선의 손실: 0.080927\t정확도: 97.15%\n", "44\t검증 세트 손실: 3.794028\t최선의 손실: 0.080927\t정확도: 94.06%\n", "45\t검증 세트 손실: 2.195916\t최선의 손실: 0.080927\t정확도: 96.87%\n", "46\t검증 세트 손실: 2.110135\t최선의 손실: 0.080927\t정확도: 97.03%\n", "47\t검증 세트 손실: 1.546300\t최선의 손실: 0.080927\t정확도: 97.07%\n", "48\t검증 세트 손실: 1.424338\t최선의 손실: 0.080927\t정확도: 97.19%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 12.3s\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.475466\t최선의 손실: 0.475466\t정확도: 93.59%\n", "1\t검증 세트 손실: 0.302092\t최선의 손실: 0.302092\t정확도: 96.01%\n", "2\t검증 세트 손실: 10.128198\t최선의 손실: 0.302092\t정확도: 92.73%\n", "3\t검증 세트 손실: 5.049921\t최선의 손실: 0.302092\t정확도: 90.19%\n", "4\t검증 세트 손실: 1.259876\t최선의 손실: 0.302092\t정확도: 96.83%\n", "5\t검증 세트 손실: 0.825007\t최선의 손실: 0.302092\t정확도: 93.75%\n", "6\t검증 세트 손실: 8.117816\t최선의 손실: 0.302092\t정확도: 97.30%\n", "7\t검증 세트 손실: 3.077305\t최선의 손실: 0.302092\t정확도: 97.58%\n", "8\t검증 세트 손실: 8.266293\t최선의 손실: 0.302092\t정확도: 94.33%\n", "9\t검증 세트 손실: 1.739522\t최선의 손실: 0.302092\t정확도: 97.46%\n", "10\t검증 세트 손실: 130.548615\t최선의 손실: 0.302092\t정확도: 87.26%\n", "11\t검증 세트 손실: 4.166711\t최선의 손실: 0.302092\t정확도: 96.91%\n", "12\t검증 세트 손실: 9.805109\t최선의 손실: 0.302092\t정확도: 88.12%\n", "13\t검증 세트 손실: 8.978096\t최선의 손실: 0.302092\t정확도: 97.34%\n", "14\t검증 세트 손실: 2.830909\t최선의 손실: 0.302092\t정확도: 97.89%\n", "15\t검증 세트 손실: 8.124592\t최선의 손실: 0.302092\t정확도: 96.29%\n", "16\t검증 세트 손실: 30.275734\t최선의 손실: 0.302092\t정확도: 94.53%\n", "17\t검증 세트 손실: 16.806889\t최선의 손실: 0.302092\t정확도: 97.15%\n", "18\t검증 세트 손실: 10.392700\t최선의 손실: 0.302092\t정확도: 97.15%\n", "19\t검증 세트 손실: 76.933311\t최선의 손실: 0.302092\t정확도: 97.19%\n", "20\t검증 세트 손실: 8.496105\t최선의 손실: 0.302092\t정확도: 97.85%\n", "21\t검증 세트 손실: 54.145645\t최선의 손실: 0.302092\t정확도: 96.52%\n", "22\t검증 세트 손실: 9.423366\t최선의 손실: 0.302092\t정확도: 97.85%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 28.6s\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.322664\t최선의 손실: 0.322664\t정확도: 95.27%\n", "1\t검증 세트 손실: 0.239424\t최선의 손실: 0.239424\t정확도: 96.44%\n", "2\t검증 세트 손실: 4.080631\t최선의 손실: 0.239424\t정확도: 86.63%\n", "3\t검증 세트 손실: 2.127025\t최선의 손실: 0.239424\t정확도: 95.27%\n", "4\t검증 세트 손실: 1224.474976\t최선의 손실: 0.239424\t정확도: 81.51%\n", "5\t검증 세트 손실: 11.318857\t최선의 손실: 0.239424\t정확도: 94.10%\n", "6\t검증 세트 손실: 7.605726\t최선의 손실: 0.239424\t정확도: 95.97%\n", "7\t검증 세트 손실: 9.102454\t최선의 손실: 0.239424\t정확도: 95.58%\n", "8\t검증 세트 손실: 5.329578\t최선의 손실: 0.239424\t정확도: 96.29%\n", "9\t검증 세트 손실: 4.898393\t최선의 손실: 0.239424\t정확도: 97.19%\n", "10\t검증 세트 손실: 5.767895\t최선의 손실: 0.239424\t정확도: 92.42%\n", "11\t검증 세트 손실: 38.172001\t최선의 손실: 0.239424\t정확도: 96.60%\n", "12\t검증 세트 손실: 24.067675\t최선의 손실: 0.239424\t정확도: 96.83%\n", "13\t검증 세트 손실: 27.473158\t최선의 손실: 0.239424\t정확도: 96.17%\n", "14\t검증 세트 손실: 13.990355\t최선의 손실: 0.239424\t정확도: 96.87%\n", "15\t검증 세트 손실: 65.843689\t최선의 손실: 0.239424\t정확도: 94.92%\n", "16\t검증 세트 손실: 42.763481\t최선의 손실: 0.239424\t정확도: 86.16%\n", "17\t검증 세트 손실: 21.726654\t최선의 손실: 0.239424\t정확도: 95.35%\n", "18\t검증 세트 손실: 19.359486\t최선의 손실: 0.239424\t정확도: 97.46%\n", "19\t검증 세트 손실: 16.141985\t최선의 손실: 0.239424\t정확도: 97.46%\n", "20\t검증 세트 손실: 1991.519165\t최선의 손실: 0.239424\t정확도: 88.15%\n", "21\t검증 세트 손실: 84.043564\t최선의 손실: 0.239424\t정확도: 97.50%\n", "22\t검증 세트 손실: 73.727104\t최선의 손실: 0.239424\t정확도: 96.95%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 28.6s\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.188516\t최선의 손실: 0.188516\t정확도: 94.92%\n", "1\t검증 세트 손실: 10.295843\t최선의 손실: 0.188516\t정확도: 93.63%\n", "2\t검증 세트 손실: 0.635980\t최선의 손실: 0.188516\t정확도: 94.25%\n", "3\t검증 세트 손실: 0.334137\t최선의 손실: 0.188516\t정확도: 95.43%\n", "4\t검증 세트 손실: 0.229747\t최선의 손실: 0.188516\t정확도: 96.05%\n", "5\t검증 세트 손실: 3.329450\t최선의 손실: 0.188516\t정확도: 96.05%\n", "6\t검증 세트 손실: 3.178295\t최선의 손실: 0.188516\t정확도: 95.74%\n", "7\t검증 세트 손실: 1.098882\t최선의 손실: 0.188516\t정확도: 94.64%\n", "8\t검증 세트 손실: 195.374496\t최선의 손실: 0.188516\t정확도: 86.04%\n", "9\t검증 세트 손실: 14.428573\t최선의 손실: 0.188516\t정확도: 96.52%\n", "10\t검증 세트 손실: 7.824399\t최선의 손실: 0.188516\t정확도: 96.21%\n", "11\t검증 세트 손실: 26.915749\t최선의 손실: 0.188516\t정확도: 96.52%\n", "12\t검증 세트 손실: 10.239435\t최선의 손실: 0.188516\t정확도: 97.03%\n", "13\t검증 세트 손실: 11.052656\t최선의 손실: 0.188516\t정확도: 95.07%\n", "14\t검증 세트 손실: 103.122841\t최선의 손실: 0.188516\t정확도: 89.33%\n", "15\t검증 세트 손실: 19.128649\t최선의 손실: 0.188516\t정확도: 97.22%\n", "16\t검증 세트 손실: 25.325024\t최선의 손실: 0.188516\t정확도: 96.48%\n", "17\t검증 세트 손실: 39.080345\t최선의 손실: 0.188516\t정확도: 94.53%\n", "18\t검증 세트 손실: 10.191827\t최선의 손실: 0.188516\t정확도: 97.85%\n", "19\t검증 세트 손실: 10.222118\t최선의 손실: 0.188516\t정확도: 97.93%\n", "20\t검증 세트 손실: 18.783682\t최선의 손실: 0.188516\t정확도: 96.79%\n", "21\t검증 세트 손실: 35.674007\t최선의 손실: 0.188516\t정확도: 97.34%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.01, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 27.4s\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 229.776566\t최선의 손실: 229.776566\t정확도: 79.48%\n", "1\t검증 세트 손실: 20.699251\t최선의 손실: 20.699251\t정확도: 86.59%\n", "2\t검증 세트 손실: 17.141878\t최선의 손실: 17.141878\t정확도: 88.58%\n", "3\t검증 세트 손실: 7.321049\t최선의 손실: 7.321049\t정확도: 95.27%\n", "4\t검증 세트 손실: 6.495243\t최선의 손실: 6.495243\t정확도: 95.82%\n", "5\t검증 세트 손실: 6.825683\t최선의 손실: 6.495243\t정확도: 95.58%\n", "6\t검증 세트 손실: 8.297174\t최선의 손실: 6.495243\t정확도: 94.64%\n", "7\t검증 세트 손실: 538466304.000000\t최선의 손실: 6.495243\t정확도: 20.91%\n", "8\t검증 세트 손실: 1529012.125000\t최선의 손실: 6.495243\t정확도: 80.73%\n", "9\t검증 세트 손실: 623438.562500\t최선의 손실: 6.495243\t정확도: 88.00%\n", "10\t검증 세트 손실: 266087.625000\t최선의 손실: 6.495243\t정확도: 92.42%\n", "11\t검증 세트 손실: 337267.781250\t최선의 손실: 6.495243\t정확도: 90.11%\n", "12\t검증 세트 손실: 342276.218750\t최선의 손실: 6.495243\t정확도: 88.90%\n", "13\t검증 세트 손실: 184370.015625\t최선의 손실: 6.495243\t정확도: 94.45%\n", "14\t검증 세트 손실: 181424.718750\t최선의 손실: 6.495243\t정확도: 94.80%\n", "15\t검증 세트 손실: 176432.640625\t최선의 손실: 6.495243\t정확도: 93.75%\n", "16\t검증 세트 손실: 222241.796875\t최선의 손실: 6.495243\t정확도: 92.53%\n", "17\t검증 세트 손실: 269230.437500\t최선의 손실: 6.495243\t정확도: 90.50%\n", "18\t검증 세트 손실: 132893.265625\t최선의 손실: 6.495243\t정확도: 95.39%\n", "19\t검증 세트 손실: 140754.015625\t최선의 손실: 6.495243\t정확도: 94.88%\n", "20\t검증 세트 손실: 102696.468750\t최선의 손실: 6.495243\t정확도: 94.88%\n", "21\t검증 세트 손실: 123749.492188\t최선의 손실: 6.495243\t정확도: 94.06%\n", "22\t검증 세트 손실: 69386.281250\t최선의 손실: 6.495243\t정확도: 97.03%\n", "23\t검증 세트 손실: 113141.664062\t최선의 손실: 6.495243\t정확도: 94.92%\n", "24\t검증 세트 손실: 104763.382812\t최선의 손실: 6.495243\t정확도: 95.70%\n", "25\t검증 세트 손실: 62012.835938\t최선의 손실: 6.495243\t정확도: 96.09%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 14.5s\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 21.073196\t최선의 손실: 21.073196\t정확도: 95.62%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 21.004370\t최선의 손실: 21.004370\t정확도: 94.45%\n", "2\t검증 세트 손실: 9.828447\t최선의 손실: 9.828447\t정확도: 95.86%\n", "3\t검증 세트 손실: 10.499786\t최선의 손실: 9.828447\t정확도: 94.25%\n", "4\t검증 세트 손실: 5.722643\t최선의 손실: 5.722643\t정확도: 95.35%\n", "5\t검증 세트 손실: 11.052079\t최선의 손실: 5.722643\t정확도: 94.57%\n", "6\t검증 세트 손실: 7.833131\t최선의 손실: 5.722643\t정확도: 95.62%\n", "7\t검증 세트 손실: 4.466578\t최선의 손실: 4.466578\t정확도: 96.91%\n", "8\t검증 세트 손실: 7.031312\t최선의 손실: 4.466578\t정확도: 97.34%\n", "9\t검증 세트 손실: 8.615594\t최선의 손실: 4.466578\t정확도: 97.77%\n", "10\t검증 세트 손실: 12.335620\t최선의 손실: 4.466578\t정확도: 97.54%\n", "11\t검증 세트 손실: 3.977342\t최선의 손실: 3.977342\t정확도: 97.30%\n", "12\t검증 세트 손실: 42.028915\t최선의 손실: 3.977342\t정확도: 91.28%\n", "13\t검증 세트 손실: 7242921.500000\t최선의 손실: 3.977342\t정확도: 66.54%\n", "14\t검증 세트 손실: 1070739.250000\t최선의 손실: 3.977342\t정확도: 88.19%\n", "15\t검증 세트 손실: 318424.156250\t최선의 손실: 3.977342\t정확도: 94.33%\n", "16\t검증 세트 손실: 288400.718750\t최선의 손실: 3.977342\t정확도: 94.02%\n", "17\t검증 세트 손실: 326722.187500\t최선의 손실: 3.977342\t정확도: 93.59%\n", "18\t검증 세트 손실: 192223.671875\t최선의 손실: 3.977342\t정확도: 95.70%\n", "19\t검증 세트 손실: 175696.234375\t최선의 손실: 3.977342\t정확도: 94.88%\n", "20\t검증 세트 손실: 152586.484375\t최선의 손실: 3.977342\t정확도: 95.62%\n", "21\t검증 세트 손실: 195839.125000\t최선의 손실: 3.977342\t정확도: 94.49%\n", "22\t검증 세트 손실: 244862.031250\t최선의 손실: 3.977342\t정확도: 93.67%\n", "23\t검증 세트 손실: 121826.914062\t최선의 손실: 3.977342\t정확도: 96.56%\n", "24\t검증 세트 손실: 426404.468750\t최선의 손실: 3.977342\t정확도: 92.61%\n", "25\t검증 세트 손실: 586206.625000\t최선의 손실: 3.977342\t정확도: 95.15%\n", "26\t검증 세트 손실: 169520.093750\t최선의 손실: 3.977342\t정확도: 96.36%\n", "27\t검증 세트 손실: 258327.968750\t최선의 손실: 3.977342\t정확도: 91.52%\n", "28\t검증 세트 손실: 88482.695312\t최선의 손실: 3.977342\t정확도: 96.64%\n", "29\t검증 세트 손실: 92769.328125\t최선의 손실: 3.977342\t정확도: 96.40%\n", "30\t검증 세트 손실: 73152.312500\t최선의 손실: 3.977342\t정확도: 96.68%\n", "31\t검증 세트 손실: 4868630.500000\t최선의 손실: 3.977342\t정확도: 75.92%\n", "32\t검증 세트 손실: 295372.562500\t최선의 손실: 3.977342\t정확도: 96.44%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 17.4s\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 25.031332\t최선의 손실: 25.031332\t정확도: 92.30%\n", "1\t검증 세트 손실: 7.950551\t최선의 손실: 7.950551\t정확도: 96.17%\n", "2\t검증 세트 손실: 10.695778\t최선의 손실: 7.950551\t정확도: 94.06%\n", "3\t검증 세트 손실: 5.013413\t최선의 손실: 5.013413\t정확도: 95.54%\n", "4\t검증 세트 손실: 19.368286\t최선의 손실: 5.013413\t정확도: 95.82%\n", "5\t검증 세트 손실: 5.899230\t최선의 손실: 5.013413\t정확도: 95.00%\n", "6\t검증 세트 손실: 3.887156\t최선의 손실: 3.887156\t정확도: 96.40%\n", "7\t검증 세트 손실: 2.915875\t최선의 손실: 2.915875\t정확도: 96.40%\n", "8\t검증 세트 손실: 2.438939\t최선의 손실: 2.438939\t정확도: 96.48%\n", "9\t검증 세트 손실: 1.821742\t최선의 손실: 1.821742\t정확도: 95.11%\n", "10\t검증 세트 손실: 2.350601\t최선의 손실: 1.821742\t정확도: 97.03%\n", "11\t검증 세트 손실: 1.594784\t최선의 손실: 1.594784\t정확도: 96.99%\n", "12\t검증 세트 손실: 2.739270\t최선의 손실: 1.594784\t정확도: 97.03%\n", "13\t검증 세트 손실: 1.659018\t최선의 손실: 1.594784\t정확도: 96.87%\n", "14\t검증 세트 손실: 229213136.000000\t최선의 손실: 1.594784\t정확도: 20.88%\n", "15\t검증 세트 손실: 1176500.750000\t최선의 손실: 1.594784\t정확도: 87.53%\n", "16\t검증 세트 손실: 520692.687500\t최선의 손실: 1.594784\t정확도: 91.09%\n", "17\t검증 세트 손실: 538571.062500\t최선의 손실: 1.594784\t정확도: 88.70%\n", "18\t검증 세트 손실: 518620.125000\t최선의 손실: 1.594784\t정확도: 90.30%\n", "19\t검증 세트 손실: 359306.968750\t최선의 손실: 1.594784\t정확도: 93.47%\n", "20\t검증 세트 손실: 403564.500000\t최선의 손실: 1.594784\t정확도: 91.13%\n", "21\t검증 세트 손실: 293534.312500\t최선의 손실: 1.594784\t정확도: 92.92%\n", "22\t검증 세트 손실: 363580.656250\t최선의 손실: 1.594784\t정확도: 90.66%\n", "23\t검증 세트 손실: 214087.906250\t최선의 손실: 1.594784\t정확도: 95.00%\n", "24\t검증 세트 손실: 178531.484375\t최선의 손실: 1.594784\t정확도: 94.64%\n", "25\t검증 세트 손실: 125044.140625\t최선의 손실: 1.594784\t정확도: 96.25%\n", "26\t검증 세트 손실: 142592.296875\t최선의 손실: 1.594784\t정확도: 95.19%\n", "27\t검증 세트 손실: 100110.757812\t최선의 손실: 1.594784\t정확도: 96.05%\n", "28\t검증 세트 손실: 133092.531250\t최선의 손실: 1.594784\t정확도: 95.54%\n", "29\t검증 세트 손실: 120479.914062\t최선의 손실: 1.594784\t정확도: 95.90%\n", "30\t검증 세트 손실: 169424.984375\t최선의 손실: 1.594784\t정확도: 94.21%\n", "31\t검증 세트 손실: 135970.203125\t최선의 손실: 1.594784\t정확도: 95.39%\n", "32\t검증 세트 손실: 190387.937500\t최선의 손실: 1.594784\t정확도: 94.88%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 18.0s\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.128125\t최선의 손실: 0.128125\t정확도: 96.21%\n", "1\t검증 세트 손실: 0.076847\t최선의 손실: 0.076847\t정확도: 97.77%\n", "2\t검증 세트 손실: 0.081225\t최선의 손실: 0.076847\t정확도: 98.01%\n", "3\t검증 세트 손실: 0.259084\t최선의 손실: 0.076847\t정확도: 94.53%\n", "4\t검증 세트 손실: 0.092201\t최선의 손실: 0.076847\t정확도: 97.46%\n", "5\t검증 세트 손실: 0.080498\t최선의 손실: 0.076847\t정확도: 98.01%\n", "6\t검증 세트 손실: 0.071261\t최선의 손실: 0.071261\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.077360\t최선의 손실: 0.071261\t정확도: 97.77%\n", "8\t검증 세트 손실: 0.075587\t최선의 손실: 0.071261\t정확도: 98.48%\n", "9\t검증 세트 손실: 0.084049\t최선의 손실: 0.071261\t정확도: 97.93%\n", "10\t검증 세트 손실: 0.083736\t최선의 손실: 0.071261\t정확도: 98.32%\n", "11\t검증 세트 손실: 0.081517\t최선의 손실: 0.071261\t정확도: 98.28%\n", "12\t검증 세트 손실: 0.154429\t최선의 손실: 0.071261\t정확도: 98.05%\n", "13\t검증 세트 손실: 0.094747\t최선의 손실: 0.071261\t정확도: 97.97%\n", "14\t검증 세트 손실: 0.087996\t최선의 손실: 0.071261\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.100009\t최선의 손실: 0.071261\t정확도: 98.16%\n", "16\t검증 세트 손실: 0.127307\t최선의 손실: 0.071261\t정확도: 98.20%\n", "17\t검증 세트 손실: 0.124522\t최선의 손실: 0.071261\t정확도: 98.20%\n", "18\t검증 세트 손실: 0.154355\t최선의 손실: 0.071261\t정확도: 97.77%\n", "19\t검증 세트 손실: 0.181520\t최선의 손실: 0.071261\t정확도: 97.22%\n", "20\t검증 세트 손실: 2.379292\t최선의 손실: 0.071261\t정확도: 23.06%\n", "21\t검증 세트 손실: 1.633029\t최선의 손실: 0.071261\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.680514\t최선의 손실: 0.071261\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.614563\t최선의 손실: 0.071261\t정확도: 18.73%\n", "24\t검증 세트 손실: 1.652274\t최선의 손실: 0.071261\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.642487\t최선의 손실: 0.071261\t정확도: 19.08%\n", "26\t검증 세트 손실: 1.619384\t최선의 손실: 0.071261\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.628378\t최선의 손실: 0.071261\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=, total= 5.6s\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.097519\t최선의 손실: 0.097519\t정확도: 97.38%\n", "1\t검증 세트 손실: 0.073545\t최선의 손실: 0.073545\t정확도: 97.93%\n", "2\t검증 세트 손실: 0.081690\t최선의 손실: 0.073545\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.091164\t최선의 손실: 0.073545\t정확도: 97.19%\n", "4\t검증 세트 손실: 0.090690\t최선의 손실: 0.073545\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.075847\t최선의 손실: 0.073545\t정확도: 98.28%\n", "6\t검증 세트 손실: 0.161183\t최선의 손실: 0.073545\t정확도: 95.58%\n", "7\t검증 세트 손실: 1.242745\t최선의 손실: 0.073545\t정확도: 40.70%\n", "8\t검증 세트 손실: 1.626086\t최선의 손실: 0.073545\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.644277\t최선의 손실: 0.073545\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.616003\t최선의 손실: 0.073545\t정확도: 19.27%\n", "11\t검증 세트 손실: 1.639876\t최선의 손실: 0.073545\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.612612\t최선의 손실: 0.073545\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.619093\t최선의 손실: 0.073545\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.622101\t최선의 손실: 0.073545\t정확도: 20.91%\n", "15\t검증 세트 손실: 1.612316\t최선의 손실: 0.073545\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.621943\t최선의 손실: 0.073545\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.621764\t최선의 손실: 0.073545\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.650773\t최선의 손실: 0.073545\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.627065\t최선의 손실: 0.073545\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.635777\t최선의 손실: 0.073545\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.706719\t최선의 손실: 0.073545\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.654456\t최선의 손실: 0.073545\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=, total= 4.6s\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.093366\t최선의 손실: 0.093366\t정확도: 97.62%\n", "1\t검증 세트 손실: 0.074509\t최선의 손실: 0.074509\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.081435\t최선의 손실: 0.074509\t정확도: 97.73%\n", "3\t검증 세트 손실: 0.080707\t최선의 손실: 0.074509\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.233169\t최선의 손실: 0.074509\t정확도: 94.25%\n", "5\t검증 세트 손실: 0.730965\t최선의 손실: 0.074509\t정확도: 68.53%\n", "6\t검증 세트 손실: 0.226025\t최선의 손실: 0.074509\t정확도: 93.98%\n", "7\t검증 세트 손실: 0.144147\t최선의 손실: 0.074509\t정확도: 96.44%\n", "8\t검증 세트 손실: 0.240434\t최선의 손실: 0.074509\t정확도: 93.71%\n", "9\t검증 세트 손실: 0.111681\t최선의 손실: 0.074509\t정확도: 96.95%\n", "10\t검증 세트 손실: 0.130078\t최선의 손실: 0.074509\t정확도: 97.15%\n", "11\t검증 세트 손실: 0.114416\t최선의 손실: 0.074509\t정확도: 97.07%\n", "12\t검증 세트 손실: 0.106231\t최선의 손실: 0.074509\t정확도: 97.46%\n", "13\t검증 세트 손실: 0.115389\t최선의 손실: 0.074509\t정확도: 97.22%\n", "14\t검증 세트 손실: 1.350455\t최선의 손실: 0.074509\t정확도: 42.22%\n", "15\t검증 세트 손실: 1.169615\t최선의 손실: 0.074509\t정확도: 38.98%\n", "16\t검증 세트 손실: 0.762143\t최선의 손실: 0.074509\t정확도: 60.48%\n", "17\t검증 세트 손실: 0.738644\t최선의 손실: 0.074509\t정확도: 56.96%\n", "18\t검증 세트 손실: 0.741815\t최선의 손실: 0.074509\t정확도: 59.46%\n", "19\t검증 세트 손실: 0.548005\t최선의 손실: 0.074509\t정확도: 76.08%\n", "20\t검증 세트 손실: 0.486599\t최선의 손실: 0.074509\t정확도: 88.39%\n", "21\t검증 세트 손실: 0.279082\t최선의 손실: 0.074509\t정확도: 93.90%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "22\t검증 세트 손실: 0.207288\t최선의 손실: 0.074509\t정확도: 95.62%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=100, activation=, total= 4.6s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.105743\t최선의 손실: 0.105743\t정확도: 96.99%\n", "1\t검증 세트 손실: 0.116263\t최선의 손실: 0.105743\t정확도: 96.68%\n", "2\t검증 세트 손실: 0.129429\t최선의 손실: 0.105743\t정확도: 96.91%\n", "3\t검증 세트 손실: 0.120343\t최선의 손실: 0.105743\t정확도: 96.36%\n", "4\t검증 세트 손실: 0.117303\t최선의 손실: 0.105743\t정확도: 97.07%\n", "5\t검증 세트 손실: 0.128803\t최선의 손실: 0.105743\t정확도: 97.07%\n", "6\t검증 세트 손실: 0.133219\t최선의 손실: 0.105743\t정확도: 96.44%\n", "7\t검증 세트 손실: 0.135619\t최선의 손실: 0.105743\t정확도: 96.72%\n", "8\t검증 세트 손실: 0.134518\t최선의 손실: 0.105743\t정확도: 96.79%\n", "9\t검증 세트 손실: 0.109813\t최선의 손실: 0.105743\t정확도: 97.62%\n", "10\t검증 세트 손실: 0.128924\t최선의 손실: 0.105743\t정확도: 97.34%\n", "11\t검증 세트 손실: 0.158304\t최선의 손실: 0.105743\t정확도: 96.79%\n", "12\t검증 세트 손실: 0.123416\t최선의 손실: 0.105743\t정확도: 96.83%\n", "13\t검증 세트 손실: 0.135163\t최선의 손실: 0.105743\t정확도: 96.33%\n", "14\t검증 세트 손실: 0.145279\t최선의 손실: 0.105743\t정확도: 96.68%\n", "15\t검증 세트 손실: 0.120019\t최선의 손실: 0.105743\t정확도: 97.11%\n", "16\t검증 세트 손실: 0.120676\t최선의 손실: 0.105743\t정확도: 96.99%\n", "17\t검증 세트 손실: 0.126129\t최선의 손실: 0.105743\t정확도: 97.15%\n", "18\t검증 세트 손실: 0.117159\t최선의 손실: 0.105743\t정확도: 97.42%\n", "19\t검증 세트 손실: 0.116228\t최선의 손실: 0.105743\t정확도: 97.42%\n", "20\t검증 세트 손실: 0.127836\t최선의 손실: 0.105743\t정확도: 96.91%\n", "21\t검증 세트 손실: 0.121806\t최선의 손실: 0.105743\t정확도: 97.34%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=, total= 3.0s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.205078\t최선의 손실: 0.205078\t정확도: 94.41%\n", "1\t검증 세트 손실: 0.177834\t최선의 손실: 0.177834\t정확도: 95.27%\n", "2\t검증 세트 손실: 0.175616\t최선의 손실: 0.175616\t정확도: 95.35%\n", "3\t검증 세트 손실: 0.173348\t최선의 손실: 0.173348\t정확도: 95.47%\n", "4\t검증 세트 손실: 0.148174\t최선의 손실: 0.148174\t정확도: 95.47%\n", "5\t검증 세트 손실: 0.147101\t최선의 손실: 0.147101\t정확도: 95.86%\n", "6\t검증 세트 손실: 0.133235\t최선의 손실: 0.133235\t정확도: 96.36%\n", "7\t검증 세트 손실: 0.122361\t최선의 손실: 0.122361\t정확도: 96.33%\n", "8\t검증 세트 손실: 0.120778\t최선의 손실: 0.120778\t정확도: 96.56%\n", "9\t검증 세트 손실: 0.127373\t최선의 손실: 0.120778\t정확도: 96.44%\n", "10\t검증 세트 손실: 0.133204\t최선의 손실: 0.120778\t정확도: 96.36%\n", "11\t검증 세트 손실: 0.133598\t최선의 손실: 0.120778\t정확도: 96.64%\n", "12\t검증 세트 손실: 0.139547\t최선의 손실: 0.120778\t정확도: 96.29%\n", "13\t검증 세트 손실: 0.127319\t최선의 손실: 0.120778\t정확도: 96.01%\n", "14\t검증 세트 손실: 0.129422\t최선의 손실: 0.120778\t정확도: 96.95%\n", "15\t검증 세트 손실: 0.125028\t최선의 손실: 0.120778\t정확도: 96.36%\n", "16\t검증 세트 손실: 0.129063\t최선의 손실: 0.120778\t정확도: 96.36%\n", "17\t검증 세트 손실: 0.137604\t최선의 손실: 0.120778\t정확도: 96.33%\n", "18\t검증 세트 손실: 0.135213\t최선의 손실: 0.120778\t정확도: 96.17%\n", "19\t검증 세트 손실: 0.132013\t최선의 손실: 0.120778\t정확도: 96.48%\n", "20\t검증 세트 손실: 0.125327\t최선의 손실: 0.120778\t정확도: 96.36%\n", "21\t검증 세트 손실: 0.138782\t최선의 손실: 0.120778\t정확도: 96.25%\n", "22\t검증 세트 손실: 0.165192\t최선의 손실: 0.120778\t정확도: 95.70%\n", "23\t검증 세트 손실: 0.123123\t최선의 손실: 0.120778\t정확도: 96.83%\n", "24\t검증 세트 손실: 0.156955\t최선의 손실: 0.120778\t정확도: 96.48%\n", "25\t검증 세트 손실: 0.132729\t최선의 손실: 0.120778\t정확도: 96.40%\n", "26\t검증 세트 손실: 0.136676\t최선의 손실: 0.120778\t정확도: 96.56%\n", "27\t검증 세트 손실: 0.163499\t최선의 손실: 0.120778\t정확도: 96.13%\n", "28\t검증 세트 손실: 0.157212\t최선의 손실: 0.120778\t정확도: 96.13%\n", "29\t검증 세트 손실: 0.145529\t최선의 손실: 0.120778\t정확도: 96.52%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=, total= 3.8s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.126185\t최선의 손실: 0.126185\t정확도: 96.40%\n", "1\t검증 세트 손실: 0.159818\t최선의 손실: 0.126185\t정확도: 95.62%\n", "2\t검증 세트 손실: 0.133942\t최선의 손실: 0.126185\t정확도: 96.09%\n", "3\t검증 세트 손실: 0.121002\t최선의 손실: 0.121002\t정확도: 96.64%\n", "4\t검증 세트 손실: 0.125002\t최선의 손실: 0.121002\t정확도: 96.95%\n", "5\t검증 세트 손실: 0.118410\t최선의 손실: 0.118410\t정확도: 96.91%\n", "6\t검증 세트 손실: 0.102481\t최선의 손실: 0.102481\t정확도: 97.15%\n", "7\t검증 세트 손실: 0.125537\t최선의 손실: 0.102481\t정확도: 96.91%\n", "8\t검증 세트 손실: 0.114726\t최선의 손실: 0.102481\t정확도: 97.07%\n", "9\t검증 세트 손실: 0.109566\t최선의 손실: 0.102481\t정확도: 96.79%\n", "10\t검증 세트 손실: 0.109199\t최선의 손실: 0.102481\t정확도: 96.56%\n", "11\t검증 세트 손실: 0.116124\t최선의 손실: 0.102481\t정확도: 96.83%\n", "12\t검증 세트 손실: 0.149495\t최선의 손실: 0.102481\t정확도: 96.56%\n", "13\t검증 세트 손실: 0.109874\t최선의 손실: 0.102481\t정확도: 97.03%\n", "14\t검증 세트 손실: 0.120062\t최선의 손실: 0.102481\t정확도: 96.95%\n", "15\t검증 세트 손실: 0.106172\t최선의 손실: 0.102481\t정확도: 97.38%\n", "16\t검증 세트 손실: 0.126584\t최선의 손실: 0.102481\t정확도: 96.76%\n", "17\t검증 세트 손실: 0.089111\t최선의 손실: 0.089111\t정확도: 97.50%\n", "18\t검증 세트 손실: 0.122468\t최선의 손실: 0.089111\t정확도: 97.54%\n", "19\t검증 세트 손실: 0.134081\t최선의 손실: 0.089111\t정확도: 96.56%\n", "20\t검증 세트 손실: 0.123148\t최선의 손실: 0.089111\t정확도: 96.79%\n", "21\t검증 세트 손실: 0.132268\t최선의 손실: 0.089111\t정확도: 96.99%\n", "22\t검증 세트 손실: 0.106595\t최선의 손실: 0.089111\t정확도: 97.38%\n", "23\t검증 세트 손실: 0.103340\t최선의 손실: 0.089111\t정확도: 97.26%\n", "24\t검증 세트 손실: 0.087171\t최선의 손실: 0.087171\t정확도: 97.46%\n", "25\t검증 세트 손실: 0.099652\t최선의 손실: 0.087171\t정확도: 97.81%\n", "26\t검증 세트 손실: 0.139918\t최선의 손실: 0.087171\t정확도: 95.47%\n", "27\t검증 세트 손실: 0.090692\t최선의 손실: 0.087171\t정확도: 97.62%\n", "28\t검증 세트 손실: 0.093938\t최선의 손실: 0.087171\t정확도: 97.54%\n", "29\t검증 세트 손실: 0.121995\t최선의 손실: 0.087171\t정확도: 97.73%\n", "30\t검증 세트 손실: 0.140460\t최선의 손실: 0.087171\t정확도: 97.34%\n", "31\t검증 세트 손실: 0.091696\t최선의 손실: 0.087171\t정확도: 97.69%\n", "32\t검증 세트 손실: 0.123331\t최선의 손실: 0.087171\t정확도: 97.69%\n", "33\t검증 세트 손실: 0.095594\t최선의 손실: 0.087171\t정확도: 97.46%\n", "34\t검증 세트 손실: 0.124214\t최선의 손실: 0.087171\t정확도: 97.07%\n", "35\t검증 세트 손실: 0.130664\t최선의 손실: 0.087171\t정확도: 97.22%\n", "36\t검증 세트 손실: 0.107884\t최선의 손실: 0.087171\t정확도: 97.30%\n", "37\t검증 세트 손실: 0.118614\t최선의 손실: 0.087171\t정확도: 97.58%\n", "38\t검증 세트 손실: 0.107883\t최선의 손실: 0.087171\t정확도: 97.69%\n", "39\t검증 세트 손실: 0.126352\t최선의 손실: 0.087171\t정확도: 97.34%\n", "40\t검증 세트 손실: 0.103935\t최선의 손실: 0.087171\t정확도: 97.69%\n", "41\t검증 세트 손실: 0.090888\t최선의 손실: 0.087171\t정확도: 97.89%\n", "42\t검증 세트 손실: 0.102644\t최선의 손실: 0.087171\t정확도: 97.65%\n", "43\t검증 세트 손실: 0.098611\t최선의 손실: 0.087171\t정확도: 97.69%\n", "44\t검증 세트 손실: 0.114765\t최선의 손실: 0.087171\t정확도: 97.30%\n", "45\t검증 세트 손실: 0.116323\t최선의 손실: 0.087171\t정확도: 97.38%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, activation=, total= 5.7s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.164784\t최선의 손실: 0.164784\t정확도: 95.90%\n", "1\t검증 세트 손실: 0.393070\t최선의 손실: 0.164784\t정확도: 88.98%\n", "2\t검증 세트 손실: 0.193971\t최선의 손실: 0.164784\t정확도: 95.39%\n", "3\t검증 세트 손실: 0.382710\t최선의 손실: 0.164784\t정확도: 95.27%\n", "4\t검증 세트 손실: 0.172598\t최선의 손실: 0.164784\t정확도: 95.62%\n", "5\t검증 세트 손실: 0.220875\t최선의 손실: 0.164784\t정확도: 94.49%\n", "6\t검증 세트 손실: 0.261813\t최선의 손실: 0.164784\t정확도: 94.61%\n", "7\t검증 세트 손실: 0.569741\t최선의 손실: 0.164784\t정확도: 81.47%\n", "8\t검증 세트 손실: 0.646094\t최선의 손실: 0.164784\t정확도: 72.13%\n", "9\t검증 세트 손실: 0.626084\t최선의 손실: 0.164784\t정확도: 73.61%\n", "10\t검증 세트 손실: 1.148254\t최선의 손실: 0.164784\t정확도: 45.62%\n", "11\t검증 세트 손실: 1.605580\t최선의 손실: 0.164784\t정확도: 22.44%\n", "12\t검증 세트 손실: 1.602822\t최선의 손실: 0.164784\t정확도: 22.40%\n", "13\t검증 세트 손실: 1.606532\t최선의 손실: 0.164784\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.604871\t최선의 손실: 0.164784\t정확도: 22.40%\n", "15\t검증 세트 손실: 1.603492\t최선의 손실: 0.164784\t정확도: 22.40%\n", "16\t검증 세트 손실: 1.602391\t최선의 손실: 0.164784\t정확도: 22.40%\n", "17\t검증 세트 손실: 1.605263\t최선의 손실: 0.164784\t정확도: 19.66%\n", "18\t검증 세트 손실: 1.608718\t최선의 손실: 0.164784\t정확도: 22.40%\n", "19\t검증 세트 손실: 1.604215\t최선의 손실: 0.164784\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.605054\t최선의 손실: 0.164784\t정확도: 21.31%\n", "21\t검증 세트 손실: 1.611725\t최선의 손실: 0.164784\t정확도: 19.66%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=, total= 17.4s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.322729\t최선의 손실: 0.322729\t정확도: 92.22%\n", "1\t검증 세트 손실: 0.175447\t최선의 손실: 0.175447\t정확도: 95.19%\n", "2\t검증 세트 손실: 0.488897\t최선의 손실: 0.175447\t정확도: 74.86%\n", "3\t검증 세트 손실: 0.921867\t최선의 손실: 0.175447\t정확도: 63.92%\n", "4\t검증 세트 손실: 0.650850\t최선의 손실: 0.175447\t정확도: 80.06%\n", "5\t검증 세트 손실: 0.497511\t최선의 손실: 0.175447\t정확도: 87.92%\n", "6\t검증 세트 손실: 0.672267\t최선의 손실: 0.175447\t정확도: 73.22%\n", "7\t검증 세트 손실: 0.392059\t최선의 손실: 0.175447\t정확도: 91.13%\n", "8\t검증 세트 손실: 0.329278\t최선의 손실: 0.175447\t정확도: 95.07%\n", "9\t검증 세트 손실: 0.444679\t최선의 손실: 0.175447\t정확도: 89.13%\n", "10\t검증 세트 손실: 0.353014\t최선의 손실: 0.175447\t정확도: 92.46%\n", "11\t검증 세트 손실: 0.367487\t최선의 손실: 0.175447\t정확도: 91.24%\n", "12\t검증 세트 손실: 0.330715\t최선의 손실: 0.175447\t정확도: 94.88%\n", "13\t검증 세트 손실: 0.555855\t최선의 손실: 0.175447\t정확도: 89.21%\n", "14\t검증 세트 손실: 0.504962\t최선의 손실: 0.175447\t정확도: 87.96%\n", "15\t검증 세트 손실: 0.350783\t최선의 손실: 0.175447\t정확도: 94.92%\n", "16\t검증 세트 손실: 0.461362\t최선의 손실: 0.175447\t정확도: 87.18%\n", "17\t검증 세트 손실: 0.398294\t최선의 손실: 0.175447\t정확도: 93.94%\n", "18\t검증 세트 손실: 0.368053\t최선의 손실: 0.175447\t정확도: 96.60%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "19\t검증 세트 손실: 0.443209\t최선의 손실: 0.175447\t정확도: 90.54%\n", "20\t검증 세트 손실: 0.411704\t최선의 손실: 0.175447\t정확도: 93.35%\n", "21\t검증 세트 손실: 0.712801\t최선의 손실: 0.175447\t정확도: 82.02%\n", "22\t검증 세트 손실: 0.437240\t최선의 손실: 0.175447\t정확도: 90.81%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=, total= 18.3s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.207515\t최선의 손실: 0.207515\t정확도: 94.96%\n", "1\t검증 세트 손실: 0.176637\t최선의 손실: 0.176637\t정확도: 95.66%\n", "2\t검증 세트 손실: 0.335180\t최선의 손실: 0.176637\t정확도: 90.81%\n", "3\t검증 세트 손실: 0.293437\t최선의 손실: 0.176637\t정확도: 92.30%\n", "4\t검증 세트 손실: 0.170755\t최선의 손실: 0.170755\t정확도: 95.39%\n", "5\t검증 세트 손실: 0.489114\t최선의 손실: 0.170755\t정확도: 76.39%\n", "6\t검증 세트 손실: 0.446404\t최선의 손실: 0.170755\t정확도: 85.65%\n", "7\t검증 세트 손실: 0.296574\t최선의 손실: 0.170755\t정확도: 93.04%\n", "8\t검증 세트 손실: 0.229575\t최선의 손실: 0.170755\t정확도: 95.39%\n", "9\t검증 세트 손실: 0.283897\t최선의 손실: 0.170755\t정확도: 93.28%\n", "10\t검증 세트 손실: 0.222595\t최선의 손실: 0.170755\t정확도: 94.18%\n", "11\t검증 세트 손실: 0.390861\t최선의 손실: 0.170755\t정확도: 89.80%\n", "12\t검증 세트 손실: 0.541708\t최선의 손실: 0.170755\t정확도: 75.10%\n", "13\t검증 세트 손실: 0.511386\t최선의 손실: 0.170755\t정확도: 77.37%\n", "14\t검증 세트 손실: 0.408998\t최선의 손실: 0.170755\t정확도: 84.21%\n", "15\t검증 세트 손실: 1.193759\t최선의 손실: 0.170755\t정확도: 41.99%\n", "16\t검증 세트 손실: 1.173714\t최선의 손실: 0.170755\t정확도: 42.57%\n", "17\t검증 세트 손실: 1.178119\t최선의 손실: 0.170755\t정확도: 38.51%\n", "18\t검증 세트 손실: 1.158817\t최선의 손실: 0.170755\t정확도: 42.34%\n", "19\t검증 세트 손실: 1.161195\t최선의 손실: 0.170755\t정확도: 39.41%\n", "20\t검증 세트 손실: 1.155494\t최선의 손실: 0.170755\t정확도: 42.73%\n", "21\t검증 세트 손실: 1.167830\t최선의 손실: 0.170755\t정확도: 42.73%\n", "22\t검증 세트 손실: 1.159312\t최선의 손실: 0.170755\t정확도: 39.41%\n", "23\t검증 세트 손실: 1.166471\t최선의 손실: 0.170755\t정확도: 42.73%\n", "24\t검증 세트 손실: 1.156795\t최선의 손실: 0.170755\t정확도: 42.73%\n", "25\t검증 세트 손실: 1.150899\t최선의 손실: 0.170755\t정확도: 42.73%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=10, activation=, total= 20.3s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.075344\t최선의 손실: 0.075344\t정확도: 97.65%\n", "1\t검증 세트 손실: 0.073830\t최선의 손실: 0.073830\t정확도: 98.08%\n", "2\t검증 세트 손실: 0.059857\t최선의 손실: 0.059857\t정확도: 98.44%\n", "3\t검증 세트 손실: 0.094209\t최선의 손실: 0.059857\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.075635\t최선의 손실: 0.059857\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.084996\t최선의 손실: 0.059857\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.294046\t최선의 손실: 0.059857\t정확도: 97.46%\n", "7\t검증 세트 손실: 0.165618\t최선의 손실: 0.059857\t정확도: 96.95%\n", "8\t검증 세트 손실: 0.098870\t최선의 손실: 0.059857\t정확도: 97.34%\n", "9\t검증 세트 손실: 0.065961\t최선의 손실: 0.059857\t정확도: 98.32%\n", "10\t검증 세트 손실: 0.073386\t최선의 손실: 0.059857\t정확도: 98.40%\n", "11\t검증 세트 손실: 0.164333\t최선의 손실: 0.059857\t정확도: 96.05%\n", "12\t검증 세트 손실: 0.123105\t최선의 손실: 0.059857\t정확도: 98.32%\n", "13\t검증 세트 손실: 0.146339\t최선의 손실: 0.059857\t정확도: 97.34%\n", "14\t검증 세트 손실: 0.114013\t최선의 손실: 0.059857\t정확도: 98.16%\n", "15\t검증 세트 손실: 0.114416\t최선의 손실: 0.059857\t정확도: 97.77%\n", "16\t검증 세트 손실: 0.077662\t최선의 손실: 0.059857\t정확도: 98.36%\n", "17\t검증 세트 손실: 0.110555\t최선의 손실: 0.059857\t정확도: 98.28%\n", "18\t검증 세트 손실: 0.118245\t최선의 손실: 0.059857\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.075816\t최선의 손실: 0.059857\t정확도: 98.48%\n", "20\t검증 세트 손실: 0.077546\t최선의 손실: 0.059857\t정확도: 98.40%\n", "21\t검증 세트 손실: 0.116682\t최선의 손실: 0.059857\t정확도: 98.16%\n", "22\t검증 세트 손실: 2.854653\t최선의 손실: 0.059857\t정확도: 80.81%\n", "23\t검증 세트 손실: 0.140482\t최선의 손실: 0.059857\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=, total= 8.7s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.098573\t최선의 손실: 0.098573\t정확도: 97.65%\n", "1\t검증 세트 손실: 0.068084\t최선의 손실: 0.068084\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.067996\t최선의 손실: 0.067996\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.057274\t최선의 손실: 0.057274\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.044082\t최선의 손실: 0.044082\t정확도: 98.51%\n", "5\t검증 세트 손실: 0.049112\t최선의 손실: 0.044082\t정확도: 98.71%\n", "6\t검증 세트 손실: 1.106520\t최선의 손실: 0.044082\t정확도: 88.98%\n", "7\t검증 세트 손실: 0.076707\t최선의 손실: 0.044082\t정확도: 97.85%\n", "8\t검증 세트 손실: 0.066381\t최선의 손실: 0.044082\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.071855\t최선의 손실: 0.044082\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.062106\t최선의 손실: 0.044082\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.077370\t최선의 손실: 0.044082\t정확도: 98.48%\n", "12\t검증 세트 손실: 0.095278\t최선의 손실: 0.044082\t정확도: 98.16%\n", "13\t검증 세트 손실: 0.063336\t최선의 손실: 0.044082\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.069274\t최선의 손실: 0.044082\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.075871\t최선의 손실: 0.044082\t정확도: 98.48%\n", "16\t검증 세트 손실: 0.080395\t최선의 손실: 0.044082\t정확도: 98.67%\n", "17\t검증 세트 손실: 0.073136\t최선의 손실: 0.044082\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.071227\t최선의 손실: 0.044082\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.138496\t최선의 손실: 0.044082\t정확도: 98.20%\n", "20\t검증 세트 손실: 0.103102\t최선의 손실: 0.044082\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.130320\t최선의 손실: 0.044082\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.428272\t최선의 손실: 0.044082\t정확도: 97.93%\n", "23\t검증 세트 손실: 0.347639\t최선의 손실: 0.044082\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.101881\t최선의 손실: 0.044082\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.052243\t최선의 손실: 0.044082\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=, total= 9.3s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.078001\t최선의 손실: 0.078001\t정확도: 97.85%\n", "1\t검증 세트 손실: 0.072618\t최선의 손실: 0.072618\t정확도: 98.05%\n", "2\t검증 세트 손실: 0.070087\t최선의 손실: 0.070087\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.071379\t최선의 손실: 0.070087\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.075052\t최선의 손실: 0.070087\t정확도: 97.58%\n", "5\t검증 세트 손실: 0.119483\t최선의 손실: 0.070087\t정확도: 97.65%\n", "6\t검증 세트 손실: 0.095994\t최선의 손실: 0.070087\t정확도: 97.69%\n", "7\t검증 세트 손실: 0.065574\t최선의 손실: 0.065574\t정확도: 98.59%\n", "8\t검증 세트 손실: 0.074721\t최선의 손실: 0.065574\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.057990\t최선의 손실: 0.057990\t정확도: 98.55%\n", "10\t검증 세트 손실: 0.107921\t최선의 손실: 0.057990\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.058926\t최선의 손실: 0.057990\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.162880\t최선의 손실: 0.057990\t정확도: 97.26%\n", "13\t검증 세트 손실: 0.067843\t최선의 손실: 0.057990\t정확도: 98.71%\n", "14\t검증 세트 손실: 0.130447\t최선의 손실: 0.057990\t정확도: 98.71%\n", "15\t검증 세트 손실: 0.062617\t최선의 손실: 0.057990\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.085667\t최선의 손실: 0.057990\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.064317\t최선의 손실: 0.057990\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.058387\t최선의 손실: 0.057990\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.067949\t최선의 손실: 0.057990\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.184325\t최선의 손실: 0.057990\t정확도: 97.42%\n", "21\t검증 세트 손실: 0.121191\t최선의 손실: 0.057990\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.155771\t최선의 손실: 0.057990\t정확도: 96.79%\n", "23\t검증 세트 손실: 0.122737\t최선의 손실: 0.057990\t정확도: 96.99%\n", "24\t검증 세트 손실: 0.103095\t최선의 손실: 0.057990\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.080420\t최선의 손실: 0.057990\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.051451\t최선의 손실: 0.051451\t정확도: 98.71%\n", "27\t검증 세트 손실: 0.057824\t최선의 손실: 0.051451\t정확도: 98.98%\n", "28\t검증 세트 손실: 0.068738\t최선의 손실: 0.051451\t정확도: 99.18%\n", "29\t검증 세트 손실: 0.076596\t최선의 손실: 0.051451\t정확도: 99.10%\n", "30\t검증 세트 손실: 0.063843\t최선의 손실: 0.051451\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.066339\t최선의 손실: 0.051451\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.090036\t최선의 손실: 0.051451\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.082966\t최선의 손실: 0.051451\t정확도: 98.08%\n", "34\t검증 세트 손실: 0.115264\t최선의 손실: 0.051451\t정확도: 98.36%\n", "35\t검증 세트 손실: 0.198582\t최선의 손실: 0.051451\t정확도: 97.97%\n", "36\t검증 세트 손실: 0.122167\t최선의 손실: 0.051451\t정확도: 98.63%\n", "37\t검증 세트 손실: 0.078618\t최선의 손실: 0.051451\t정확도: 98.83%\n", "38\t검증 세트 손실: 0.088503\t최선의 손실: 0.051451\t정확도: 98.98%\n", "39\t검증 세트 손실: 0.169790\t최선의 손실: 0.051451\t정확도: 99.06%\n", "40\t검증 세트 손실: 0.340368\t최선의 손실: 0.051451\t정확도: 98.24%\n", "41\t검증 세트 손실: 0.140925\t최선의 손실: 0.051451\t정확도: 97.65%\n", "42\t검증 세트 손실: 0.300344\t최선의 손실: 0.051451\t정확도: 95.11%\n", "43\t검증 세트 손실: 0.150650\t최선의 손실: 0.051451\t정확도: 97.11%\n", "44\t검증 세트 손실: 0.688458\t최선의 손실: 0.051451\t정확도: 86.16%\n", "45\t검증 세트 손실: 0.196016\t최선의 손실: 0.051451\t정확도: 97.65%\n", "46\t검증 세트 손실: 0.180504\t최선의 손실: 0.051451\t정확도: 95.23%\n", "47\t검증 세트 손실: 0.460098\t최선의 손실: 0.051451\t정확도: 97.58%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=100, activation=, total= 16.9s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.201966\t최선의 손실: 0.201966\t정확도: 94.57%\n", "1\t검증 세트 손실: 0.234719\t최선의 손실: 0.201966\t정확도: 94.10%\n", "2\t검증 세트 손실: 0.445972\t최선의 손실: 0.201966\t정확도: 83.58%\n", "3\t검증 세트 손실: 1.192057\t최선의 손실: 0.201966\t정확도: 44.29%\n", "4\t검증 세트 손실: 0.567835\t최선의 손실: 0.201966\t정확도: 74.00%\n", "5\t검증 세트 손실: 0.680432\t최선의 손실: 0.201966\t정확도: 72.36%\n", "6\t검증 세트 손실: 0.499933\t최선의 손실: 0.201966\t정확도: 75.06%\n", "7\t검증 세트 손실: 0.282034\t최선의 손실: 0.201966\t정확도: 94.96%\n", "8\t검증 세트 손실: 0.460329\t최선의 손실: 0.201966\t정확도: 86.59%\n", "9\t검증 세트 손실: 0.466551\t최선의 손실: 0.201966\t정확도: 77.09%\n", "10\t검증 세트 손실: 0.535966\t최선의 손실: 0.201966\t정확도: 94.18%\n", "11\t검증 세트 손실: 0.792121\t최선의 손실: 0.201966\t정확도: 59.23%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "12\t검증 세트 손실: 0.845066\t최선의 손실: 0.201966\t정확도: 61.85%\n", "13\t검증 세트 손실: 1.231377\t최선의 손실: 0.201966\t정확도: 53.87%\n", "14\t검증 세트 손실: 1.029100\t최선의 손실: 0.201966\t정확도: 40.23%\n", "15\t검증 세트 손실: 1.028726\t최선의 손실: 0.201966\t정확도: 39.84%\n", "16\t검증 세트 손실: 1.027991\t최선의 손실: 0.201966\t정확도: 39.84%\n", "17\t검증 세트 손실: 1.029007\t최선의 손실: 0.201966\t정확도: 38.90%\n", "18\t검증 세트 손실: 1.029122\t최선의 손실: 0.201966\t정확도: 40.23%\n", "19\t검증 세트 손실: 1.031220\t최선의 손실: 0.201966\t정확도: 39.29%\n", "20\t검증 세트 손실: 1.024060\t최선의 손실: 0.201966\t정확도: 39.29%\n", "21\t검증 세트 손실: 1.029693\t최선의 손실: 0.201966\t정확도: 39.84%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=, total= 28.5s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.171695\t최선의 손실: 0.171695\t정확도: 96.21%\n", "1\t검증 세트 손실: 1.612393\t최선의 손실: 0.171695\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.609583\t최선의 손실: 0.171695\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.614159\t최선의 손실: 0.171695\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.611102\t최선의 손실: 0.171695\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.608539\t최선의 손실: 0.171695\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.614227\t최선의 손실: 0.171695\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.610501\t최선의 손실: 0.171695\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.608937\t최선의 손실: 0.171695\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.607984\t최선의 손실: 0.171695\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.611025\t최선의 손실: 0.171695\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.610161\t최선의 손실: 0.171695\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.609380\t최선의 손실: 0.171695\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.610887\t최선의 손실: 0.171695\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.608783\t최선의 손실: 0.171695\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.609201\t최선의 손실: 0.171695\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.610897\t최선의 손실: 0.171695\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.611614\t최선의 손실: 0.171695\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.610137\t최선의 손실: 0.171695\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.609074\t최선의 손실: 0.171695\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.609576\t최선의 손실: 0.171695\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.612212\t최선의 손실: 0.171695\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=, total= 28.4s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation= \n", "0\t검증 세트 손실: 0.158174\t최선의 손실: 0.158174\t정확도: 96.44%\n", "1\t검증 세트 손실: 0.135459\t최선의 손실: 0.135459\t정확도: 96.79%\n", "2\t검증 세트 손실: 0.165871\t최선의 손실: 0.135459\t정확도: 95.50%\n", "3\t검증 세트 손실: 0.302005\t최선의 손실: 0.135459\t정확도: 95.43%\n", "4\t검증 세트 손실: 1.278549\t최선의 손실: 0.135459\t정확도: 36.79%\n", "5\t검증 세트 손실: 1.225286\t최선의 손실: 0.135459\t정확도: 40.07%\n", "6\t검증 세트 손실: 1.175152\t최선의 손실: 0.135459\t정확도: 40.07%\n", "7\t검증 세트 손실: 1.565100\t최선의 손실: 0.135459\t정확도: 40.30%\n", "8\t검증 세트 손실: 1.312375\t최선의 손실: 0.135459\t정확도: 40.58%\n", "9\t검증 세트 손실: 1.134378\t최선의 손실: 0.135459\t정확도: 40.03%\n", "10\t검증 세트 손실: 1.133411\t최선의 손실: 0.135459\t정확도: 40.30%\n", "11\t검증 세트 손실: 1.153915\t최선의 손실: 0.135459\t정확도: 40.54%\n", "12\t검증 세트 손실: 1.305280\t최선의 손실: 0.135459\t정확도: 42.34%\n", "13\t검증 세트 손실: 0.843906\t최선의 손실: 0.135459\t정확도: 58.44%\n", "14\t검증 세트 손실: 1.220675\t최선의 손실: 0.135459\t정확도: 42.34%\n", "15\t검증 세트 손실: 1.317513\t최선의 손실: 0.135459\t정확도: 40.62%\n", "16\t검증 세트 손실: 1.238394\t최선의 손실: 0.135459\t정확도: 40.19%\n", "17\t검증 세트 손실: 1.390628\t최선의 손실: 0.135459\t정확도: 39.68%\n", "18\t검증 세트 손실: 1.660865\t최선의 손실: 0.135459\t정확도: 40.27%\n", "19\t검증 세트 손실: 2.691817\t최선의 손실: 0.135459\t정확도: 39.84%\n", "20\t검증 세트 손실: 1.434890\t최선의 손실: 0.135459\t정확도: 29.48%\n", "21\t검증 세트 손실: 1.410185\t최선의 손실: 0.135459\t정확도: 30.81%\n", "22\t검증 세트 손실: 1.415740\t최선의 손실: 0.135459\t정확도: 30.30%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=10, activation=, total= 29.7s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 63.504795\t최선의 손실: 63.504795\t정확도: 67.12%\n", "1\t검증 세트 손실: 5.052154\t최선의 손실: 5.052154\t정확도: 89.17%\n", "2\t검증 세트 손실: 1.723089\t최선의 손실: 1.723089\t정확도: 92.96%\n", "3\t검증 세트 손실: 1.294373\t최선의 손실: 1.294373\t정확도: 94.49%\n", "4\t검증 세트 손실: 1.210073\t최선의 손실: 1.210073\t정확도: 94.02%\n", "5\t검증 세트 손실: 0.806669\t최선의 손실: 0.806669\t정확도: 94.68%\n", "6\t검증 세트 손실: 0.902203\t최선의 손실: 0.806669\t정확도: 93.32%\n", "7\t검증 세트 손실: 0.669576\t최선의 손실: 0.669576\t정확도: 96.13%\n", "8\t검증 세트 손실: 0.542437\t최선의 손실: 0.542437\t정확도: 95.43%\n", "9\t검증 세트 손실: 3.754392\t최선의 손실: 0.542437\t정확도: 91.71%\n", "10\t검증 세트 손실: 1.267429\t최선의 손실: 0.542437\t정확도: 95.70%\n", "11\t검증 세트 손실: 1.807939\t최선의 손실: 0.542437\t정확도: 96.60%\n", "12\t검증 세트 손실: 2.557299\t최선의 손실: 0.542437\t정확도: 95.43%\n", "13\t검증 세트 손실: 3.509970\t최선의 손실: 0.542437\t정확도: 95.27%\n", "14\t검증 세트 손실: 3.459355\t최선의 손실: 0.542437\t정확도: 95.74%\n", "15\t검증 세트 손실: 4.305189\t최선의 손실: 0.542437\t정확도: 95.07%\n", "16\t검증 세트 손실: 5.428687\t최선의 손실: 0.542437\t정확도: 96.56%\n", "17\t검증 세트 손실: 4.720324\t최선의 손실: 0.542437\t정확도: 96.68%\n", "18\t검증 세트 손실: 4.834424\t최선의 손실: 0.542437\t정확도: 96.99%\n", "19\t검증 세트 손실: 5.703214\t최선의 손실: 0.542437\t정확도: 96.76%\n", "20\t검증 세트 손실: 9.607757\t최선의 손실: 0.542437\t정확도: 91.52%\n", "21\t검증 세트 손실: 0.600676\t최선의 손실: 0.542437\t정확도: 96.33%\n", "22\t검증 세트 손실: 0.485585\t최선의 손실: 0.485585\t정확도: 95.00%\n", "23\t검증 세트 손실: 0.372879\t최선의 손실: 0.372879\t정확도: 97.19%\n", "24\t검증 세트 손실: 0.717935\t최선의 손실: 0.372879\t정확도: 93.78%\n", "25\t검증 세트 손실: 3.083488\t최선의 손실: 0.372879\t정확도: 90.70%\n", "26\t검증 세트 손실: 2.418745\t최선의 손실: 0.372879\t정확도: 95.47%\n", "27\t검증 세트 손실: 9806.400391\t최선의 손실: 0.372879\t정확도: 18.73%\n", "28\t검증 세트 손실: 148620160.000000\t최선의 손실: 0.372879\t정확도: 18.73%\n", "29\t검증 세트 손실: 1553446.000000\t최선의 손실: 0.372879\t정확도: 59.27%\n", "30\t검증 세트 손실: 158051.531250\t최선의 손실: 0.372879\t정확도: 81.35%\n", "31\t검증 세트 손실: 67265.742188\t최선의 손실: 0.372879\t정확도: 87.65%\n", "32\t검증 세트 손실: 52441.339844\t최선의 손실: 0.372879\t정확도: 88.74%\n", "33\t검증 세트 손실: 46493.886719\t최선의 손실: 0.372879\t정확도: 88.66%\n", "34\t검증 세트 손실: 37422.031250\t최선의 손실: 0.372879\t정확도: 89.01%\n", "35\t검증 세트 손실: 35695.710938\t최선의 손실: 0.372879\t정확도: 88.27%\n", "36\t검증 세트 손실: 28254.783203\t최선의 손실: 0.372879\t정확도: 89.44%\n", "37\t검증 세트 손실: 34913.843750\t최선의 손실: 0.372879\t정확도: 86.12%\n", "38\t검증 세트 손실: 21439.865234\t최선의 손실: 0.372879\t정확도: 90.81%\n", "39\t검증 세트 손실: 19290.638672\t최선의 손실: 0.372879\t정확도: 90.62%\n", "40\t검증 세트 손실: 17720.156250\t최선의 손실: 0.372879\t정확도: 91.24%\n", "41\t검증 세트 손실: 23895.902344\t최선의 손실: 0.372879\t정확도: 84.75%\n", "42\t검증 세트 손실: 22137.406250\t최선의 손실: 0.372879\t정확도: 87.10%\n", "43\t검증 세트 손실: 16311.849609\t최선의 손실: 0.372879\t정확도: 91.99%\n", "44\t검증 세트 손실: 17495.769531\t최선의 손실: 0.372879\t정확도: 92.77%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.1s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 1046.745483\t최선의 손실: 1046.745483\t정확도: 51.56%\n", "1\t검증 세트 손실: 118.676224\t최선의 손실: 118.676224\t정확도: 70.25%\n", "2\t검증 세트 손실: 7.759680\t최선의 손실: 7.759680\t정확도: 91.83%\n", "3\t검증 세트 손실: 1.760084\t최선의 손실: 1.760084\t정확도: 94.29%\n", "4\t검증 세트 손실: 1.759238\t최선의 손실: 1.759238\t정확도: 94.64%\n", "5\t검증 세트 손실: 1.340536\t최선의 손실: 1.340536\t정확도: 94.37%\n", "6\t검증 세트 손실: 1.187283\t최선의 손실: 1.187283\t정확도: 94.72%\n", "7\t검증 세트 손실: 1.499387\t최선의 손실: 1.187283\t정확도: 92.61%\n", "8\t검증 세트 손실: 1.725356\t최선의 손실: 1.187283\t정확도: 91.59%\n", "9\t검증 세트 손실: 1.049225\t최선의 손실: 1.049225\t정확도: 95.39%\n", "10\t검증 세트 손실: 1.079078\t최선의 손실: 1.049225\t정확도: 95.27%\n", "11\t검증 세트 손실: 0.918480\t최선의 손실: 0.918480\t정확도: 94.61%\n", "12\t검증 세트 손실: 1.073662\t최선의 손실: 0.918480\t정확도: 93.32%\n", "13\t검증 세트 손실: 2.326349\t최선의 손실: 0.918480\t정확도: 94.57%\n", "14\t검증 세트 손실: 1.316089\t최선의 손실: 0.918480\t정확도: 94.41%\n", "15\t검증 세트 손실: 1.265519\t최선의 손실: 0.918480\t정확도: 93.98%\n", "16\t검증 세트 손실: 0.596224\t최선의 손실: 0.596224\t정확도: 96.56%\n", "17\t검증 세트 손실: 1.225945\t최선의 손실: 0.596224\t정확도: 93.78%\n", "18\t검증 세트 손실: 0.839632\t최선의 손실: 0.596224\t정확도: 94.10%\n", "19\t검증 세트 손실: 0.627583\t최선의 손실: 0.596224\t정확도: 96.17%\n", "20\t검증 세트 손실: 0.573615\t최선의 손실: 0.573615\t정확도: 96.48%\n", "21\t검증 세트 손실: 0.706544\t최선의 손실: 0.573615\t정확도: 95.39%\n", "22\t검증 세트 손실: 0.651824\t최선의 손실: 0.573615\t정확도: 96.36%\n", "23\t검증 세트 손실: 0.593484\t최선의 손실: 0.573615\t정확도: 95.04%\n", "24\t검증 세트 손실: 0.761043\t최선의 손실: 0.573615\t정확도: 95.00%\n", "25\t검증 세트 손실: 0.358924\t최선의 손실: 0.358924\t정확도: 96.44%\n", "26\t검증 세트 손실: 0.333070\t최선의 손실: 0.333070\t정확도: 96.56%\n", "27\t검증 세트 손실: 0.285043\t최선의 손실: 0.285043\t정확도: 96.79%\n", "28\t검증 세트 손실: 0.507448\t최선의 손실: 0.285043\t정확도: 95.70%\n", "29\t검증 세트 손실: 0.774901\t최선의 손실: 0.285043\t정확도: 92.03%\n", "30\t검증 세트 손실: 0.397582\t최선의 손실: 0.285043\t정확도: 96.52%\n", "31\t검증 세트 손실: 0.480633\t최선의 손실: 0.285043\t정확도: 96.79%\n", "32\t검증 세트 손실: 0.430192\t최선의 손실: 0.285043\t정확도: 96.40%\n", "33\t검증 세트 손실: 0.403741\t최선의 손실: 0.285043\t정확도: 97.15%\n", "34\t검증 세트 손실: 0.368596\t최선의 손실: 0.285043\t정확도: 97.26%\n", "35\t검증 세트 손실: 0.378595\t최선의 손실: 0.285043\t정확도: 96.99%\n", "36\t검증 세트 손실: 0.454858\t최선의 손실: 0.285043\t정확도: 96.48%\n", "37\t검증 세트 손실: 0.369779\t최선의 손실: 0.285043\t정확도: 97.03%\n", "38\t검증 세트 손실: 0.446258\t최선의 손실: 0.285043\t정확도: 95.54%\n", "39\t검증 세트 손실: 0.389079\t최선의 손실: 0.285043\t정확도: 97.34%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "40\t검증 세트 손실: 0.451859\t최선의 손실: 0.285043\t정확도: 96.01%\n", "41\t검증 세트 손실: 0.383268\t최선의 손실: 0.285043\t정확도: 96.95%\n", "42\t검증 세트 손실: 0.437539\t최선의 손실: 0.285043\t정확도: 96.56%\n", "43\t검증 세트 손실: 0.433877\t최선의 손실: 0.285043\t정확도: 96.29%\n", "44\t검증 세트 손실: 0.388926\t최선의 손실: 0.285043\t정확도: 97.50%\n", "45\t검증 세트 손실: 0.451208\t최선의 손실: 0.285043\t정확도: 96.40%\n", "46\t검증 세트 손실: 0.383426\t최선의 손실: 0.285043\t정확도: 96.56%\n", "47\t검증 세트 손실: 0.376542\t최선의 손실: 0.285043\t정확도: 96.68%\n", "48\t검증 세트 손실: 0.409561\t최선의 손실: 0.285043\t정확도: 96.72%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 9.8s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 508.033661\t최선의 손실: 508.033661\t정확도: 35.65%\n", "1\t검증 세트 손실: 77.860954\t최선의 손실: 77.860954\t정확도: 76.66%\n", "2\t검증 세트 손실: 7.454078\t최선의 손실: 7.454078\t정확도: 89.37%\n", "3\t검증 세트 손실: 8.283775\t최선의 손실: 7.454078\t정확도: 80.38%\n", "4\t검증 세트 손실: 2.203256\t최선의 손실: 2.203256\t정확도: 95.39%\n", "5\t검증 세트 손실: 1.508655\t최선의 손실: 1.508655\t정확도: 94.96%\n", "6\t검증 세트 손실: 1.029555\t최선의 손실: 1.029555\t정확도: 95.39%\n", "7\t검증 세트 손실: 0.830592\t최선의 손실: 0.830592\t정확도: 94.84%\n", "8\t검증 세트 손실: 0.731862\t최선의 손실: 0.731862\t정확도: 95.50%\n", "9\t검증 세트 손실: 0.688742\t최선의 손실: 0.688742\t정확도: 95.43%\n", "10\t검증 세트 손실: 0.520653\t최선의 손실: 0.520653\t정확도: 96.44%\n", "11\t검증 세트 손실: 0.747843\t최선의 손실: 0.520653\t정확도: 94.92%\n", "12\t검증 세트 손실: 0.582237\t최선의 손실: 0.520653\t정확도: 94.49%\n", "13\t검증 세트 손실: 0.977322\t최선의 손실: 0.520653\t정확도: 94.37%\n", "14\t검증 세트 손실: 0.977657\t최선의 손실: 0.520653\t정확도: 92.69%\n", "15\t검증 세트 손실: 0.538623\t최선의 손실: 0.520653\t정확도: 96.33%\n", "16\t검증 세트 손실: 0.449942\t최선의 손실: 0.449942\t정확도: 96.87%\n", "17\t검증 세트 손실: 0.723675\t최선의 손실: 0.449942\t정확도: 91.44%\n", "18\t검증 세트 손실: 0.425682\t최선의 손실: 0.425682\t정확도: 96.48%\n", "19\t검증 세트 손실: 0.435550\t최선의 손실: 0.425682\t정확도: 96.40%\n", "20\t검증 세트 손실: 0.433513\t최선의 손실: 0.425682\t정확도: 96.09%\n", "21\t검증 세트 손실: 0.412725\t최선의 손실: 0.412725\t정확도: 96.44%\n", "22\t검증 세트 손실: 0.378843\t최선의 손실: 0.378843\t정확도: 97.26%\n", "23\t검증 세트 손실: 0.473851\t최선의 손실: 0.378843\t정확도: 94.37%\n", "24\t검증 세트 손실: 0.440041\t최선의 손실: 0.378843\t정확도: 96.05%\n", "25\t검증 세트 손실: 1.048303\t최선의 손실: 0.378843\t정확도: 92.10%\n", "26\t검증 세트 손실: 0.559052\t최선의 손실: 0.378843\t정확도: 96.29%\n", "27\t검증 세트 손실: 0.497070\t최선의 손실: 0.378843\t정확도: 95.97%\n", "28\t검증 세트 손실: 0.509400\t최선의 손실: 0.378843\t정확도: 95.62%\n", "29\t검증 세트 손실: 0.381642\t최선의 손실: 0.378843\t정확도: 97.19%\n", "30\t검증 세트 손실: 0.318084\t최선의 손실: 0.318084\t정확도: 96.76%\n", "31\t검증 세트 손실: 0.381882\t최선의 손실: 0.318084\t정확도: 95.47%\n", "32\t검증 세트 손실: 0.320674\t최선의 손실: 0.318084\t정확도: 97.22%\n", "33\t검증 세트 손실: 0.333089\t최선의 손실: 0.318084\t정확도: 95.50%\n", "34\t검증 세트 손실: 0.263068\t최선의 손실: 0.263068\t정확도: 96.79%\n", "35\t검증 세트 손실: 0.411878\t최선의 손실: 0.263068\t정확도: 96.79%\n", "36\t검증 세트 손실: 0.422032\t최선의 손실: 0.263068\t정확도: 97.11%\n", "37\t검증 세트 손실: 0.332708\t최선의 손실: 0.263068\t정확도: 97.34%\n", "38\t검증 세트 손실: 0.634995\t최선의 손실: 0.263068\t정확도: 94.21%\n", "39\t검증 세트 손실: 0.423280\t최선의 손실: 0.263068\t정확도: 96.40%\n", "40\t검증 세트 손실: 0.405578\t최선의 손실: 0.263068\t정확도: 95.74%\n", "41\t검증 세트 손실: 0.328063\t최선의 손실: 0.263068\t정확도: 97.22%\n", "42\t검증 세트 손실: 0.302149\t최선의 손실: 0.263068\t정확도: 97.22%\n", "43\t검증 세트 손실: 0.295138\t최선의 손실: 0.263068\t정확도: 97.07%\n", "44\t검증 세트 손실: 0.308027\t최선의 손실: 0.263068\t정확도: 97.07%\n", "45\t검증 세트 손실: 0.272290\t최선의 손실: 0.263068\t정확도: 97.46%\n", "46\t검증 세트 손실: 0.260330\t최선의 손실: 0.260330\t정확도: 97.54%\n", "47\t검증 세트 손실: 0.254518\t최선의 손실: 0.254518\t정확도: 97.73%\n", "48\t검증 세트 손실: 0.273957\t최선의 손실: 0.254518\t정확도: 96.95%\n", "49\t검증 세트 손실: 0.294691\t최선의 손실: 0.254518\t정확도: 97.22%\n", "50\t검증 세트 손실: 0.266778\t최선의 손실: 0.254518\t정확도: 97.89%\n", "51\t검증 세트 손실: 0.242479\t최선의 손실: 0.242479\t정확도: 97.77%\n", "52\t검증 세트 손실: 0.278007\t최선의 손실: 0.242479\t정확도: 97.50%\n", "53\t검증 세트 손실: 0.271276\t최선의 손실: 0.242479\t정확도: 97.50%\n", "54\t검증 세트 손실: 0.293423\t최선의 손실: 0.242479\t정확도: 96.91%\n", "55\t검증 세트 손실: 0.283898\t최선의 손실: 0.242479\t정확도: 97.62%\n", "56\t검증 세트 손실: 0.285030\t최선의 손실: 0.242479\t정확도: 97.38%\n", "57\t검증 세트 손실: 0.302241\t최선의 손실: 0.242479\t정확도: 97.22%\n", "58\t검증 세트 손실: 0.304259\t최선의 손실: 0.242479\t정확도: 96.79%\n", "59\t검증 세트 손실: 0.376649\t최선의 손실: 0.242479\t정확도: 96.99%\n", "60\t검증 세트 손실: 0.383960\t최선의 손실: 0.242479\t정확도: 96.79%\n", "61\t검증 세트 손실: 0.351119\t최선의 손실: 0.242479\t정확도: 97.26%\n", "62\t검증 세트 손실: 0.280588\t최선의 손실: 0.242479\t정확도: 97.58%\n", "63\t검증 세트 손실: 0.270688\t최선의 손실: 0.242479\t정확도: 97.85%\n", "64\t검증 세트 손실: 0.381684\t최선의 손실: 0.242479\t정확도: 96.60%\n", "65\t검증 세트 손실: 0.285757\t최선의 손실: 0.242479\t정확도: 97.46%\n", "66\t검증 세트 손실: 0.280456\t최선의 손실: 0.242479\t정확도: 97.26%\n", "67\t검증 세트 손실: 0.271998\t최선의 손실: 0.242479\t정확도: 97.58%\n", "68\t검증 세트 손실: 0.344882\t최선의 손실: 0.242479\t정확도: 97.54%\n", "69\t검증 세트 손실: 0.306499\t최선의 손실: 0.242479\t정확도: 96.95%\n", "70\t검증 세트 손실: 0.282075\t최선의 손실: 0.242479\t정확도: 97.69%\n", "71\t검증 세트 손실: 0.347276\t최선의 손실: 0.242479\t정확도: 97.30%\n", "72\t검증 세트 손실: 0.307301\t최선의 손실: 0.242479\t정확도: 97.42%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 14.3s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.106298\t최선의 손실: 0.106298\t정확도: 96.76%\n", "1\t검증 세트 손실: 0.062642\t최선의 손실: 0.062642\t정확도: 98.28%\n", "2\t검증 세트 손실: 0.060083\t최선의 손실: 0.060083\t정확도: 98.05%\n", "3\t검증 세트 손실: 0.064581\t최선의 손실: 0.060083\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.056122\t최선의 손실: 0.056122\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.069689\t최선의 손실: 0.056122\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.046615\t최선의 손실: 0.046615\t정확도: 98.67%\n", "7\t검증 세트 손실: 0.053433\t최선의 손실: 0.046615\t정확도: 98.83%\n", "8\t검증 세트 손실: 0.058376\t최선의 손실: 0.046615\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.062615\t최선의 손실: 0.046615\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.066868\t최선의 손실: 0.046615\t정확도: 98.40%\n", "11\t검증 세트 손실: 0.067680\t최선의 손실: 0.046615\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.059356\t최선의 손실: 0.046615\t정확도: 98.87%\n", "13\t검증 세트 손실: 0.074744\t최선의 손실: 0.046615\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.079049\t최선의 손실: 0.046615\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.074987\t최선의 손실: 0.046615\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.060130\t최선의 손실: 0.046615\t정확도: 98.67%\n", "17\t검증 세트 손실: 0.083335\t최선의 손실: 0.046615\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.104511\t최선의 손실: 0.046615\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.108278\t최선의 손실: 0.046615\t정확도: 98.20%\n", "20\t검증 세트 손실: 0.078940\t최선의 손실: 0.046615\t정확도: 98.32%\n", "21\t검증 세트 손실: 0.065107\t최선의 손실: 0.046615\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.054712\t최선의 손실: 0.046615\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.093591\t최선의 손실: 0.046615\t정확도: 98.12%\n", "24\t검증 세트 손실: 0.102512\t최선의 손실: 0.046615\t정확도: 98.44%\n", "25\t검증 세트 손실: 0.057025\t최선의 손실: 0.046615\t정확도: 98.87%\n", "26\t검증 세트 손실: 0.102751\t최선의 손실: 0.046615\t정확도: 98.63%\n", "27\t검증 세트 손실: 0.086250\t최선의 손실: 0.046615\t정확도: 98.48%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 7.8s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.086457\t최선의 손실: 0.086457\t정확도: 97.30%\n", "1\t검증 세트 손실: 0.060466\t최선의 손실: 0.060466\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.057832\t최선의 손실: 0.057832\t정확도: 98.40%\n", "3\t검증 세트 손실: 0.050015\t최선의 손실: 0.050015\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.059918\t최선의 손실: 0.050015\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.061310\t최선의 손실: 0.050015\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.045503\t최선의 손실: 0.045503\t정확도: 98.67%\n", "7\t검증 세트 손실: 0.069905\t최선의 손실: 0.045503\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.074877\t최선의 손실: 0.045503\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.038914\t최선의 손실: 0.038914\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.050341\t최선의 손실: 0.038914\t정확도: 98.71%\n", "11\t검증 세트 손실: 0.072224\t최선의 손실: 0.038914\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.052401\t최선의 손실: 0.038914\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.049612\t최선의 손실: 0.038914\t정확도: 98.55%\n", "14\t검증 세트 손실: 0.060295\t최선의 손실: 0.038914\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.064208\t최선의 손실: 0.038914\t정확도: 98.67%\n", "16\t검증 세트 손실: 0.051375\t최선의 손실: 0.038914\t정확도: 99.22%\n", "17\t검증 세트 손실: 0.049331\t최선의 손실: 0.038914\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.067461\t최선의 손실: 0.038914\t정확도: 98.94%\n", "19\t검증 세트 손실: 0.063362\t최선의 손실: 0.038914\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.056202\t최선의 손실: 0.038914\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.068848\t최선의 손실: 0.038914\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.066839\t최선의 손실: 0.038914\t정확도: 98.94%\n", "23\t검증 세트 손실: 0.080844\t최선의 손실: 0.038914\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.033566\t최선의 손실: 0.033566\t정확도: 99.22%\n", "25\t검증 세트 손실: 0.053485\t최선의 손실: 0.033566\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.065793\t최선의 손실: 0.033566\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.061346\t최선의 손실: 0.033566\t정확도: 98.79%\n", "28\t검증 세트 손실: 0.078744\t최선의 손실: 0.033566\t정확도: 98.79%\n", "29\t검증 세트 손실: 0.095004\t최선의 손실: 0.033566\t정확도: 98.94%\n", "30\t검증 세트 손실: 0.094228\t최선의 손실: 0.033566\t정확도: 98.59%\n", "31\t검증 세트 손실: 0.180432\t최선의 손실: 0.033566\t정확도: 98.48%\n", "32\t검증 세트 손실: 0.078169\t최선의 손실: 0.033566\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.209027\t최선의 손실: 0.033566\t정확도: 90.89%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "34\t검증 세트 손실: 18.271706\t최선의 손실: 0.033566\t정확도: 94.41%\n", "35\t검증 세트 손실: 3.992936\t최선의 손실: 0.033566\t정확도: 97.34%\n", "36\t검증 세트 손실: 0.975922\t최선의 손실: 0.033566\t정확도: 97.77%\n", "37\t검증 세트 손실: 0.821661\t최선의 손실: 0.033566\t정확도: 98.05%\n", "38\t검증 세트 손실: 0.597372\t최선의 손실: 0.033566\t정확도: 98.24%\n", "39\t검증 세트 손실: 0.599902\t최선의 손실: 0.033566\t정확도: 97.65%\n", "40\t검증 세트 손실: 0.517793\t최선의 손실: 0.033566\t정확도: 98.36%\n", "41\t검증 세트 손실: 0.501182\t최선의 손실: 0.033566\t정확도: 98.32%\n", "42\t검증 세트 손실: 0.469662\t최선의 손실: 0.033566\t정확도: 98.24%\n", "43\t검증 세트 손실: 0.459965\t최선의 손실: 0.033566\t정확도: 98.48%\n", "44\t검증 세트 손실: 0.459645\t최선의 손실: 0.033566\t정확도: 98.16%\n", "45\t검증 세트 손실: 0.455448\t최선의 손실: 0.033566\t정확도: 98.40%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 12.5s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 0.082524\t최선의 손실: 0.082524\t정확도: 97.50%\n", "1\t검증 세트 손실: 0.058572\t최선의 손실: 0.058572\t정확도: 98.36%\n", "2\t검증 세트 손실: 0.056426\t최선의 손실: 0.056426\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.046784\t최선의 손실: 0.046784\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.043390\t최선의 손실: 0.043390\t정확도: 98.51%\n", "5\t검증 세트 손실: 0.058186\t최선의 손실: 0.043390\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.059133\t최선의 손실: 0.043390\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.067209\t최선의 손실: 0.043390\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.047232\t최선의 손실: 0.043390\t정확도: 98.71%\n", "9\t검증 세트 손실: 0.051077\t최선의 손실: 0.043390\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.054516\t최선의 손실: 0.043390\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.083684\t최선의 손실: 0.043390\t정확도: 98.05%\n", "12\t검증 세트 손실: 0.048853\t최선의 손실: 0.043390\t정확도: 98.87%\n", "13\t검증 세트 손실: 0.059731\t최선의 손실: 0.043390\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.045459\t최선의 손실: 0.043390\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.040755\t최선의 손실: 0.040755\t정확도: 99.18%\n", "16\t검증 세트 손실: 0.087764\t최선의 손실: 0.040755\t정확도: 98.79%\n", "17\t검증 세트 손실: 0.064897\t최선의 손실: 0.040755\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.063251\t최선의 손실: 0.040755\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.053084\t최선의 손실: 0.040755\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.078288\t최선의 손실: 0.040755\t정확도: 98.48%\n", "21\t검증 세트 손실: 0.068242\t최선의 손실: 0.040755\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.085484\t최선의 손실: 0.040755\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.067786\t최선의 손실: 0.040755\t정확도: 98.75%\n", "24\t검증 세트 손실: 0.073786\t최선의 손실: 0.040755\t정확도: 98.51%\n", "25\t검증 세트 손실: 39.568306\t최선의 손실: 0.040755\t정확도: 63.37%\n", "26\t검증 세트 손실: 86.484024\t최선의 손실: 0.040755\t정확도: 51.92%\n", "27\t검증 세트 손실: 2.605725\t최선의 손실: 0.040755\t정확도: 87.41%\n", "28\t검증 세트 손실: 0.705630\t최선의 손실: 0.040755\t정확도: 93.51%\n", "29\t검증 세트 손실: 0.343942\t최선의 손실: 0.040755\t정확도: 95.62%\n", "30\t검증 세트 손실: 0.350043\t최선의 손실: 0.040755\t정확도: 95.47%\n", "31\t검증 세트 손실: 0.334493\t최선의 손실: 0.040755\t정확도: 93.94%\n", "32\t검증 세트 손실: 0.241222\t최선의 손실: 0.040755\t정확도: 95.90%\n", "33\t검증 세트 손실: 0.238252\t최선의 손실: 0.040755\t정확도: 95.66%\n", "34\t검증 세트 손실: 0.210346\t최선의 손실: 0.040755\t정확도: 96.33%\n", "35\t검증 세트 손실: 0.165647\t최선의 손실: 0.040755\t정확도: 96.99%\n", "36\t검증 세트 손실: 0.154940\t최선의 손실: 0.040755\t정확도: 96.95%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 10.1s\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.675113\t최선의 손실: 1.675113\t정확도: 18.73%\n", "1\t검증 세트 손실: 1.624442\t최선의 손실: 1.624442\t정확도: 20.91%\n", "2\t검증 세트 손실: 1.754289\t최선의 손실: 1.624442\t정확도: 18.73%\n", "3\t검증 세트 손실: 1.679264\t최선의 손실: 1.624442\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.640295\t최선의 손실: 1.624442\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.907819\t최선의 손실: 1.624442\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.861127\t최선의 손실: 1.624442\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.646454\t최선의 손실: 1.624442\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.682898\t최선의 손실: 1.624442\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.800020\t최선의 손실: 1.624442\t정확도: 18.73%\n", "10\t검증 세트 손실: 1.787576\t최선의 손실: 1.624442\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.982575\t최선의 손실: 1.624442\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.943093\t최선의 손실: 1.624442\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.777603\t최선의 손실: 1.624442\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.791737\t최선의 손실: 1.624442\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.913679\t최선의 손실: 1.624442\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.850441\t최선의 손실: 1.624442\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.676424\t최선의 손실: 1.624442\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.803297\t최선의 손실: 1.624442\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.727336\t최선의 손실: 1.624442\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.709795\t최선의 손실: 1.624442\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.744466\t최선의 손실: 1.624442\t정확도: 18.73%\n", "22\t검증 세트 손실: 1.651262\t최선의 손실: 1.624442\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=, total= 18.2s\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.823046\t최선의 손실: 1.823046\t정확도: 20.91%\n", "1\t검증 세트 손실: 1.680561\t최선의 손실: 1.680561\t정확도: 22.01%\n", "2\t검증 세트 손실: 1.646679\t최선의 손실: 1.646679\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.725673\t최선의 손실: 1.646679\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.825907\t최선의 손실: 1.646679\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.658193\t최선의 손실: 1.646679\t정확도: 18.73%\n", "6\t검증 세트 손실: 1.851260\t최선의 손실: 1.646679\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.647425\t최선의 손실: 1.646679\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.898423\t최선의 손실: 1.646679\t정확도: 20.91%\n", "9\t검증 세트 손실: 1.914732\t최선의 손실: 1.646679\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.686114\t최선의 손실: 1.646679\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.647474\t최선의 손실: 1.646679\t정확도: 20.91%\n", "12\t검증 세트 손실: 1.853961\t최선의 손실: 1.646679\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.669572\t최선의 손실: 1.646679\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.703599\t최선의 손실: 1.646679\t정확도: 19.27%\n", "15\t검증 세트 손실: 1.998328\t최선의 손실: 1.646679\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.656300\t최선의 손실: 1.646679\t정확도: 20.91%\n", "17\t검증 세트 손실: 1.947685\t최선의 손실: 1.646679\t정확도: 20.91%\n", "18\t검증 세트 손실: 2.143587\t최선의 손실: 1.646679\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.900220\t최선의 손실: 1.646679\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.930351\t최선의 손실: 1.646679\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.900987\t최선의 손실: 1.646679\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.750338\t최선의 손실: 1.646679\t정확도: 19.27%\n", "23\t검증 세트 손실: 2.205183\t최선의 손실: 1.646679\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=, total= 19.1s\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.644496\t최선의 손실: 1.644496\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.849557\t최선의 손실: 1.644496\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.726734\t최선의 손실: 1.644496\t정확도: 18.73%\n", "3\t검증 세트 손실: 1.915495\t최선의 손실: 1.644496\t정확도: 19.08%\n", "4\t검증 세트 손실: 2.044655\t최선의 손실: 1.644496\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.818795\t최선의 손실: 1.644496\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.747826\t최선의 손실: 1.644496\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.830650\t최선의 손실: 1.644496\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.649762\t최선의 손실: 1.644496\t정확도: 22.01%\n", "9\t검증 세트 손실: 2.048925\t최선의 손실: 1.644496\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.832475\t최선의 손실: 1.644496\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.816110\t최선의 손실: 1.644496\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.836797\t최선의 손실: 1.644496\t정확도: 18.73%\n", "13\t검증 세트 손실: 1.796182\t최선의 손실: 1.644496\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.792562\t최선의 손실: 1.644496\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.879795\t최선의 손실: 1.644496\t정확도: 20.91%\n", "16\t검증 세트 손실: 1.704598\t최선의 손실: 1.644496\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.803578\t최선의 손실: 1.644496\t정확도: 19.08%\n", "18\t검증 세트 손실: 2.113098\t최선의 손실: 1.644496\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.628994\t최선의 손실: 1.628994\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.801368\t최선의 손실: 1.628994\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.647704\t최선의 손실: 1.628994\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.653073\t최선의 손실: 1.628994\t정확도: 20.91%\n", "23\t검증 세트 손실: 1.739612\t최선의 손실: 1.628994\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.861977\t최선의 손실: 1.628994\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.744549\t최선의 손실: 1.628994\t정확도: 19.27%\n", "26\t검증 세트 손실: 1.719067\t최선의 손실: 1.628994\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.685107\t최선의 손실: 1.628994\t정확도: 22.01%\n", "28\t검증 세트 손실: 2.323920\t최선의 손실: 1.628994\t정확도: 19.08%\n", "29\t검증 세트 손실: 2.050604\t최선의 손실: 1.628994\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.854670\t최선의 손실: 1.628994\t정확도: 19.27%\n", "31\t검증 세트 손실: 1.956273\t최선의 손실: 1.628994\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.666341\t최선의 손실: 1.628994\t정확도: 19.08%\n", "33\t검증 세트 손실: 1.684591\t최선의 손실: 1.628994\t정확도: 20.91%\n", "34\t검증 세트 손실: 1.747720\t최선의 손실: 1.628994\t정확도: 19.08%\n", "35\t검증 세트 손실: 1.761388\t최선의 손실: 1.628994\t정확도: 22.01%\n", "36\t검증 세트 손실: 1.971676\t최선의 손실: 1.628994\t정확도: 22.01%\n", "37\t검증 세트 손실: 1.921871\t최선의 손실: 1.628994\t정확도: 22.01%\n", "38\t검증 세트 손실: 1.989987\t최선의 손실: 1.628994\t정확도: 18.73%\n", "39\t검증 세트 손실: 1.904658\t최선의 손실: 1.628994\t정확도: 19.08%\n", "40\t검증 세트 손실: 1.730788\t최선의 손실: 1.628994\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.05, batch_size=10, activation=, total= 32.7s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.157414\t최선의 손실: 0.157414\t정확도: 95.27%\n", "1\t검증 세트 손실: 978.903076\t최선의 손실: 0.157414\t정확도: 18.73%\n", "2\t검증 세트 손실: 9.070212\t최선의 손실: 0.157414\t정확도: 46.60%\n", "3\t검증 세트 손실: 2.248569\t최선의 손실: 0.157414\t정확도: 67.36%\n", "4\t검증 세트 손실: 1.798182\t최선의 손실: 0.157414\t정확도: 69.78%\n", "5\t검증 세트 손실: 4.502388\t최선의 손실: 0.157414\t정확도: 53.71%\n", "6\t검증 세트 손실: 1.355072\t최선의 손실: 0.157414\t정확도: 75.02%\n", "7\t검증 세트 손실: 0.942957\t최선의 손실: 0.157414\t정확도: 80.84%\n", "8\t검증 세트 손실: 1.216302\t최선의 손실: 0.157414\t정확도: 78.77%\n", "9\t검증 세트 손실: 0.909291\t최선의 손실: 0.157414\t정확도: 82.06%\n", "10\t검증 세트 손실: 0.908842\t최선의 손실: 0.157414\t정확도: 80.77%\n", "11\t검증 세트 손실: 0.660176\t최선의 손실: 0.157414\t정확도: 86.47%\n", "12\t검증 세트 손실: 0.524754\t최선의 손실: 0.157414\t정확도: 89.64%\n", "13\t검증 세트 손실: 0.491662\t최선의 손실: 0.157414\t정확도: 88.19%\n", "14\t검증 세트 손실: 0.476809\t최선의 손실: 0.157414\t정확도: 89.87%\n", "15\t검증 세트 손실: 0.990491\t최선의 손실: 0.157414\t정확도: 80.92%\n", "16\t검증 세트 손실: 2.099900\t최선의 손실: 0.157414\t정확도: 90.58%\n", "17\t검증 세트 손실: 0.424807\t최선의 손실: 0.157414\t정확도: 89.99%\n", "18\t검증 세트 손실: 0.564467\t최선의 손실: 0.157414\t정확도: 87.84%\n", "19\t검증 세트 손실: 10.939535\t최선의 손실: 0.157414\t정확도: 44.72%\n", "20\t검증 세트 손실: 0.499434\t최선의 손실: 0.157414\t정확도: 89.99%\n", "21\t검증 세트 손실: 0.503215\t최선의 손실: 0.157414\t정확도: 90.54%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.5s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.141715\t최선의 손실: 0.141715\t정확도: 95.97%\n", "1\t검증 세트 손실: 0.213246\t최선의 손실: 0.141715\t정확도: 94.57%\n", "2\t검증 세트 손실: 0.163034\t최선의 손실: 0.141715\t정확도: 94.92%\n", "3\t검증 세트 손실: 6830.126465\t최선의 손실: 0.141715\t정확도: 20.52%\n", "4\t검증 세트 손실: 9.483843\t최선의 손실: 0.141715\t정확도: 85.11%\n", "5\t검증 세트 손실: 3.915693\t최선의 손실: 0.141715\t정확도: 86.36%\n", "6\t검증 세트 손실: 2.473406\t최선의 손실: 0.141715\t정확도: 86.67%\n", "7\t검증 세트 손실: 4.477513\t최선의 손실: 0.141715\t정확도: 77.99%\n", "8\t검증 세트 손실: 1.985460\t최선의 손실: 0.141715\t정확도: 87.45%\n", "9\t검증 세트 손실: 1.955487\t최선의 손실: 0.141715\t정확도: 90.77%\n", "10\t검증 세트 손실: 2.128275\t최선의 손실: 0.141715\t정확도: 88.00%\n", "11\t검증 세트 손실: 2.887089\t최선의 손실: 0.141715\t정확도: 82.96%\n", "12\t검증 세트 손실: 1.951568\t최선의 손실: 0.141715\t정확도: 90.11%\n", "13\t검증 세트 손실: 2.789868\t최선의 손실: 0.141715\t정확도: 82.60%\n", "14\t검증 세트 손실: 1.353006\t최선의 손실: 0.141715\t정확도: 92.53%\n", "15\t검증 세트 손실: 1.838794\t최선의 손실: 0.141715\t정확도: 85.18%\n", "16\t검증 세트 손실: 1.680750\t최선의 손실: 0.141715\t정확도: 88.82%\n", "17\t검증 세트 손실: 1.520696\t최선의 손실: 0.141715\t정확도: 92.10%\n", "18\t검증 세트 손실: 1.439293\t최선의 손실: 0.141715\t정확도: 92.26%\n", "19\t검증 세트 손실: 2.032712\t최선의 손실: 0.141715\t정확도: 92.30%\n", "20\t검증 세트 손실: 1.230209\t최선의 손실: 0.141715\t정확도: 92.53%\n", "21\t검증 세트 손실: 1.348697\t최선의 손실: 0.141715\t정확도: 91.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.6s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.176284\t최선의 손실: 0.176284\t정확도: 95.15%\n", "1\t검증 세트 손실: 0.280130\t최선의 손실: 0.176284\t정확도: 93.94%\n", "2\t검증 세트 손실: 406.837738\t최선의 손실: 0.176284\t정확도: 26.08%\n", "3\t검증 세트 손실: 6.406219\t최선의 손실: 0.176284\t정확도: 71.27%\n", "4\t검증 세트 손실: 4.300102\t최선의 손실: 0.176284\t정확도: 72.87%\n", "5\t검증 세트 손실: 1.963602\t최선의 손실: 0.176284\t정확도: 79.59%\n", "6\t검증 세트 손실: 1.499174\t최선의 손실: 0.176284\t정확도: 81.47%\n", "7\t검증 세트 손실: 1.323041\t최선의 손실: 0.176284\t정확도: 83.42%\n", "8\t검증 세트 손실: 1.200879\t최선의 손실: 0.176284\t정확도: 82.80%\n", "9\t검증 세트 손실: 1.375555\t최선의 손실: 0.176284\t정확도: 78.54%\n", "10\t검증 세트 손실: 0.868348\t최선의 손실: 0.176284\t정확도: 88.51%\n", "11\t검증 세트 손실: 1.421240\t최선의 손실: 0.176284\t정확도: 83.74%\n", "12\t검증 세트 손실: 0.914606\t최선의 손실: 0.176284\t정확도: 87.37%\n", "13\t검증 세트 손실: 1.826244\t최선의 손실: 0.176284\t정확도: 84.44%\n", "14\t검증 세트 손실: 2.013771\t최선의 손실: 0.176284\t정확도: 78.03%\n", "15\t검증 세트 손실: 0.990790\t최선의 손실: 0.176284\t정확도: 87.72%\n", "16\t검증 세트 손실: 0.792205\t최선의 손실: 0.176284\t정확도: 86.55%\n", "17\t검증 세트 손실: 0.775267\t최선의 손실: 0.176284\t정확도: 87.72%\n", "18\t검증 세트 손실: 47723.910156\t최선의 손실: 0.176284\t정확도: 18.73%\n", "19\t검증 세트 손실: 356.327148\t최선의 손실: 0.176284\t정확도: 54.61%\n", "20\t검증 세트 손실: 234.051437\t최선의 손실: 0.176284\t정확도: 70.21%\n", "21\t검증 세트 손실: 132.854446\t최선의 손실: 0.176284\t정확도: 60.52%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 7.5s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.836267\t최선의 손실: 0.836267\t정확도: 88.58%\n", "1\t검증 세트 손실: 0.148278\t최선의 손실: 0.148278\t정확도: 95.54%\n", "2\t검증 세트 손실: 0.096579\t최선의 손실: 0.096579\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.081980\t최선의 손실: 0.081980\t정확도: 97.50%\n", "4\t검증 세트 손실: 1.456338\t최선의 손실: 0.081980\t정확도: 73.92%\n", "5\t검증 세트 손실: 0.324469\t최선의 손실: 0.081980\t정확도: 91.44%\n", "6\t검증 세트 손실: 0.225403\t최선의 손실: 0.081980\t정확도: 93.82%\n", "7\t검증 세트 손실: 0.147738\t최선의 손실: 0.081980\t정확도: 95.93%\n", "8\t검증 세트 손실: 0.139093\t최선의 손실: 0.081980\t정확도: 96.40%\n", "9\t검증 세트 손실: 1.721742\t최선의 손실: 0.081980\t정확도: 95.97%\n", "10\t검증 세트 손실: 0.210029\t최선의 손실: 0.081980\t정확도: 95.86%\n", "11\t검증 세트 손실: 0.141892\t최선의 손실: 0.081980\t정확도: 96.83%\n", "12\t검증 세트 손실: 0.112585\t최선의 손실: 0.081980\t정확도: 96.76%\n", "13\t검증 세트 손실: 0.128034\t최선의 손실: 0.081980\t정확도: 96.36%\n", "14\t검증 세트 손실: 0.192407\t최선의 손실: 0.081980\t정확도: 96.48%\n", "15\t검증 세트 손실: 0.109096\t최선의 손실: 0.081980\t정확도: 97.42%\n", "16\t검증 세트 손실: 0.103622\t최선의 손실: 0.081980\t정확도: 97.38%\n", "17\t검증 세트 손실: 0.179908\t최선의 손실: 0.081980\t정확도: 96.40%\n", "18\t검증 세트 손실: 0.528444\t최선의 손실: 0.081980\t정확도: 97.19%\n", "19\t검증 세트 손실: 1.595581\t최선의 손실: 0.081980\t정확도: 97.69%\n", "20\t검증 세트 손실: 8.501369\t최선의 손실: 0.081980\t정확도: 93.59%\n", "21\t검증 세트 손실: 4.592917\t최선의 손실: 0.081980\t정확도: 94.53%\n", "22\t검증 세트 손실: 3.081390\t최선의 손실: 0.081980\t정확도: 93.75%\n", "23\t검증 세트 손실: 2.115669\t최선의 손실: 0.081980\t정확도: 95.62%\n", "24\t검증 세트 손실: 3.504742\t최선의 손실: 0.081980\t정확도: 93.24%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 10.9s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.263095\t최선의 손실: 0.263095\t정확도: 96.01%\n", "1\t검증 세트 손실: 0.136195\t최선의 손실: 0.136195\t정확도: 96.09%\n", "2\t검증 세트 손실: 0.154422\t최선의 손실: 0.136195\t정확도: 95.54%\n", "3\t검증 세트 손실: 0.355536\t최선의 손실: 0.136195\t정확도: 94.57%\n", "4\t검증 세트 손실: 83.930191\t최선의 손실: 0.136195\t정확도: 54.53%\n", "5\t검증 세트 손실: 1.744786\t최선의 손실: 0.136195\t정확도: 92.61%\n", "6\t검증 세트 손실: 3.615491\t최선의 손실: 0.136195\t정확도: 88.04%\n", "7\t검증 세트 손실: 0.991760\t최선의 손실: 0.136195\t정확도: 94.45%\n", "8\t검증 세트 손실: 1.740187\t최선의 손실: 0.136195\t정확도: 92.73%\n", "9\t검증 세트 손실: 1.196644\t최선의 손실: 0.136195\t정확도: 94.10%\n", "10\t검증 세트 손실: 165.308197\t최선의 손실: 0.136195\t정확도: 49.30%\n", "11\t검증 세트 손실: 13.732984\t최선의 손실: 0.136195\t정확도: 90.70%\n", "12\t검증 세트 손실: 5.094893\t최선의 손실: 0.136195\t정확도: 94.76%\n", "13\t검증 세트 손실: 9.978399\t최선의 손실: 0.136195\t정확도: 89.91%\n", "14\t검증 세트 손실: 4.584772\t최선의 손실: 0.136195\t정확도: 94.33%\n", "15\t검증 세트 손실: 3.182966\t최선의 손실: 0.136195\t정확도: 95.39%\n", "16\t검증 세트 손실: 3.601617\t최선의 손실: 0.136195\t정확도: 92.85%\n", "17\t검증 세트 손실: 3.216586\t최선의 손실: 0.136195\t정확도: 93.67%\n", "18\t검증 세트 손실: 3.008424\t최선의 손실: 0.136195\t정확도: 94.88%\n", "19\t검증 세트 손실: 1.530130\t최선의 손실: 0.136195\t정확도: 96.01%\n", "20\t검증 세트 손실: 1.529864\t최선의 손실: 0.136195\t정확도: 96.44%\n", "21\t검증 세트 손실: 2.185052\t최선의 손실: 0.136195\t정확도: 95.86%\n", "22\t검증 세트 손실: 1.124366\t최선의 손실: 0.136195\t정확도: 95.97%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 10.1s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400> \n", "0\t검증 세트 손실: 0.167140\t최선의 손실: 0.167140\t정확도: 95.27%\n", "1\t검증 세트 손실: 0.727413\t최선의 손실: 0.167140\t정확도: 92.81%\n", "2\t검증 세트 손실: 1.347072\t최선의 손실: 0.167140\t정확도: 94.72%\n", "3\t검증 세트 손실: 0.134592\t최선의 손실: 0.134592\t정확도: 96.36%\n", "4\t검증 세트 손실: 0.120858\t최선의 손실: 0.120858\t정확도: 97.22%\n", "5\t검증 세트 손실: 0.151599\t최선의 손실: 0.120858\t정확도: 96.44%\n", "6\t검증 세트 손실: 0.158023\t최선의 손실: 0.120858\t정확도: 96.60%\n", "7\t검증 세트 손실: 0.160928\t최선의 손실: 0.120858\t정확도: 97.07%\n", "8\t검증 세트 손실: 0.135218\t최선의 손실: 0.120858\t정확도: 97.58%\n", "9\t검증 세트 손실: 0.112320\t최선의 손실: 0.112320\t정확도: 97.54%\n", "10\t검증 세트 손실: 111.508469\t최선의 손실: 0.112320\t정확도: 17.71%\n", "11\t검증 세트 손실: 4.634261\t최선의 손실: 0.112320\t정확도: 66.50%\n", "12\t검증 세트 손실: 1.034088\t최선의 손실: 0.112320\t정확도: 80.73%\n", "13\t검증 세트 손실: 0.788938\t최선의 손실: 0.112320\t정확도: 86.04%\n", "14\t검증 세트 손실: 0.703921\t최선의 손실: 0.112320\t정확도: 87.72%\n", "15\t검증 세트 손실: 0.908712\t최선의 손실: 0.112320\t정확도: 85.57%\n", "16\t검증 세트 손실: 0.442157\t최선의 손실: 0.112320\t정확도: 93.71%\n", "17\t검증 세트 손실: 0.661416\t최선의 손실: 0.112320\t정확도: 85.46%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "18\t검증 세트 손실: 0.583134\t최선의 손실: 0.112320\t정확도: 93.39%\n", "19\t검증 세트 손실: 0.332413\t최선의 손실: 0.112320\t정확도: 95.43%\n", "20\t검증 세트 손실: 1.228956\t최선의 손실: 0.112320\t정확도: 90.93%\n", "21\t검증 세트 손실: 0.932863\t최선의 손실: 0.112320\t정확도: 91.52%\n", "22\t검증 세트 손실: 0.579647\t최선의 손실: 0.112320\t정확도: 92.92%\n", "23\t검증 세트 손실: 0.390184\t최선의 손실: 0.112320\t정확도: 94.53%\n", "24\t검증 세트 손실: 0.303948\t최선의 손실: 0.112320\t정확도: 95.31%\n", "25\t검증 세트 손실: 0.327582\t최선의 손실: 0.112320\t정확도: 93.71%\n", "26\t검증 세트 손실: 0.421843\t최선의 손실: 0.112320\t정확도: 93.32%\n", "27\t검증 세트 손실: 213.164459\t최선의 손실: 0.112320\t정확도: 87.57%\n", "28\t검증 세트 손실: 2.471107\t최선의 손실: 0.112320\t정확도: 87.22%\n", "29\t검증 세트 손실: 1.226172\t최선의 손실: 0.112320\t정확도: 80.18%\n", "30\t검증 세트 손실: 1.196105\t최선의 손실: 0.112320\t정확도: 93.16%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e9895a400>, total= 13.6s\n", "[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.137889\t최선의 손실: 2.137889\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.829909\t최선의 손실: 1.829909\t정확도: 22.01%\n", "2\t검증 세트 손실: 1.797175\t최선의 손실: 1.797175\t정확도: 18.73%\n", "3\t검증 세트 손실: 1.872716\t최선의 손실: 1.797175\t정확도: 19.08%\n", "4\t검증 세트 손실: 1.731649\t최선의 손실: 1.731649\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.666483\t최선의 손실: 1.666483\t정확도: 19.08%\n", "6\t검증 세트 손실: 2.220948\t최선의 손실: 1.666483\t정확도: 19.27%\n", "7\t검증 세트 손실: 2.015727\t최선의 손실: 1.666483\t정확도: 19.08%\n", "8\t검증 세트 손실: 2.090927\t최선의 손실: 1.666483\t정확도: 19.08%\n", "9\t검증 세트 손실: 1.947276\t최선의 손실: 1.666483\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.792381\t최선의 손실: 1.666483\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.672827\t최선의 손실: 1.666483\t정확도: 19.08%\n", "12\t검증 세트 손실: 1.912346\t최선의 손실: 1.666483\t정확도: 18.73%\n", "13\t검증 세트 손실: 2.118673\t최선의 손실: 1.666483\t정확도: 19.08%\n", "14\t검증 세트 손실: 2.516825\t최선의 손실: 1.666483\t정확도: 20.91%\n", "15\t검증 세트 손실: 1.914143\t최선의 손실: 1.666483\t정확도: 22.01%\n", "16\t검증 세트 손실: 2.225626\t최선의 손실: 1.666483\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.658233\t최선의 손실: 1.658233\t정확도: 20.91%\n", "18\t검증 세트 손실: 2.221774\t최선의 손실: 1.658233\t정확도: 19.08%\n", "19\t검증 세트 손실: 2.665048\t최선의 손실: 1.658233\t정확도: 22.01%\n", "20\t검증 세트 손실: 2.008373\t최선의 손실: 1.658233\t정확도: 22.01%\n", "21\t검증 세트 손실: 2.444499\t최선의 손실: 1.658233\t정확도: 20.91%\n", "22\t검증 세트 손실: 2.119730\t최선의 손실: 1.658233\t정확도: 22.01%\n", "23\t검증 세트 손실: 2.245321\t최선의 손실: 1.658233\t정확도: 19.27%\n", "24\t검증 세트 손실: 1.920225\t최선의 손실: 1.658233\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.993324\t최선의 손실: 1.658233\t정확도: 20.91%\n", "26\t검증 세트 손실: 1.718372\t최선의 손실: 1.658233\t정확도: 19.08%\n", "27\t검증 세트 손실: 2.015469\t최선의 손실: 1.658233\t정확도: 18.73%\n", "28\t검증 세트 손실: 2.296116\t최선의 손실: 1.658233\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.739967\t최선의 손실: 1.658233\t정확도: 20.91%\n", "30\t검증 세트 손실: 1.709734\t최선의 손실: 1.658233\t정확도: 18.73%\n", "31\t검증 세트 손실: 1.664722\t최선의 손실: 1.658233\t정확도: 20.91%\n", "32\t검증 세트 손실: 1.779048\t최선의 손실: 1.658233\t정확도: 22.01%\n", "33\t검증 세트 손실: 1.714502\t최선의 손실: 1.658233\t정확도: 19.08%\n", "34\t검증 세트 손실: 2.160548\t최선의 손실: 1.658233\t정확도: 19.08%\n", "35\t검증 세트 손실: 2.389713\t최선의 손실: 1.658233\t정확도: 19.27%\n", "36\t검증 세트 손실: 1.843754\t최선의 손실: 1.658233\t정확도: 18.73%\n", "37\t검증 세트 손실: 1.860699\t최선의 손실: 1.658233\t정확도: 19.08%\n", "38\t검증 세트 손실: 2.205716\t최선의 손실: 1.658233\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=, total= 40.0s\n", "[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.843515\t최선의 손실: 1.843515\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.861793\t최선의 손실: 1.843515\t정확도: 22.01%\n", "2\t검증 세트 손실: 2.011513\t최선의 손실: 1.843515\t정확도: 18.73%\n", "3\t검증 세트 손실: 2.016104\t최선의 손실: 1.843515\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.970925\t최선의 손실: 1.843515\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.647395\t최선의 손실: 1.647395\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.701503\t최선의 손실: 1.647395\t정확도: 19.27%\n", "7\t검증 세트 손실: 2.395791\t최선의 손실: 1.647395\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.941442\t최선의 손실: 1.647395\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.963344\t최선의 손실: 1.647395\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.835824\t최선의 손실: 1.647395\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.930026\t최선의 손실: 1.647395\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.885898\t최선의 손실: 1.647395\t정확도: 20.91%\n", "13\t검증 세트 손실: 2.390905\t최선의 손실: 1.647395\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.961101\t최선의 손실: 1.647395\t정확도: 19.27%\n", "15\t검증 세트 손실: 1.962756\t최선의 손실: 1.647395\t정확도: 20.91%\n", "16\t검증 세트 손실: 1.886139\t최선의 손실: 1.647395\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.892859\t최선의 손실: 1.647395\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.981896\t최선의 손실: 1.647395\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.750127\t최선의 손실: 1.647395\t정확도: 22.01%\n", "20\t검증 세트 손실: 2.134342\t최선의 손실: 1.647395\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.879302\t최선의 손실: 1.647395\t정확도: 22.01%\n", "22\t검증 세트 손실: 2.148499\t최선의 손실: 1.647395\t정확도: 19.08%\n", "23\t검증 세트 손실: 2.088907\t최선의 손실: 1.647395\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.838559\t최선의 손실: 1.647395\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.905606\t최선의 손실: 1.647395\t정확도: 19.08%\n", "26\t검증 세트 손실: 2.406297\t최선의 손실: 1.647395\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=, total= 27.7s\n", "[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.752011\t최선의 손실: 1.752011\t정확도: 20.91%\n", "1\t검증 세트 손실: 1.948996\t최선의 손실: 1.752011\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.933385\t최선의 손실: 1.752011\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.852088\t최선의 손실: 1.752011\t정확도: 19.27%\n", "4\t검증 세트 손실: 2.686836\t최선의 손실: 1.752011\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.852322\t최선의 손실: 1.752011\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.812496\t최선의 손실: 1.752011\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.757772\t최선의 손실: 1.752011\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.902279\t최선의 손실: 1.752011\t정확도: 19.27%\n", "9\t검증 세트 손실: 2.087055\t최선의 손실: 1.752011\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.779781\t최선의 손실: 1.752011\t정확도: 18.73%\n", "11\t검증 세트 손실: 2.227393\t최선의 손실: 1.752011\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.950020\t최선의 손실: 1.752011\t정확도: 20.91%\n", "13\t검증 세트 손실: 3.099459\t최선의 손실: 1.752011\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.830344\t최선의 손실: 1.752011\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.733784\t최선의 손실: 1.733784\t정확도: 20.91%\n", "16\t검증 세트 손실: 2.189534\t최선의 손실: 1.733784\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.943922\t최선의 손실: 1.733784\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.848899\t최선의 손실: 1.733784\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.984283\t최선의 손실: 1.733784\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.919438\t최선의 손실: 1.733784\t정확도: 19.27%\n", "21\t검증 세트 손실: 2.156086\t최선의 손실: 1.733784\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.834820\t최선의 손실: 1.733784\t정확도: 19.27%\n", "23\t검증 세트 손실: 2.444076\t최선의 손실: 1.733784\t정확도: 19.08%\n", "24\t검증 세트 손실: 1.866027\t최선의 손실: 1.733784\t정확도: 19.27%\n", "25\t검증 세트 손실: 1.884747\t최선의 손실: 1.733784\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.738111\t최선의 손실: 1.733784\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.679296\t최선의 손실: 1.679296\t정확도: 20.91%\n", "28\t검증 세트 손실: 2.567140\t최선의 손실: 1.679296\t정확도: 19.08%\n", "29\t검증 세트 손실: 2.661166\t최선의 손실: 1.679296\t정확도: 20.91%\n", "30\t검증 세트 손실: 2.013063\t최선의 손실: 1.679296\t정확도: 19.27%\n", "31\t검증 세트 손실: 1.886540\t최선의 손실: 1.679296\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.891881\t최선의 손실: 1.679296\t정확도: 19.08%\n", "33\t검증 세트 손실: 2.216810\t최선의 손실: 1.679296\t정확도: 22.01%\n", "34\t검증 세트 손실: 2.191178\t최선의 손실: 1.679296\t정확도: 19.27%\n", "35\t검증 세트 손실: 1.704169\t최선의 손실: 1.679296\t정확도: 19.08%\n", "36\t검증 세트 손실: 1.731653\t최선의 손실: 1.679296\t정확도: 19.27%\n", "37\t검증 세트 손실: 1.813348\t최선의 손실: 1.679296\t정확도: 22.01%\n", "38\t검증 세트 손실: 3.032766\t최선의 손실: 1.679296\t정확도: 18.73%\n", "39\t검증 세트 손실: 2.401290\t최선의 손실: 1.679296\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.645941\t최선의 손실: 1.645941\t정확도: 19.08%\n", "41\t검증 세트 손실: 2.166194\t최선의 손실: 1.645941\t정확도: 22.01%\n", "42\t검증 세트 손실: 2.384703\t최선의 손실: 1.645941\t정확도: 22.01%\n", "43\t검증 세트 손실: 2.204781\t최선의 손실: 1.645941\t정확도: 20.91%\n", "44\t검증 세트 손실: 1.765177\t최선의 손실: 1.645941\t정확도: 18.73%\n", "45\t검증 세트 손실: 1.696825\t최선의 손실: 1.645941\t정확도: 18.73%\n", "46\t검증 세트 손실: 2.521089\t최선의 손실: 1.645941\t정확도: 20.91%\n", "47\t검증 세트 손실: 2.133252\t최선의 손실: 1.645941\t정확도: 19.08%\n", "48\t검증 세트 손실: 1.695984\t최선의 손실: 1.645941\t정확도: 22.01%\n", "49\t검증 세트 손실: 1.936505\t최선의 손실: 1.645941\t정확도: 19.08%\n", "50\t검증 세트 손실: 2.176909\t최선의 손실: 1.645941\t정확도: 18.73%\n", "51\t검증 세트 손실: 2.179087\t최선의 손실: 1.645941\t정확도: 19.27%\n", "52\t검증 세트 손실: 2.013386\t최선의 손실: 1.645941\t정확도: 20.91%\n", "53\t검증 세트 손실: 2.239873\t최선의 손실: 1.645941\t정확도: 19.27%\n", "54\t검증 세트 손실: 1.942735\t최선의 손실: 1.645941\t정확도: 20.91%\n", "55\t검증 세트 손실: 1.686158\t최선의 손실: 1.645941\t정확도: 20.91%\n", "56\t검증 세트 손실: 2.281741\t최선의 손실: 1.645941\t정확도: 19.08%\n", "57\t검증 세트 손실: 2.154370\t최선의 손실: 1.645941\t정확도: 22.01%\n", "58\t검증 세트 손실: 1.815147\t최선의 손실: 1.645941\t정확도: 19.27%\n", "59\t검증 세트 손실: 1.998514\t최선의 손실: 1.645941\t정확도: 19.27%\n", "60\t검증 세트 손실: 1.969455\t최선의 손실: 1.645941\t정확도: 19.08%\n", "61\t검증 세트 손실: 2.026055\t최선의 손실: 1.645941\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.05, batch_size=10, activation=, total= 1.1min\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.103133\t최선의 손실: 0.103133\t정확도: 96.83%\n", "1\t검증 세트 손실: 0.062310\t최선의 손실: 0.062310\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.067127\t최선의 손실: 0.062310\t정확도: 98.01%\n", "3\t검증 세트 손실: 0.067752\t최선의 손실: 0.062310\t정확도: 98.08%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "4\t검증 세트 손실: 0.052678\t최선의 손실: 0.052678\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.050404\t최선의 손실: 0.050404\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.047800\t최선의 손실: 0.047800\t정확도: 98.79%\n", "7\t검증 세트 손실: 0.051627\t최선의 손실: 0.047800\t정확도: 98.63%\n", "8\t검증 세트 손실: 0.042786\t최선의 손실: 0.042786\t정확도: 98.79%\n", "9\t검증 세트 손실: 0.051910\t최선의 손실: 0.042786\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.052383\t최선의 손실: 0.042786\t정확도: 98.83%\n", "11\t검증 세트 손실: 0.054208\t최선의 손실: 0.042786\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.055605\t최선의 손실: 0.042786\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.058243\t최선의 손실: 0.042786\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.054449\t최선의 손실: 0.042786\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.103491\t최선의 손실: 0.042786\t정확도: 97.65%\n", "16\t검증 세트 손실: 0.046664\t최선의 손실: 0.042786\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.061874\t최선의 손실: 0.042786\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.063453\t최선의 손실: 0.042786\t정확도: 98.55%\n", "19\t검증 세트 손실: 0.064143\t최선의 손실: 0.042786\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.085926\t최선의 손실: 0.042786\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.066995\t최선의 손실: 0.042786\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.071505\t최선의 손실: 0.042786\t정확도: 98.48%\n", "23\t검증 세트 손실: 0.076318\t최선의 손실: 0.042786\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.068449\t최선의 손실: 0.042786\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.066985\t최선의 손실: 0.042786\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.064507\t최선의 손실: 0.042786\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.069215\t최선의 손실: 0.042786\t정확도: 99.10%\n", "28\t검증 세트 손실: 0.069443\t최선의 손실: 0.042786\t정확도: 99.10%\n", "29\t검증 세트 손실: 0.070032\t최선의 손실: 0.042786\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=, total= 4.1s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.102200\t최선의 손실: 0.102200\t정확도: 96.60%\n", "1\t검증 세트 손실: 0.073656\t최선의 손실: 0.073656\t정확도: 97.85%\n", "2\t검증 세트 손실: 0.055486\t최선의 손실: 0.055486\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.061788\t최선의 손실: 0.055486\t정확도: 98.24%\n", "4\t검증 세트 손실: 0.067512\t최선의 손실: 0.055486\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.045744\t최선의 손실: 0.045744\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.073225\t최선의 손실: 0.045744\t정확도: 98.12%\n", "7\t검증 세트 손실: 0.057333\t최선의 손실: 0.045744\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.049836\t최선의 손실: 0.045744\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.057928\t최선의 손실: 0.045744\t정확도: 98.59%\n", "10\t검증 세트 손실: 0.052565\t최선의 손실: 0.045744\t정확도: 98.59%\n", "11\t검증 세트 손실: 0.050716\t최선의 손실: 0.045744\t정확도: 98.63%\n", "12\t검증 세트 손실: 0.058732\t최선의 손실: 0.045744\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.051241\t최선의 손실: 0.045744\t정확도: 98.55%\n", "14\t검증 세트 손실: 0.065893\t최선의 손실: 0.045744\t정확도: 98.44%\n", "15\t검증 세트 손실: 0.067208\t최선의 손실: 0.045744\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.056171\t최선의 손실: 0.045744\t정확도: 98.44%\n", "17\t검증 세트 손실: 0.044505\t최선의 손실: 0.044505\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.049979\t최선의 손실: 0.044505\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.065124\t최선의 손실: 0.044505\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.050391\t최선의 손실: 0.044505\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.045792\t최선의 손실: 0.044505\t정확도: 98.98%\n", "22\t검증 세트 손실: 0.046056\t최선의 손실: 0.044505\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.077483\t최선의 손실: 0.044505\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.047800\t최선의 손실: 0.044505\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.050856\t최선의 손실: 0.044505\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.062638\t최선의 손실: 0.044505\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.053903\t최선의 손실: 0.044505\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.066323\t최선의 손실: 0.044505\t정확도: 98.83%\n", "29\t검증 세트 손실: 0.056546\t최선의 손실: 0.044505\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.053804\t최선의 손실: 0.044505\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.076923\t최선의 손실: 0.044505\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.070938\t최선의 손실: 0.044505\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.050773\t최선의 손실: 0.044505\t정확도: 99.10%\n", "34\t검증 세트 손실: 0.069816\t최선의 손실: 0.044505\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.060871\t최선의 손실: 0.044505\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.068617\t최선의 손실: 0.044505\t정확도: 98.63%\n", "37\t검증 세트 손실: 0.058134\t최선의 손실: 0.044505\t정확도: 98.67%\n", "38\t검증 세트 손실: 0.063458\t최선의 손실: 0.044505\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=, total= 5.0s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.088652\t최선의 손실: 0.088652\t정확도: 97.46%\n", "1\t검증 세트 손실: 0.063386\t최선의 손실: 0.063386\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.070248\t최선의 손실: 0.063386\t정확도: 97.69%\n", "3\t검증 세트 손실: 0.049080\t최선의 손실: 0.049080\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.040359\t최선의 손실: 0.040359\t정확도: 98.51%\n", "5\t검증 세트 손실: 0.047063\t최선의 손실: 0.040359\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.044241\t최선의 손실: 0.040359\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.051566\t최선의 손실: 0.040359\t정확도: 98.63%\n", "8\t검증 세트 손실: 0.058459\t최선의 손실: 0.040359\t정확도: 98.55%\n", "9\t검증 세트 손실: 0.065071\t최선의 손실: 0.040359\t정확도: 98.44%\n", "10\t검증 세트 손실: 0.072557\t최선의 손실: 0.040359\t정확도: 98.28%\n", "11\t검증 세트 손실: 0.055834\t최선의 손실: 0.040359\t정확도: 98.36%\n", "12\t검증 세트 손실: 0.048406\t최선의 손실: 0.040359\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.068891\t최선의 손실: 0.040359\t정확도: 98.59%\n", "14\t검증 세트 손실: 0.089196\t최선의 손실: 0.040359\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.059608\t최선의 손실: 0.040359\t정확도: 98.51%\n", "16\t검증 세트 손실: 0.064101\t최선의 손실: 0.040359\t정확도: 98.40%\n", "17\t검증 세트 손실: 0.069591\t최선의 손실: 0.040359\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.065699\t최선의 손실: 0.040359\t정확도: 98.44%\n", "19\t검증 세트 손실: 0.077917\t최선의 손실: 0.040359\t정확도: 98.32%\n", "20\t검증 세트 손실: 0.065017\t최선의 손실: 0.040359\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.072292\t최선의 손실: 0.040359\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.056671\t최선의 손실: 0.040359\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.058666\t최선의 손실: 0.040359\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.072209\t최선의 손실: 0.040359\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.056222\t최선의 손실: 0.040359\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=500, activation=, total= 3.5s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.239394\t최선의 손실: 0.239394\t정확도: 94.88%\n", "1\t검증 세트 손실: 1.697466\t최선의 손실: 0.239394\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.896986\t최선의 손실: 0.239394\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.839737\t최선의 손실: 0.239394\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.650887\t최선의 손실: 0.239394\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.641779\t최선의 손실: 0.239394\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.879864\t최선의 손실: 0.239394\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.777996\t최선의 손실: 0.239394\t정확도: 20.91%\n", "8\t검증 세트 손실: 1.684156\t최선의 손실: 0.239394\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.909088\t최선의 손실: 0.239394\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.838670\t최선의 손실: 0.239394\t정확도: 19.08%\n", "11\t검증 세트 손실: 2.018031\t최선의 손실: 0.239394\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.861453\t최선의 손실: 0.239394\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.690053\t최선의 손실: 0.239394\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.830808\t최선의 손실: 0.239394\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.887623\t최선의 손실: 0.239394\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.724566\t최선의 손실: 0.239394\t정확도: 20.91%\n", "17\t검증 세트 손실: 2.260877\t최선의 손실: 0.239394\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.828262\t최선의 손실: 0.239394\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.695243\t최선의 손실: 0.239394\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.684204\t최선의 손실: 0.239394\t정확도: 19.08%\n", "21\t검증 세트 손실: 2.550787\t최선의 손실: 0.239394\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=, total= 7.5s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.574669\t최선의 손실: 0.574669\t정확도: 71.27%\n", "1\t검증 세트 손실: 1.722952\t최선의 손실: 0.574669\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.620864\t최선의 손실: 0.574669\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.662199\t최선의 손실: 0.574669\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.711977\t최선의 손실: 0.574669\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.700430\t최선의 손실: 0.574669\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.687299\t최선의 손실: 0.574669\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.691046\t최선의 손실: 0.574669\t정확도: 20.91%\n", "8\t검증 세트 손실: 1.855987\t최선의 손실: 0.574669\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.773640\t최선의 손실: 0.574669\t정확도: 18.73%\n", "10\t검증 세트 손실: 1.765967\t최선의 손실: 0.574669\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.758446\t최선의 손실: 0.574669\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.716678\t최선의 손실: 0.574669\t정확도: 19.27%\n", "13\t검증 세트 손실: 1.941795\t최선의 손실: 0.574669\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.790469\t최선의 손실: 0.574669\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.746728\t최선의 손실: 0.574669\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.722070\t최선의 손실: 0.574669\t정확도: 22.01%\n", "17\t검증 세트 손실: 2.549336\t최선의 손실: 0.574669\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.803717\t최선의 손실: 0.574669\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.764155\t최선의 손실: 0.574669\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.773882\t최선의 손실: 0.574669\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.836756\t최선의 손실: 0.574669\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=, total= 7.5s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.356685\t최선의 손실: 0.356685\t정확도: 91.91%\n", "1\t검증 세트 손실: 1.642673\t최선의 손실: 0.356685\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.699573\t최선의 손실: 0.356685\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.665852\t최선의 손실: 0.356685\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.657502\t최선의 손실: 0.356685\t정확도: 19.27%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "5\t검증 세트 손실: 1.801235\t최선의 손실: 0.356685\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.676748\t최선의 손실: 0.356685\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.640031\t최선의 손실: 0.356685\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.659681\t최선의 손실: 0.356685\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.806045\t최선의 손실: 0.356685\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.682167\t최선의 손실: 0.356685\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.914684\t최선의 손실: 0.356685\t정확도: 20.91%\n", "12\t검증 세트 손실: 1.975878\t최선의 손실: 0.356685\t정확도: 19.08%\n", "13\t검증 세트 손실: 2.063880\t최선의 손실: 0.356685\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.743524\t최선의 손실: 0.356685\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.859362\t최선의 손실: 0.356685\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.884803\t최선의 손실: 0.356685\t정확도: 19.08%\n", "17\t검증 세트 손실: 2.281230\t최선의 손실: 0.356685\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.765699\t최선의 손실: 0.356685\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.714262\t최선의 손실: 0.356685\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.854556\t최선의 손실: 0.356685\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.802664\t최선의 손실: 0.356685\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, activation=, total= 7.5s\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.103364\t최선의 손실: 0.103364\t정확도: 96.91%\n", "1\t검증 세트 손실: 0.117780\t최선의 손실: 0.103364\t정확도: 97.58%\n", "2\t검증 세트 손실: 1.748227\t최선의 손실: 0.103364\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.764585\t최선의 손실: 0.103364\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.730052\t최선의 손실: 0.103364\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.688807\t최선의 손실: 0.103364\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.644408\t최선의 손실: 0.103364\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.728350\t최선의 손실: 0.103364\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.744880\t최선의 손실: 0.103364\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.860127\t최선의 손실: 0.103364\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.741698\t최선의 손실: 0.103364\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.788564\t최선의 손실: 0.103364\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.688021\t최선의 손실: 0.103364\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.777156\t최선의 손실: 0.103364\t정확도: 20.91%\n", "14\t검증 세트 손실: 1.688098\t최선의 손실: 0.103364\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.670809\t최선의 손실: 0.103364\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.814223\t최선의 손실: 0.103364\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.641677\t최선의 손실: 0.103364\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.687328\t최선의 손실: 0.103364\t정확도: 19.27%\n", "19\t검증 세트 손실: 1.632576\t최선의 손실: 0.103364\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.659901\t최선의 손실: 0.103364\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.728564\t최선의 손실: 0.103364\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=, total= 10.7s\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.144120\t최선의 손실: 0.144120\t정확도: 95.66%\n", "1\t검증 세트 손실: 0.179906\t최선의 손실: 0.144120\t정확도: 96.95%\n", "2\t검증 세트 손실: 1.619519\t최선의 손실: 0.144120\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.650959\t최선의 손실: 0.144120\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.683343\t최선의 손실: 0.144120\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.629446\t최선의 손실: 0.144120\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.688083\t최선의 손실: 0.144120\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.794846\t최선의 손실: 0.144120\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.818188\t최선의 손실: 0.144120\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.779035\t최선의 손실: 0.144120\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.752034\t최선의 손실: 0.144120\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.668493\t최선의 손실: 0.144120\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.798548\t최선의 손실: 0.144120\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.665784\t최선의 손실: 0.144120\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.667941\t최선의 손실: 0.144120\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.722474\t최선의 손실: 0.144120\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.665960\t최선의 손실: 0.144120\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.664144\t최선의 손실: 0.144120\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.635750\t최선의 손실: 0.144120\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.647937\t최선의 손실: 0.144120\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.685323\t최선의 손실: 0.144120\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.772377\t최선의 손실: 0.144120\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=, total= 10.7s\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.169614\t최선의 손실: 0.169614\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.096813\t최선의 손실: 0.096813\t정확도: 98.01%\n", "2\t검증 세트 손실: 1.807329\t최선의 손실: 0.096813\t정확도: 20.95%\n", "3\t검증 세트 손실: 1.655641\t최선의 손실: 0.096813\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.780968\t최선의 손실: 0.096813\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.803367\t최선의 손실: 0.096813\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.651199\t최선의 손실: 0.096813\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.740432\t최선의 손실: 0.096813\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.717787\t최선의 손실: 0.096813\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.861843\t최선의 손실: 0.096813\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.655336\t최선의 손실: 0.096813\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.926109\t최선의 손실: 0.096813\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.788128\t최선의 손실: 0.096813\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.620300\t최선의 손실: 0.096813\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.684744\t최선의 손실: 0.096813\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.629924\t최선의 손실: 0.096813\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.631005\t최선의 손실: 0.096813\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.662570\t최선의 손실: 0.096813\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.638200\t최선의 손실: 0.096813\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.751941\t최선의 손실: 0.096813\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.718865\t최선의 손실: 0.096813\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.827940\t최선의 손실: 0.096813\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.673173\t최선의 손실: 0.096813\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.02, batch_size=50, activation=, total= 11.3s\n", "[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation= \n", "0\t검증 세트 손실: 1.162470\t최선의 손실: 1.162470\t정확도: 50.12%\n", "1\t검증 세트 손실: 1.628713\t최선의 손실: 1.162470\t정확도: 22.01%\n", "2\t검증 세트 손실: 1.631232\t최선의 손실: 1.162470\t정확도: 18.73%\n", "3\t검증 세트 손실: 1.609332\t최선의 손실: 1.162470\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.617427\t최선의 손실: 1.162470\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.616056\t최선의 손실: 1.162470\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.616715\t최선의 손실: 1.162470\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.617523\t최선의 손실: 1.162470\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.617067\t최선의 손실: 1.162470\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.608678\t최선의 손실: 1.162470\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.609206\t최선의 손실: 1.162470\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.608795\t최선의 손실: 1.162470\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.616532\t최선의 손실: 1.162470\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.625388\t최선의 손실: 1.162470\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.614410\t최선의 손실: 1.162470\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.612102\t최선의 손실: 1.162470\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.608084\t최선의 손실: 1.162470\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.615091\t최선의 손실: 1.162470\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.616778\t최선의 손실: 1.162470\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.612287\t최선의 손실: 1.162470\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.615540\t최선의 손실: 1.162470\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.619599\t최선의 손실: 1.162470\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=, total= 11.1s\n", "[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation= \n", "0\t검증 세트 손실: 1.591977\t최선의 손실: 1.591977\t정확도: 24.47%\n", "1\t검증 세트 손실: 1.632177\t최선의 손실: 1.591977\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.609692\t최선의 손실: 1.591977\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.616961\t최선의 손실: 1.591977\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.611154\t최선의 손실: 1.591977\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.611874\t최선의 손실: 1.591977\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.630985\t최선의 손실: 1.591977\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.622768\t최선의 손실: 1.591977\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.613116\t최선의 손실: 1.591977\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.611212\t최선의 손실: 1.591977\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.610324\t최선의 손실: 1.591977\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.611938\t최선의 손실: 1.591977\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.615608\t최선의 손실: 1.591977\t정확도: 19.27%\n", "13\t검증 세트 손실: 1.617278\t최선의 손실: 1.591977\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.610541\t최선의 손실: 1.591977\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.612049\t최선의 손실: 1.591977\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.619841\t최선의 손실: 1.591977\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.614758\t최선의 손실: 1.591977\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.611527\t최선의 손실: 1.591977\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.609969\t최선의 손실: 1.591977\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.608911\t최선의 손실: 1.591977\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.629898\t최선의 손실: 1.591977\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=, total= 11.1s\n", "[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation= \n", "0\t검증 세트 손실: 5.114789\t최선의 손실: 5.114789\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.616550\t최선의 손실: 1.616550\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.613455\t최선의 손실: 1.613455\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.630151\t최선의 손실: 1.613455\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.608664\t최선의 손실: 1.608664\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.615857\t최선의 손실: 1.608664\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.615343\t최선의 손실: 1.608664\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.615426\t최선의 손실: 1.608664\t정확도: 18.73%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "8\t검증 세트 손실: 1.612331\t최선의 손실: 1.608664\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.610826\t최선의 손실: 1.608664\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.611880\t최선의 손실: 1.608664\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.612862\t최선의 손실: 1.608664\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.610811\t최선의 손실: 1.608664\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.620053\t최선의 손실: 1.608664\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.612821\t최선의 손실: 1.608664\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.615504\t최선의 손실: 1.608664\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.628741\t최선의 손실: 1.608664\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.625352\t최선의 손실: 1.608664\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.609349\t최선의 손실: 1.608664\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.613124\t최선의 손실: 1.608664\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.613291\t최선의 손실: 1.608664\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.623134\t최선의 손실: 1.608664\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.617783\t최선의 손실: 1.608664\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.617091\t최선의 손실: 1.608664\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.608748\t최선의 손실: 1.608664\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.615597\t최선의 손실: 1.608664\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.1, batch_size=50, activation=, total= 13.2s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 103.046265\t최선의 손실: 103.046265\t정확도: 44.68%\n", "1\t검증 세트 손실: 3894.037598\t최선의 손실: 103.046265\t정확도: 38.15%\n", "2\t검증 세트 손실: 188743.156250\t최선의 손실: 103.046265\t정확도: 34.01%\n", "3\t검증 세트 손실: 103245.507812\t최선의 손실: 103.046265\t정확도: 39.91%\n", "4\t검증 세트 손실: 3615.712158\t최선의 손실: 103.046265\t정확도: 72.28%\n", "5\t검증 세트 손실: 602.530762\t최선의 손실: 103.046265\t정확도: 78.38%\n", "6\t검증 세트 손실: 292.432465\t최선의 손실: 103.046265\t정확도: 88.35%\n", "7\t검증 세트 손실: 175.339432\t최선의 손실: 103.046265\t정확도: 88.23%\n", "8\t검증 세트 손실: 621.894958\t최선의 손실: 103.046265\t정확도: 84.56%\n", "9\t검증 세트 손실: 205.935623\t최선의 손실: 103.046265\t정확도: 86.90%\n", "10\t검증 세트 손실: 574.563599\t최선의 손실: 103.046265\t정확도: 78.77%\n", "11\t검증 세트 손실: 147.283981\t최선의 손실: 103.046265\t정확도: 91.48%\n", "12\t검증 세트 손실: 119.081154\t최선의 손실: 103.046265\t정확도: 92.65%\n", "13\t검증 세트 손실: 72.598778\t최선의 손실: 72.598778\t정확도: 93.59%\n", "14\t검증 세트 손실: 128.097794\t최선의 손실: 72.598778\t정확도: 89.56%\n", "15\t검증 세트 손실: 58.919201\t최선의 손실: 58.919201\t정확도: 93.78%\n", "16\t검증 세트 손실: 605.112488\t최선의 손실: 58.919201\t정확도: 86.24%\n", "17\t검증 세트 손실: 242.258499\t최선의 손실: 58.919201\t정확도: 93.82%\n", "18\t검증 세트 손실: 152.493088\t최선의 손실: 58.919201\t정확도: 90.58%\n", "19\t검증 세트 손실: 98.061996\t최선의 손실: 58.919201\t정확도: 94.76%\n", "20\t검증 세트 손실: 103.558617\t최선의 손실: 58.919201\t정확도: 95.11%\n", "21\t검증 세트 손실: 87.303940\t최선의 손실: 58.919201\t정확도: 95.47%\n", "22\t검증 세트 손실: 79.762535\t최선의 손실: 58.919201\t정확도: 95.78%\n", "23\t검증 세트 손실: 109.392105\t최선의 손실: 58.919201\t정확도: 90.58%\n", "24\t검증 세트 손실: 117.719948\t최선의 손실: 58.919201\t정확도: 93.59%\n", "25\t검증 세트 손실: 74.542526\t최선의 손실: 58.919201\t정확도: 95.35%\n", "26\t검증 세트 손실: 76.486061\t최선의 손실: 58.919201\t정확도: 95.19%\n", "27\t검증 세트 손실: 142.724625\t최선의 손실: 58.919201\t정확도: 93.94%\n", "28\t검증 세트 손실: 70.466728\t최선의 손실: 58.919201\t정확도: 96.13%\n", "29\t검증 세트 손실: 51.892567\t최선의 손실: 51.892567\t정확도: 95.43%\n", "30\t검증 세트 손실: 59.593994\t최선의 손실: 51.892567\t정확도: 96.13%\n", "31\t검증 세트 손실: 73.466835\t최선의 손실: 51.892567\t정확도: 95.23%\n", "32\t검증 세트 손실: 63.206081\t최선의 손실: 51.892567\t정확도: 95.19%\n", "33\t검증 세트 손실: 47.820358\t최선의 손실: 47.820358\t정확도: 95.86%\n", "34\t검증 세트 손실: 54.510078\t최선의 손실: 47.820358\t정확도: 96.01%\n", "35\t검증 세트 손실: 38.793087\t최선의 손실: 38.793087\t정확도: 95.90%\n", "36\t검증 세트 손실: 176.525970\t최선의 손실: 38.793087\t정확도: 92.69%\n", "37\t검증 세트 손실: 79.613518\t최선의 손실: 38.793087\t정확도: 96.29%\n", "38\t검증 세트 손실: 61.727535\t최선의 손실: 38.793087\t정확도: 96.40%\n", "39\t검증 세트 손실: 54.707413\t최선의 손실: 38.793087\t정확도: 94.25%\n", "40\t검증 세트 손실: 75.661720\t최선의 손실: 38.793087\t정확도: 94.45%\n", "41\t검증 세트 손실: 46.641033\t최선의 손실: 38.793087\t정확도: 96.17%\n", "42\t검증 세트 손실: 76.022224\t최선의 손실: 38.793087\t정확도: 95.62%\n", "43\t검증 세트 손실: 48.577057\t최선의 손실: 38.793087\t정확도: 96.56%\n", "44\t검증 세트 손실: 63.571896\t최선의 손실: 38.793087\t정확도: 96.33%\n", "45\t검증 세트 손실: 45.548710\t최선의 손실: 38.793087\t정확도: 96.05%\n", "46\t검증 세트 손실: 43.737740\t최선의 손실: 38.793087\t정확도: 95.66%\n", "47\t검증 세트 손실: 96.476509\t최선의 손실: 38.793087\t정확도: 92.42%\n", "48\t검증 세트 손실: 52.450016\t최선의 손실: 38.793087\t정확도: 95.82%\n", "49\t검증 세트 손실: 27.196903\t최선의 손실: 27.196903\t정확도: 96.79%\n", "50\t검증 세트 손실: 35.557030\t최선의 손실: 27.196903\t정확도: 96.52%\n", "51\t검증 세트 손실: 40.110378\t최선의 손실: 27.196903\t정확도: 96.44%\n", "52\t검증 세트 손실: 41.037018\t최선의 손실: 27.196903\t정확도: 95.58%\n", "53\t검증 세트 손실: 86.323654\t최선의 손실: 27.196903\t정확도: 95.62%\n", "54\t검증 세트 손실: 53.789570\t최선의 손실: 27.196903\t정확도: 95.47%\n", "55\t검증 세트 손실: 42.549725\t최선의 손실: 27.196903\t정확도: 95.97%\n", "56\t검증 세트 손실: 41.087799\t최선의 손실: 27.196903\t정확도: 96.40%\n", "57\t검증 세트 손실: 41.495644\t최선의 손실: 27.196903\t정확도: 95.50%\n", "58\t검증 세트 손실: 40.575272\t최선의 손실: 27.196903\t정확도: 95.74%\n", "59\t검증 세트 손실: 48.021423\t최선의 손실: 27.196903\t정확도: 95.74%\n", "60\t검증 세트 손실: 31.978600\t최선의 손실: 27.196903\t정확도: 95.23%\n", "61\t검증 세트 손실: 38.560455\t최선의 손실: 27.196903\t정확도: 96.91%\n", "62\t검증 세트 손실: 28.967424\t최선의 손실: 27.196903\t정확도: 96.91%\n", "63\t검증 세트 손실: 34.467991\t최선의 손실: 27.196903\t정확도: 96.99%\n", "64\t검증 세트 손실: 32.570118\t최선의 손실: 27.196903\t정확도: 97.07%\n", "65\t검증 세트 손실: 25.310200\t최선의 손실: 25.310200\t정확도: 96.79%\n", "66\t검증 세트 손실: 31.085363\t최선의 손실: 25.310200\t정확도: 95.47%\n", "67\t검증 세트 손실: 30.213619\t최선의 손실: 25.310200\t정확도: 96.68%\n", "68\t검증 세트 손실: 26.330477\t최선의 손실: 25.310200\t정확도: 96.09%\n", "69\t검증 세트 손실: 28.598707\t최선의 손실: 25.310200\t정확도: 95.90%\n", "70\t검증 세트 손실: 44.617134\t최선의 손실: 25.310200\t정확도: 95.00%\n", "71\t검증 세트 손실: 49.255375\t최선의 손실: 25.310200\t정확도: 96.09%\n", "72\t검증 세트 손실: 530.126038\t최선의 손실: 25.310200\t정확도: 77.80%\n", "73\t검증 세트 손실: 190.072098\t최선의 손실: 25.310200\t정확도: 96.01%\n", "74\t검증 세트 손실: 175.621170\t최선의 손실: 25.310200\t정확도: 93.82%\n", "75\t검증 세트 손실: 70.428238\t최선의 손실: 25.310200\t정확도: 95.93%\n", "76\t검증 세트 손실: 153.392426\t최선의 손실: 25.310200\t정확도: 93.90%\n", "77\t검증 세트 손실: 74.481873\t최선의 손실: 25.310200\t정확도: 95.90%\n", "78\t검증 세트 손실: 61.736233\t최선의 손실: 25.310200\t정확도: 96.36%\n", "79\t검증 세트 손실: 68.976669\t최선의 손실: 25.310200\t정확도: 95.78%\n", "80\t검증 세트 손실: 54.382133\t최선의 손실: 25.310200\t정확도: 97.07%\n", "81\t검증 세트 손실: 47.077751\t최선의 손실: 25.310200\t정확도: 96.60%\n", "82\t검증 세트 손실: 60.803265\t최선의 손실: 25.310200\t정확도: 96.64%\n", "83\t검증 세트 손실: 49.738022\t최선의 손실: 25.310200\t정확도: 95.78%\n", "84\t검증 세트 손실: 47.083115\t최선의 손실: 25.310200\t정확도: 96.36%\n", "85\t검증 세트 손실: 30.865932\t최선의 손실: 25.310200\t정확도: 96.91%\n", "86\t검증 세트 손실: 45.440506\t최선의 손실: 25.310200\t정확도: 96.36%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 16.0s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 589.323425\t최선의 손실: 589.323425\t정확도: 20.99%\n", "1\t검증 세트 손실: 25.155005\t최선의 손실: 25.155005\t정확도: 70.37%\n", "2\t검증 세트 손실: 13.491067\t최선의 손실: 13.491067\t정확도: 87.76%\n", "3\t검증 세트 손실: 2.126667\t최선의 손실: 2.126667\t정확도: 93.39%\n", "4\t검증 세트 손실: 1.007962\t최선의 손실: 1.007962\t정확도: 95.00%\n", "5\t검증 세트 손실: 0.997625\t최선의 손실: 0.997625\t정확도: 94.96%\n", "6\t검증 세트 손실: 0.552859\t최선의 손실: 0.552859\t정확도: 94.88%\n", "7\t검증 세트 손실: 3.341693\t최선의 손실: 0.552859\t정확도: 89.48%\n", "8\t검증 세트 손실: 1.695049\t최선의 손실: 0.552859\t정확도: 94.76%\n", "9\t검증 세트 손실: 0.755585\t최선의 손실: 0.552859\t정확도: 95.47%\n", "10\t검증 세트 손실: 0.480568\t최선의 손실: 0.480568\t정확도: 96.21%\n", "11\t검증 세트 손실: 0.400577\t최선의 손실: 0.400577\t정확도: 95.62%\n", "12\t검증 세트 손실: 0.358413\t최선의 손실: 0.358413\t정확도: 96.13%\n", "13\t검증 세트 손실: 0.334970\t최선의 손실: 0.334970\t정확도: 96.09%\n", "14\t검증 세트 손실: 0.281449\t최선의 손실: 0.281449\t정확도: 96.17%\n", "15\t검증 세트 손실: 0.412877\t최선의 손실: 0.281449\t정확도: 95.35%\n", "16\t검증 세트 손실: 0.248879\t최선의 손실: 0.248879\t정확도: 96.56%\n", "17\t검증 세트 손실: 0.330963\t최선의 손실: 0.248879\t정확도: 95.97%\n", "18\t검증 세트 손실: 0.298042\t최선의 손실: 0.248879\t정확도: 96.68%\n", "19\t검증 세트 손실: 0.262646\t최선의 손실: 0.248879\t정확도: 96.64%\n", "20\t검증 세트 손실: 0.247243\t최선의 손실: 0.247243\t정확도: 96.60%\n", "21\t검증 세트 손실: 0.210414\t최선의 손실: 0.210414\t정확도: 96.83%\n", "22\t검증 세트 손실: 0.206849\t최선의 손실: 0.206849\t정확도: 97.26%\n", "23\t검증 세트 손실: 0.906183\t최선의 손실: 0.206849\t정확도: 95.47%\n", "24\t검증 세트 손실: 0.370097\t최선의 손실: 0.206849\t정확도: 97.26%\n", "25\t검증 세트 손실: 0.255660\t최선의 손실: 0.206849\t정확도: 97.15%\n", "26\t검증 세트 손실: 0.306962\t최선의 손실: 0.206849\t정확도: 96.09%\n", "27\t검증 세트 손실: 0.238086\t최선의 손실: 0.206849\t정확도: 96.72%\n", "28\t검증 세트 손실: 0.235990\t최선의 손실: 0.206849\t정확도: 97.38%\n", "29\t검증 세트 손실: 0.222535\t최선의 손실: 0.206849\t정확도: 97.34%\n", "30\t검증 세트 손실: 0.224703\t최선의 손실: 0.206849\t정확도: 97.42%\n", "31\t검증 세트 손실: 0.226848\t최선의 손실: 0.206849\t정확도: 97.58%\n", "32\t검증 세트 손실: 0.281135\t최선의 손실: 0.206849\t정확도: 97.03%\n", "33\t검증 세트 손실: 0.232221\t최선의 손실: 0.206849\t정확도: 97.19%\n", "34\t검증 세트 손실: 0.229852\t최선의 손실: 0.206849\t정확도: 97.30%\n", "35\t검증 세트 손실: 0.263981\t최선의 손실: 0.206849\t정확도: 97.19%\n", "36\t검증 세트 손실: 0.617203\t최선의 손실: 0.206849\t정확도: 96.64%\n", "37\t검증 세트 손실: 0.268421\t최선의 손실: 0.206849\t정확도: 97.42%\n", "38\t검증 세트 손실: 0.232858\t최선의 손실: 0.206849\t정확도: 97.46%\n", "39\t검증 세트 손실: 0.224501\t최선의 손실: 0.206849\t정확도: 97.42%\n", "40\t검증 세트 손실: 0.209760\t최선의 손실: 0.206849\t정확도: 97.81%\n", "41\t검증 세트 손실: 0.224317\t최선의 손실: 0.206849\t정확도: 97.42%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "42\t검증 세트 손실: 0.245268\t최선의 손실: 0.206849\t정확도: 97.42%\n", "43\t검증 세트 손실: 0.217127\t최선의 손실: 0.206849\t정확도: 97.58%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 8.4s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598> \n", "0\t검증 세트 손실: 819.340881\t최선의 손실: 819.340881\t정확도: 19.27%\n", "1\t검증 세트 손실: 19.642662\t최선의 손실: 19.642662\t정확도: 84.91%\n", "2\t검증 세트 손실: 4.462388\t최선의 손실: 4.462388\t정확도: 91.83%\n", "3\t검증 세트 손실: 3.357640\t최선의 손실: 3.357640\t정확도: 87.96%\n", "4\t검증 세트 손실: 1.479010\t최선의 손실: 1.479010\t정확도: 96.25%\n", "5\t검증 세트 손실: 1.345724\t최선의 손실: 1.345724\t정확도: 94.84%\n", "6\t검증 세트 손실: 1.323037\t최선의 손실: 1.323037\t정확도: 93.24%\n", "7\t검증 세트 손실: 0.720926\t최선의 손실: 0.720926\t정확도: 96.36%\n", "8\t검증 세트 손실: 0.599578\t최선의 손실: 0.599578\t정확도: 95.90%\n", "9\t검증 세트 손실: 0.516076\t최선의 손실: 0.516076\t정확도: 95.86%\n", "10\t검증 세트 손실: 0.427521\t최선의 손실: 0.427521\t정확도: 96.05%\n", "11\t검증 세트 손실: 0.385268\t최선의 손실: 0.385268\t정확도: 96.17%\n", "12\t검증 세트 손실: 0.382610\t최선의 손실: 0.382610\t정확도: 96.44%\n", "13\t검증 세트 손실: 0.385694\t최선의 손실: 0.382610\t정확도: 96.29%\n", "14\t검증 세트 손실: 0.364813\t최선의 손실: 0.364813\t정확도: 95.70%\n", "15\t검증 세트 손실: 0.696420\t최선의 손실: 0.364813\t정확도: 94.10%\n", "16\t검증 세트 손실: 0.374868\t최선의 손실: 0.364813\t정확도: 95.23%\n", "17\t검증 세트 손실: 0.382000\t최선의 손실: 0.364813\t정확도: 95.93%\n", "18\t검증 세트 손실: 0.282846\t최선의 손실: 0.282846\t정확도: 97.38%\n", "19\t검증 세트 손실: 0.359906\t최선의 손실: 0.282846\t정확도: 95.11%\n", "20\t검증 세트 손실: 0.269732\t최선의 손실: 0.269732\t정확도: 97.42%\n", "21\t검증 세트 손실: 0.288407\t최선의 손실: 0.269732\t정확도: 96.33%\n", "22\t검증 세트 손실: 0.225962\t최선의 손실: 0.225962\t정확도: 97.30%\n", "23\t검증 세트 손실: 0.201227\t최선의 손실: 0.201227\t정확도: 97.54%\n", "24\t검증 세트 손실: 0.273083\t최선의 손실: 0.201227\t정확도: 96.13%\n", "25\t검증 세트 손실: 0.228911\t최선의 손실: 0.201227\t정확도: 97.46%\n", "26\t검증 세트 손실: 0.225587\t최선의 손실: 0.201227\t정확도: 96.56%\n", "27\t검증 세트 손실: 0.184601\t최선의 손실: 0.184601\t정확도: 97.22%\n", "28\t검증 세트 손실: 0.182162\t최선의 손실: 0.182162\t정확도: 97.65%\n", "29\t검증 세트 손실: 0.182933\t최선의 손실: 0.182162\t정확도: 97.38%\n", "30\t검증 세트 손실: 0.188017\t최선의 손실: 0.182162\t정확도: 97.19%\n", "31\t검증 세트 손실: 0.181837\t최선의 손실: 0.181837\t정확도: 97.38%\n", "32\t검증 세트 손실: 0.236452\t최선의 손실: 0.181837\t정확도: 96.40%\n", "33\t검증 세트 손실: 0.175292\t최선의 손실: 0.175292\t정확도: 97.58%\n", "34\t검증 세트 손실: 0.155509\t최선의 손실: 0.155509\t정확도: 97.65%\n", "35\t검증 세트 손실: 0.212295\t최선의 손실: 0.155509\t정확도: 97.07%\n", "36\t검증 세트 손실: 0.156537\t최선의 손실: 0.155509\t정확도: 97.50%\n", "37\t검증 세트 손실: 0.181029\t최선의 손실: 0.155509\t정확도: 97.30%\n", "38\t검증 세트 손실: 0.239246\t최선의 손실: 0.155509\t정확도: 97.07%\n", "39\t검증 세트 손실: 0.196605\t최선의 손실: 0.155509\t정확도: 97.50%\n", "40\t검증 세트 손실: 0.233737\t최선의 손실: 0.155509\t정확도: 96.56%\n", "41\t검증 세트 손실: 0.155307\t최선의 손실: 0.155307\t정확도: 97.77%\n", "42\t검증 세트 손실: 0.204377\t최선의 손실: 0.155307\t정확도: 97.50%\n", "43\t검증 세트 손실: 0.164538\t최선의 손실: 0.155307\t정확도: 97.58%\n", "44\t검증 세트 손실: 0.184751\t최선의 손실: 0.155307\t정확도: 97.69%\n", "45\t검증 세트 손실: 0.269245\t최선의 손실: 0.155307\t정확도: 96.87%\n", "46\t검증 세트 손실: 0.294787\t최선의 손실: 0.155307\t정확도: 97.07%\n", "47\t검증 세트 손실: 0.227743\t최선의 손실: 0.155307\t정확도: 97.62%\n", "48\t검증 세트 손실: 0.169297\t최선의 손실: 0.155307\t정확도: 98.01%\n", "49\t검증 세트 손실: 0.220376\t최선의 손실: 0.155307\t정확도: 97.73%\n", "50\t검증 세트 손실: 0.242634\t최선의 손실: 0.155307\t정확도: 96.76%\n", "51\t검증 세트 손실: 0.188290\t최선의 손실: 0.155307\t정확도: 97.77%\n", "52\t검증 세트 손실: 0.219997\t최선의 손실: 0.155307\t정확도: 97.30%\n", "53\t검증 세트 손실: 0.189377\t최선의 손실: 0.155307\t정확도: 98.01%\n", "54\t검증 세트 손실: 0.187721\t최선의 손실: 0.155307\t정확도: 98.08%\n", "55\t검증 세트 손실: 0.175944\t최선의 손실: 0.155307\t정확도: 97.85%\n", "56\t검증 세트 손실: 0.178270\t최선의 손실: 0.155307\t정확도: 98.01%\n", "57\t검증 세트 손실: 0.191847\t최선의 손실: 0.155307\t정확도: 97.58%\n", "58\t검증 세트 손실: 0.237384\t최선의 손실: 0.155307\t정확도: 97.62%\n", "59\t검증 세트 손실: 0.172149\t최선의 손실: 0.155307\t정확도: 98.12%\n", "60\t검증 세트 손실: 0.224177\t최선의 손실: 0.155307\t정확도: 97.97%\n", "61\t검증 세트 손실: 0.195187\t최선의 손실: 0.155307\t정확도: 97.69%\n", "62\t검증 세트 손실: 0.199786\t최선의 손실: 0.155307\t정확도: 98.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e988a0598>, total= 11.9s\n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 31.8min finished\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.068968\t최선의 손실: 0.068968\t정확도: 97.85%\n", "1\t검증 세트 손실: 0.050188\t최선의 손실: 0.050188\t정확도: 98.55%\n", "2\t검증 세트 손실: 0.064402\t최선의 손실: 0.050188\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.046623\t최선의 손실: 0.046623\t정확도: 98.59%\n", "4\t검증 세트 손실: 0.045708\t최선의 손실: 0.045708\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.034994\t최선의 손실: 0.034994\t정확도: 99.02%\n", "6\t검증 세트 손실: 0.040954\t최선의 손실: 0.034994\t정확도: 98.94%\n", "7\t검증 세트 손실: 0.037508\t최선의 손실: 0.034994\t정확도: 99.14%\n", "8\t검증 세트 손실: 0.038701\t최선의 손실: 0.034994\t정확도: 99.06%\n", "9\t검증 세트 손실: 0.049342\t최선의 손실: 0.034994\t정확도: 98.55%\n", "10\t검증 세트 손실: 0.048750\t최선의 손실: 0.034994\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.058452\t최선의 손실: 0.034994\t정확도: 98.94%\n", "12\t검증 세트 손실: 0.042305\t최선의 손실: 0.034994\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.059438\t최선의 손실: 0.034994\t정확도: 98.94%\n", "14\t검증 세트 손실: 0.058639\t최선의 손실: 0.034994\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.065809\t최선의 손실: 0.034994\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.048589\t최선의 손실: 0.034994\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.041296\t최선의 손실: 0.034994\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.047819\t최선의 손실: 0.034994\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.059732\t최선의 손실: 0.034994\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.045060\t최선의 손실: 0.034994\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.052282\t최선의 손실: 0.034994\t정확도: 99.34%\n", "22\t검증 세트 손실: 0.066738\t최선의 손실: 0.034994\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.562932\t최선의 손실: 0.034994\t정확도: 82.29%\n", "24\t검증 세트 손실: 0.141875\t최선의 손실: 0.034994\t정확도: 96.99%\n", "25\t검증 세트 손실: 0.081134\t최선의 손실: 0.034994\t정확도: 98.40%\n", "26\t검증 세트 손실: 0.054021\t최선의 손실: 0.034994\t정확도: 98.55%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "RandomizedSearchCV(cv=3, error_score='raise-deprecating',\n", " estimator=DNNClassifier(activation=,\n", " batch_norm_momentum=None, batch_size=20, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=100,\n", " optimizer_class=,\n", " random_state=42),\n", " fit_params=None, iid='warn', n_iter=50, n_jobs=None,\n", " param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [, , .parametrized_leaky_relu at 0x7f8e9895a400>, .parametrized_leaky_relu at 0x7f8e988a0598>]},\n", " pre_dispatch='2*n_jobs', random_state=42, refit=True,\n", " return_train_score='warn', scoring=None, verbose=2)" ] }, "execution_count": 13, "metadata": {}, "output_type": "execute_result" } ], "source": [ "from sklearn.model_selection import RandomizedSearchCV\n", "\n", "def leaky_relu(alpha=0.01):\n", " def parametrized_leaky_relu(z, name=None):\n", " return tf.maximum(alpha * z, z, name=name)\n", " return parametrized_leaky_relu\n", "\n", "param_distribs = {\n", " \"n_neurons\": [10, 30, 50, 70, 90, 100, 120, 140, 160],\n", " \"batch_size\": [10, 50, 100, 500],\n", " \"learning_rate\": [0.01, 0.02, 0.05, 0.1],\n", " \"activation\": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],\n", " # 은닉층의 수나 옵티마이저 등을 달리하여 탐색해 볼 수 있습니다.\n", " #\"n_hidden_layers\": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],\n", " #\"optimizer_class\": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],\n", "}\n", "\n", "# 생성자에 넘겨주는 fit_params 매개변수는 사이킷런 0.19 버전부터 경고가 발생하고 0.21 버전에서 사라지므로\n", "# 대신 fit() 메서드에 매개변수로 전달해야 합니다.:\n", "rnd_search = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,\n", " random_state=42, verbose=2, cv=3)\n", "fit_params={\"X_valid\": X_valid1, \"y_valid\": y_valid1, \"n_epochs\": 1000}\n", "rnd_search.fit(X_train1, y_train1, **fit_params)" ] }, { "cell_type": "code", "execution_count": 14, "metadata": { "scrolled": true }, "outputs": [ { "data": { "text/plain": [ "{'n_neurons': 120,\n", " 'learning_rate': 0.01,\n", " 'batch_size': 500,\n", " 'activation': .parametrized_leaky_relu(z, name=None)>}" ] }, "execution_count": 14, "metadata": {}, "output_type": "execute_result" } ], "source": [ "rnd_search.best_params_" ] }, { "cell_type": "code", "execution_count": 15, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9918272037361354" ] }, "execution_count": 15, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = rnd_search.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아주 좋습니다! 하이퍼파라미터 튜닝을 하니 정확도가 99.2%까지 올라갔습니다! 98%에서 99.2%로 향상된 것이 크게 느껴지지 않을지 모르지만 오류 비율을 생각해 보면 대략 2%에서 0.8%로 줄어든 것입니다. 이는 모델이 만든 에러의 개수를 60%가 감소시킨 것입니다!" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "모델은 저장하는 것이 좋습니다:" ] }, { "cell_type": "code", "execution_count": 16, "metadata": {}, "outputs": [], "source": [ "rnd_search.best_estimator_.save(\"./my_best_mnist_model_0_to_4\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 8.4." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 배치 정규화를 추가한 다음 학습 곡선을 비교해보세요. 이전보다 수렴이 빨라졌나요? 모델의 성능이 더 나아졌나요?_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "앞서 찾은 최상의 모델이 얼마나 빠르게 수렴하는지 보기 위해 다시 훈련시켜 보겠습니다(다른 방법으로는 텐서보드에서 학습 곡선을 그리기 위해 서머리를 저장하도록 코드를 조금 바꿀 수 있습니다):" ] }, { "cell_type": "code", "execution_count": 17, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.070358\t최선의 손실: 0.070358\t정확도: 97.81%\n", "1\t검증 세트 손실: 0.048955\t최선의 손실: 0.048955\t정확도: 98.63%\n", "2\t검증 세트 손실: 0.038444\t최선의 손실: 0.038444\t정확도: 98.87%\n", "3\t검증 세트 손실: 0.065622\t최선의 손실: 0.038444\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.047307\t최선의 손실: 0.038444\t정확도: 98.51%\n", "5\t검증 세트 손실: 0.039177\t최선의 손실: 0.038444\t정확도: 98.87%\n", "6\t검증 세트 손실: 0.042407\t최선의 손실: 0.038444\t정확도: 98.94%\n", "7\t검증 세트 손실: 0.028610\t최선의 손실: 0.028610\t정확도: 99.02%\n", "8\t검증 세트 손실: 0.040722\t최선의 손실: 0.028610\t정확도: 99.22%\n", "9\t검증 세트 손실: 0.040563\t최선의 손실: 0.028610\t정확도: 98.71%\n", "10\t검증 세트 손실: 0.054484\t최선의 손실: 0.028610\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.046286\t최선의 손실: 0.028610\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.042266\t최선의 손실: 0.028610\t정확도: 98.75%\n", "13\t검증 세트 손실: 0.033186\t최선의 손실: 0.028610\t정확도: 99.06%\n", "14\t검증 세트 손실: 0.047522\t최선의 손실: 0.028610\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.039522\t최선의 손실: 0.028610\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.048510\t최선의 손실: 0.028610\t정확도: 98.79%\n", "17\t검증 세트 손실: 0.048192\t최선의 손실: 0.028610\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.043642\t최선의 손실: 0.028610\t정확도: 98.94%\n", "19\t검증 세트 손실: 0.056021\t최선의 손실: 0.028610\t정확도: 99.02%\n", "20\t검증 세트 손실: 0.047170\t최선의 손실: 0.028610\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.103242\t최선의 손실: 0.028610\t정확도: 98.71%\n", "22\t검증 세트 손실: 0.261896\t최선의 손실: 0.028610\t정확도: 97.42%\n", "23\t검증 세트 손실: 2.941329\t최선의 손실: 0.028610\t정확도: 92.57%\n", "24\t검증 세트 손실: 0.187626\t최선의 손실: 0.028610\t정확도: 96.44%\n", "25\t검증 세트 손실: 0.188978\t최선의 손실: 0.028610\t정확도: 94.72%\n", "26\t검증 세트 손실: 0.106918\t최선의 손실: 0.028610\t정확도: 97.26%\n", "27\t검증 세트 손실: 0.095597\t최선의 손실: 0.028610\t정확도: 97.85%\n", "28\t검증 세트 손실: 0.091262\t최선의 손실: 0.028610\t정확도: 97.81%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "DNNClassifier(activation=.parametrized_leaky_relu at 0x7f8eb7dd3048>,\n", " batch_norm_momentum=None, batch_size=500, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=120,\n", " optimizer_class=,\n", " random_state=42)" ] }, "execution_count": 17, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn_clf = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,\n", " n_neurons=120, random_state=42)\n", "dnn_clf.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "에포크 7에서 가장 좋은 손실에 도달했습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "테스트 세트에서 어느 정확도를 얻을 수 있는지 확인해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 18, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9906596614127262" ] }, "execution_count": 18, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = dnn_clf.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "좋습니다. 이제 같은 모델을 사용해서 배치 정규화를 적용해 봅니다:" ] }, { "cell_type": "code", "execution_count": 19, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "WARNING:tensorflow:From :31: batch_normalization (from tensorflow.python.layers.normalization) is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Use keras.layers.batch_normalization instead.\n", "WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Use tf.cast instead.\n", "0\t검증 세트 손실: 0.048326\t최선의 손실: 0.048326\t정확도: 98.55%\n", "1\t검증 세트 손실: 0.053701\t최선의 손실: 0.048326\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.050088\t최선의 손실: 0.048326\t정확도: 98.67%\n", "3\t검증 세트 손실: 0.045589\t최선의 손실: 0.045589\t정확도: 98.63%\n", "4\t검증 세트 손실: 0.040641\t최선의 손실: 0.040641\t정확도: 98.83%\n", "5\t검증 세트 손실: 0.037331\t최선의 손실: 0.037331\t정확도: 98.98%\n", "6\t검증 세트 손실: 0.031321\t최선의 손실: 0.031321\t정확도: 99.02%\n", "7\t검증 세트 손실: 0.038305\t최선의 손실: 0.031321\t정확도: 98.98%\n", "8\t검증 세트 손실: 0.068172\t최선의 손실: 0.031321\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.036528\t최선의 손실: 0.031321\t정확도: 99.06%\n", "10\t검증 세트 손실: 0.043783\t최선의 손실: 0.031321\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.032421\t최선의 손실: 0.031321\t정확도: 99.22%\n", "12\t검증 세트 손실: 0.043757\t최선의 손실: 0.031321\t정확도: 98.94%\n", "13\t검증 세트 손실: 0.052318\t최선의 손실: 0.031321\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.046961\t최선의 손실: 0.031321\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.044894\t최선의 손실: 0.031321\t정확도: 99.02%\n", "16\t검증 세트 손실: 0.021217\t최선의 손실: 0.021217\t정확도: 99.45%\n", "17\t검증 세트 손실: 0.035145\t최선의 손실: 0.021217\t정확도: 99.10%\n", "18\t검증 세트 손실: 0.028276\t최선의 손실: 0.021217\t정확도: 99.37%\n", "19\t검증 세트 손실: 0.041603\t최선의 손실: 0.021217\t정확도: 99.14%\n", "20\t검증 세트 손실: 0.047427\t최선의 손실: 0.021217\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.034391\t최선의 손실: 0.021217\t정확도: 99.18%\n", "22\t검증 세트 손실: 0.027400\t최선의 손실: 0.021217\t정확도: 99.22%\n", "23\t검증 세트 손실: 0.040622\t최선의 손실: 0.021217\t정확도: 99.18%\n", "24\t검증 세트 손실: 0.049337\t최선의 손실: 0.021217\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.056442\t최선의 손실: 0.021217\t정확도: 98.75%\n", "26\t검증 세트 손실: 0.050186\t최선의 손실: 0.021217\t정확도: 99.02%\n", "27\t검증 세트 손실: 0.056752\t최선의 손실: 0.021217\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.046086\t최선의 손실: 0.021217\t정확도: 98.98%\n", "29\t검증 세트 손실: 0.044422\t최선의 손실: 0.021217\t정확도: 98.87%\n", "30\t검증 세트 손실: 0.046319\t최선의 손실: 0.021217\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.054556\t최선의 손실: 0.021217\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.034593\t최선의 손실: 0.021217\t정확도: 99.26%\n", "33\t검증 세트 손실: 0.036583\t최선의 손실: 0.021217\t정확도: 99.26%\n", "34\t검증 세트 손실: 0.034036\t최선의 손실: 0.021217\t정확도: 99.34%\n", "35\t검증 세트 손실: 0.037980\t최선의 손실: 0.021217\t정확도: 99.22%\n", "36\t검증 세트 손실: 0.033857\t최선의 손실: 0.021217\t정확도: 99.26%\n", "37\t검증 세트 손실: 0.033593\t최선의 손실: 0.021217\t정확도: 99.37%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "DNNClassifier(activation=.parametrized_leaky_relu at 0x7f8eb40a1400>,\n", " batch_norm_momentum=0.95, batch_size=500, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=120,\n", " optimizer_class=,\n", " random_state=42)" ] }, "execution_count": 19, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn_clf_bn = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,\n", " n_neurons=120, random_state=42,\n", " batch_norm_momentum=0.95)\n", "dnn_clf_bn.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "에포크 7에서 최선의 값에 도달했습니다. 정확도를 살펴보겠습니다:" ] }, { "cell_type": "code", "execution_count": 20, "metadata": { "scrolled": true }, "outputs": [ { "data": { "text/plain": [ "0.9933839268340144" ] }, "execution_count": 20, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = dnn_clf_bn.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "배치 정규화로 정확도가 조금 향상되었습니다. 배치 정규화를 사용했을 때 하이퍼파라미터 탐색이 달라질 수 있는지 확인해 보죠:" ] }, { "cell_type": "code", "execution_count": 21, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Fitting 3 folds for each of 50 candidates, totalling 150 fits\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation= \n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.123628\t최선의 손실: 0.123628\t정확도: 97.15%\n", "1\t검증 세트 손실: 0.086103\t최선의 손실: 0.086103\t정확도: 98.08%\n", "2\t검증 세트 손실: 0.068698\t최선의 손실: 0.068698\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.060541\t최선의 손실: 0.060541\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.068968\t최선의 손실: 0.060541\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.049044\t최선의 손실: 0.049044\t정확도: 98.67%\n", "6\t검증 세트 손실: 0.047893\t최선의 손실: 0.047893\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.064583\t최선의 손실: 0.047893\t정확도: 98.48%\n", "8\t검증 세트 손실: 0.053604\t최선의 손실: 0.047893\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.054529\t최선의 손실: 0.047893\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.048798\t최선의 손실: 0.047893\t정확도: 98.91%\n", "11\t검증 세트 손실: 0.042970\t최선의 손실: 0.042970\t정확도: 98.79%\n", "12\t검증 세트 손실: 0.071583\t최선의 손실: 0.042970\t정확도: 98.40%\n", "13\t검증 세트 손실: 0.055194\t최선의 손실: 0.042970\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.052602\t최선의 손실: 0.042970\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.064359\t최선의 손실: 0.042970\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.043847\t최선의 손실: 0.042970\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.037198\t최선의 손실: 0.037198\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.058879\t최선의 손실: 0.037198\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.028004\t최선의 손실: 0.028004\t정확도: 99.18%\n", "20\t검증 세트 손실: 0.049675\t최선의 손실: 0.028004\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.050329\t최선의 손실: 0.028004\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.060454\t최선의 손실: 0.028004\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.042285\t최선의 손실: 0.028004\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.057296\t최선의 손실: 0.028004\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.041498\t최선의 손실: 0.028004\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.029804\t최선의 손실: 0.028004\t정확도: 99.18%\n", "27\t검증 세트 손실: 0.032558\t최선의 손실: 0.028004\t정확도: 99.41%\n", "28\t검증 세트 손실: 0.055168\t최선의 손실: 0.028004\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.037821\t최선의 손실: 0.028004\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.038871\t최선의 손실: 0.028004\t정확도: 99.18%\n", "31\t검증 세트 손실: 0.054270\t최선의 손실: 0.028004\t정확도: 99.22%\n", "32\t검증 세트 손실: 0.052678\t최선의 손실: 0.028004\t정확도: 98.83%\n", "33\t검증 세트 손실: 0.041737\t최선의 손실: 0.028004\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.039508\t최선의 손실: 0.028004\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.055378\t최선의 손실: 0.028004\t정확도: 98.63%\n", "36\t검증 세트 손실: 0.043328\t최선의 손실: 0.028004\t정확도: 99.02%\n", "37\t검증 세트 손실: 0.054084\t최선의 손실: 0.028004\t정확도: 98.98%\n", "38\t검증 세트 손실: 0.044940\t최선의 손실: 0.028004\t정확도: 99.22%\n", "39\t검증 세트 손실: 0.031715\t최선의 손실: 0.028004\t정확도: 99.30%\n", "40\t검증 세트 손실: 0.047298\t최선의 손실: 0.028004\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=, total= 32.7s\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation= \n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 32.8s remaining: 0.0s\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.111166\t최선의 손실: 0.111166\t정확도: 96.83%\n", "1\t검증 세트 손실: 0.057909\t최선의 손실: 0.057909\t정확도: 98.40%\n", "2\t검증 세트 손실: 0.080427\t최선의 손실: 0.057909\t정확도: 97.54%\n", "3\t검증 세트 손실: 0.048388\t최선의 손실: 0.048388\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.051026\t최선의 손실: 0.048388\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.050098\t최선의 손실: 0.048388\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.048976\t최선의 손실: 0.048388\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.040835\t최선의 손실: 0.040835\t정확도: 98.91%\n", "8\t검증 세트 손실: 0.056399\t최선의 손실: 0.040835\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.049171\t최선의 손실: 0.040835\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.058901\t최선의 손실: 0.040835\t정확도: 98.51%\n", "11\t검증 세트 손실: 0.040752\t최선의 손실: 0.040752\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.038683\t최선의 손실: 0.038683\t정확도: 98.98%\n", "13\t검증 세트 손실: 0.090153\t최선의 손실: 0.038683\t정확도: 98.01%\n", "14\t검증 세트 손실: 0.050794\t최선의 손실: 0.038683\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.045373\t최선의 손실: 0.038683\t정확도: 99.06%\n", "16\t검증 세트 손실: 0.045113\t최선의 손실: 0.038683\t정확도: 98.87%\n", "17\t검증 세트 손실: 0.041428\t최선의 손실: 0.038683\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.051740\t최선의 손실: 0.038683\t정확도: 98.87%\n", "19\t검증 세트 손실: 0.049490\t최선의 손실: 0.038683\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.042144\t최선의 손실: 0.038683\t정확도: 99.02%\n", "21\t검증 세트 손실: 0.044228\t최선의 손실: 0.038683\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.044124\t최선의 손실: 0.038683\t정확도: 98.94%\n", "23\t검증 세트 손실: 0.051611\t최선의 손실: 0.038683\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.053929\t최선의 손실: 0.038683\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.043905\t최선의 손실: 0.038683\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.056458\t최선의 손실: 0.038683\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.041821\t최선의 손실: 0.038683\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.056028\t최선의 손실: 0.038683\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.053983\t최선의 손실: 0.038683\t정확도: 98.87%\n", "30\t검증 세트 손실: 0.052490\t최선의 손실: 0.038683\t정확도: 98.94%\n", "31\t검증 세트 손실: 0.044223\t최선의 손실: 0.038683\t정확도: 99.06%\n", "32\t검증 세트 손실: 0.057340\t최선의 손실: 0.038683\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.047214\t최선의 손실: 0.038683\t정확도: 98.98%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=, total= 27.5s\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.092016\t최선의 손실: 0.092016\t정확도: 97.73%\n", "1\t검증 세트 손실: 0.071217\t최선의 손실: 0.071217\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.051470\t최선의 손실: 0.051470\t정확도: 98.59%\n", "3\t검증 세트 손실: 0.050745\t최선의 손실: 0.050745\t정확도: 98.59%\n", "4\t검증 세트 손실: 0.035498\t최선의 손실: 0.035498\t정확도: 98.94%\n", "5\t검증 세트 손실: 0.056634\t최선의 손실: 0.035498\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.047868\t최선의 손실: 0.035498\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.067493\t최선의 손실: 0.035498\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.039872\t최선의 손실: 0.035498\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.046803\t최선의 손실: 0.035498\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.055477\t최선의 손실: 0.035498\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.055697\t최선의 손실: 0.035498\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.054195\t최선의 손실: 0.035498\t정확도: 98.40%\n", "13\t검증 세트 손실: 0.044498\t최선의 손실: 0.035498\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.043715\t최선의 손실: 0.035498\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.047993\t최선의 손실: 0.035498\t정확도: 99.02%\n", "16\t검증 세트 손실: 0.052617\t최선의 손실: 0.035498\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.038111\t최선의 손실: 0.035498\t정확도: 99.14%\n", "18\t검증 세트 손실: 0.045670\t최선의 손실: 0.035498\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.032079\t최선의 손실: 0.032079\t정확도: 99.10%\n", "20\t검증 세트 손실: 0.037876\t최선의 손실: 0.032079\t정확도: 99.06%\n", "21\t검증 세트 손실: 0.049000\t최선의 손실: 0.032079\t정확도: 98.51%\n", "22\t검증 세트 손실: 0.050289\t최선의 손실: 0.032079\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.036670\t최선의 손실: 0.032079\t정확도: 99.34%\n", "24\t검증 세트 손실: 0.039245\t최선의 손실: 0.032079\t정확도: 99.14%\n", "25\t검증 세트 손실: 0.037711\t최선의 손실: 0.032079\t정확도: 99.14%\n", "26\t검증 세트 손실: 0.042739\t최선의 손실: 0.032079\t정확도: 99.02%\n", "27\t검증 세트 손실: 0.047545\t최선의 손실: 0.032079\t정확도: 98.71%\n", "28\t검증 세트 손실: 0.036552\t최선의 손실: 0.032079\t정확도: 99.18%\n", "29\t검증 세트 손실: 0.043083\t최선의 손실: 0.032079\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.043648\t최선의 손실: 0.032079\t정확도: 99.06%\n", "31\t검증 세트 손실: 0.054857\t최선의 손실: 0.032079\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.050709\t최선의 손실: 0.032079\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.044996\t최선의 손실: 0.032079\t정확도: 98.98%\n", "34\t검증 세트 손실: 0.055177\t최선의 손실: 0.032079\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.065571\t최선의 손실: 0.032079\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.058235\t최선의 손실: 0.032079\t정확도: 98.79%\n", "37\t검증 세트 손실: 0.050653\t최선의 손실: 0.032079\t정확도: 98.79%\n", "38\t검증 세트 손실: 0.065389\t최선의 손실: 0.032079\t정확도: 98.91%\n", "39\t검증 세트 손실: 0.047104\t최선의 손실: 0.032079\t정확도: 99.02%\n", "40\t검증 세트 손실: 0.040220\t최선의 손실: 0.032079\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=, total= 32.8s\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.114592\t최선의 손실: 0.114592\t정확도: 96.83%\n", "1\t검증 세트 손실: 0.079134\t최선의 손실: 0.079134\t정확도: 97.65%\n", "2\t검증 세트 손실: 0.064214\t최선의 손실: 0.064214\t정확도: 97.89%\n", "3\t검증 세트 손실: 0.069312\t최선의 손실: 0.064214\t정확도: 97.81%\n", "4\t검증 세트 손실: 0.050091\t최선의 손실: 0.050091\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.042664\t최선의 손실: 0.042664\t정확도: 98.67%\n", "6\t검증 세트 손실: 0.061674\t최선의 손실: 0.042664\t정확도: 98.05%\n", "7\t검증 세트 손실: 0.044887\t최선의 손실: 0.042664\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.042725\t최선의 손실: 0.042664\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.049231\t최선의 손실: 0.042664\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.043162\t최선의 손실: 0.042664\t정확도: 98.59%\n", "11\t검증 세트 손실: 0.050581\t최선의 손실: 0.042664\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.045750\t최선의 손실: 0.042664\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.041216\t최선의 손실: 0.041216\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.051024\t최선의 손실: 0.041216\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.051924\t최선의 손실: 0.041216\t정확도: 98.83%\n", "16\t검증 세트 손실: 0.046886\t최선의 손실: 0.041216\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.041533\t최선의 손실: 0.041216\t정확도: 98.48%\n", "18\t검증 세트 손실: 0.046880\t최선의 손실: 0.041216\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.054990\t최선의 손실: 0.041216\t정확도: 97.97%\n", "20\t검증 세트 손실: 0.045344\t최선의 손실: 0.041216\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.038670\t최선의 손실: 0.038670\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.058628\t최선의 손실: 0.038670\t정확도: 98.36%\n", "23\t검증 세트 손실: 0.040953\t최선의 손실: 0.038670\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.054136\t최선의 손실: 0.038670\t정확도: 98.51%\n", "25\t검증 세트 손실: 0.040360\t최선의 손실: 0.038670\t정확도: 98.87%\n", "26\t검증 세트 손실: 0.043082\t최선의 손실: 0.038670\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.043313\t최선의 손실: 0.038670\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.043051\t최선의 손실: 0.038670\t정확도: 98.91%\n", "29\t검증 세트 손실: 0.059247\t최선의 손실: 0.038670\t정확도: 98.83%\n", "30\t검증 세트 손실: 0.040963\t최선의 손실: 0.038670\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.041097\t최선의 손실: 0.038670\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.047747\t최선의 손실: 0.038670\t정확도: 98.59%\n", "33\t검증 세트 손실: 0.048710\t최선의 손실: 0.038670\t정확도: 98.59%\n", "34\t검증 세트 손실: 0.043334\t최선의 손실: 0.038670\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.041966\t최선의 손실: 0.038670\t정확도: 98.91%\n", "36\t검증 세트 손실: 0.042289\t최선의 손실: 0.038670\t정확도: 98.83%\n", "37\t검증 세트 손실: 0.042468\t최선의 손실: 0.038670\t정확도: 98.94%\n", "38\t검증 세트 손실: 0.045170\t최선의 손실: 0.038670\t정확도: 99.18%\n", "39\t검증 세트 손실: 0.035574\t최선의 손실: 0.035574\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.045149\t최선의 손실: 0.035574\t정확도: 98.75%\n", "41\t검증 세트 손실: 0.043668\t최선의 손실: 0.035574\t정확도: 99.02%\n", "42\t검증 세트 손실: 0.038137\t최선의 손실: 0.035574\t정확도: 99.14%\n", "43\t검증 세트 손실: 0.049273\t최선의 손실: 0.035574\t정확도: 98.83%\n", "44\t검증 세트 손실: 0.050111\t최선의 손실: 0.035574\t정확도: 98.67%\n", "45\t검증 세트 손실: 0.035123\t최선의 손실: 0.035123\t정확도: 99.18%\n", "46\t검증 세트 손실: 0.037657\t최선의 손실: 0.035123\t정확도: 99.06%\n", "47\t검증 세트 손실: 0.073691\t최선의 손실: 0.035123\t정확도: 98.44%\n", "48\t검증 세트 손실: 0.044583\t최선의 손실: 0.035123\t정확도: 98.79%\n", "49\t검증 세트 손실: 0.039754\t최선의 손실: 0.035123\t정확도: 98.98%\n", "50\t검증 세트 손실: 0.037962\t최선의 손실: 0.035123\t정확도: 99.10%\n", "51\t검증 세트 손실: 0.046695\t최선의 손실: 0.035123\t정확도: 98.94%\n", "52\t검증 세트 손실: 0.045159\t최선의 손실: 0.035123\t정확도: 98.91%\n", "53\t검증 세트 손실: 0.043865\t최선의 손실: 0.035123\t정확도: 98.83%\n", "54\t검증 세트 손실: 0.055269\t최선의 손실: 0.035123\t정확도: 98.71%\n", "55\t검증 세트 손실: 0.041935\t최선의 손실: 0.035123\t정확도: 98.98%\n", "56\t검증 세트 손실: 0.055522\t최선의 손실: 0.035123\t정확도: 98.55%\n", "57\t검증 세트 손실: 0.054848\t최선의 손실: 0.035123\t정확도: 98.79%\n", "58\t검증 세트 손실: 0.045492\t최선의 손실: 0.035123\t정확도: 99.14%\n", "59\t검증 세트 손실: 0.041112\t최선의 손실: 0.035123\t정확도: 99.10%\n", "60\t검증 세트 손실: 0.063105\t최선의 손실: 0.035123\t정확도: 98.83%\n", "61\t검증 세트 손실: 0.048241\t최선의 손실: 0.035123\t정확도: 98.91%\n", "62\t검증 세트 손실: 0.041676\t최선의 손실: 0.035123\t정확도: 99.26%\n", "63\t검증 세트 손실: 0.061414\t최선의 손실: 0.035123\t정확도: 98.83%\n", "64\t검증 세트 손실: 0.046663\t최선의 손실: 0.035123\t정확도: 98.94%\n", "65\t검증 세트 손실: 0.055563\t최선의 손실: 0.035123\t정확도: 98.44%\n", "66\t검증 세트 손실: 0.047961\t최선의 손실: 0.035123\t정확도: 98.98%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.4min\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.081664\t최선의 손실: 0.081664\t정확도: 97.50%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 0.071026\t최선의 손실: 0.071026\t정확도: 98.05%\n", "2\t검증 세트 손실: 0.068178\t최선의 손실: 0.068178\t정확도: 97.93%\n", "3\t검증 세트 손실: 0.056822\t최선의 손실: 0.056822\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.057511\t최선의 손실: 0.056822\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.063054\t최선의 손실: 0.056822\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.051462\t최선의 손실: 0.051462\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.057161\t최선의 손실: 0.051462\t정확도: 98.20%\n", "8\t검증 세트 손실: 0.039929\t최선의 손실: 0.039929\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.046211\t최선의 손실: 0.039929\t정확도: 98.91%\n", "10\t검증 세트 손실: 0.050730\t최선의 손실: 0.039929\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.045305\t최선의 손실: 0.039929\t정확도: 98.59%\n", "12\t검증 세트 손실: 0.035084\t최선의 손실: 0.035084\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.043066\t최선의 손실: 0.035084\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.041733\t최선의 손실: 0.035084\t정확도: 98.71%\n", "15\t검증 세트 손실: 0.042325\t최선의 손실: 0.035084\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.054049\t최선의 손실: 0.035084\t정확도: 98.44%\n", "17\t검증 세트 손실: 0.045806\t최선의 손실: 0.035084\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.045518\t최선의 손실: 0.035084\t정확도: 98.79%\n", "19\t검증 세트 손실: 0.047943\t최선의 손실: 0.035084\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.041997\t최선의 손실: 0.035084\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.058288\t최선의 손실: 0.035084\t정확도: 98.71%\n", "22\t검증 세트 손실: 0.062148\t최선의 손실: 0.035084\t정확도: 98.12%\n", "23\t검증 세트 손실: 0.043845\t최선의 손실: 0.035084\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.045117\t최선의 손실: 0.035084\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.047293\t최선의 손실: 0.035084\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.041900\t최선의 손실: 0.035084\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.099622\t최선의 손실: 0.035084\t정확도: 98.01%\n", "28\t검증 세트 손실: 0.050445\t최선의 손실: 0.035084\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.045880\t최선의 손실: 0.035084\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.047305\t최선의 손실: 0.035084\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.054807\t최선의 손실: 0.035084\t정확도: 98.48%\n", "32\t검증 세트 손실: 0.039239\t최선의 손실: 0.035084\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.041179\t최선의 손실: 0.035084\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.099845\t최선의 손실: 0.099845\t정확도: 97.30%\n", "1\t검증 세트 손실: 0.063542\t최선의 손실: 0.063542\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.070009\t최선의 손실: 0.063542\t정확도: 97.89%\n", "3\t검증 세트 손실: 0.055727\t최선의 손실: 0.055727\t정확도: 98.40%\n", "4\t검증 세트 손실: 0.062441\t최선의 손실: 0.055727\t정확도: 97.93%\n", "5\t검증 세트 손실: 0.057846\t최선의 손실: 0.055727\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.050340\t최선의 손실: 0.050340\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.043558\t최선의 손실: 0.043558\t정확도: 98.94%\n", "8\t검증 세트 손실: 0.047246\t최선의 손실: 0.043558\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.054402\t최선의 손실: 0.043558\t정확도: 98.16%\n", "10\t검증 세트 손실: 0.046013\t최선의 손실: 0.043558\t정확도: 98.91%\n", "11\t검증 세트 손실: 0.047927\t최선의 손실: 0.043558\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.044308\t최선의 손실: 0.043558\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.038198\t최선의 손실: 0.038198\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.049687\t최선의 손실: 0.038198\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.033455\t최선의 손실: 0.033455\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.029302\t최선의 손실: 0.029302\t정확도: 99.10%\n", "17\t검증 세트 손실: 0.036471\t최선의 손실: 0.029302\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.036323\t최선의 손실: 0.029302\t정확도: 98.87%\n", "19\t검증 세트 손실: 0.038700\t최선의 손실: 0.029302\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.043857\t최선의 손실: 0.029302\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.030805\t최선의 손실: 0.029302\t정확도: 99.26%\n", "22\t검증 세트 손실: 0.033364\t최선의 손실: 0.029302\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.044814\t최선의 손실: 0.029302\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.029852\t최선의 손실: 0.029302\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.049596\t최선의 손실: 0.029302\t정확도: 98.63%\n", "26\t검증 세트 손실: 0.049007\t최선의 손실: 0.029302\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.037004\t최선의 손실: 0.029302\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.032272\t최선의 손실: 0.029302\t정확도: 98.83%\n", "29\t검증 세트 손실: 0.034253\t최선의 손실: 0.029302\t정확도: 98.87%\n", "30\t검증 세트 손실: 0.041660\t최선의 손실: 0.029302\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.044015\t최선의 손실: 0.029302\t정확도: 98.51%\n", "32\t검증 세트 손실: 0.032434\t최선의 손실: 0.029302\t정확도: 99.18%\n", "33\t검증 세트 손실: 0.038385\t최선의 손실: 0.029302\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.040558\t최선의 손실: 0.029302\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.043190\t최선의 손실: 0.029302\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.033715\t최선의 손실: 0.029302\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.043057\t최선의 손실: 0.029302\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.9min\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.075510\t최선의 손실: 0.075510\t정확도: 97.42%\n", "1\t검증 세트 손실: 0.060778\t최선의 손실: 0.060778\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.055117\t최선의 손실: 0.055117\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.053758\t최선의 손실: 0.053758\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.049510\t최선의 손실: 0.049510\t정확도: 98.55%\n", "5\t검증 세트 손실: 0.057400\t최선의 손실: 0.049510\t정확도: 98.48%\n", "6\t검증 세트 손실: 0.060322\t최선의 손실: 0.049510\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.052602\t최선의 손실: 0.049510\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.054748\t최선의 손실: 0.049510\t정확도: 98.40%\n", "9\t검증 세트 손실: 0.070765\t최선의 손실: 0.049510\t정확도: 98.24%\n", "10\t검증 세트 손실: 0.048361\t최선의 손실: 0.048361\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.056739\t최선의 손실: 0.048361\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.044959\t최선의 손실: 0.044959\t정확도: 98.79%\n", "13\t검증 세트 손실: 0.046684\t최선의 손실: 0.044959\t정확도: 98.87%\n", "14\t검증 세트 손실: 0.064175\t최선의 손실: 0.044959\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.057395\t최선의 손실: 0.044959\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.069085\t최선의 손실: 0.044959\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.044130\t최선의 손실: 0.044130\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.053241\t최선의 손실: 0.044130\t정확도: 98.55%\n", "19\t검증 세트 손실: 0.047403\t최선의 손실: 0.044130\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.068137\t최선의 손실: 0.044130\t정확도: 98.59%\n", "21\t검증 세트 손실: 0.049264\t최선의 손실: 0.044130\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.058657\t최선의 손실: 0.044130\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.052411\t최선의 손실: 0.044130\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.052192\t최선의 손실: 0.044130\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.042176\t최선의 손실: 0.042176\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.046006\t최선의 손실: 0.042176\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.046981\t최선의 손실: 0.042176\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.049924\t최선의 손실: 0.042176\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.050231\t최선의 손실: 0.042176\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.066704\t최선의 손실: 0.042176\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.044223\t최선의 손실: 0.042176\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.048239\t최선의 손실: 0.042176\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.055718\t최선의 손실: 0.042176\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.055423\t최선의 손실: 0.042176\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.039682\t최선의 손실: 0.039682\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.057652\t최선의 손실: 0.039682\t정확도: 98.79%\n", "37\t검증 세트 손실: 0.065510\t최선의 손실: 0.039682\t정확도: 98.55%\n", "38\t검증 세트 손실: 0.071452\t최선의 손실: 0.039682\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.051639\t최선의 손실: 0.039682\t정확도: 98.79%\n", "40\t검증 세트 손실: 0.054788\t최선의 손실: 0.039682\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.053901\t최선의 손실: 0.039682\t정확도: 98.83%\n", "42\t검증 세트 손실: 0.056924\t최선의 손실: 0.039682\t정확도: 99.10%\n", "43\t검증 세트 손실: 0.045745\t최선의 손실: 0.039682\t정확도: 99.10%\n", "44\t검증 세트 손실: 0.061535\t최선의 손실: 0.039682\t정확도: 98.63%\n", "45\t검증 세트 손실: 0.064808\t최선의 손실: 0.039682\t정확도: 98.79%\n", "46\t검증 세트 손실: 0.062494\t최선의 손실: 0.039682\t정확도: 98.71%\n", "47\t검증 세트 손실: 0.074866\t최선의 손실: 0.039682\t정확도: 98.59%\n", "48\t검증 세트 손실: 0.050166\t최선의 손실: 0.039682\t정확도: 98.94%\n", "49\t검증 세트 손실: 0.059966\t최선의 손실: 0.039682\t정확도: 98.91%\n", "50\t검증 세트 손실: 0.077508\t최선의 손실: 0.039682\t정확도: 98.67%\n", "51\t검증 세트 손실: 0.097677\t최선의 손실: 0.039682\t정확도: 98.32%\n", "52\t검증 세트 손실: 0.059293\t최선의 손실: 0.039682\t정확도: 98.79%\n", "53\t검증 세트 손실: 0.075174\t최선의 손실: 0.039682\t정확도: 98.67%\n", "54\t검증 세트 손실: 0.081452\t최선의 손실: 0.039682\t정확도: 98.48%\n", "55\t검증 세트 손실: 0.062960\t최선의 손실: 0.039682\t정확도: 98.87%\n", "56\t검증 세트 손실: 0.058756\t최선의 손실: 0.039682\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 23.3s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.150462\t최선의 손실: 0.150462\t정확도: 95.66%\n", "1\t검증 세트 손실: 0.053544\t최선의 손실: 0.053544\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.040908\t최선의 손실: 0.040908\t정확도: 98.83%\n", "3\t검증 세트 손실: 0.057587\t최선의 손실: 0.040908\t정확도: 98.32%\n", "4\t검증 세트 손실: 0.058809\t최선의 손실: 0.040908\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.045832\t최선의 손실: 0.040908\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.045915\t최선의 손실: 0.040908\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.053029\t최선의 손실: 0.040908\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.053415\t최선의 손실: 0.040908\t정확도: 98.55%\n", "9\t검증 세트 손실: 0.054202\t최선의 손실: 0.040908\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.043016\t최선의 손실: 0.040908\t정확도: 98.71%\n", "11\t검증 세트 손실: 0.059104\t최선의 손실: 0.040908\t정확도: 98.36%\n", "12\t검증 세트 손실: 0.041447\t최선의 손실: 0.040908\t정확도: 98.83%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "13\t검증 세트 손실: 0.053491\t최선의 손실: 0.040908\t정확도: 98.55%\n", "14\t검증 세트 손실: 0.044904\t최선의 손실: 0.040908\t정확도: 98.71%\n", "15\t검증 세트 손실: 0.041226\t최선의 손실: 0.040908\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.055429\t최선의 손실: 0.040908\t정확도: 98.67%\n", "17\t검증 세트 손실: 0.053558\t최선의 손실: 0.040908\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.058393\t최선의 손실: 0.040908\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.056860\t최선의 손실: 0.040908\t정확도: 98.71%\n", "20\t검증 세트 손실: 0.057698\t최선의 손실: 0.040908\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.052901\t최선의 손실: 0.040908\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.044675\t최선의 손실: 0.040908\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.057578\t최선의 손실: 0.040908\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 10.6s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.078296\t최선의 손실: 0.078296\t정확도: 97.81%\n", "1\t검증 세트 손실: 0.070497\t최선의 손실: 0.070497\t정확도: 97.81%\n", "2\t검증 세트 손실: 0.047006\t최선의 손실: 0.047006\t정확도: 98.36%\n", "3\t검증 세트 손실: 0.055923\t최선의 손실: 0.047006\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.041187\t최선의 손실: 0.041187\t정확도: 98.83%\n", "5\t검증 세트 손실: 0.042833\t최선의 손실: 0.041187\t정확도: 98.63%\n", "6\t검증 세트 손실: 0.053809\t최선의 손실: 0.041187\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.049801\t최선의 손실: 0.041187\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.044977\t최선의 손실: 0.041187\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.052692\t최선의 손실: 0.041187\t정확도: 98.51%\n", "10\t검증 세트 손실: 0.043651\t최선의 손실: 0.041187\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.039189\t최선의 손실: 0.039189\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.038631\t최선의 손실: 0.038631\t정확도: 99.06%\n", "13\t검증 세트 손실: 0.048106\t최선의 손실: 0.038631\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.045388\t최선의 손실: 0.038631\t정확도: 98.67%\n", "15\t검증 세트 손실: 0.057642\t최선의 손실: 0.038631\t정확도: 98.51%\n", "16\t검증 세트 손실: 0.040217\t최선의 손실: 0.038631\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.043059\t최선의 손실: 0.038631\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.049620\t최선의 손실: 0.038631\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.044747\t최선의 손실: 0.038631\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.040911\t최선의 손실: 0.038631\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.044483\t최선의 손실: 0.038631\t정확도: 98.75%\n", "22\t검증 세트 손실: 0.030550\t최선의 손실: 0.030550\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.040320\t최선의 손실: 0.030550\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.042294\t최선의 손실: 0.030550\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.042790\t최선의 손실: 0.030550\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.033024\t최선의 손실: 0.030550\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.055236\t최선의 손실: 0.030550\t정확도: 98.59%\n", "28\t검증 세트 손실: 0.033822\t최선의 손실: 0.030550\t정확도: 98.91%\n", "29\t검증 세트 손실: 0.051171\t최선의 손실: 0.030550\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.043475\t최선의 손실: 0.030550\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.037150\t최선의 손실: 0.030550\t정확도: 99.02%\n", "32\t검증 세트 손실: 0.049018\t최선의 손실: 0.030550\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.036215\t최선의 손실: 0.030550\t정확도: 99.18%\n", "34\t검증 세트 손실: 0.036370\t최선의 손실: 0.030550\t정확도: 99.10%\n", "35\t검증 세트 손실: 0.048554\t최선의 손실: 0.030550\t정확도: 99.06%\n", "36\t검증 세트 손실: 0.037412\t최선의 손실: 0.030550\t정확도: 99.02%\n", "37\t검증 세트 손실: 0.041139\t최선의 손실: 0.030550\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.033562\t최선의 손실: 0.030550\t정확도: 98.98%\n", "39\t검증 세트 손실: 0.039367\t최선의 손실: 0.030550\t정확도: 98.98%\n", "40\t검증 세트 손실: 0.053155\t최선의 손실: 0.030550\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.046135\t최선의 손실: 0.030550\t정확도: 99.06%\n", "42\t검증 세트 손실: 0.035106\t최선의 손실: 0.030550\t정확도: 99.26%\n", "43\t검증 세트 손실: 0.061156\t최선의 손실: 0.030550\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 18.3s\n", "[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.103749\t최선의 손실: 0.103749\t정확도: 97.07%\n", "1\t검증 세트 손실: 0.079472\t최선의 손실: 0.079472\t정확도: 97.42%\n", "2\t검증 세트 손실: 0.062663\t최선의 손실: 0.062663\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.062764\t최선의 손실: 0.062663\t정확도: 97.69%\n", "4\t검증 세트 손실: 0.046899\t최선의 손실: 0.046899\t정확도: 98.44%\n", "5\t검증 세트 손실: 0.057160\t최선의 손실: 0.046899\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.052302\t최선의 손실: 0.046899\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.051096\t최선의 손실: 0.046899\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.050310\t최선의 손실: 0.046899\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.099875\t최선의 손실: 0.046899\t정확도: 97.03%\n", "10\t검증 세트 손실: 0.046871\t최선의 손실: 0.046871\t정확도: 98.51%\n", "11\t검증 세트 손실: 0.048294\t최선의 손실: 0.046871\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.034598\t최선의 손실: 0.034598\t정확도: 99.14%\n", "13\t검증 세트 손실: 0.052917\t최선의 손실: 0.034598\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.042917\t최선의 손실: 0.034598\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.039437\t최선의 손실: 0.034598\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.049609\t최선의 손실: 0.034598\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.046809\t최선의 손실: 0.034598\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.041958\t최선의 손실: 0.034598\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.044755\t최선의 손실: 0.034598\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.043001\t최선의 손실: 0.034598\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.052483\t최선의 손실: 0.034598\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.060037\t최선의 손실: 0.034598\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.036305\t최선의 손실: 0.034598\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.055822\t최선의 손실: 0.034598\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.033521\t최선의 손실: 0.033521\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.047889\t최선의 손실: 0.033521\t정확도: 99.02%\n", "27\t검증 세트 손실: 0.035007\t최선의 손실: 0.033521\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.037914\t최선의 손실: 0.033521\t정확도: 98.98%\n", "29\t검증 세트 손실: 0.038397\t최선의 손실: 0.033521\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.043221\t최선의 손실: 0.033521\t정확도: 99.06%\n", "31\t검증 세트 손실: 0.036855\t최선의 손실: 0.033521\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.032825\t최선의 손실: 0.032825\t정확도: 99.22%\n", "33\t검증 세트 손실: 0.050577\t최선의 손실: 0.032825\t정확도: 98.55%\n", "34\t검증 세트 손실: 0.036475\t최선의 손실: 0.032825\t정확도: 99.26%\n", "35\t검증 세트 손실: 0.041453\t최선의 손실: 0.032825\t정확도: 98.79%\n", "36\t검증 세트 손실: 0.050550\t최선의 손실: 0.032825\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.053042\t최선의 손실: 0.032825\t정확도: 98.63%\n", "38\t검증 세트 손실: 0.052436\t최선의 손실: 0.032825\t정확도: 98.79%\n", "39\t검증 세트 손실: 0.035064\t최선의 손실: 0.032825\t정확도: 99.10%\n", "40\t검증 세트 손실: 0.053267\t최선의 손실: 0.032825\t정확도: 98.67%\n", "41\t검증 세트 손실: 0.052758\t최선의 손실: 0.032825\t정확도: 98.67%\n", "42\t검증 세트 손실: 0.044218\t최선의 손실: 0.032825\t정확도: 98.94%\n", "43\t검증 세트 손실: 0.042958\t최선의 손실: 0.032825\t정확도: 98.83%\n", "44\t검증 세트 손실: 0.037737\t최선의 손실: 0.032825\t정확도: 99.06%\n", "45\t검증 세트 손실: 0.046989\t최선의 손실: 0.032825\t정확도: 99.14%\n", "46\t검증 세트 손실: 0.082026\t최선의 손실: 0.032825\t정확도: 98.24%\n", "47\t검증 세트 손실: 0.039048\t최선의 손실: 0.032825\t정확도: 98.98%\n", "48\t검증 세트 손실: 0.042046\t최선의 손실: 0.032825\t정확도: 99.18%\n", "49\t검증 세트 손실: 0.055987\t최선의 손실: 0.032825\t정확도: 99.02%\n", "50\t검증 세트 손실: 0.039698\t최선의 손실: 0.032825\t정확도: 99.22%\n", "51\t검증 세트 손실: 0.059100\t최선의 손실: 0.032825\t정확도: 98.94%\n", "52\t검증 세트 손실: 0.047217\t최선의 손실: 0.032825\t정확도: 99.06%\n", "53\t검증 세트 손실: 0.048390\t최선의 손실: 0.032825\t정확도: 99.18%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.9min\n", "[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.098821\t최선의 손실: 0.098821\t정확도: 97.07%\n", "1\t검증 세트 손실: 0.071376\t최선의 손실: 0.071376\t정확도: 97.81%\n", "2\t검증 세트 손실: 0.067087\t최선의 손실: 0.067087\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.062023\t최선의 손실: 0.062023\t정확도: 97.73%\n", "4\t검증 세트 손실: 0.054316\t최선의 손실: 0.054316\t정확도: 98.24%\n", "5\t검증 세트 손실: 0.050823\t최선의 손실: 0.050823\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.051454\t최선의 손실: 0.050823\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.060360\t최선의 손실: 0.050823\t정확도: 97.93%\n", "8\t검증 세트 손실: 0.052612\t최선의 손실: 0.050823\t정확도: 98.20%\n", "9\t검증 세트 손실: 0.054150\t최선의 손실: 0.050823\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.045996\t최선의 손실: 0.045996\t정확도: 98.51%\n", "11\t검증 세트 손실: 0.039047\t최선의 손실: 0.039047\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.045614\t최선의 손실: 0.039047\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.040682\t최선의 손실: 0.039047\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.055305\t최선의 손실: 0.039047\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.045391\t최선의 손실: 0.039047\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.043196\t최선의 손실: 0.039047\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.042992\t최선의 손실: 0.039047\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.039868\t최선의 손실: 0.039047\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.042407\t최선의 손실: 0.039047\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.029301\t최선의 손실: 0.029301\t정확도: 99.14%\n", "21\t검증 세트 손실: 0.038025\t최선의 손실: 0.029301\t정확도: 98.91%\n", "22\t검증 세트 손실: 0.049163\t최선의 손실: 0.029301\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.052875\t최선의 손실: 0.029301\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.041709\t최선의 손실: 0.029301\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.039322\t최선의 손실: 0.029301\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.047593\t최선의 손실: 0.029301\t정확도: 98.63%\n", "27\t검증 세트 손실: 0.035872\t최선의 손실: 0.029301\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.034804\t최선의 손실: 0.029301\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.029531\t최선의 손실: 0.029301\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.043224\t최선의 손실: 0.029301\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.035021\t최선의 손실: 0.029301\t정확도: 98.87%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "32\t검증 세트 손실: 0.034278\t최선의 손실: 0.029301\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.036277\t최선의 손실: 0.029301\t정확도: 98.71%\n", "34\t검증 세트 손실: 0.037334\t최선의 손실: 0.029301\t정확도: 99.10%\n", "35\t검증 세트 손실: 0.053632\t최선의 손실: 0.029301\t정확도: 98.44%\n", "36\t검증 세트 손실: 0.028916\t최선의 손실: 0.028916\t정확도: 99.30%\n", "37\t검증 세트 손실: 0.049454\t최선의 손실: 0.028916\t정확도: 98.83%\n", "38\t검증 세트 손실: 0.064600\t최선의 손실: 0.028916\t정확도: 98.36%\n", "39\t검증 세트 손실: 0.063659\t최선의 손실: 0.028916\t정확도: 98.16%\n", "40\t검증 세트 손실: 0.036875\t최선의 손실: 0.028916\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.035203\t최선의 손실: 0.028916\t정확도: 99.14%\n", "42\t검증 세트 손실: 0.037617\t최선의 손실: 0.028916\t정확도: 99.02%\n", "43\t검증 세트 손실: 0.056894\t최선의 손실: 0.028916\t정확도: 98.83%\n", "44\t검증 세트 손실: 0.033357\t최선의 손실: 0.028916\t정확도: 98.94%\n", "45\t검증 세트 손실: 0.042235\t최선의 손실: 0.028916\t정확도: 98.98%\n", "46\t검증 세트 손실: 0.040876\t최선의 손실: 0.028916\t정확도: 99.02%\n", "47\t검증 세트 손실: 0.043300\t최선의 손실: 0.028916\t정확도: 99.22%\n", "48\t검증 세트 손실: 0.046666\t최선의 손실: 0.028916\t정확도: 98.98%\n", "49\t검증 세트 손실: 0.047182\t최선의 손실: 0.028916\t정확도: 98.83%\n", "50\t검증 세트 손실: 0.048907\t최선의 손실: 0.028916\t정확도: 99.10%\n", "51\t검증 세트 손실: 0.055821\t최선의 손실: 0.028916\t정확도: 98.79%\n", "52\t검증 세트 손실: 0.044184\t최선의 손실: 0.028916\t정확도: 98.94%\n", "53\t검증 세트 손실: 0.035518\t최선의 손실: 0.028916\t정확도: 99.14%\n", "54\t검증 세트 손실: 0.048779\t최선의 손실: 0.028916\t정확도: 98.91%\n", "55\t검증 세트 손실: 0.035050\t최선의 손실: 0.028916\t정확도: 99.06%\n", "56\t검증 세트 손실: 0.047059\t최선의 손실: 0.028916\t정확도: 98.87%\n", "57\t검증 세트 손실: 0.033101\t최선의 손실: 0.028916\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 4.2min\n", "[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.074829\t최선의 손실: 0.074829\t정확도: 98.16%\n", "1\t검증 세트 손실: 0.066890\t최선의 손실: 0.066890\t정확도: 97.89%\n", "2\t검증 세트 손실: 0.090426\t최선의 손실: 0.066890\t정확도: 97.42%\n", "3\t검증 세트 손실: 0.051487\t최선의 손실: 0.051487\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.075932\t최선의 손실: 0.051487\t정확도: 97.65%\n", "5\t검증 세트 손실: 0.046110\t최선의 손실: 0.046110\t정확도: 98.55%\n", "6\t검증 세트 손실: 0.055188\t최선의 손실: 0.046110\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.050225\t최선의 손실: 0.046110\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.053066\t최선의 손실: 0.046110\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.066856\t최선의 손실: 0.046110\t정확도: 97.85%\n", "10\t검증 세트 손실: 0.059722\t최선의 손실: 0.046110\t정확도: 98.01%\n", "11\t검증 세트 손실: 0.035812\t최선의 손실: 0.035812\t정확도: 98.83%\n", "12\t검증 세트 손실: 0.041850\t최선의 손실: 0.035812\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.036123\t최선의 손실: 0.035812\t정확도: 98.94%\n", "14\t검증 세트 손실: 0.040851\t최선의 손실: 0.035812\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.033105\t최선의 손실: 0.033105\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.026667\t최선의 손실: 0.026667\t정확도: 99.26%\n", "17\t검증 세트 손실: 0.046519\t최선의 손실: 0.026667\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.034714\t최선의 손실: 0.026667\t정확도: 99.18%\n", "19\t검증 세트 손실: 0.040887\t최선의 손실: 0.026667\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.032936\t최선의 손실: 0.026667\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.032091\t최선의 손실: 0.026667\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.039051\t최선의 손실: 0.026667\t정확도: 99.06%\n", "23\t검증 세트 손실: 0.048173\t최선의 손실: 0.026667\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.037897\t최선의 손실: 0.026667\t정확도: 98.87%\n", "25\t검증 세트 손실: 0.048630\t최선의 손실: 0.026667\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.038484\t최선의 손실: 0.026667\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.041520\t최선의 손실: 0.026667\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.036126\t최선의 손실: 0.026667\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.036549\t최선의 손실: 0.026667\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.036694\t최선의 손실: 0.026667\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.028282\t최선의 손실: 0.026667\t정확도: 99.18%\n", "32\t검증 세트 손실: 0.041685\t최선의 손실: 0.026667\t정확도: 98.83%\n", "33\t검증 세트 손실: 0.042924\t최선의 손실: 0.026667\t정확도: 99.06%\n", "34\t검증 세트 손실: 0.034203\t최선의 손실: 0.026667\t정확도: 99.02%\n", "35\t검증 세트 손실: 0.035102\t최선의 손실: 0.026667\t정확도: 98.91%\n", "36\t검증 세트 손실: 0.033670\t최선의 손실: 0.026667\t정확도: 99.22%\n", "37\t검증 세트 손실: 0.042309\t최선의 손실: 0.026667\t정확도: 99.18%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.8min\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.077832\t최선의 손실: 0.077832\t정확도: 97.34%\n", "1\t검증 세트 손실: 0.072224\t최선의 손실: 0.072224\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.067583\t최선의 손실: 0.067583\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.052682\t최선의 손실: 0.052682\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.053712\t최선의 손실: 0.052682\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.047642\t최선의 손실: 0.047642\t정확도: 98.59%\n", "6\t검증 세트 손실: 0.042210\t최선의 손실: 0.042210\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.059812\t최선의 손실: 0.042210\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.093588\t최선의 손실: 0.042210\t정확도: 97.93%\n", "9\t검증 세트 손실: 0.074659\t최선의 손실: 0.042210\t정확도: 97.97%\n", "10\t검증 세트 손실: 0.083167\t최선의 손실: 0.042210\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.061067\t최선의 손실: 0.042210\t정확도: 98.59%\n", "12\t검증 세트 손실: 0.044277\t최선의 손실: 0.042210\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.073602\t최선의 손실: 0.042210\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.067000\t최선의 손실: 0.042210\t정확도: 98.48%\n", "15\t검증 세트 손실: 0.068206\t최선의 손실: 0.042210\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.050635\t최선의 손실: 0.042210\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.077790\t최선의 손실: 0.042210\t정확도: 98.44%\n", "18\t검증 세트 손실: 0.039914\t최선의 손실: 0.039914\t정확도: 99.10%\n", "19\t검증 세트 손실: 0.057653\t최선의 손실: 0.039914\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.067930\t최선의 손실: 0.039914\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.067467\t최선의 손실: 0.039914\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.051119\t최선의 손실: 0.039914\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.075687\t최선의 손실: 0.039914\t정확도: 98.51%\n", "24\t검증 세트 손실: 0.043222\t최선의 손실: 0.039914\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.046396\t최선의 손실: 0.039914\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.070371\t최선의 손실: 0.039914\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.040021\t최선의 손실: 0.039914\t정확도: 99.10%\n", "28\t검증 세트 손실: 0.061770\t최선의 손실: 0.039914\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.064614\t최선의 손실: 0.039914\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.051016\t최선의 손실: 0.039914\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.044159\t최선의 손실: 0.039914\t정확도: 99.06%\n", "32\t검증 세트 손실: 0.072505\t최선의 손실: 0.039914\t정확도: 98.55%\n", "33\t검증 세트 손실: 0.063105\t최선의 손실: 0.039914\t정확도: 98.67%\n", "34\t검증 세트 손실: 0.072510\t최선의 손실: 0.039914\t정확도: 98.48%\n", "35\t검증 세트 손실: 0.051465\t최선의 손실: 0.039914\t정확도: 98.83%\n", "36\t검증 세트 손실: 0.048610\t최선의 손실: 0.039914\t정확도: 98.98%\n", "37\t검증 세트 손실: 0.043505\t최선의 손실: 0.039914\t정확도: 98.98%\n", "38\t검증 세트 손실: 0.071159\t최선의 손실: 0.039914\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.066428\t최선의 손실: 0.039914\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=, total= 28.7s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.150226\t최선의 손실: 0.150226\t정확도: 95.82%\n", "1\t검증 세트 손실: 0.062492\t최선의 손실: 0.062492\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.054680\t최선의 손실: 0.054680\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.084196\t최선의 손실: 0.054680\t정확도: 97.69%\n", "4\t검증 세트 손실: 0.095785\t최선의 손실: 0.054680\t정확도: 97.50%\n", "5\t검증 세트 손실: 0.050653\t최선의 손실: 0.050653\t정확도: 98.67%\n", "6\t검증 세트 손실: 0.078538\t최선의 손실: 0.050653\t정확도: 97.89%\n", "7\t검증 세트 손실: 0.068732\t최선의 손실: 0.050653\t정확도: 98.08%\n", "8\t검증 세트 손실: 0.051370\t최선의 손실: 0.050653\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.076098\t최선의 손실: 0.050653\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.044406\t최선의 손실: 0.044406\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.041561\t최선의 손실: 0.041561\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.044741\t최선의 손실: 0.041561\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.056752\t최선의 손실: 0.041561\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.050746\t최선의 손실: 0.041561\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.045550\t최선의 손실: 0.041561\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.043269\t최선의 손실: 0.041561\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.044414\t최선의 손실: 0.041561\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.054355\t최선의 손실: 0.041561\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.049926\t최선의 손실: 0.041561\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.037164\t최선의 손실: 0.037164\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.044178\t최선의 손실: 0.037164\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.086482\t최선의 손실: 0.037164\t정확도: 98.16%\n", "23\t검증 세트 손실: 0.064197\t최선의 손실: 0.037164\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.069959\t최선의 손실: 0.037164\t정확도: 98.48%\n", "25\t검증 세트 손실: 0.058389\t최선의 손실: 0.037164\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.064138\t최선의 손실: 0.037164\t정확도: 98.87%\n", "27\t검증 세트 손실: 0.056779\t최선의 손실: 0.037164\t정확도: 98.44%\n", "28\t검증 세트 손실: 0.056362\t최선의 손실: 0.037164\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.050625\t최선의 손실: 0.037164\t정확도: 99.10%\n", "30\t검증 세트 손실: 0.064372\t최선의 손실: 0.037164\t정확도: 99.06%\n", "31\t검증 세트 손실: 0.067915\t최선의 손실: 0.037164\t정확도: 98.79%\n", "32\t검증 세트 손실: 0.051692\t최선의 손실: 0.037164\t정확도: 99.14%\n", "33\t검증 세트 손실: 0.096092\t최선의 손실: 0.037164\t정확도: 98.63%\n", "34\t검증 세트 손실: 0.052063\t최선의 손실: 0.037164\t정확도: 98.79%\n", "35\t검증 세트 손실: 0.049920\t최선의 손실: 0.037164\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.039659\t최선의 손실: 0.037164\t정확도: 99.18%\n", "37\t검증 세트 손실: 0.062263\t최선의 손실: 0.037164\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.041754\t최선의 손실: 0.037164\t정확도: 99.10%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "39\t검증 세트 손실: 0.063603\t최선의 손실: 0.037164\t정확도: 98.71%\n", "40\t검증 세트 손실: 0.060485\t최선의 손실: 0.037164\t정확도: 98.94%\n", "41\t검증 세트 손실: 0.079351\t최선의 손실: 0.037164\t정확도: 98.59%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=, total= 29.6s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.103896\t최선의 손실: 0.103896\t정확도: 97.22%\n", "1\t검증 세트 손실: 0.065964\t최선의 손실: 0.065964\t정확도: 97.81%\n", "2\t검증 세트 손실: 0.058561\t최선의 손실: 0.058561\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.050883\t최선의 손실: 0.050883\t정확도: 98.55%\n", "4\t검증 세트 손실: 0.051224\t최선의 손실: 0.050883\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.054049\t최선의 손실: 0.050883\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.109413\t최선의 손실: 0.050883\t정확도: 96.79%\n", "7\t검증 세트 손실: 0.073744\t최선의 손실: 0.050883\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.050870\t최선의 손실: 0.050870\t정확도: 98.71%\n", "9\t검증 세트 손실: 0.059728\t최선의 손실: 0.050870\t정확도: 98.59%\n", "10\t검증 세트 손실: 0.046404\t최선의 손실: 0.046404\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.060333\t최선의 손실: 0.046404\t정확도: 98.32%\n", "12\t검증 세트 손실: 0.039775\t최선의 손실: 0.039775\t정확도: 98.75%\n", "13\t검증 세트 손실: 0.046612\t최선의 손실: 0.039775\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.052665\t최선의 손실: 0.039775\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.045548\t최선의 손실: 0.039775\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.050323\t최선의 손실: 0.039775\t정확도: 99.02%\n", "17\t검증 세트 손실: 0.055379\t최선의 손실: 0.039775\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.155572\t최선의 손실: 0.039775\t정확도: 97.11%\n", "19\t검증 세트 손실: 0.053382\t최선의 손실: 0.039775\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.030652\t최선의 손실: 0.030652\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.039957\t최선의 손실: 0.030652\t정확도: 99.22%\n", "22\t검증 세트 손실: 0.061722\t최선의 손실: 0.030652\t정확도: 98.94%\n", "23\t검증 세트 손실: 0.049590\t최선의 손실: 0.030652\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.042568\t최선의 손실: 0.030652\t정확도: 99.10%\n", "25\t검증 세트 손실: 0.032055\t최선의 손실: 0.030652\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.033463\t최선의 손실: 0.030652\t정확도: 99.18%\n", "27\t검증 세트 손실: 0.075137\t최선의 손실: 0.030652\t정확도: 98.32%\n", "28\t검증 세트 손실: 0.052286\t최선의 손실: 0.030652\t정확도: 98.83%\n", "29\t검증 세트 손실: 0.042195\t최선의 손실: 0.030652\t정확도: 98.94%\n", "30\t검증 세트 손실: 0.064870\t최선의 손실: 0.030652\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.041084\t최선의 손실: 0.030652\t정확도: 99.06%\n", "32\t검증 세트 손실: 0.056040\t최선의 손실: 0.030652\t정확도: 98.91%\n", "33\t검증 세트 손실: 0.063028\t최선의 손실: 0.030652\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.053640\t최선의 손실: 0.030652\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.034499\t최선의 손실: 0.030652\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.035017\t최선의 손실: 0.030652\t정확도: 99.02%\n", "37\t검증 세트 손실: 0.070747\t최선의 손실: 0.030652\t정확도: 98.59%\n", "38\t검증 세트 손실: 0.035310\t최선의 손실: 0.030652\t정확도: 99.22%\n", "39\t검증 세트 손실: 0.036352\t최선의 손실: 0.030652\t정확도: 99.18%\n", "40\t검증 세트 손실: 0.062248\t최선의 손실: 0.030652\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.034495\t최선의 손실: 0.030652\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.98, activation=, total= 29.6s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.120916\t최선의 손실: 0.120916\t정확도: 96.79%\n", "1\t검증 세트 손실: 0.095552\t최선의 손실: 0.095552\t정확도: 97.34%\n", "2\t검증 세트 손실: 0.177323\t최선의 손실: 0.095552\t정확도: 95.70%\n", "3\t검증 세트 손실: 0.200057\t최선의 손실: 0.095552\t정확도: 94.92%\n", "4\t검증 세트 손실: 0.095770\t최선의 손실: 0.095552\t정확도: 97.26%\n", "5\t검증 세트 손실: 0.093912\t최선의 손실: 0.093912\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.097898\t최선의 손실: 0.093912\t정확도: 98.01%\n", "7\t검증 세트 손실: 0.054156\t최선의 손실: 0.054156\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.167664\t최선의 손실: 0.054156\t정확도: 97.42%\n", "9\t검증 세트 손실: 0.073544\t최선의 손실: 0.054156\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.066613\t최선의 손실: 0.054156\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.089580\t최선의 손실: 0.054156\t정확도: 98.12%\n", "12\t검증 세트 손실: 0.157866\t최선의 손실: 0.054156\t정확도: 97.97%\n", "13\t검증 세트 손실: 0.153380\t최선의 손실: 0.054156\t정확도: 96.95%\n", "14\t검증 세트 손실: 0.892000\t최선의 손실: 0.054156\t정확도: 96.60%\n", "15\t검증 세트 손실: 0.162993\t최선의 손실: 0.054156\t정확도: 98.20%\n", "16\t검증 세트 손실: 0.078262\t최선의 손실: 0.054156\t정확도: 98.51%\n", "17\t검증 세트 손실: 0.075052\t최선의 손실: 0.054156\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.058831\t최선의 손실: 0.054156\t정확도: 98.98%\n", "19\t검증 세트 손실: 0.080657\t최선의 손실: 0.054156\t정확도: 98.71%\n", "20\t검증 세트 손실: 0.057286\t최선의 손실: 0.054156\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.073665\t최선의 손실: 0.054156\t정확도: 98.51%\n", "22\t검증 세트 손실: 0.052017\t최선의 손실: 0.052017\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.048788\t최선의 손실: 0.048788\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.066911\t최선의 손실: 0.048788\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.134430\t최선의 손실: 0.048788\t정확도: 98.08%\n", "26\t검증 세트 손실: 0.106243\t최선의 손실: 0.048788\t정확도: 98.51%\n", "27\t검증 세트 손실: 0.256675\t최선의 손실: 0.048788\t정확도: 98.08%\n", "28\t검증 세트 손실: 1.385528\t최선의 손실: 0.048788\t정확도: 97.30%\n", "29\t검증 세트 손실: 0.203836\t최선의 손실: 0.048788\t정확도: 98.36%\n", "30\t검증 세트 손실: 0.162314\t최선의 손실: 0.048788\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.137337\t최선의 손실: 0.048788\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.172387\t최선의 손실: 0.048788\t정확도: 98.63%\n", "33\t검증 세트 손실: 0.139187\t최선의 손실: 0.048788\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.107539\t최선의 손실: 0.048788\t정확도: 98.79%\n", "35\t검증 세트 손실: 0.133943\t최선의 손실: 0.048788\t정확도: 98.55%\n", "36\t검증 세트 손실: 0.186026\t최선의 손실: 0.048788\t정확도: 98.32%\n", "37\t검증 세트 손실: 0.131154\t최선의 손실: 0.048788\t정확도: 98.63%\n", "38\t검증 세트 손실: 0.143437\t최선의 손실: 0.048788\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.257873\t최선의 손실: 0.048788\t정확도: 98.44%\n", "40\t검증 세트 손실: 0.170590\t최선의 손실: 0.048788\t정확도: 98.63%\n", "41\t검증 세트 손실: 0.510702\t최선의 손실: 0.048788\t정확도: 96.60%\n", "42\t검증 세트 손실: 0.155470\t최선의 손실: 0.048788\t정확도: 99.02%\n", "43\t검증 세트 손실: 0.133177\t최선의 손실: 0.048788\t정확도: 98.91%\n", "44\t검증 세트 손실: 0.096177\t최선의 손실: 0.048788\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=, total= 29.4s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.166797\t최선의 손실: 0.166797\t정확도: 95.97%\n", "1\t검증 세트 손실: 0.080369\t최선의 손실: 0.080369\t정확도: 97.65%\n", "2\t검증 세트 손실: 0.073764\t최선의 손실: 0.073764\t정확도: 98.20%\n", "3\t검증 세트 손실: 0.081916\t최선의 손실: 0.073764\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.112071\t최선의 손실: 0.073764\t정확도: 97.54%\n", "5\t검증 세트 손실: 0.076809\t최선의 손실: 0.073764\t정확도: 98.08%\n", "6\t검증 세트 손실: 0.057679\t최선의 손실: 0.057679\t정확도: 98.71%\n", "7\t검증 세트 손실: 0.062936\t최선의 손실: 0.057679\t정확도: 98.59%\n", "8\t검증 세트 손실: 0.060002\t최선의 손실: 0.057679\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.207199\t최선의 손실: 0.057679\t정확도: 96.76%\n", "10\t검증 세트 손실: 0.077315\t최선의 손실: 0.057679\t정확도: 98.32%\n", "11\t검증 세트 손실: 0.046715\t최선의 손실: 0.046715\t정확도: 98.83%\n", "12\t검증 세트 손실: 0.063485\t최선의 손실: 0.046715\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.060115\t최선의 손실: 0.046715\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.119740\t최선의 손실: 0.046715\t정확도: 98.44%\n", "15\t검증 세트 손실: 0.310754\t최선의 손실: 0.046715\t정확도: 93.94%\n", "16\t검증 세트 손실: 0.088539\t최선의 손실: 0.046715\t정확도: 98.51%\n", "17\t검증 세트 손실: 0.074940\t최선의 손실: 0.046715\t정확도: 98.40%\n", "18\t검증 세트 손실: 0.072784\t최선의 손실: 0.046715\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.066129\t최선의 손실: 0.046715\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.059312\t최선의 손실: 0.046715\t정확도: 98.79%\n", "21\t검증 세트 손실: 0.078913\t최선의 손실: 0.046715\t정확도: 98.59%\n", "22\t검증 세트 손실: 0.075840\t최선의 손실: 0.046715\t정확도: 98.32%\n", "23\t검증 세트 손실: 0.070852\t최선의 손실: 0.046715\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.095987\t최선의 손실: 0.046715\t정확도: 98.44%\n", "25\t검증 세트 손실: 1.022980\t최선의 손실: 0.046715\t정확도: 97.89%\n", "26\t검증 세트 손실: 0.178756\t최선의 손실: 0.046715\t정확도: 98.55%\n", "27\t검증 세트 손실: 0.148379\t최선의 손실: 0.046715\t정확도: 98.55%\n", "28\t검증 세트 손실: 0.136211\t최선의 손실: 0.046715\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.177468\t최선의 손실: 0.046715\t정확도: 98.55%\n", "30\t검증 세트 손실: 0.242068\t최선의 손실: 0.046715\t정확도: 98.51%\n", "31\t검증 세트 손실: 0.160496\t최선의 손실: 0.046715\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.155505\t최선의 손실: 0.046715\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=, total= 22.1s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.128081\t최선의 손실: 0.128081\t정확도: 97.11%\n", "1\t검증 세트 손실: 0.097621\t최선의 손실: 0.097621\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.071232\t최선의 손실: 0.071232\t정확도: 97.93%\n", "3\t검증 세트 손실: 0.089789\t최선의 손실: 0.071232\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.109414\t최선의 손실: 0.071232\t정확도: 98.01%\n", "5\t검증 세트 손실: 0.086362\t최선의 손실: 0.071232\t정확도: 98.01%\n", "6\t검증 세트 손실: 0.057638\t최선의 손실: 0.057638\t정확도: 98.12%\n", "7\t검증 세트 손실: 0.118381\t최선의 손실: 0.057638\t정확도: 97.81%\n", "8\t검증 세트 손실: 0.073463\t최선의 손실: 0.057638\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.111825\t최선의 손실: 0.057638\t정확도: 97.69%\n", "10\t검증 세트 손실: 0.141495\t최선의 손실: 0.057638\t정확도: 97.93%\n", "11\t검증 세트 손실: 0.062022\t최선의 손실: 0.057638\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.079533\t최선의 손실: 0.057638\t정확도: 98.32%\n", "13\t검증 세트 손실: 1.762252\t최선의 손실: 0.057638\t정확도: 96.79%\n", "14\t검증 세트 손실: 0.236947\t최선의 손실: 0.057638\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.142056\t최선의 손실: 0.057638\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.079378\t최선의 손실: 0.057638\t정확도: 98.44%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "17\t검증 세트 손실: 0.057515\t최선의 손실: 0.057515\t정확도: 98.91%\n", "18\t검증 세트 손실: 0.066564\t최선의 손실: 0.057515\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.125194\t최선의 손실: 0.057515\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.055375\t최선의 손실: 0.055375\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.050038\t최선의 손실: 0.050038\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.095377\t최선의 손실: 0.050038\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.087879\t최선의 손실: 0.050038\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.083989\t최선의 손실: 0.050038\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.114315\t최선의 손실: 0.050038\t정확도: 98.36%\n", "26\t검증 세트 손실: 0.156013\t최선의 손실: 0.050038\t정확도: 98.05%\n", "27\t검증 세트 손실: 0.078971\t최선의 손실: 0.050038\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.113228\t최선의 손실: 0.050038\t정확도: 98.67%\n", "29\t검증 세트 손실: 0.162149\t최선의 손실: 0.050038\t정확도: 98.36%\n", "30\t검증 세트 손실: 0.623424\t최선의 손실: 0.050038\t정확도: 97.89%\n", "31\t검증 세트 손실: 0.186570\t최선의 손실: 0.050038\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.139522\t최선의 손실: 0.050038\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.108281\t최선의 손실: 0.050038\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.111477\t최선의 손실: 0.050038\t정확도: 98.87%\n", "35\t검증 세트 손실: 0.105609\t최선의 손실: 0.050038\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.078769\t최선의 손실: 0.050038\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.080294\t최선의 손실: 0.050038\t정확도: 98.98%\n", "38\t검증 세트 손실: 0.081950\t최선의 손실: 0.050038\t정확도: 98.91%\n", "39\t검증 세트 손실: 0.185732\t최선의 손실: 0.050038\t정확도: 98.51%\n", "40\t검증 세트 손실: 0.122309\t최선의 손실: 0.050038\t정확도: 98.79%\n", "41\t검증 세트 손실: 0.118907\t최선의 손실: 0.050038\t정확도: 98.83%\n", "42\t검증 세트 손실: 0.148295\t최선의 손실: 0.050038\t정확도: 98.16%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=, total= 28.2s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.216786\t최선의 손실: 0.216786\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.088690\t최선의 손실: 0.088690\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.086311\t최선의 손실: 0.086311\t정확도: 97.62%\n", "3\t검증 세트 손실: 0.067237\t최선의 손실: 0.067237\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.051331\t최선의 손실: 0.051331\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.071543\t최선의 손실: 0.051331\t정확도: 98.08%\n", "6\t검증 세트 손실: 0.082929\t최선의 손실: 0.051331\t정확도: 97.62%\n", "7\t검증 세트 손실: 0.065902\t최선의 손실: 0.051331\t정확도: 98.51%\n", "8\t검증 세트 손실: 0.058870\t최선의 손실: 0.051331\t정확도: 98.48%\n", "9\t검증 세트 손실: 0.067909\t최선의 손실: 0.051331\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.069594\t최선의 손실: 0.051331\t정확도: 98.32%\n", "11\t검증 세트 손실: 0.101844\t최선의 손실: 0.051331\t정확도: 97.93%\n", "12\t검증 세트 손실: 0.083625\t최선의 손실: 0.051331\t정확도: 98.24%\n", "13\t검증 세트 손실: 0.107245\t최선의 손실: 0.051331\t정확도: 97.89%\n", "14\t검증 세트 손실: 0.058618\t최선의 손실: 0.051331\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.059508\t최선의 손실: 0.051331\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.069717\t최선의 손실: 0.051331\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.059335\t최선의 손실: 0.051331\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.058664\t최선의 손실: 0.051331\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.067400\t최선의 손실: 0.051331\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.067639\t최선의 손실: 0.051331\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.063677\t최선의 손실: 0.051331\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.129735\t최선의 손실: 0.051331\t정확도: 97.93%\n", "23\t검증 세트 손실: 0.096907\t최선의 손실: 0.051331\t정확도: 98.01%\n", "24\t검증 세트 손실: 0.069664\t최선의 손실: 0.051331\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.109405\t최선의 손실: 0.051331\t정확도: 97.81%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=, total= 8.6s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.251888\t최선의 손실: 0.251888\t정확도: 95.23%\n", "1\t검증 세트 손실: 0.085045\t최선의 손실: 0.085045\t정확도: 97.65%\n", "2\t검증 세트 손실: 0.077485\t최선의 손실: 0.077485\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.074721\t최선의 손실: 0.074721\t정확도: 98.01%\n", "4\t검증 세트 손실: 0.077333\t최선의 손실: 0.074721\t정확도: 98.12%\n", "5\t검증 세트 손실: 0.065017\t최선의 손실: 0.065017\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.060304\t최선의 손실: 0.060304\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.066563\t최선의 손실: 0.060304\t정확도: 98.40%\n", "8\t검증 세트 손실: 0.063284\t최선의 손실: 0.060304\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.073632\t최선의 손실: 0.060304\t정확도: 98.01%\n", "10\t검증 세트 손실: 0.072646\t최선의 손실: 0.060304\t정확도: 98.40%\n", "11\t검증 세트 손실: 0.075467\t최선의 손실: 0.060304\t정확도: 98.20%\n", "12\t검증 세트 손실: 0.065404\t최선의 손실: 0.060304\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.066486\t최선의 손실: 0.060304\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.069462\t최선의 손실: 0.060304\t정확도: 98.48%\n", "15\t검증 세트 손실: 0.085029\t최선의 손실: 0.060304\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.081158\t최선의 손실: 0.060304\t정확도: 98.44%\n", "17\t검증 세트 손실: 0.082082\t최선의 손실: 0.060304\t정확도: 98.48%\n", "18\t검증 세트 손실: 0.078680\t최선의 손실: 0.060304\t정확도: 98.01%\n", "19\t검증 세트 손실: 0.075997\t최선의 손실: 0.060304\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.070751\t최선의 손실: 0.060304\t정확도: 98.59%\n", "21\t검증 세트 손실: 0.109848\t최선의 손실: 0.060304\t정확도: 98.05%\n", "22\t검증 세트 손실: 0.080427\t최선의 손실: 0.060304\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.082858\t최선의 손실: 0.060304\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.055643\t최선의 손실: 0.055643\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.089298\t최선의 손실: 0.055643\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.084804\t최선의 손실: 0.055643\t정확도: 98.44%\n", "27\t검증 세트 손실: 0.069603\t최선의 손실: 0.055643\t정확도: 98.51%\n", "28\t검증 세트 손실: 0.066925\t최선의 손실: 0.055643\t정확도: 98.79%\n", "29\t검증 세트 손실: 0.077260\t최선의 손실: 0.055643\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.091616\t최선의 손실: 0.055643\t정확도: 98.36%\n", "31\t검증 세트 손실: 0.086860\t최선의 손실: 0.055643\t정확도: 98.40%\n", "32\t검증 세트 손실: 0.093369\t최선의 손실: 0.055643\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.095915\t최선의 손실: 0.055643\t정확도: 98.55%\n", "34\t검증 세트 손실: 0.068160\t최선의 손실: 0.055643\t정확도: 98.59%\n", "35\t검증 세트 손실: 0.083877\t최선의 손실: 0.055643\t정확도: 98.12%\n", "36\t검증 세트 손실: 0.069616\t최선의 손실: 0.055643\t정확도: 98.71%\n", "37\t검증 세트 손실: 0.074282\t최선의 손실: 0.055643\t정확도: 98.71%\n", "38\t검증 세트 손실: 0.080538\t최선의 손실: 0.055643\t정확도: 98.63%\n", "39\t검증 세트 손실: 0.085616\t최선의 손실: 0.055643\t정확도: 98.63%\n", "40\t검증 세트 손실: 0.079059\t최선의 손실: 0.055643\t정확도: 98.67%\n", "41\t검증 세트 손실: 0.058200\t최선의 손실: 0.055643\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.076025\t최선의 손실: 0.055643\t정확도: 98.79%\n", "43\t검증 세트 손실: 0.077769\t최선의 손실: 0.055643\t정확도: 98.83%\n", "44\t검증 세트 손실: 0.077101\t최선의 손실: 0.055643\t정확도: 98.67%\n", "45\t검증 세트 손실: 0.070800\t최선의 손실: 0.055643\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=, total= 14.2s\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.236971\t최선의 손실: 0.236971\t정확도: 95.82%\n", "1\t검증 세트 손실: 0.085837\t최선의 손실: 0.085837\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.071248\t최선의 손실: 0.071248\t정확도: 97.89%\n", "3\t검증 세트 손실: 0.069639\t최선의 손실: 0.069639\t정확도: 98.01%\n", "4\t검증 세트 손실: 0.055954\t최선의 손실: 0.055954\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.094364\t최선의 손실: 0.055954\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.060580\t최선의 손실: 0.055954\t정확도: 98.75%\n", "7\t검증 세트 손실: 0.057032\t최선의 손실: 0.055954\t정확도: 98.40%\n", "8\t검증 세트 손실: 0.055163\t최선의 손실: 0.055163\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.051400\t최선의 손실: 0.051400\t정확도: 98.59%\n", "10\t검증 세트 손실: 0.057184\t최선의 손실: 0.051400\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.141117\t최선의 손실: 0.051400\t정확도: 97.26%\n", "12\t검증 세트 손실: 0.059456\t최선의 손실: 0.051400\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.087732\t최선의 손실: 0.051400\t정확도: 98.28%\n", "14\t검증 세트 손실: 0.061566\t최선의 손실: 0.051400\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.124239\t최선의 손실: 0.051400\t정확도: 97.62%\n", "16\t검증 세트 손실: 0.050143\t최선의 손실: 0.050143\t정확도: 98.87%\n", "17\t검증 세트 손실: 0.051196\t최선의 손실: 0.050143\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.071087\t최선의 손실: 0.050143\t정확도: 98.48%\n", "19\t검증 세트 손실: 0.069485\t최선의 손실: 0.050143\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.050779\t최선의 손실: 0.050143\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.086896\t최선의 손실: 0.050143\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.091541\t최선의 손실: 0.050143\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.101815\t최선의 손실: 0.050143\t정확도: 97.58%\n", "24\t검증 세트 손실: 0.072931\t최선의 손실: 0.050143\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.062863\t최선의 손실: 0.050143\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.064760\t최선의 손실: 0.050143\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.065167\t최선의 손실: 0.050143\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.061703\t최선의 손실: 0.050143\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.085382\t최선의 손실: 0.050143\t정확도: 98.55%\n", "30\t검증 세트 손실: 0.067032\t최선의 손실: 0.050143\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.066460\t최선의 손실: 0.050143\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.107054\t최선의 손실: 0.050143\t정확도: 98.20%\n", "33\t검증 세트 손실: 0.073500\t최선의 손실: 0.050143\t정확도: 98.67%\n", "34\t검증 세트 손실: 0.067379\t최선의 손실: 0.050143\t정확도: 98.71%\n", "35\t검증 세트 손실: 0.057428\t최선의 손실: 0.050143\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.044261\t최선의 손실: 0.044261\t정확도: 99.10%\n", "37\t검증 세트 손실: 0.055122\t최선의 손실: 0.044261\t정확도: 98.79%\n", "38\t검증 세트 손실: 0.060395\t최선의 손실: 0.044261\t정확도: 98.71%\n", "39\t검증 세트 손실: 0.055213\t최선의 손실: 0.044261\t정확도: 98.94%\n", "40\t검증 세트 손실: 0.066157\t최선의 손실: 0.044261\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.062086\t최선의 손실: 0.044261\t정확도: 98.91%\n", "42\t검증 세트 손실: 0.065304\t최선의 손실: 0.044261\t정확도: 98.91%\n", "43\t검증 세트 손실: 0.062712\t최선의 손실: 0.044261\t정확도: 98.94%\n", "44\t검증 세트 손실: 0.062880\t최선의 손실: 0.044261\t정확도: 99.02%\n", "45\t검증 세트 손실: 0.056258\t최선의 손실: 0.044261\t정확도: 98.98%\n", "46\t검증 세트 손실: 0.090515\t최선의 손실: 0.044261\t정확도: 98.71%\n", "47\t검증 세트 손실: 0.083349\t최선의 손실: 0.044261\t정확도: 98.71%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "48\t검증 세트 손실: 0.059064\t최선의 손실: 0.044261\t정확도: 98.98%\n", "49\t검증 세트 손실: 0.093854\t최선의 손실: 0.044261\t정확도: 98.20%\n", "50\t검증 세트 손실: 0.066512\t최선의 손실: 0.044261\t정확도: 98.79%\n", "51\t검증 세트 손실: 0.065068\t최선의 손실: 0.044261\t정확도: 98.79%\n", "52\t검증 세트 손실: 0.076316\t최선의 손실: 0.044261\t정확도: 98.51%\n", "53\t검증 세트 손실: 0.069450\t최선의 손실: 0.044261\t정확도: 98.63%\n", "54\t검증 세트 손실: 0.078545\t최선의 손실: 0.044261\t정확도: 98.71%\n", "55\t검증 세트 손실: 0.077202\t최선의 손실: 0.044261\t정확도: 98.71%\n", "56\t검증 세트 손실: 0.076274\t최선의 손실: 0.044261\t정확도: 98.83%\n", "57\t검증 세트 손실: 0.068670\t최선의 손실: 0.044261\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=, total= 17.4s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.092934\t최선의 손실: 0.092934\t정확도: 97.11%\n", "1\t검증 세트 손실: 0.069661\t최선의 손실: 0.069661\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.069618\t최선의 손실: 0.069618\t정확도: 97.81%\n", "3\t검증 세트 손실: 0.067524\t최선의 손실: 0.067524\t정확도: 98.12%\n", "4\t검증 세트 손실: 0.070799\t최선의 손실: 0.067524\t정확도: 97.69%\n", "5\t검증 세트 손실: 0.063074\t최선의 손실: 0.063074\t정확도: 98.24%\n", "6\t검증 세트 손실: 0.053766\t최선의 손실: 0.053766\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.037852\t최선의 손실: 0.037852\t정확도: 98.98%\n", "8\t검증 세트 손실: 0.072425\t최선의 손실: 0.037852\t정확도: 98.20%\n", "9\t검증 세트 손실: 0.065457\t최선의 손실: 0.037852\t정확도: 98.44%\n", "10\t검증 세트 손실: 0.050847\t최선의 손실: 0.037852\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.041997\t최선의 손실: 0.037852\t정확도: 98.98%\n", "12\t검증 세트 손실: 0.043775\t최선의 손실: 0.037852\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.060953\t최선의 손실: 0.037852\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.047387\t최선의 손실: 0.037852\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.071909\t최선의 손실: 0.037852\t정확도: 98.16%\n", "16\t검증 세트 손실: 0.041885\t최선의 손실: 0.037852\t정확도: 99.10%\n", "17\t검증 세트 손실: 0.067082\t최선의 손실: 0.037852\t정확도: 98.51%\n", "18\t검증 세트 손실: 0.054541\t최선의 손실: 0.037852\t정확도: 99.06%\n", "19\t검증 세트 손실: 0.053425\t최선의 손실: 0.037852\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.052341\t최선의 손실: 0.037852\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.052239\t최선의 손실: 0.037852\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.052783\t최선의 손실: 0.037852\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.051012\t최선의 손실: 0.037852\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.075330\t최선의 손실: 0.037852\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.059650\t최선의 손실: 0.037852\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.066735\t최선의 손실: 0.037852\t정확도: 98.51%\n", "27\t검증 세트 손실: 0.054281\t최선의 손실: 0.037852\t정확도: 98.71%\n", "28\t검증 세트 손실: 0.053409\t최선의 손실: 0.037852\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 14.8s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.090401\t최선의 손실: 0.090401\t정확도: 97.34%\n", "1\t검증 세트 손실: 0.052855\t최선의 손실: 0.052855\t정확도: 98.63%\n", "2\t검증 세트 손실: 0.052346\t최선의 손실: 0.052346\t정확도: 98.36%\n", "3\t검증 세트 손실: 0.063833\t최선의 손실: 0.052346\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.097254\t최선의 손실: 0.052346\t정확도: 97.62%\n", "5\t검증 세트 손실: 0.042803\t최선의 손실: 0.042803\t정확도: 98.59%\n", "6\t검증 세트 손실: 0.054107\t최선의 손실: 0.042803\t정확도: 98.71%\n", "7\t검증 세트 손실: 0.069085\t최선의 손실: 0.042803\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.043126\t최선의 손실: 0.042803\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.068275\t최선의 손실: 0.042803\t정확도: 98.24%\n", "10\t검증 세트 손실: 0.048966\t최선의 손실: 0.042803\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.039778\t최선의 손실: 0.039778\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.053239\t최선의 손실: 0.039778\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.044085\t최선의 손실: 0.039778\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.044923\t최선의 손실: 0.039778\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.056572\t최선의 손실: 0.039778\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.063280\t최선의 손실: 0.039778\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.069217\t최선의 손실: 0.039778\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.060239\t최선의 손실: 0.039778\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.038614\t최선의 손실: 0.038614\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.048338\t최선의 손실: 0.038614\t정확도: 99.02%\n", "21\t검증 세트 손실: 0.062622\t최선의 손실: 0.038614\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.054353\t최선의 손실: 0.038614\t정확도: 98.55%\n", "23\t검증 세트 손실: 0.062046\t최선의 손실: 0.038614\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.058890\t최선의 손실: 0.038614\t정확도: 98.40%\n", "25\t검증 세트 손실: 0.046865\t최선의 손실: 0.038614\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.074739\t최선의 손실: 0.038614\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.057564\t최선의 손실: 0.038614\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.062844\t최선의 손실: 0.038614\t정확도: 98.71%\n", "29\t검증 세트 손실: 0.072003\t최선의 손실: 0.038614\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.057313\t최선의 손실: 0.038614\t정확도: 98.75%\n", "31\t검증 세트 손실: 0.050123\t최선의 손실: 0.038614\t정확도: 99.02%\n", "32\t검증 세트 손실: 0.061851\t최선의 손실: 0.038614\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.066132\t최선의 손실: 0.038614\t정확도: 98.55%\n", "34\t검증 세트 손실: 0.060287\t최선의 손실: 0.038614\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.061069\t최선의 손실: 0.038614\t정확도: 98.63%\n", "36\t검증 세트 손실: 0.054527\t최선의 손실: 0.038614\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.043887\t최선의 손실: 0.038614\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.039906\t최선의 손실: 0.038614\t정확도: 99.14%\n", "39\t검증 세트 손실: 0.060139\t최선의 손실: 0.038614\t정확도: 99.02%\n", "40\t검증 세트 손실: 0.070358\t최선의 손실: 0.038614\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 20.4s\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.103486\t최선의 손실: 0.103486\t정확도: 97.15%\n", "1\t검증 세트 손실: 0.085964\t최선의 손실: 0.085964\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.055427\t최선의 손실: 0.055427\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.056497\t최선의 손실: 0.055427\t정확도: 98.40%\n", "4\t검증 세트 손실: 0.071572\t최선의 손실: 0.055427\t정확도: 97.69%\n", "5\t검증 세트 손실: 0.047742\t최선의 손실: 0.047742\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.051940\t최선의 손실: 0.047742\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.103168\t최선의 손실: 0.047742\t정확도: 97.73%\n", "8\t검증 세트 손실: 0.057836\t최선의 손실: 0.047742\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.048974\t최선의 손실: 0.047742\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.058903\t최선의 손실: 0.047742\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.067363\t최선의 손실: 0.047742\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.062699\t최선의 손실: 0.047742\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.050872\t최선의 손실: 0.047742\t정확도: 98.87%\n", "14\t검증 세트 손실: 0.069746\t최선의 손실: 0.047742\t정확도: 98.32%\n", "15\t검증 세트 손실: 0.050289\t최선의 손실: 0.047742\t정확도: 98.67%\n", "16\t검증 세트 손실: 0.048628\t최선의 손실: 0.047742\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.043677\t최선의 손실: 0.043677\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.048329\t최선의 손실: 0.043677\t정확도: 98.98%\n", "19\t검증 세트 손실: 0.053811\t최선의 손실: 0.043677\t정확도: 98.71%\n", "20\t검증 세트 손실: 0.059640\t최선의 손실: 0.043677\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.051339\t최선의 손실: 0.043677\t정확도: 99.06%\n", "22\t검증 세트 손실: 0.042422\t최선의 손실: 0.042422\t정확도: 99.14%\n", "23\t검증 세트 손실: 0.044996\t최선의 손실: 0.042422\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.050986\t최선의 손실: 0.042422\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.039115\t최선의 손실: 0.039115\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.045712\t최선의 손실: 0.039115\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.039262\t최선의 손실: 0.039115\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.048274\t최선의 손실: 0.039115\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.063227\t최선의 손실: 0.039115\t정확도: 98.67%\n", "30\t검증 세트 손실: 0.036460\t최선의 손실: 0.036460\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.050777\t최선의 손실: 0.036460\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.056895\t최선의 손실: 0.036460\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.072968\t최선의 손실: 0.036460\t정확도: 98.55%\n", "34\t검증 세트 손실: 0.054557\t최선의 손실: 0.036460\t정확도: 98.87%\n", "35\t검증 세트 손실: 0.058839\t최선의 손실: 0.036460\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.050532\t최선의 손실: 0.036460\t정확도: 99.10%\n", "37\t검증 세트 손실: 0.052058\t최선의 손실: 0.036460\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.034379\t최선의 손실: 0.034379\t정확도: 99.06%\n", "39\t검증 세트 손실: 0.046810\t최선의 손실: 0.034379\t정확도: 99.18%\n", "40\t검증 세트 손실: 0.068392\t최선의 손실: 0.034379\t정확도: 98.71%\n", "41\t검증 세트 손실: 0.069827\t최선의 손실: 0.034379\t정확도: 98.67%\n", "42\t검증 세트 손실: 0.052493\t최선의 손실: 0.034379\t정확도: 99.06%\n", "43\t검증 세트 손실: 0.062546\t최선의 손실: 0.034379\t정확도: 98.83%\n", "44\t검증 세트 손실: 0.059298\t최선의 손실: 0.034379\t정확도: 99.06%\n", "45\t검증 세트 손실: 0.062090\t최선의 손실: 0.034379\t정확도: 99.10%\n", "46\t검증 세트 손실: 0.049056\t최선의 손실: 0.034379\t정확도: 99.06%\n", "47\t검증 세트 손실: 0.053487\t최선의 손실: 0.034379\t정확도: 98.87%\n", "48\t검증 세트 손실: 0.043454\t최선의 손실: 0.034379\t정확도: 98.98%\n", "49\t검증 세트 손실: 0.040413\t최선의 손실: 0.034379\t정확도: 98.98%\n", "50\t검증 세트 손실: 0.055255\t최선의 손실: 0.034379\t정확도: 99.06%\n", "51\t검증 세트 손실: 0.088899\t최선의 손실: 0.034379\t정확도: 98.91%\n", "52\t검증 세트 손실: 0.064791\t최선의 손실: 0.034379\t정확도: 98.91%\n", "53\t검증 세트 손실: 0.055930\t최선의 손실: 0.034379\t정확도: 98.71%\n", "54\t검증 세트 손실: 0.051810\t최선의 손실: 0.034379\t정확도: 99.02%\n", "55\t검증 세트 손실: 0.044868\t최선의 손실: 0.034379\t정확도: 98.98%\n", "56\t검증 세트 손실: 0.049410\t최선의 손실: 0.034379\t정확도: 99.06%\n", "57\t검증 세트 손실: 0.067332\t최선의 손실: 0.034379\t정확도: 98.83%\n", "58\t검증 세트 손실: 0.062295\t최선의 손실: 0.034379\t정확도: 98.91%\n", "59\t검증 세트 손실: 0.061360\t최선의 손실: 0.034379\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 29.2s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.117451\t최선의 손실: 0.117451\t정확도: 96.33%\n", "1\t검증 세트 손실: 0.085769\t최선의 손실: 0.085769\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.107494\t최선의 손실: 0.085769\t정확도: 96.68%\n", "3\t검증 세트 손실: 0.076148\t최선의 손실: 0.076148\t정확도: 97.69%\n", "4\t검증 세트 손실: 0.093488\t최선의 손실: 0.076148\t정확도: 97.03%\n", "5\t검증 세트 손실: 0.092700\t최선의 손실: 0.076148\t정확도: 97.19%\n", "6\t검증 세트 손실: 0.073279\t최선의 손실: 0.073279\t정확도: 97.69%\n", "7\t검증 세트 손실: 0.066232\t최선의 손실: 0.066232\t정확도: 97.89%\n", "8\t검증 세트 손실: 0.116786\t최선의 손실: 0.066232\t정확도: 96.09%\n", "9\t검증 세트 손실: 0.091821\t최선의 손실: 0.066232\t정확도: 97.54%\n", "10\t검증 세트 손실: 0.071721\t최선의 손실: 0.066232\t정확도: 97.77%\n", "11\t검증 세트 손실: 0.052046\t최선의 손실: 0.052046\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.062857\t최선의 손실: 0.052046\t정확도: 98.05%\n", "13\t검증 세트 손실: 0.051616\t최선의 손실: 0.051616\t정확도: 98.24%\n", "14\t검증 세트 손실: 0.073209\t최선의 손실: 0.051616\t정확도: 97.73%\n", "15\t검증 세트 손실: 0.052664\t최선의 손실: 0.051616\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.051196\t최선의 손실: 0.051196\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.057652\t최선의 손실: 0.051196\t정확도: 98.32%\n", "18\t검증 세트 손실: 0.070415\t최선의 손실: 0.051196\t정확도: 98.05%\n", "19\t검증 세트 손실: 0.058174\t최선의 손실: 0.051196\t정확도: 98.16%\n", "20\t검증 세트 손실: 0.059588\t최선의 손실: 0.051196\t정확도: 98.48%\n", "21\t검증 세트 손실: 0.075786\t최선의 손실: 0.051196\t정확도: 97.73%\n", "22\t검증 세트 손실: 0.049626\t최선의 손실: 0.049626\t정확도: 98.24%\n", "23\t검증 세트 손실: 0.064948\t최선의 손실: 0.049626\t정확도: 98.20%\n", "24\t검증 세트 손실: 0.068985\t최선의 손실: 0.049626\t정확도: 98.08%\n", "25\t검증 세트 손실: 0.068343\t최선의 손실: 0.049626\t정확도: 98.12%\n", "26\t검증 세트 손실: 0.069077\t최선의 손실: 0.049626\t정확도: 98.12%\n", "27\t검증 세트 손실: 0.065421\t최선의 손실: 0.049626\t정확도: 98.08%\n", "28\t검증 세트 손실: 0.053376\t최선의 손실: 0.049626\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.095985\t최선의 손실: 0.049626\t정확도: 97.50%\n", "30\t검증 세트 손실: 0.080014\t최선의 손실: 0.049626\t정확도: 97.77%\n", "31\t검증 세트 손실: 0.088421\t최선의 손실: 0.049626\t정확도: 97.97%\n", "32\t검증 세트 손실: 0.077369\t최선의 손실: 0.049626\t정확도: 97.85%\n", "33\t검증 세트 손실: 0.065282\t최선의 손실: 0.049626\t정확도: 98.32%\n", "34\t검증 세트 손실: 0.073838\t최선의 손실: 0.049626\t정확도: 98.08%\n", "35\t검증 세트 손실: 0.088651\t최선의 손실: 0.049626\t정확도: 97.97%\n", "36\t검증 세트 손실: 0.064445\t최선의 손실: 0.049626\t정확도: 98.28%\n", "37\t검증 세트 손실: 0.066839\t최선의 손실: 0.049626\t정확도: 98.16%\n", "38\t검증 세트 손실: 0.076597\t최선의 손실: 0.049626\t정확도: 98.28%\n", "39\t검증 세트 손실: 0.062694\t최선의 손실: 0.049626\t정확도: 98.20%\n", "40\t검증 세트 손실: 0.073666\t최선의 손실: 0.049626\t정확도: 98.20%\n", "41\t검증 세트 손실: 0.070647\t최선의 손실: 0.049626\t정확도: 98.20%\n", "42\t검증 세트 손실: 0.073182\t최선의 손실: 0.049626\t정확도: 98.12%\n", "43\t검증 세트 손실: 0.074454\t최선의 손실: 0.049626\t정확도: 97.93%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=, total= 14.0s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.134628\t최선의 손실: 0.134628\t정확도: 95.70%\n", "1\t검증 세트 손실: 0.080790\t최선의 손실: 0.080790\t정확도: 97.62%\n", "2\t검증 세트 손실: 0.064863\t최선의 손실: 0.064863\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.098721\t최선의 손실: 0.064863\t정확도: 96.95%\n", "4\t검증 세트 손실: 0.072932\t최선의 손실: 0.064863\t정확도: 97.97%\n", "5\t검증 세트 손실: 0.072009\t최선의 손실: 0.064863\t정확도: 97.81%\n", "6\t검증 세트 손실: 0.076175\t최선의 손실: 0.064863\t정확도: 97.81%\n", "7\t검증 세트 손실: 0.089611\t최선의 손실: 0.064863\t정확도: 97.34%\n", "8\t검증 세트 손실: 0.049963\t최선의 손실: 0.049963\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.078587\t최선의 손실: 0.049963\t정확도: 97.81%\n", "10\t검증 세트 손실: 0.069236\t최선의 손실: 0.049963\t정확도: 97.89%\n", "11\t검증 세트 손실: 0.067740\t최선의 손실: 0.049963\t정확도: 98.01%\n", "12\t검증 세트 손실: 0.063835\t최선의 손실: 0.049963\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.069129\t최선의 손실: 0.049963\t정확도: 98.08%\n", "14\t검증 세트 손실: 0.066518\t최선의 손실: 0.049963\t정확도: 97.81%\n", "15\t검증 세트 손실: 0.076453\t최선의 손실: 0.049963\t정확도: 97.81%\n", "16\t검증 세트 손실: 0.066882\t최선의 손실: 0.049963\t정확도: 98.20%\n", "17\t검증 세트 손실: 0.056084\t최선의 손실: 0.049963\t정확도: 98.48%\n", "18\t검증 세트 손실: 0.086365\t최선의 손실: 0.049963\t정확도: 98.08%\n", "19\t검증 세트 손실: 0.065458\t최선의 손실: 0.049963\t정확도: 98.05%\n", "20\t검증 세트 손실: 0.071555\t최선의 손실: 0.049963\t정확도: 97.89%\n", "21\t검증 세트 손실: 0.066833\t최선의 손실: 0.049963\t정확도: 98.05%\n", "22\t검증 세트 손실: 0.097907\t최선의 손실: 0.049963\t정확도: 97.62%\n", "23\t검증 세트 손실: 0.074629\t최선의 손실: 0.049963\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.063479\t최선의 손실: 0.049963\t정확도: 98.40%\n", "25\t검증 세트 손실: 0.071909\t최선의 손실: 0.049963\t정확도: 98.28%\n", "26\t검증 세트 손실: 0.064603\t최선의 손실: 0.049963\t정확도: 98.40%\n", "27\t검증 세트 손실: 0.073760\t최선의 손실: 0.049963\t정확도: 98.20%\n", "28\t검증 세트 손실: 0.068251\t최선의 손실: 0.049963\t정확도: 98.20%\n", "29\t검증 세트 손실: 0.073076\t최선의 손실: 0.049963\t정확도: 98.36%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=, total= 10.0s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.130017\t최선의 손실: 0.130017\t정확도: 96.17%\n", "1\t검증 세트 손실: 0.106947\t최선의 손실: 0.106947\t정확도: 96.95%\n", "2\t검증 세트 손실: 0.082695\t최선의 손실: 0.082695\t정확도: 97.65%\n", "3\t검증 세트 손실: 0.069594\t최선의 손실: 0.069594\t정확도: 97.73%\n", "4\t검증 세트 손실: 0.084006\t최선의 손실: 0.069594\t정확도: 97.46%\n", "5\t검증 세트 손실: 0.069321\t최선의 손실: 0.069321\t정확도: 97.81%\n", "6\t검증 세트 손실: 0.065460\t최선의 손실: 0.065460\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.072570\t최선의 손실: 0.065460\t정확도: 97.81%\n", "8\t검증 세트 손실: 0.068699\t최선의 손실: 0.065460\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.068945\t최선의 손실: 0.065460\t정확도: 98.01%\n", "10\t검증 세트 손실: 0.062626\t최선의 손실: 0.062626\t정확도: 98.05%\n", "11\t검증 세트 손실: 0.060004\t최선의 손실: 0.060004\t정확도: 98.20%\n", "12\t검증 세트 손실: 0.062122\t최선의 손실: 0.060004\t정확도: 98.24%\n", "13\t검증 세트 손실: 0.081803\t최선의 손실: 0.060004\t정확도: 97.69%\n", "14\t검증 세트 손실: 0.076531\t최선의 손실: 0.060004\t정확도: 97.77%\n", "15\t검증 세트 손실: 0.071717\t최선의 손실: 0.060004\t정확도: 98.16%\n", "16\t검증 세트 손실: 0.057898\t최선의 손실: 0.057898\t정확도: 98.51%\n", "17\t검증 세트 손실: 0.056736\t최선의 손실: 0.056736\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.062815\t최선의 손실: 0.056736\t정확도: 98.44%\n", "19\t검증 세트 손실: 0.070522\t최선의 손실: 0.056736\t정확도: 98.12%\n", "20\t검증 세트 손실: 0.062686\t최선의 손실: 0.056736\t정확도: 98.44%\n", "21\t검증 세트 손실: 0.061406\t최선의 손실: 0.056736\t정확도: 98.12%\n", "22\t검증 세트 손실: 0.072110\t최선의 손실: 0.056736\t정확도: 98.12%\n", "23\t검증 세트 손실: 0.066311\t최선의 손실: 0.056736\t정확도: 98.32%\n", "24\t검증 세트 손실: 0.069666\t최선의 손실: 0.056736\t정확도: 98.32%\n", "25\t검증 세트 손실: 0.061293\t최선의 손실: 0.056736\t정확도: 98.32%\n", "26\t검증 세트 손실: 0.065456\t최선의 손실: 0.056736\t정확도: 98.28%\n", "27\t검증 세트 손실: 0.080875\t최선의 손실: 0.056736\t정확도: 97.50%\n", "28\t검증 세트 손실: 0.069633\t최선의 손실: 0.056736\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.058188\t최선의 손실: 0.056736\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.055436\t최선의 손실: 0.055436\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.070663\t최선의 손실: 0.055436\t정확도: 98.28%\n", "32\t검증 세트 손실: 0.072929\t최선의 손실: 0.055436\t정확도: 98.20%\n", "33\t검증 세트 손실: 0.074270\t최선의 손실: 0.055436\t정확도: 98.36%\n", "34\t검증 세트 손실: 0.073398\t최선의 손실: 0.055436\t정확도: 98.55%\n", "35\t검증 세트 손실: 0.060301\t최선의 손실: 0.055436\t정확도: 98.51%\n", "36\t검증 세트 손실: 0.079472\t최선의 손실: 0.055436\t정확도: 98.28%\n", "37\t검증 세트 손실: 0.077674\t최선의 손실: 0.055436\t정확도: 98.16%\n", "38\t검증 세트 손실: 0.066384\t최선의 손실: 0.055436\t정확도: 98.55%\n", "39\t검증 세트 손실: 0.072375\t최선의 손실: 0.055436\t정확도: 98.48%\n", "40\t검증 세트 손실: 0.076327\t최선의 손실: 0.055436\t정확도: 98.28%\n", "41\t검증 세트 손실: 0.104444\t최선의 손실: 0.055436\t정확도: 98.01%\n", "42\t검증 세트 손실: 0.063296\t최선의 손실: 0.055436\t정확도: 98.32%\n", "43\t검증 세트 손실: 0.076120\t최선의 손실: 0.055436\t정확도: 98.28%\n", "44\t검증 세트 손실: 0.077853\t최선의 손실: 0.055436\t정확도: 98.51%\n", "45\t검증 세트 손실: 0.077963\t최선의 손실: 0.055436\t정확도: 98.51%\n", "46\t검증 세트 손실: 0.063575\t최선의 손실: 0.055436\t정확도: 98.59%\n", "47\t검증 세트 손실: 0.068886\t최선의 손실: 0.055436\t정확도: 98.48%\n", "48\t검증 세트 손실: 0.070320\t최선의 손실: 0.055436\t정확도: 98.63%\n", "49\t검증 세트 손실: 0.068997\t최선의 손실: 0.055436\t정확도: 98.51%\n", "50\t검증 세트 손실: 0.062450\t최선의 손실: 0.055436\t정확도: 98.71%\n", "51\t검증 세트 손실: 0.075744\t최선의 손실: 0.055436\t정확도: 98.48%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=, total= 16.4s\n", "[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.110669\t최선의 손실: 0.110669\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.095228\t최선의 손실: 0.095228\t정확도: 97.38%\n", "2\t검증 세트 손실: 0.110558\t최선의 손실: 0.095228\t정확도: 96.91%\n", "3\t검증 세트 손실: 0.077445\t최선의 손실: 0.077445\t정확도: 97.65%\n", "4\t검증 세트 손실: 0.075778\t최선의 손실: 0.075778\t정확도: 97.77%\n", "5\t검증 세트 손실: 0.088214\t최선의 손실: 0.075778\t정확도: 97.26%\n", "6\t검증 세트 손실: 0.070551\t최선의 손실: 0.070551\t정확도: 97.62%\n", "7\t검증 세트 손실: 0.080310\t최선의 손실: 0.070551\t정확도: 97.62%\n", "8\t검증 세트 손실: 0.084465\t최선의 손실: 0.070551\t정확도: 97.69%\n", "9\t검증 세트 손실: 0.076852\t최선의 손실: 0.070551\t정확도: 97.81%\n", "10\t검증 세트 손실: 0.085154\t최선의 손실: 0.070551\t정확도: 97.62%\n", "11\t검증 세트 손실: 0.077035\t최선의 손실: 0.070551\t정확도: 97.89%\n", "12\t검증 세트 손실: 0.062266\t최선의 손실: 0.062266\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.077808\t최선의 손실: 0.062266\t정확도: 97.89%\n", "14\t검증 세트 손실: 0.068410\t최선의 손실: 0.062266\t정확도: 98.16%\n", "15\t검증 세트 손실: 0.074309\t최선의 손실: 0.062266\t정확도: 97.97%\n", "16\t검증 세트 손실: 0.072036\t최선의 손실: 0.062266\t정확도: 98.28%\n", "17\t검증 세트 손실: 0.079842\t최선의 손실: 0.062266\t정확도: 97.93%\n", "18\t검증 세트 손실: 0.075619\t최선의 손실: 0.062266\t정확도: 98.12%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "19\t검증 세트 손실: 0.077076\t최선의 손실: 0.062266\t정확도: 98.20%\n", "20\t검증 세트 손실: 0.068151\t최선의 손실: 0.062266\t정확도: 98.05%\n", "21\t검증 세트 손실: 0.071295\t최선의 손실: 0.062266\t정확도: 97.93%\n", "22\t검증 세트 손실: 0.067237\t최선의 손실: 0.062266\t정확도: 98.12%\n", "23\t검증 세트 손실: 0.066285\t최선의 손실: 0.062266\t정확도: 98.24%\n", "24\t검증 세트 손실: 0.065832\t최선의 손실: 0.062266\t정확도: 98.44%\n", "25\t검증 세트 손실: 0.073328\t최선의 손실: 0.062266\t정확도: 98.36%\n", "26\t검증 세트 손실: 0.071430\t최선의 손실: 0.062266\t정확도: 98.05%\n", "27\t검증 세트 손실: 0.096248\t최선의 손실: 0.062266\t정확도: 97.26%\n", "28\t검증 세트 손실: 0.086924\t최선의 손실: 0.062266\t정확도: 97.73%\n", "29\t검증 세트 손실: 0.071931\t최선의 손실: 0.062266\t정확도: 98.16%\n", "30\t검증 세트 손실: 0.080275\t최선의 손실: 0.062266\t정확도: 98.12%\n", "31\t검증 세트 손실: 0.065773\t최선의 손실: 0.062266\t정확도: 98.16%\n", "32\t검증 세트 손실: 0.068279\t최선의 손실: 0.062266\t정확도: 98.28%\n", "33\t검증 세트 손실: 0.069798\t최선의 손실: 0.062266\t정확도: 98.20%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 11.8s\n", "[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.132693\t최선의 손실: 0.132693\t정확도: 96.40%\n", "1\t검증 세트 손실: 0.066542\t최선의 손실: 0.066542\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.074952\t최선의 손실: 0.066542\t정확도: 98.01%\n", "3\t검증 세트 손실: 0.075097\t최선의 손실: 0.066542\t정확도: 97.89%\n", "4\t검증 세트 손실: 0.060563\t최선의 손실: 0.060563\t정확도: 98.24%\n", "5\t검증 세트 손실: 0.054856\t최선의 손실: 0.054856\t정확도: 98.48%\n", "6\t검증 세트 손실: 0.076791\t최선의 손실: 0.054856\t정확도: 97.93%\n", "7\t검증 세트 손실: 0.062455\t최선의 손실: 0.054856\t정확도: 98.48%\n", "8\t검증 세트 손실: 0.055188\t최선의 손실: 0.054856\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.091343\t최선의 손실: 0.054856\t정확도: 97.50%\n", "10\t검증 세트 손실: 0.075002\t최선의 손실: 0.054856\t정확도: 98.05%\n", "11\t검증 세트 손실: 0.068340\t최선의 손실: 0.054856\t정확도: 98.05%\n", "12\t검증 세트 손실: 0.062665\t최선의 손실: 0.054856\t정확도: 98.28%\n", "13\t검증 세트 손실: 0.062599\t최선의 손실: 0.054856\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.095270\t최선의 손실: 0.054856\t정확도: 97.58%\n", "15\t검증 세트 손실: 0.065956\t최선의 손실: 0.054856\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.070403\t최선의 손실: 0.054856\t정확도: 98.28%\n", "17\t검증 세트 손실: 0.077881\t최선의 손실: 0.054856\t정확도: 98.08%\n", "18\t검증 세트 손실: 0.075770\t최선의 손실: 0.054856\t정확도: 98.20%\n", "19\t검증 세트 손실: 0.077390\t최선의 손실: 0.054856\t정확도: 98.24%\n", "20\t검증 세트 손실: 0.069502\t최선의 손실: 0.054856\t정확도: 98.16%\n", "21\t검증 세트 손실: 0.069283\t최선의 손실: 0.054856\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.100848\t최선의 손실: 0.054856\t정확도: 97.50%\n", "23\t검증 세트 손실: 0.068905\t최선의 손실: 0.054856\t정확도: 98.32%\n", "24\t검증 세트 손실: 0.056277\t최선의 손실: 0.054856\t정확도: 98.20%\n", "25\t검증 세트 손실: 0.063919\t최선의 손실: 0.054856\t정확도: 98.28%\n", "26\t검증 세트 손실: 0.067607\t최선의 손실: 0.054856\t정확도: 98.05%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 9.6s\n", "[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.107241\t최선의 손실: 0.107241\t정확도: 97.07%\n", "1\t검증 세트 손실: 0.086192\t최선의 손실: 0.086192\t정확도: 97.46%\n", "2\t검증 세트 손실: 0.069398\t최선의 손실: 0.069398\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.066717\t최선의 손실: 0.066717\t정확도: 97.97%\n", "4\t검증 세트 손실: 0.062818\t최선의 손실: 0.062818\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.058768\t최선의 손실: 0.058768\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.063787\t최선의 손실: 0.058768\t정확도: 98.12%\n", "7\t검증 세트 손실: 0.063222\t최선의 손실: 0.058768\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.063622\t최선의 손실: 0.058768\t정확도: 98.28%\n", "9\t검증 세트 손실: 0.062139\t최선의 손실: 0.058768\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.059593\t최선의 손실: 0.058768\t정확도: 97.97%\n", "11\t검증 세트 손실: 0.058479\t최선의 손실: 0.058479\t정확도: 98.08%\n", "12\t검증 세트 손실: 0.053224\t최선의 손실: 0.053224\t정확도: 98.32%\n", "13\t검증 세트 손실: 0.071349\t최선의 손실: 0.053224\t정확도: 97.97%\n", "14\t검증 세트 손실: 0.065437\t최선의 손실: 0.053224\t정확도: 98.05%\n", "15\t검증 세트 손실: 0.055105\t최선의 손실: 0.053224\t정확도: 98.51%\n", "16\t검증 세트 손실: 0.056605\t최선의 손실: 0.053224\t정확도: 98.20%\n", "17\t검증 세트 손실: 0.056244\t최선의 손실: 0.053224\t정확도: 98.40%\n", "18\t검증 세트 손실: 0.061559\t최선의 손실: 0.053224\t정확도: 98.12%\n", "19\t검증 세트 손실: 0.063815\t최선의 손실: 0.053224\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.071239\t최선의 손실: 0.053224\t정확도: 98.12%\n", "21\t검증 세트 손실: 0.054753\t최선의 손실: 0.053224\t정확도: 98.24%\n", "22\t검증 세트 손실: 0.059803\t최선의 손실: 0.053224\t정확도: 98.32%\n", "23\t검증 세트 손실: 0.049507\t최선의 손실: 0.049507\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.061080\t최선의 손실: 0.049507\t정확도: 98.28%\n", "25\t검증 세트 손실: 0.058352\t최선의 손실: 0.049507\t정확도: 98.01%\n", "26\t검증 세트 손실: 0.052011\t최선의 손실: 0.049507\t정확도: 98.44%\n", "27\t검증 세트 손실: 0.063151\t최선의 손실: 0.049507\t정확도: 98.40%\n", "28\t검증 세트 손실: 0.068997\t최선의 손실: 0.049507\t정확도: 98.36%\n", "29\t검증 세트 손실: 0.085221\t최선의 손실: 0.049507\t정확도: 98.08%\n", "30\t검증 세트 손실: 0.061919\t최선의 손실: 0.049507\t정확도: 98.20%\n", "31\t검증 세트 손실: 0.069719\t최선의 손실: 0.049507\t정확도: 98.40%\n", "32\t검증 세트 손실: 0.074223\t최선의 손실: 0.049507\t정확도: 98.01%\n", "33\t검증 세트 손실: 0.064498\t최선의 손실: 0.049507\t정확도: 98.48%\n", "34\t검증 세트 손실: 0.066654\t최선의 손실: 0.049507\t정확도: 98.05%\n", "35\t검증 세트 손실: 0.077285\t최선의 손실: 0.049507\t정확도: 98.08%\n", "36\t검증 세트 손실: 0.067273\t최선의 손실: 0.049507\t정확도: 98.28%\n", "37\t검증 세트 손실: 0.073594\t최선의 손실: 0.049507\t정확도: 98.36%\n", "38\t검증 세트 손실: 0.077888\t최선의 손실: 0.049507\t정확도: 98.16%\n", "39\t검증 세트 손실: 0.058952\t최선의 손실: 0.049507\t정확도: 98.63%\n", "40\t검증 세트 손실: 0.069839\t최선의 손실: 0.049507\t정확도: 98.08%\n", "41\t검증 세트 손실: 0.071776\t최선의 손실: 0.049507\t정확도: 97.73%\n", "42\t검증 세트 손실: 0.085523\t최선의 손실: 0.049507\t정확도: 97.73%\n", "43\t검증 세트 손실: 0.073547\t최선의 손실: 0.049507\t정확도: 98.28%\n", "44\t검증 세트 손실: 0.063410\t최선의 손실: 0.049507\t정확도: 98.36%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 15.2s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.534038\t최선의 손실: 0.534038\t정확도: 96.52%\n", "1\t검증 세트 손실: 0.279687\t최선의 손실: 0.279687\t정확도: 97.38%\n", "2\t검증 세트 손실: 0.388696\t최선의 손실: 0.279687\t정확도: 97.38%\n", "3\t검증 세트 손실: 0.146438\t최선의 손실: 0.146438\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.207778\t최선의 손실: 0.146438\t정확도: 97.81%\n", "5\t검증 세트 손실: 0.135224\t최선의 손실: 0.135224\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.078012\t최선의 손실: 0.078012\t정확도: 98.67%\n", "7\t검증 세트 손실: 0.099105\t최선의 손실: 0.078012\t정확도: 98.91%\n", "8\t검증 세트 손실: 0.117103\t최선의 손실: 0.078012\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.111694\t최선의 손실: 0.078012\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.112688\t최선의 손실: 0.078012\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.079313\t최선의 손실: 0.078012\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.149453\t최선의 손실: 0.078012\t정확도: 98.12%\n", "13\t검증 세트 손실: 0.106330\t최선의 손실: 0.078012\t정확도: 98.36%\n", "14\t검증 세트 손실: 0.099519\t최선의 손실: 0.078012\t정확도: 98.32%\n", "15\t검증 세트 손실: 0.075004\t최선의 손실: 0.075004\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.175765\t최선의 손실: 0.075004\t정확도: 97.93%\n", "17\t검증 세트 손실: 0.119982\t최선의 손실: 0.075004\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.093908\t최선의 손실: 0.075004\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.090073\t최선의 손실: 0.075004\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.083409\t최선의 손실: 0.075004\t정확도: 98.59%\n", "21\t검증 세트 손실: 0.171345\t최선의 손실: 0.075004\t정확도: 98.05%\n", "22\t검증 세트 손실: 0.072223\t최선의 손실: 0.072223\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.075772\t최선의 손실: 0.072223\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.058826\t최선의 손실: 0.058826\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.061879\t최선의 손실: 0.058826\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.059596\t최선의 손실: 0.058826\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.077571\t최선의 손실: 0.058826\t정확도: 99.10%\n", "28\t검증 세트 손실: 0.060825\t최선의 손실: 0.058826\t정확도: 98.83%\n", "29\t검증 세트 손실: 0.057004\t최선의 손실: 0.057004\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.059474\t최선의 손실: 0.057004\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.080698\t최선의 손실: 0.057004\t정확도: 98.63%\n", "32\t검증 세트 손실: 0.085349\t최선의 손실: 0.057004\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.076650\t최선의 손실: 0.057004\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.070893\t최선의 손실: 0.057004\t정확도: 98.67%\n", "35\t검증 세트 손실: 0.056374\t최선의 손실: 0.056374\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.096541\t최선의 손실: 0.056374\t정확도: 98.36%\n", "37\t검증 세트 손실: 0.116984\t최선의 손실: 0.056374\t정확도: 98.20%\n", "38\t검증 세트 손실: 0.062557\t최선의 손실: 0.056374\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.066440\t최선의 손실: 0.056374\t정확도: 98.55%\n", "40\t검증 세트 손실: 0.064345\t최선의 손실: 0.056374\t정확도: 98.71%\n", "41\t검증 세트 손실: 0.094599\t최선의 손실: 0.056374\t정확도: 98.63%\n", "42\t검증 세트 손실: 0.063639\t최선의 손실: 0.056374\t정확도: 98.94%\n", "43\t검증 세트 손실: 0.059449\t최선의 손실: 0.056374\t정확도: 98.98%\n", "44\t검증 세트 손실: 0.051370\t최선의 손실: 0.051370\t정확도: 99.14%\n", "45\t검증 세트 손실: 0.084083\t최선의 손실: 0.051370\t정확도: 98.79%\n", "46\t검증 세트 손실: 0.089254\t최선의 손실: 0.051370\t정확도: 98.83%\n", "47\t검증 세트 손실: 0.066606\t최선의 손실: 0.051370\t정확도: 98.75%\n", "48\t검증 세트 손실: 0.041552\t최선의 손실: 0.041552\t정확도: 99.06%\n", "49\t검증 세트 손실: 0.078556\t최선의 손실: 0.041552\t정확도: 98.75%\n", "50\t검증 세트 손실: 0.060802\t최선의 손실: 0.041552\t정확도: 98.87%\n", "51\t검증 세트 손실: 0.097583\t최선의 손실: 0.041552\t정확도: 98.44%\n", "52\t검증 세트 손실: 0.075395\t최선의 손실: 0.041552\t정확도: 98.71%\n", "53\t검증 세트 손실: 0.061060\t최선의 손실: 0.041552\t정확도: 98.87%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "54\t검증 세트 손실: 0.062878\t최선의 손실: 0.041552\t정확도: 98.94%\n", "55\t검증 세트 손실: 0.052813\t최선의 손실: 0.041552\t정확도: 99.02%\n", "56\t검증 세트 손실: 0.063385\t최선의 손실: 0.041552\t정확도: 98.83%\n", "57\t검증 세트 손실: 0.052270\t최선의 손실: 0.041552\t정확도: 99.06%\n", "58\t검증 세트 손실: 0.053489\t최선의 손실: 0.041552\t정확도: 99.02%\n", "59\t검증 세트 손실: 0.094942\t최선의 손실: 0.041552\t정확도: 98.40%\n", "60\t검증 세트 손실: 0.090060\t최선의 손실: 0.041552\t정확도: 98.79%\n", "61\t검증 세트 손실: 0.069824\t최선의 손실: 0.041552\t정확도: 98.83%\n", "62\t검증 세트 손실: 0.052346\t최선의 손실: 0.041552\t정확도: 99.10%\n", "63\t검증 세트 손실: 0.062910\t최선의 손실: 0.041552\t정확도: 98.98%\n", "64\t검증 세트 손실: 0.066262\t최선의 손실: 0.041552\t정확도: 98.98%\n", "65\t검증 세트 손실: 0.061232\t최선의 손실: 0.041552\t정확도: 98.94%\n", "66\t검증 세트 손실: 0.051388\t최선의 손실: 0.041552\t정확도: 99.02%\n", "67\t검증 세트 손실: 0.068417\t최선의 손실: 0.041552\t정확도: 98.79%\n", "68\t검증 세트 손실: 0.059011\t최선의 손실: 0.041552\t정확도: 98.94%\n", "69\t검증 세트 손실: 0.083856\t최선의 손실: 0.041552\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 50.1s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.673607\t최선의 손실: 0.673607\t정확도: 96.05%\n", "1\t검증 세트 손실: 0.370649\t최선의 손실: 0.370649\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.237824\t최선의 손실: 0.237824\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.155781\t최선의 손실: 0.155781\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.113204\t최선의 손실: 0.113204\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.129707\t최선의 손실: 0.113204\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.173680\t최선의 손실: 0.113204\t정확도: 97.73%\n", "7\t검증 세트 손실: 0.072416\t최선의 손실: 0.072416\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.090433\t최선의 손실: 0.072416\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.111867\t최선의 손실: 0.072416\t정확도: 98.20%\n", "10\t검증 세트 손실: 0.150868\t최선의 손실: 0.072416\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.093291\t최선의 손실: 0.072416\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.095177\t최선의 손실: 0.072416\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.096929\t최선의 손실: 0.072416\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.159253\t최선의 손실: 0.072416\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.073723\t최선의 손실: 0.072416\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.068936\t최선의 손실: 0.068936\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.074746\t최선의 손실: 0.068936\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.092028\t최선의 손실: 0.068936\t정확도: 98.24%\n", "19\t검증 세트 손실: 0.056445\t최선의 손실: 0.056445\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.092222\t최선의 손실: 0.056445\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.132816\t최선의 손실: 0.056445\t정확도: 97.62%\n", "22\t검증 세트 손실: 0.138709\t최선의 손실: 0.056445\t정확도: 98.08%\n", "23\t검증 세트 손실: 0.102426\t최선의 손실: 0.056445\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.062135\t최선의 손실: 0.056445\t정확도: 98.63%\n", "25\t검증 세트 손실: 0.058835\t최선의 손실: 0.056445\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.078155\t최선의 손실: 0.056445\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.077474\t최선의 손실: 0.056445\t정확도: 98.63%\n", "28\t검증 세트 손실: 0.105282\t최선의 손실: 0.056445\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.067721\t최선의 손실: 0.056445\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.058724\t최선의 손실: 0.056445\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.091608\t최선의 손실: 0.056445\t정확도: 98.44%\n", "32\t검증 세트 손실: 0.088752\t최선의 손실: 0.056445\t정확도: 98.63%\n", "33\t검증 세트 손실: 0.080829\t최선의 손실: 0.056445\t정확도: 98.51%\n", "34\t검증 세트 손실: 0.067625\t최선의 손실: 0.056445\t정확도: 98.67%\n", "35\t검증 세트 손실: 0.062024\t최선의 손실: 0.056445\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.072448\t최선의 손실: 0.056445\t정확도: 98.98%\n", "37\t검증 세트 손실: 0.086750\t최선의 손실: 0.056445\t정확도: 98.44%\n", "38\t검증 세트 손실: 0.062571\t최선의 손실: 0.056445\t정확도: 99.02%\n", "39\t검증 세트 손실: 0.117028\t최선의 손실: 0.056445\t정확도: 98.32%\n", "40\t검증 세트 손실: 0.071165\t최선의 손실: 0.056445\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 30.1s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.606668\t최선의 손실: 0.606668\t정확도: 96.01%\n", "1\t검증 세트 손실: 0.343354\t최선의 손실: 0.343354\t정확도: 97.42%\n", "2\t검증 세트 손실: 0.313182\t최선의 손실: 0.313182\t정확도: 96.79%\n", "3\t검증 세트 손실: 0.105441\t최선의 손실: 0.105441\t정확도: 98.79%\n", "4\t검증 세트 손실: 0.154352\t최선의 손실: 0.105441\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.088025\t최선의 손실: 0.088025\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.162466\t최선의 손실: 0.088025\t정확도: 97.58%\n", "7\t검증 세트 손실: 0.130201\t최선의 손실: 0.088025\t정확도: 98.48%\n", "8\t검증 세트 손실: 0.080358\t최선의 손실: 0.080358\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.070308\t최선의 손실: 0.070308\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.067746\t최선의 손실: 0.067746\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.091066\t최선의 손실: 0.067746\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.148249\t최선의 손실: 0.067746\t정확도: 97.93%\n", "13\t검증 세트 손실: 0.060111\t최선의 손실: 0.060111\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.073660\t최선의 손실: 0.060111\t정확도: 98.44%\n", "15\t검증 세트 손실: 0.058048\t최선의 손실: 0.058048\t정확도: 98.87%\n", "16\t검증 세트 손실: 0.066713\t최선의 손실: 0.058048\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.089668\t최선의 손실: 0.058048\t정확도: 98.51%\n", "18\t검증 세트 손실: 0.077201\t최선의 손실: 0.058048\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.182426\t최선의 손실: 0.058048\t정확도: 97.46%\n", "20\t검증 세트 손실: 0.057445\t최선의 손실: 0.057445\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.057173\t최선의 손실: 0.057173\t정확도: 98.59%\n", "22\t검증 세트 손실: 0.062206\t최선의 손실: 0.057173\t정확도: 98.59%\n", "23\t검증 세트 손실: 0.090016\t최선의 손실: 0.057173\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.049221\t최선의 손실: 0.049221\t정확도: 99.14%\n", "25\t검증 세트 손실: 0.067993\t최선의 손실: 0.049221\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.087449\t최선의 손실: 0.049221\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.064339\t최선의 손실: 0.049221\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.055308\t최선의 손실: 0.049221\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.073256\t최선의 손실: 0.049221\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.056403\t최선의 손실: 0.049221\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.052420\t최선의 손실: 0.049221\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.095019\t최선의 손실: 0.049221\t정확도: 98.51%\n", "33\t검증 세트 손실: 0.114924\t최선의 손실: 0.049221\t정확도: 98.24%\n", "34\t검증 세트 손실: 0.060659\t최선의 손실: 0.049221\t정확도: 98.87%\n", "35\t검증 세트 손실: 0.055840\t최선의 손실: 0.049221\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.055585\t최선의 손실: 0.049221\t정확도: 99.18%\n", "37\t검증 세트 손실: 0.056760\t최선의 손실: 0.049221\t정확도: 98.87%\n", "38\t검증 세트 손실: 0.080186\t최선의 손실: 0.049221\t정확도: 98.55%\n", "39\t검증 세트 손실: 0.070677\t최선의 손실: 0.049221\t정확도: 98.87%\n", "40\t검증 세트 손실: 0.073808\t최선의 손실: 0.049221\t정확도: 98.79%\n", "41\t검증 세트 손실: 0.040390\t최선의 손실: 0.040390\t정확도: 99.06%\n", "42\t검증 세트 손실: 0.067080\t최선의 손실: 0.040390\t정확도: 98.91%\n", "43\t검증 세트 손실: 0.057181\t최선의 손실: 0.040390\t정확도: 98.83%\n", "44\t검증 세트 손실: 0.054193\t최선의 손실: 0.040390\t정확도: 99.06%\n", "45\t검증 세트 손실: 0.069271\t최선의 손실: 0.040390\t정확도: 98.71%\n", "46\t검증 세트 손실: 0.052509\t최선의 손실: 0.040390\t정확도: 98.94%\n", "47\t검증 세트 손실: 0.053022\t최선의 손실: 0.040390\t정확도: 99.10%\n", "48\t검증 세트 손실: 0.060448\t최선의 손실: 0.040390\t정확도: 98.94%\n", "49\t검증 세트 손실: 0.067784\t최선의 손실: 0.040390\t정확도: 98.79%\n", "50\t검증 세트 손실: 0.045030\t최선의 손실: 0.040390\t정확도: 99.22%\n", "51\t검증 세트 손실: 0.070123\t최선의 손실: 0.040390\t정확도: 98.98%\n", "52\t검증 세트 손실: 0.135056\t최선의 손실: 0.040390\t정확도: 98.75%\n", "53\t검증 세트 손실: 0.048970\t최선의 손실: 0.040390\t정확도: 99.22%\n", "54\t검증 세트 손실: 0.060046\t최선의 손실: 0.040390\t정확도: 99.10%\n", "55\t검증 세트 손실: 0.054115\t최선의 손실: 0.040390\t정확도: 99.14%\n", "56\t검증 세트 손실: 0.057565\t최선의 손실: 0.040390\t정확도: 99.06%\n", "57\t검증 세트 손실: 0.052420\t최선의 손실: 0.040390\t정확도: 98.98%\n", "58\t검증 세트 손실: 0.041247\t최선의 손실: 0.040390\t정확도: 99.30%\n", "59\t검증 세트 손실: 0.040193\t최선의 손실: 0.040193\t정확도: 99.14%\n", "60\t검증 세트 손실: 0.037434\t최선의 손실: 0.037434\t정확도: 99.14%\n", "61\t검증 세트 손실: 0.046267\t최선의 손실: 0.037434\t정확도: 98.71%\n", "62\t검증 세트 손실: 0.054462\t최선의 손실: 0.037434\t정확도: 98.98%\n", "63\t검증 세트 손실: 0.053723\t최선의 손실: 0.037434\t정확도: 99.10%\n", "64\t검증 세트 손실: 0.061399\t최선의 손실: 0.037434\t정확도: 99.06%\n", "65\t검증 세트 손실: 0.051798\t최선의 손실: 0.037434\t정확도: 99.14%\n", "66\t검증 세트 손실: 0.074572\t최선의 손실: 0.037434\t정확도: 98.79%\n", "67\t검증 세트 손실: 0.051792\t최선의 손실: 0.037434\t정확도: 99.06%\n", "68\t검증 세트 손실: 0.088964\t최선의 손실: 0.037434\t정확도: 98.44%\n", "69\t검증 세트 손실: 0.055808\t최선의 손실: 0.037434\t정확도: 99.06%\n", "70\t검증 세트 손실: 0.060083\t최선의 손실: 0.037434\t정확도: 99.06%\n", "71\t검증 세트 손실: 0.084897\t최선의 손실: 0.037434\t정확도: 98.87%\n", "72\t검증 세트 손실: 0.057494\t최선의 손실: 0.037434\t정확도: 98.91%\n", "73\t검증 세트 손실: 0.056536\t최선의 손실: 0.037434\t정확도: 99.14%\n", "74\t검증 세트 손실: 0.065630\t최선의 손실: 0.037434\t정확도: 99.26%\n", "75\t검증 세트 손실: 0.056476\t최선의 손실: 0.037434\t정확도: 99.06%\n", "76\t검증 세트 손실: 0.062465\t최선의 손실: 0.037434\t정확도: 98.94%\n", "77\t검증 세트 손실: 0.071084\t최선의 손실: 0.037434\t정확도: 98.87%\n", "78\t검증 세트 손실: 0.058930\t최선의 손실: 0.037434\t정확도: 99.10%\n", "79\t검증 세트 손실: 0.038462\t최선의 손실: 0.037434\t정확도: 99.22%\n", "80\t검증 세트 손실: 0.065547\t최선의 손실: 0.037434\t정확도: 98.91%\n", "81\t검증 세트 손실: 0.064446\t최선의 손실: 0.037434\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 58.6s\n", "[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 10.709251\t최선의 손실: 10.709251\t정확도: 76.90%\n", "1\t검증 세트 손실: 4.016308\t최선의 손실: 4.016308\t정확도: 76.51%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "2\t검증 세트 손실: 1.169296\t최선의 손실: 1.169296\t정확도: 86.71%\n", "3\t검증 세트 손실: 0.728648\t최선의 손실: 0.728648\t정확도: 91.05%\n", "4\t검증 세트 손실: 0.689384\t최선의 손실: 0.689384\t정확도: 90.85%\n", "5\t검증 세트 손실: 0.480629\t최선의 손실: 0.480629\t정확도: 92.49%\n", "6\t검증 세트 손실: 0.673895\t최선의 손실: 0.480629\t정확도: 90.54%\n", "7\t검증 세트 손실: 0.470662\t최선의 손실: 0.470662\t정확도: 92.34%\n", "8\t검증 세트 손실: 0.311441\t최선의 손실: 0.311441\t정확도: 94.45%\n", "9\t검증 세트 손실: 0.406115\t최선의 손실: 0.311441\t정확도: 93.82%\n", "10\t검증 세트 손실: 0.529458\t최선의 손실: 0.311441\t정확도: 92.65%\n", "11\t검증 세트 손실: 0.254377\t최선의 손실: 0.254377\t정확도: 96.09%\n", "12\t검증 세트 손실: 0.208852\t최선의 손실: 0.208852\t정확도: 96.21%\n", "13\t검증 세트 손실: 0.309114\t최선의 손실: 0.208852\t정확도: 95.07%\n", "14\t검증 세트 손실: 0.263393\t최선의 손실: 0.208852\t정확도: 95.82%\n", "15\t검증 세트 손실: 0.214897\t최선의 손실: 0.208852\t정확도: 96.13%\n", "16\t검증 세트 손실: 0.244392\t최선의 손실: 0.208852\t정확도: 95.19%\n", "17\t검증 세트 손실: 0.163906\t최선의 손실: 0.163906\t정확도: 97.11%\n", "18\t검증 세트 손실: 0.160842\t최선의 손실: 0.160842\t정확도: 96.56%\n", "19\t검증 세트 손실: 0.162741\t최선의 손실: 0.160842\t정확도: 96.87%\n", "20\t검증 세트 손실: 0.213754\t최선의 손실: 0.160842\t정확도: 96.52%\n", "21\t검증 세트 손실: 0.190714\t최선의 손실: 0.160842\t정확도: 96.52%\n", "22\t검증 세트 손실: 0.126941\t최선의 손실: 0.126941\t정확도: 97.34%\n", "23\t검증 세트 손실: 0.342352\t최선의 손실: 0.126941\t정확도: 94.37%\n", "24\t검증 세트 손실: 0.186538\t최선의 손실: 0.126941\t정확도: 96.99%\n", "25\t검증 세트 손실: 0.169441\t최선의 손실: 0.126941\t정확도: 96.79%\n", "26\t검증 세트 손실: 0.144117\t최선의 손실: 0.126941\t정확도: 97.34%\n", "27\t검증 세트 손실: 0.179673\t최선의 손실: 0.126941\t정확도: 96.91%\n", "28\t검증 세트 손실: 0.169606\t최선의 손실: 0.126941\t정확도: 97.19%\n", "29\t검증 세트 손실: 0.389077\t최선의 손실: 0.126941\t정확도: 95.31%\n", "30\t검증 세트 손실: 0.205416\t최선의 손실: 0.126941\t정확도: 96.52%\n", "31\t검증 세트 손실: 0.208641\t최선의 손실: 0.126941\t정확도: 96.44%\n", "32\t검증 세트 손실: 0.201299\t최선의 손실: 0.126941\t정확도: 96.79%\n", "33\t검증 세트 손실: 0.227703\t최선의 손실: 0.126941\t정확도: 96.91%\n", "34\t검증 세트 손실: 0.221164\t최선의 손실: 0.126941\t정확도: 96.01%\n", "35\t검증 세트 손실: 0.293608\t최선의 손실: 0.126941\t정확도: 95.47%\n", "36\t검증 세트 손실: 0.137575\t최선의 손실: 0.126941\t정확도: 97.50%\n", "37\t검증 세트 손실: 0.171947\t최선의 손실: 0.126941\t정확도: 97.11%\n", "38\t검증 세트 손실: 0.201743\t최선의 손실: 0.126941\t정확도: 96.21%\n", "39\t검증 세트 손실: 0.250584\t최선의 손실: 0.126941\t정확도: 96.36%\n", "40\t검증 세트 손실: 0.144875\t최선의 손실: 0.126941\t정확도: 97.54%\n", "41\t검증 세트 손실: 0.146800\t최선의 손실: 0.126941\t정확도: 97.73%\n", "42\t검증 세트 손실: 0.152584\t최선의 손실: 0.126941\t정확도: 97.50%\n", "43\t검증 세트 손실: 0.160983\t최선의 손실: 0.126941\t정확도: 97.69%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 6.7s\n", "[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 27.943342\t최선의 손실: 27.943342\t정확도: 54.34%\n", "1\t검증 세트 손실: 14.559706\t최선의 손실: 14.559706\t정확도: 49.45%\n", "2\t검증 세트 손실: 5.944944\t최선의 손실: 5.944944\t정확도: 53.99%\n", "3\t검증 세트 손실: 3.191788\t최선의 손실: 3.191788\t정확도: 58.05%\n", "4\t검증 세트 손실: 1.426851\t최선의 손실: 1.426851\t정확도: 72.05%\n", "5\t검증 세트 손실: 1.236457\t최선의 손실: 1.236457\t정확도: 79.16%\n", "6\t검증 세트 손실: 0.657665\t최선의 손실: 0.657665\t정확도: 86.51%\n", "7\t검증 세트 손실: 1.245690\t최선의 손실: 0.657665\t정확도: 73.85%\n", "8\t검증 세트 손실: 0.254195\t최선의 손실: 0.254195\t정확도: 93.78%\n", "9\t검증 세트 손실: 0.156259\t최선의 손실: 0.156259\t정확도: 96.64%\n", "10\t검증 세트 손실: 0.571893\t최선의 손실: 0.156259\t정확도: 89.72%\n", "11\t검증 세트 손실: 0.235553\t최선의 손실: 0.156259\t정확도: 94.84%\n", "12\t검증 세트 손실: 0.225122\t최선의 손실: 0.156259\t정확도: 96.33%\n", "13\t검증 세트 손실: 0.196085\t최선의 손실: 0.156259\t정확도: 95.82%\n", "14\t검증 세트 손실: 0.197954\t최선의 손실: 0.156259\t정확도: 95.15%\n", "15\t검증 세트 손실: 0.242695\t최선의 손실: 0.156259\t정확도: 94.96%\n", "16\t검증 세트 손실: 0.135767\t최선의 손실: 0.135767\t정확도: 97.19%\n", "17\t검증 세트 손실: 0.154381\t최선의 손실: 0.135767\t정확도: 96.76%\n", "18\t검증 세트 손실: 0.226365\t최선의 손실: 0.135767\t정확도: 95.90%\n", "19\t검증 세트 손실: 0.140788\t최선의 손실: 0.135767\t정확도: 97.30%\n", "20\t검증 세트 손실: 0.155177\t최선의 손실: 0.135767\t정확도: 97.30%\n", "21\t검증 세트 손실: 0.289728\t최선의 손실: 0.135767\t정확도: 94.92%\n", "22\t검증 세트 손실: 0.229241\t최선의 손실: 0.135767\t정확도: 95.15%\n", "23\t검증 세트 손실: 0.149890\t최선의 손실: 0.135767\t정확도: 97.03%\n", "24\t검증 세트 손실: 0.138897\t최선의 손실: 0.135767\t정확도: 96.83%\n", "25\t검증 세트 손실: 0.193411\t최선의 손실: 0.135767\t정확도: 96.99%\n", "26\t검증 세트 손실: 0.092022\t최선의 손실: 0.092022\t정확도: 98.24%\n", "27\t검증 세트 손실: 0.161547\t최선의 손실: 0.092022\t정확도: 97.22%\n", "28\t검증 세트 손실: 0.151830\t최선의 손실: 0.092022\t정확도: 97.30%\n", "29\t검증 세트 손실: 0.117716\t최선의 손실: 0.092022\t정확도: 97.42%\n", "30\t검증 세트 손실: 0.129440\t최선의 손실: 0.092022\t정확도: 97.54%\n", "31\t검증 세트 손실: 0.128631\t최선의 손실: 0.092022\t정확도: 97.69%\n", "32\t검증 세트 손실: 0.204244\t최선의 손실: 0.092022\t정확도: 96.05%\n", "33\t검증 세트 손실: 0.212899\t최선의 손실: 0.092022\t정확도: 96.56%\n", "34\t검증 세트 손실: 0.158089\t최선의 손실: 0.092022\t정확도: 97.62%\n", "35\t검증 세트 손실: 0.300391\t최선의 손실: 0.092022\t정확도: 96.13%\n", "36\t검증 세트 손실: 0.144273\t최선의 손실: 0.092022\t정확도: 97.34%\n", "37\t검증 세트 손실: 0.149966\t최선의 손실: 0.092022\t정확도: 97.54%\n", "38\t검증 세트 손실: 0.100161\t최선의 손실: 0.092022\t정확도: 98.05%\n", "39\t검증 세트 손실: 0.200740\t최선의 손실: 0.092022\t정확도: 96.36%\n", "40\t검증 세트 손실: 0.211559\t최선의 손실: 0.092022\t정확도: 96.01%\n", "41\t검증 세트 손실: 0.153136\t최선의 손실: 0.092022\t정확도: 97.58%\n", "42\t검증 세트 손실: 0.126689\t최선의 손실: 0.092022\t정확도: 98.20%\n", "43\t검증 세트 손실: 0.159442\t최선의 손실: 0.092022\t정확도: 97.46%\n", "44\t검증 세트 손실: 0.121746\t최선의 손실: 0.092022\t정확도: 97.89%\n", "45\t검증 세트 손실: 0.173331\t최선의 손실: 0.092022\t정확도: 97.15%\n", "46\t검증 세트 손실: 0.192202\t최선의 손실: 0.092022\t정확도: 97.26%\n", "47\t검증 세트 손실: 0.204883\t최선의 손실: 0.092022\t정확도: 97.34%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 7.3s\n", "[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 4.510430\t최선의 손실: 4.510430\t정확도: 84.25%\n", "1\t검증 세트 손실: 0.809442\t최선의 손실: 0.809442\t정확도: 92.26%\n", "2\t검증 세트 손실: 0.722004\t최선의 손실: 0.722004\t정확도: 91.13%\n", "3\t검증 세트 손실: 0.357290\t최선의 손실: 0.357290\t정확도: 94.25%\n", "4\t검증 세트 손실: 0.226368\t최선의 손실: 0.226368\t정확도: 96.44%\n", "5\t검증 세트 손실: 0.418913\t최선의 손실: 0.226368\t정확도: 93.47%\n", "6\t검증 세트 손실: 0.278077\t최선의 손실: 0.226368\t정확도: 95.31%\n", "7\t검증 세트 손실: 0.180156\t최선의 손실: 0.180156\t정확도: 96.52%\n", "8\t검증 세트 손실: 0.177660\t최선의 손실: 0.177660\t정확도: 96.44%\n", "9\t검증 세트 손실: 0.115490\t최선의 손실: 0.115490\t정확도: 97.73%\n", "10\t검증 세트 손실: 0.115946\t최선의 손실: 0.115490\t정확도: 97.54%\n", "11\t검증 세트 손실: 0.123827\t최선의 손실: 0.115490\t정확도: 97.26%\n", "12\t검증 세트 손실: 0.153161\t최선의 손실: 0.115490\t정확도: 96.79%\n", "13\t검증 세트 손실: 0.167842\t최선의 손실: 0.115490\t정확도: 97.15%\n", "14\t검증 세트 손실: 0.154255\t최선의 손실: 0.115490\t정확도: 97.54%\n", "15\t검증 세트 손실: 0.213948\t최선의 손실: 0.115490\t정확도: 96.40%\n", "16\t검증 세트 손실: 0.122070\t최선의 손실: 0.115490\t정확도: 97.93%\n", "17\t검증 세트 손실: 0.152175\t최선의 손실: 0.115490\t정확도: 97.07%\n", "18\t검증 세트 손실: 0.110259\t최선의 손실: 0.110259\t정확도: 97.73%\n", "19\t검증 세트 손실: 0.134303\t최선의 손실: 0.110259\t정확도: 97.58%\n", "20\t검증 세트 손실: 0.135091\t최선의 손실: 0.110259\t정확도: 97.81%\n", "21\t검증 세트 손실: 0.117939\t최선의 손실: 0.110259\t정확도: 97.77%\n", "22\t검증 세트 손실: 0.133108\t최선의 손실: 0.110259\t정확도: 97.97%\n", "23\t검증 세트 손실: 0.108330\t최선의 손실: 0.108330\t정확도: 97.77%\n", "24\t검증 세트 손실: 0.140901\t최선의 손실: 0.108330\t정확도: 97.65%\n", "25\t검증 세트 손실: 0.117747\t최선의 손실: 0.108330\t정확도: 97.93%\n", "26\t검증 세트 손실: 0.147095\t최선의 손실: 0.108330\t정확도: 97.07%\n", "27\t검증 세트 손실: 0.150487\t최선의 손실: 0.108330\t정확도: 97.65%\n", "28\t검증 세트 손실: 0.159341\t최선의 손실: 0.108330\t정확도: 97.38%\n", "29\t검증 세트 손실: 0.194070\t최선의 손실: 0.108330\t정확도: 96.87%\n", "30\t검증 세트 손실: 0.152130\t최선의 손실: 0.108330\t정확도: 97.15%\n", "31\t검증 세트 손실: 0.132817\t최선의 손실: 0.108330\t정확도: 97.69%\n", "32\t검증 세트 손실: 0.139722\t최선의 손실: 0.108330\t정확도: 97.69%\n", "33\t검증 세트 손실: 0.115157\t최선의 손실: 0.108330\t정확도: 98.28%\n", "34\t검증 세트 손실: 0.119326\t최선의 손실: 0.108330\t정확도: 97.77%\n", "35\t검증 세트 손실: 0.165533\t최선의 손실: 0.108330\t정확도: 97.15%\n", "36\t검증 세트 손실: 0.146658\t최선의 손실: 0.108330\t정확도: 97.69%\n", "37\t검증 세트 손실: 0.160763\t최선의 손실: 0.108330\t정확도: 97.58%\n", "38\t검증 세트 손실: 0.183833\t최선의 손실: 0.108330\t정확도: 97.34%\n", "39\t검증 세트 손실: 0.133688\t최선의 손실: 0.108330\t정확도: 97.85%\n", "40\t검증 세트 손실: 0.126114\t최선의 손실: 0.108330\t정확도: 97.73%\n", "41\t검증 세트 손실: 0.169810\t최선의 손실: 0.108330\t정확도: 97.22%\n", "42\t검증 세트 손실: 0.142930\t최선의 손실: 0.108330\t정확도: 97.58%\n", "43\t검증 세트 손실: 0.148399\t최선의 손실: 0.108330\t정확도: 97.50%\n", "44\t검증 세트 손실: 0.141687\t최선의 손실: 0.108330\t정확도: 97.58%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 6.9s\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.102876\t최선의 손실: 0.102876\t정확도: 97.58%\n", "1\t검증 세트 손실: 0.076282\t최선의 손실: 0.076282\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.079007\t최선의 손실: 0.076282\t정확도: 98.05%\n", "3\t검증 세트 손실: 0.054537\t최선의 손실: 0.054537\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.042654\t최선의 손실: 0.042654\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.057768\t최선의 손실: 0.042654\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.049590\t최선의 손실: 0.042654\t정확도: 98.87%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "7\t검증 세트 손실: 0.052487\t최선의 손실: 0.042654\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.069777\t최선의 손실: 0.042654\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.054502\t최선의 손실: 0.042654\t정확도: 98.98%\n", "10\t검증 세트 손실: 0.079150\t최선의 손실: 0.042654\t정확도: 98.44%\n", "11\t검증 세트 손실: 0.057323\t최선의 손실: 0.042654\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.053549\t최선의 손실: 0.042654\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.038592\t최선의 손실: 0.038592\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.041572\t최선의 손실: 0.038592\t정확도: 98.98%\n", "15\t검증 세트 손실: 0.048119\t최선의 손실: 0.038592\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.088925\t최선의 손실: 0.038592\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.056454\t최선의 손실: 0.038592\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.067001\t최선의 손실: 0.038592\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.059244\t최선의 손실: 0.038592\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.086428\t최선의 손실: 0.038592\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.055140\t최선의 손실: 0.038592\t정확도: 98.71%\n", "22\t검증 세트 손실: 0.049232\t최선의 손실: 0.038592\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.044277\t최선의 손실: 0.038592\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.067027\t최선의 손실: 0.038592\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.052308\t최선의 손실: 0.038592\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.075311\t최선의 손실: 0.038592\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.048738\t최선의 손실: 0.038592\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.067107\t최선의 손실: 0.038592\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.068546\t최선의 손실: 0.038592\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.036169\t최선의 손실: 0.036169\t정확도: 99.02%\n", "31\t검증 세트 손실: 0.048950\t최선의 손실: 0.036169\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.064161\t최선의 손실: 0.036169\t정확도: 98.91%\n", "33\t검증 세트 손실: 0.049121\t최선의 손실: 0.036169\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.060449\t최선의 손실: 0.036169\t정확도: 98.67%\n", "35\t검증 세트 손실: 0.061958\t최선의 손실: 0.036169\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.041949\t최선의 손실: 0.036169\t정확도: 99.14%\n", "37\t검증 세트 손실: 0.089061\t최선의 손실: 0.036169\t정확도: 98.67%\n", "38\t검증 세트 손실: 0.059163\t최선의 손실: 0.036169\t정확도: 98.75%\n", "39\t검증 세트 손실: 0.043549\t최선의 손실: 0.036169\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.058095\t최선의 손실: 0.036169\t정확도: 98.67%\n", "41\t검증 세트 손실: 0.042257\t최선의 손실: 0.036169\t정확도: 99.14%\n", "42\t검증 세트 손실: 0.061088\t최선의 손실: 0.036169\t정확도: 98.94%\n", "43\t검증 세트 손실: 0.052863\t최선의 손실: 0.036169\t정확도: 98.91%\n", "44\t검증 세트 손실: 0.050679\t최선의 손실: 0.036169\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.062810\t최선의 손실: 0.036169\t정확도: 98.87%\n", "46\t검증 세트 손실: 0.035057\t최선의 손실: 0.035057\t정확도: 99.18%\n", "47\t검증 세트 손실: 0.044767\t최선의 손실: 0.035057\t정확도: 99.06%\n", "48\t검증 세트 손실: 0.052835\t최선의 손실: 0.035057\t정확도: 98.87%\n", "49\t검증 세트 손실: 0.053784\t최선의 손실: 0.035057\t정확도: 98.98%\n", "50\t검증 세트 손실: 0.061921\t최선의 손실: 0.035057\t정확도: 98.91%\n", "51\t검증 세트 손실: 0.052988\t최선의 손실: 0.035057\t정확도: 99.06%\n", "52\t검증 세트 손실: 0.049933\t최선의 손실: 0.035057\t정확도: 98.94%\n", "53\t검증 세트 손실: 0.051751\t최선의 손실: 0.035057\t정확도: 99.06%\n", "54\t검증 세트 손실: 0.064987\t최선의 손실: 0.035057\t정확도: 98.87%\n", "55\t검증 세트 손실: 0.056754\t최선의 손실: 0.035057\t정확도: 99.10%\n", "56\t검증 세트 손실: 0.072880\t최선의 손실: 0.035057\t정확도: 98.91%\n", "57\t검증 세트 손실: 0.048574\t최선의 손실: 0.035057\t정확도: 98.91%\n", "58\t검증 세트 손실: 0.047774\t최선의 손실: 0.035057\t정확도: 98.87%\n", "59\t검증 세트 손실: 0.052199\t최선의 손실: 0.035057\t정확도: 98.91%\n", "60\t검증 세트 손실: 0.050442\t최선의 손실: 0.035057\t정확도: 99.10%\n", "61\t검증 세트 손실: 0.058530\t최선의 손실: 0.035057\t정확도: 99.14%\n", "62\t검증 세트 손실: 0.062261\t최선의 손실: 0.035057\t정확도: 98.83%\n", "63\t검증 세트 손실: 0.053405\t최선의 손실: 0.035057\t정확도: 99.18%\n", "64\t검증 세트 손실: 0.049198\t최선의 손실: 0.035057\t정확도: 99.06%\n", "65\t검증 세트 손실: 0.057395\t최선의 손실: 0.035057\t정확도: 98.98%\n", "66\t검증 세트 손실: 0.059844\t최선의 손실: 0.035057\t정확도: 98.87%\n", "67\t검증 세트 손실: 0.053267\t최선의 손실: 0.035057\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=, total= 1.0min\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.151589\t최선의 손실: 0.151589\t정확도: 96.13%\n", "1\t검증 세트 손실: 0.052224\t최선의 손실: 0.052224\t정확도: 98.51%\n", "2\t검증 세트 손실: 0.052055\t최선의 손실: 0.052055\t정확도: 98.63%\n", "3\t검증 세트 손실: 0.048722\t최선의 손실: 0.048722\t정확도: 98.83%\n", "4\t검증 세트 손실: 0.058895\t최선의 손실: 0.048722\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.037095\t최선의 손실: 0.037095\t정확도: 99.06%\n", "6\t검증 세트 손실: 0.047332\t최선의 손실: 0.037095\t정확도: 98.79%\n", "7\t검증 세트 손실: 0.039567\t최선의 손실: 0.037095\t정확도: 98.94%\n", "8\t검증 세트 손실: 0.034035\t최선의 손실: 0.034035\t정확도: 99.26%\n", "9\t검증 세트 손실: 0.052690\t최선의 손실: 0.034035\t정확도: 98.91%\n", "10\t검증 세트 손실: 0.047969\t최선의 손실: 0.034035\t정확도: 98.83%\n", "11\t검증 세트 손실: 0.027934\t최선의 손실: 0.027934\t정확도: 99.26%\n", "12\t검증 세트 손실: 0.032326\t최선의 손실: 0.027934\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.031934\t최선의 손실: 0.027934\t정확도: 99.02%\n", "14\t검증 세트 손실: 0.029438\t최선의 손실: 0.027934\t정확도: 99.18%\n", "15\t검증 세트 손실: 0.034639\t최선의 손실: 0.027934\t정확도: 99.10%\n", "16\t검증 세트 손실: 0.040840\t최선의 손실: 0.027934\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.048664\t최선의 손실: 0.027934\t정확도: 99.10%\n", "18\t검증 세트 손실: 0.035986\t최선의 손실: 0.027934\t정확도: 99.22%\n", "19\t검증 세트 손실: 0.048631\t최선의 손실: 0.027934\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.046824\t최선의 손실: 0.027934\t정확도: 99.06%\n", "21\t검증 세트 손실: 0.044670\t최선의 손실: 0.027934\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.039645\t최선의 손실: 0.027934\t정확도: 99.06%\n", "23\t검증 세트 손실: 0.045477\t최선의 손실: 0.027934\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.039365\t최선의 손실: 0.027934\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.036166\t최선의 손실: 0.027934\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.058790\t최선의 손실: 0.027934\t정확도: 98.71%\n", "27\t검증 세트 손실: 0.041245\t최선의 손실: 0.027934\t정확도: 99.14%\n", "28\t검증 세트 손실: 0.036986\t최선의 손실: 0.027934\t정확도: 99.10%\n", "29\t검증 세트 손실: 0.061265\t최선의 손실: 0.027934\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.067769\t최선의 손실: 0.027934\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.046340\t최선의 손실: 0.027934\t정확도: 99.02%\n", "32\t검증 세트 손실: 0.047495\t최선의 손실: 0.027934\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=, total= 31.4s\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.100641\t최선의 손실: 0.100641\t정확도: 97.42%\n", "1\t검증 세트 손실: 0.059885\t최선의 손실: 0.059885\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.046458\t최선의 손실: 0.046458\t정확도: 98.55%\n", "3\t검증 세트 손실: 0.051675\t최선의 손실: 0.046458\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.036335\t최선의 손실: 0.036335\t정확도: 98.91%\n", "5\t검증 세트 손실: 0.030205\t최선의 손실: 0.030205\t정확도: 98.83%\n", "6\t검증 세트 손실: 0.033105\t최선의 손실: 0.030205\t정확도: 98.94%\n", "7\t검증 세트 손실: 0.042448\t최선의 손실: 0.030205\t정확도: 98.91%\n", "8\t검증 세트 손실: 0.047885\t최선의 손실: 0.030205\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.047775\t최선의 손실: 0.030205\t정확도: 98.87%\n", "10\t검증 세트 손실: 0.041655\t최선의 손실: 0.030205\t정확도: 99.02%\n", "11\t검증 세트 손실: 0.050623\t최선의 손실: 0.030205\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.037042\t최선의 손실: 0.030205\t정확도: 99.06%\n", "13\t검증 세트 손실: 0.045743\t최선의 손실: 0.030205\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.036839\t최선의 손실: 0.030205\t정확도: 99.10%\n", "15\t검증 세트 손실: 0.040590\t최선의 손실: 0.030205\t정확도: 99.14%\n", "16\t검증 세트 손실: 0.076304\t최선의 손실: 0.030205\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.039348\t최선의 손실: 0.030205\t정확도: 99.02%\n", "18\t검증 세트 손실: 0.048819\t최선의 손실: 0.030205\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.041032\t최선의 손실: 0.030205\t정확도: 99.30%\n", "20\t검증 세트 손실: 0.054299\t최선의 손실: 0.030205\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.042748\t최선의 손실: 0.030205\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.055540\t최선의 손실: 0.030205\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.028771\t최선의 손실: 0.028771\t정확도: 99.26%\n", "24\t검증 세트 손실: 0.039386\t최선의 손실: 0.028771\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.047120\t최선의 손실: 0.028771\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.037155\t최선의 손실: 0.028771\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.034586\t최선의 손실: 0.028771\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.048257\t최선의 손실: 0.028771\t정확도: 98.98%\n", "29\t검증 세트 손실: 0.063661\t최선의 손실: 0.028771\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.030371\t최선의 손실: 0.028771\t정확도: 99.26%\n", "31\t검증 세트 손실: 0.027067\t최선의 손실: 0.027067\t정확도: 99.22%\n", "32\t검증 세트 손실: 0.029734\t최선의 손실: 0.027067\t정확도: 99.30%\n", "33\t검증 세트 손실: 0.040404\t최선의 손실: 0.027067\t정확도: 98.87%\n", "34\t검증 세트 손실: 0.090502\t최선의 손실: 0.027067\t정확도: 98.44%\n", "35\t검증 세트 손실: 0.034950\t최선의 손실: 0.027067\t정확도: 99.26%\n", "36\t검증 세트 손실: 0.044129\t최선의 손실: 0.027067\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.047630\t최선의 손실: 0.027067\t정확도: 98.98%\n", "38\t검증 세트 손실: 0.039469\t최선의 손실: 0.027067\t정확도: 99.02%\n", "39\t검증 세트 손실: 0.037480\t최선의 손실: 0.027067\t정확도: 98.98%\n", "40\t검증 세트 손실: 0.039231\t최선의 손실: 0.027067\t정확도: 99.06%\n", "41\t검증 세트 손실: 0.035494\t최선의 손실: 0.027067\t정확도: 99.14%\n", "42\t검증 세트 손실: 0.030467\t최선의 손실: 0.027067\t정확도: 99.34%\n", "43\t검증 세트 손실: 0.049963\t최선의 손실: 0.027067\t정확도: 98.87%\n", "44\t검증 세트 손실: 0.038796\t최선의 손실: 0.027067\t정확도: 99.10%\n", "45\t검증 세트 손실: 0.029327\t최선의 손실: 0.027067\t정확도: 99.37%\n", "46\t검증 세트 손실: 0.045531\t최선의 손실: 0.027067\t정확도: 98.94%\n", "47\t검증 세트 손실: 0.036848\t최선의 손실: 0.027067\t정확도: 99.30%\n", "48\t검증 세트 손실: 0.031326\t최선의 손실: 0.027067\t정확도: 99.22%\n", "49\t검증 세트 손실: 0.026170\t최선의 손실: 0.026170\t정확도: 99.34%\n", "50\t검증 세트 손실: 0.045946\t최선의 손실: 0.026170\t정확도: 99.14%\n", "51\t검증 세트 손실: 0.059522\t최선의 손실: 0.026170\t정확도: 99.10%\n", "52\t검증 세트 손실: 0.041873\t최선의 손실: 0.026170\t정확도: 99.18%\n", "53\t검증 세트 손실: 0.038115\t최선의 손실: 0.026170\t정확도: 98.98%\n", "54\t검증 세트 손실: 0.040577\t최선의 손실: 0.026170\t정확도: 99.18%\n", "55\t검증 세트 손실: 0.046663\t최선의 손실: 0.026170\t정확도: 99.26%\n", "56\t검증 세트 손실: 0.032729\t최선의 손실: 0.026170\t정확도: 99.30%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "57\t검증 세트 손실: 0.042891\t최선의 손실: 0.026170\t정확도: 99.22%\n", "58\t검증 세트 손실: 0.029813\t최선의 손실: 0.026170\t정확도: 99.26%\n", "59\t검증 세트 손실: 0.039474\t최선의 손실: 0.026170\t정확도: 99.14%\n", "60\t검증 세트 손실: 0.051199\t최선의 손실: 0.026170\t정확도: 99.14%\n", "61\t검증 세트 손실: 0.041765\t최선의 손실: 0.026170\t정확도: 99.18%\n", "62\t검증 세트 손실: 0.040838\t최선의 손실: 0.026170\t정확도: 98.98%\n", "63\t검증 세트 손실: 0.044667\t최선의 손실: 0.026170\t정확도: 99.22%\n", "64\t검증 세트 손실: 0.044565\t최선의 손실: 0.026170\t정확도: 99.10%\n", "65\t검증 세트 손실: 0.048403\t최선의 손실: 0.026170\t정확도: 99.14%\n", "66\t검증 세트 손실: 0.062536\t최선의 손실: 0.026170\t정확도: 98.98%\n", "67\t검증 세트 손실: 0.060276\t최선의 손실: 0.026170\t정확도: 98.91%\n", "68\t검증 세트 손실: 0.039812\t최선의 손실: 0.026170\t정확도: 99.14%\n", "69\t검증 세트 손실: 0.052429\t최선의 손실: 0.026170\t정확도: 99.02%\n", "70\t검증 세트 손실: 0.040623\t최선의 손실: 0.026170\t정확도: 99.22%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=, total= 1.1min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.290341\t최선의 손실: 0.290341\t정확도: 92.81%\n", "1\t검증 세트 손실: 0.124678\t최선의 손실: 0.124678\t정확도: 96.01%\n", "2\t검증 세트 손실: 0.133001\t최선의 손실: 0.124678\t정확도: 96.91%\n", "3\t검증 세트 손실: 0.153747\t최선의 손실: 0.124678\t정확도: 95.66%\n", "4\t검증 세트 손실: 0.061355\t최선의 손실: 0.061355\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.082984\t최선의 손실: 0.061355\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.091248\t최선의 손실: 0.061355\t정확도: 97.34%\n", "7\t검증 세트 손실: 3.595508\t최선의 손실: 0.061355\t정확도: 68.41%\n", "8\t검증 세트 손실: 0.067114\t최선의 손실: 0.061355\t정확도: 97.81%\n", "9\t검증 세트 손실: 0.091273\t최선의 손실: 0.061355\t정확도: 98.05%\n", "10\t검증 세트 손실: 0.074277\t최선의 손실: 0.061355\t정확도: 98.24%\n", "11\t검증 세트 손실: 0.050295\t최선의 손실: 0.050295\t정확도: 98.44%\n", "12\t검증 세트 손실: 0.060044\t최선의 손실: 0.050295\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.119721\t최선의 손실: 0.050295\t정확도: 97.15%\n", "14\t검증 세트 손실: 0.083133\t최선의 손실: 0.050295\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.054504\t최선의 손실: 0.050295\t정확도: 98.83%\n", "16\t검증 세트 손실: 0.073744\t최선의 손실: 0.050295\t정확도: 98.16%\n", "17\t검증 세트 손실: 0.057721\t최선의 손실: 0.050295\t정확도: 98.63%\n", "18\t검증 세트 손실: 0.077117\t최선의 손실: 0.050295\t정확도: 98.20%\n", "19\t검증 세트 손실: 0.077681\t최선의 손실: 0.050295\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.057737\t최선의 손실: 0.050295\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.159420\t최선의 손실: 0.050295\t정확도: 97.42%\n", "22\t검증 세트 손실: 0.082404\t최선의 손실: 0.050295\t정확도: 98.48%\n", "23\t검증 세트 손실: 0.047016\t최선의 손실: 0.047016\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.079578\t최선의 손실: 0.047016\t정확도: 97.85%\n", "25\t검증 세트 손실: 0.050146\t최선의 손실: 0.047016\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.056030\t최선의 손실: 0.047016\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.064654\t최선의 손실: 0.047016\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.059529\t최선의 손실: 0.047016\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.084136\t최선의 손실: 0.047016\t정확도: 98.40%\n", "30\t검증 세트 손실: 0.354784\t최선의 손실: 0.047016\t정확도: 95.50%\n", "31\t검증 세트 손실: 0.074044\t최선의 손실: 0.047016\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.053567\t최선의 손실: 0.047016\t정확도: 98.63%\n", "33\t검증 세트 손실: 0.077495\t최선의 손실: 0.047016\t정확도: 98.08%\n", "34\t검증 세트 손실: 0.058532\t최선의 손실: 0.047016\t정확도: 98.75%\n", "35\t검증 세트 손실: 0.065447\t최선의 손실: 0.047016\t정확도: 98.55%\n", "36\t검증 세트 손실: 0.063479\t최선의 손실: 0.047016\t정확도: 98.87%\n", "37\t검증 세트 손실: 0.094612\t최선의 손실: 0.047016\t정확도: 98.08%\n", "38\t검증 세트 손실: 0.051279\t최선의 손실: 0.047016\t정확도: 98.55%\n", "39\t검증 세트 손실: 0.062355\t최선의 손실: 0.047016\t정확도: 98.63%\n", "40\t검증 세트 손실: 0.058902\t최선의 손실: 0.047016\t정확도: 98.63%\n", "41\t검증 세트 손실: 0.059462\t최선의 손실: 0.047016\t정확도: 98.67%\n", "42\t검증 세트 손실: 0.103451\t최선의 손실: 0.047016\t정확도: 98.36%\n", "43\t검증 세트 손실: 0.056165\t최선의 손실: 0.047016\t정확도: 98.67%\n", "44\t검증 세트 손실: 0.070525\t최선의 손실: 0.047016\t정확도: 98.44%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.4min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.134512\t최선의 손실: 0.134512\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.171089\t최선의 손실: 0.134512\t정확도: 95.97%\n", "2\t검증 세트 손실: 0.154668\t최선의 손실: 0.134512\t정확도: 95.43%\n", "3\t검증 세트 손실: 0.082867\t최선의 손실: 0.082867\t정확도: 97.77%\n", "4\t검증 세트 손실: 0.075059\t최선의 손실: 0.075059\t정확도: 97.97%\n", "5\t검증 세트 손실: 0.075293\t최선의 손실: 0.075059\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.054560\t최선의 손실: 0.054560\t정확도: 98.71%\n", "7\t검증 세트 손실: 0.060668\t최선의 손실: 0.054560\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.096402\t최선의 손실: 0.054560\t정확도: 98.08%\n", "9\t검증 세트 손실: 0.071856\t최선의 손실: 0.054560\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.076573\t최선의 손실: 0.054560\t정확도: 97.81%\n", "11\t검증 세트 손실: 0.057996\t최선의 손실: 0.054560\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.089447\t최선의 손실: 0.054560\t정확도: 97.89%\n", "13\t검증 세트 손실: 0.050383\t최선의 손실: 0.050383\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.086850\t최선의 손실: 0.050383\t정확도: 98.28%\n", "15\t검증 세트 손실: 0.063397\t최선의 손실: 0.050383\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.065012\t최선의 손실: 0.050383\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.073354\t최선의 손실: 0.050383\t정확도: 98.32%\n", "18\t검증 세트 손실: 0.102597\t최선의 손실: 0.050383\t정확도: 97.85%\n", "19\t검증 세트 손실: 0.092346\t최선의 손실: 0.050383\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.064255\t최선의 손실: 0.050383\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.111939\t최선의 손실: 0.050383\t정확도: 97.73%\n", "22\t검증 세트 손실: 0.065158\t최선의 손실: 0.050383\t정확도: 98.32%\n", "23\t검증 세트 손실: 0.067054\t최선의 손실: 0.050383\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.104743\t최선의 손실: 0.050383\t정확도: 98.24%\n", "25\t검증 세트 손실: 0.058547\t최선의 손실: 0.050383\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.096374\t최선의 손실: 0.050383\t정확도: 98.40%\n", "27\t검증 세트 손실: 0.059007\t최선의 손실: 0.050383\t정확도: 98.67%\n", "28\t검증 세트 손실: 0.069398\t최선의 손실: 0.050383\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.109084\t최선의 손실: 0.050383\t정확도: 97.11%\n", "30\t검증 세트 손실: 0.054116\t최선의 손실: 0.050383\t정확도: 98.59%\n", "31\t검증 세트 손실: 0.078547\t최선의 손실: 0.050383\t정확도: 97.69%\n", "32\t검증 세트 손실: 0.087979\t최선의 손실: 0.050383\t정확도: 98.32%\n", "33\t검증 세트 손실: 0.060714\t최선의 손실: 0.050383\t정확도: 98.32%\n", "34\t검증 세트 손실: 0.083282\t최선의 손실: 0.050383\t정확도: 98.24%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.8min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.126449\t최선의 손실: 0.126449\t정확도: 96.52%\n", "1\t검증 세트 손실: 0.092477\t최선의 손실: 0.092477\t정확도: 97.30%\n", "2\t검증 세트 손실: 0.133098\t최선의 손실: 0.092477\t정확도: 96.29%\n", "3\t검증 세트 손실: 0.063193\t최선의 손실: 0.063193\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.085974\t최선의 손실: 0.063193\t정확도: 97.30%\n", "5\t검증 세트 손실: 0.065425\t최선의 손실: 0.063193\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.077555\t최선의 손실: 0.063193\t정확도: 97.89%\n", "7\t검증 세트 손실: 0.066674\t최선의 손실: 0.063193\t정확도: 98.16%\n", "8\t검증 세트 손실: 0.140984\t최선의 손실: 0.063193\t정확도: 97.26%\n", "9\t검증 세트 손실: 0.088418\t최선의 손실: 0.063193\t정확도: 97.58%\n", "10\t검증 세트 손실: 0.185025\t최선의 손실: 0.063193\t정확도: 96.29%\n", "11\t검증 세트 손실: 0.039858\t최선의 손실: 0.039858\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.065384\t최선의 손실: 0.039858\t정확도: 98.08%\n", "13\t검증 세트 손실: 0.048647\t최선의 손실: 0.039858\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.089651\t최선의 손실: 0.039858\t정확도: 98.12%\n", "15\t검증 세트 손실: 0.103502\t최선의 손실: 0.039858\t정확도: 97.62%\n", "16\t검증 세트 손실: 0.079424\t최선의 손실: 0.039858\t정확도: 98.44%\n", "17\t검증 세트 손실: 0.129762\t최선의 손실: 0.039858\t정확도: 97.11%\n", "18\t검증 세트 손실: 0.075431\t최선의 손실: 0.039858\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.062781\t최선의 손실: 0.039858\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.051886\t최선의 손실: 0.039858\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.068253\t최선의 손실: 0.039858\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.059657\t최선의 손실: 0.039858\t정확도: 98.51%\n", "23\t검증 세트 손실: 0.064838\t최선의 손실: 0.039858\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.057088\t최선의 손실: 0.039858\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.067469\t최선의 손실: 0.039858\t정확도: 98.28%\n", "26\t검증 세트 손실: 0.053739\t최선의 손실: 0.039858\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.084539\t최선의 손실: 0.039858\t정확도: 98.32%\n", "28\t검증 세트 손실: 0.079748\t최선의 손실: 0.039858\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.063447\t최선의 손실: 0.039858\t정확도: 98.44%\n", "30\t검증 세트 손실: 0.074327\t최선의 손실: 0.039858\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.068876\t최선의 손실: 0.039858\t정확도: 98.20%\n", "32\t검증 세트 손실: 0.091237\t최선의 손실: 0.039858\t정확도: 98.08%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.099144\t최선의 손실: 0.099144\t정확도: 96.79%\n", "1\t검증 세트 손실: 0.115324\t최선의 손실: 0.099144\t정확도: 97.07%\n", "2\t검증 세트 손실: 0.063067\t최선의 손실: 0.063067\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.052500\t최선의 손실: 0.052500\t정확도: 98.24%\n", "4\t검증 세트 손실: 0.054464\t최선의 손실: 0.052500\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.046948\t최선의 손실: 0.046948\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.045710\t최선의 손실: 0.045710\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.044930\t최선의 손실: 0.044930\t정확도: 98.87%\n", "8\t검증 세트 손실: 0.077419\t최선의 손실: 0.044930\t정확도: 98.28%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "9\t검증 세트 손실: 0.039954\t최선의 손실: 0.039954\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.056242\t최선의 손실: 0.039954\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.044918\t최선의 손실: 0.039954\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.055548\t최선의 손실: 0.039954\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.100073\t최선의 손실: 0.039954\t정확도: 98.05%\n", "14\t검증 세트 손실: 0.053818\t최선의 손실: 0.039954\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.067923\t최선의 손실: 0.039954\t정확도: 98.55%\n", "16\t검증 세트 손실: 0.072164\t최선의 손실: 0.039954\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.056357\t최선의 손실: 0.039954\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.034581\t최선의 손실: 0.034581\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.045819\t최선의 손실: 0.034581\t정확도: 99.06%\n", "20\t검증 세트 손실: 0.055157\t최선의 손실: 0.034581\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.157635\t최선의 손실: 0.034581\t정확도: 97.85%\n", "22\t검증 세트 손실: 0.080509\t최선의 손실: 0.034581\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.077401\t최선의 손실: 0.034581\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.046057\t최선의 손실: 0.034581\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.050843\t최선의 손실: 0.034581\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.036200\t최선의 손실: 0.034581\t정확도: 99.18%\n", "27\t검증 세트 손실: 0.057026\t최선의 손실: 0.034581\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.047743\t최선의 손실: 0.034581\t정확도: 99.18%\n", "29\t검증 세트 손실: 0.052913\t최선의 손실: 0.034581\t정확도: 99.02%\n", "30\t검증 세트 손실: 0.067340\t최선의 손실: 0.034581\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.074098\t최선의 손실: 0.034581\t정확도: 98.51%\n", "32\t검증 세트 손실: 0.057628\t최선의 손실: 0.034581\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.137800\t최선의 손실: 0.034581\t정확도: 98.12%\n", "34\t검증 세트 손실: 0.113036\t최선의 손실: 0.034581\t정확도: 98.51%\n", "35\t검증 세트 손실: 0.061875\t최선의 손실: 0.034581\t정확도: 99.06%\n", "36\t검증 세트 손실: 0.043442\t최선의 손실: 0.034581\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.048663\t최선의 손실: 0.034581\t정확도: 99.26%\n", "38\t검증 세트 손실: 0.044993\t최선의 손실: 0.034581\t정확도: 99.30%\n", "39\t검증 세트 손실: 0.050081\t최선의 손실: 0.034581\t정확도: 99.18%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=, total= 34.8s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.105398\t최선의 손실: 0.105398\t정확도: 96.56%\n", "1\t검증 세트 손실: 0.064894\t최선의 손실: 0.064894\t정확도: 97.69%\n", "2\t검증 세트 손실: 0.054920\t최선의 손실: 0.054920\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.073568\t최선의 손실: 0.054920\t정확도: 98.12%\n", "4\t검증 세트 손실: 0.060250\t최선의 손실: 0.054920\t정확도: 98.01%\n", "5\t검증 세트 손실: 0.054557\t최선의 손실: 0.054557\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.054915\t최선의 손실: 0.054557\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.073555\t최선의 손실: 0.054557\t정확도: 98.16%\n", "8\t검증 세트 손실: 0.060049\t최선의 손실: 0.054557\t정확도: 98.40%\n", "9\t검증 세트 손실: 0.081117\t최선의 손실: 0.054557\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.048303\t최선의 손실: 0.048303\t정확도: 98.94%\n", "11\t검증 세트 손실: 0.058062\t최선의 손실: 0.048303\t정확도: 98.48%\n", "12\t검증 세트 손실: 0.048739\t최선의 손실: 0.048303\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.062269\t최선의 손실: 0.048303\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.046359\t최선의 손실: 0.046359\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.056421\t최선의 손실: 0.046359\t정확도: 98.83%\n", "16\t검증 세트 손실: 0.091915\t최선의 손실: 0.046359\t정확도: 98.12%\n", "17\t검증 세트 손실: 0.040979\t최선의 손실: 0.040979\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.057160\t최선의 손실: 0.040979\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.059185\t최선의 손실: 0.040979\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.097316\t최선의 손실: 0.040979\t정확도: 98.12%\n", "21\t검증 세트 손실: 0.056304\t최선의 손실: 0.040979\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.122441\t최선의 손실: 0.040979\t정확도: 97.30%\n", "23\t검증 세트 손실: 0.061851\t최선의 손실: 0.040979\t정확도: 98.75%\n", "24\t검증 세트 손실: 0.069927\t최선의 손실: 0.040979\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.068198\t최선의 손실: 0.040979\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.059452\t최선의 손실: 0.040979\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.129899\t최선의 손실: 0.040979\t정확도: 98.71%\n", "28\t검증 세트 손실: 0.112761\t최선의 손실: 0.040979\t정확도: 98.20%\n", "29\t검증 세트 손실: 0.085539\t최선의 손실: 0.040979\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.066737\t최선의 손실: 0.040979\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.062535\t최선의 손실: 0.040979\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.064168\t최선의 손실: 0.040979\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.054732\t최선의 손실: 0.040979\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.056162\t최선의 손실: 0.040979\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.080275\t최선의 손실: 0.040979\t정확도: 98.91%\n", "36\t검증 세트 손실: 0.120962\t최선의 손실: 0.040979\t정확도: 98.32%\n", "37\t검증 세트 손실: 0.293227\t최선의 손실: 0.040979\t정확도: 98.05%\n", "38\t검증 세트 손실: 0.075564\t최선의 손실: 0.040979\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=, total= 34.0s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.089023\t최선의 손실: 0.089023\t정확도: 97.19%\n", "1\t검증 세트 손실: 0.081033\t최선의 손실: 0.081033\t정확도: 97.19%\n", "2\t검증 세트 손실: 0.066444\t최선의 손실: 0.066444\t정확도: 97.89%\n", "3\t검증 세트 손실: 0.060929\t최선의 손실: 0.060929\t정확도: 98.24%\n", "4\t검증 세트 손실: 0.073254\t최선의 손실: 0.060929\t정확도: 97.73%\n", "5\t검증 세트 손실: 0.073792\t최선의 손실: 0.060929\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.042751\t최선의 손실: 0.042751\t정확도: 98.75%\n", "7\t검증 세트 손실: 0.066938\t최선의 손실: 0.042751\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.050041\t최선의 손실: 0.042751\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.048842\t최선의 손실: 0.042751\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.057340\t최선의 손실: 0.042751\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.052280\t최선의 손실: 0.042751\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.062022\t최선의 손실: 0.042751\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.046930\t최선의 손실: 0.042751\t정확도: 98.98%\n", "14\t검증 세트 손실: 0.057919\t최선의 손실: 0.042751\t정확도: 98.71%\n", "15\t검증 세트 손실: 0.057091\t최선의 손실: 0.042751\t정확도: 98.55%\n", "16\t검증 세트 손실: 0.052608\t최선의 손실: 0.042751\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.048918\t최선의 손실: 0.042751\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.045349\t최선의 손실: 0.042751\t정확도: 99.10%\n", "19\t검증 세트 손실: 0.076084\t최선의 손실: 0.042751\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.067313\t최선의 손실: 0.042751\t정확도: 98.40%\n", "21\t검증 세트 손실: 0.057034\t최선의 손실: 0.042751\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.052216\t최선의 손실: 0.042751\t정확도: 98.94%\n", "23\t검증 세트 손실: 0.045283\t최선의 손실: 0.042751\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.062784\t최선의 손실: 0.042751\t정확도: 98.40%\n", "25\t검증 세트 손실: 0.044555\t최선의 손실: 0.042751\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.130142\t최선의 손실: 0.042751\t정확도: 98.08%\n", "27\t검증 세트 손실: 0.067980\t최선의 손실: 0.042751\t정확도: 98.71%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.9, activation=, total= 24.9s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.113513\t최선의 손실: 0.113513\t정확도: 96.68%\n", "1\t검증 세트 손실: 0.068951\t최선의 손실: 0.068951\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.064436\t최선의 손실: 0.064436\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.060489\t최선의 손실: 0.060489\t정확도: 98.40%\n", "4\t검증 세트 손실: 0.059261\t최선의 손실: 0.059261\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.083296\t최선의 손실: 0.059261\t정확도: 97.89%\n", "6\t검증 세트 손실: 0.073466\t최선의 손실: 0.059261\t정확도: 98.28%\n", "7\t검증 세트 손실: 0.044369\t최선의 손실: 0.044369\t정확도: 98.83%\n", "8\t검증 세트 손실: 0.057644\t최선의 손실: 0.044369\t정확도: 98.40%\n", "9\t검증 세트 손실: 0.063977\t최선의 손실: 0.044369\t정확도: 98.55%\n", "10\t검증 세트 손실: 0.074322\t최선의 손실: 0.044369\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.056014\t최선의 손실: 0.044369\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.048307\t최선의 손실: 0.044369\t정확도: 98.79%\n", "13\t검증 세트 손실: 0.080736\t최선의 손실: 0.044369\t정확도: 98.24%\n", "14\t검증 세트 손실: 0.100855\t최선의 손실: 0.044369\t정확도: 98.12%\n", "15\t검증 세트 손실: 0.056241\t최선의 손실: 0.044369\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.053142\t최선의 손실: 0.044369\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.055138\t최선의 손실: 0.044369\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.233850\t최선의 손실: 0.044369\t정확도: 97.38%\n", "19\t검증 세트 손실: 0.085971\t최선의 손실: 0.044369\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.061474\t최선의 손실: 0.044369\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.039463\t최선의 손실: 0.039463\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.094316\t최선의 손실: 0.039463\t정확도: 98.51%\n", "23\t검증 세트 손실: 0.175438\t최선의 손실: 0.039463\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.070551\t최선의 손실: 0.039463\t정확도: 98.98%\n", "25\t검증 세트 손실: 0.062260\t최선의 손실: 0.039463\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.052628\t최선의 손실: 0.039463\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.068984\t최선의 손실: 0.039463\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.060191\t최선의 손실: 0.039463\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.067728\t최선의 손실: 0.039463\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.146669\t최선의 손실: 0.039463\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.174983\t최선의 손실: 0.039463\t정확도: 98.48%\n", "32\t검증 세트 손실: 0.078731\t최선의 손실: 0.039463\t정확도: 98.83%\n", "33\t검증 세트 손실: 0.102432\t최선의 손실: 0.039463\t정확도: 98.55%\n", "34\t검증 세트 손실: 0.087327\t최선의 손실: 0.039463\t정확도: 98.71%\n", "35\t검증 세트 손실: 0.100011\t최선의 손실: 0.039463\t정확도: 98.79%\n", "36\t검증 세트 손실: 0.122788\t최선의 손실: 0.039463\t정확도: 98.40%\n", "37\t검증 세트 손실: 0.232688\t최선의 손실: 0.039463\t정확도: 98.55%\n", "38\t검증 세트 손실: 0.090504\t최선의 손실: 0.039463\t정확도: 99.26%\n", "39\t검증 세트 손실: 0.092557\t최선의 손실: 0.039463\t정확도: 99.06%\n", "40\t검증 세트 손실: 0.087615\t최선의 손실: 0.039463\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.079954\t최선의 손실: 0.039463\t정확도: 98.94%\n", "42\t검증 세트 손실: 0.098650\t최선의 손실: 0.039463\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=, total= 55.8s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.111306\t최선의 손실: 0.111306\t정확도: 96.60%\n", "1\t검증 세트 손실: 0.073856\t최선의 손실: 0.073856\t정확도: 98.05%\n", "2\t검증 세트 손실: 0.065652\t최선의 손실: 0.065652\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.058890\t최선의 손실: 0.058890\t정확도: 98.01%\n", "4\t검증 세트 손실: 0.093132\t최선의 손실: 0.058890\t정확도: 97.34%\n", "5\t검증 세트 손실: 0.057984\t최선의 손실: 0.057984\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.057740\t최선의 손실: 0.057740\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.054652\t최선의 손실: 0.054652\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.062908\t최선의 손실: 0.054652\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.063045\t최선의 손실: 0.054652\t정확도: 98.36%\n", "10\t검증 세트 손실: 0.067523\t최선의 손실: 0.054652\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.126460\t최선의 손실: 0.054652\t정확도: 97.77%\n", "12\t검증 세트 손실: 0.048243\t최선의 손실: 0.048243\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.040426\t최선의 손실: 0.040426\t정확도: 99.06%\n", "14\t검증 세트 손실: 0.042513\t최선의 손실: 0.040426\t정확도: 98.94%\n", "15\t검증 세트 손실: 0.036880\t최선의 손실: 0.036880\t정확도: 99.26%\n", "16\t검증 세트 손실: 0.066805\t최선의 손실: 0.036880\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.061975\t최선의 손실: 0.036880\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.061336\t최선의 손실: 0.036880\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.050670\t최선의 손실: 0.036880\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.049398\t최선의 손실: 0.036880\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.165993\t최선의 손실: 0.036880\t정확도: 98.01%\n", "22\t검증 세트 손실: 0.115827\t최선의 손실: 0.036880\t정확도: 98.16%\n", "23\t검증 세트 손실: 0.043071\t최선의 손실: 0.036880\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.065797\t최선의 손실: 0.036880\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.051891\t최선의 손실: 0.036880\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.112124\t최선의 손실: 0.036880\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.058227\t최선의 손실: 0.036880\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.049401\t최선의 손실: 0.036880\t정확도: 99.22%\n", "29\t검증 세트 손실: 0.043503\t최선의 손실: 0.036880\t정확도: 99.30%\n", "30\t검증 세트 손실: 0.060543\t최선의 손실: 0.036880\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.314244\t최선의 손실: 0.036880\t정확도: 97.85%\n", "32\t검증 세트 손실: 0.117441\t최선의 손실: 0.036880\t정확도: 98.44%\n", "33\t검증 세트 손실: 0.071707\t최선의 손실: 0.036880\t정확도: 98.87%\n", "34\t검증 세트 손실: 0.065386\t최선의 손실: 0.036880\t정확도: 99.06%\n", "35\t검증 세트 손실: 0.063128\t최선의 손실: 0.036880\t정확도: 99.14%\n", "36\t검증 세트 손실: 0.115051\t최선의 손실: 0.036880\t정확도: 98.44%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=, total= 48.7s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.135728\t최선의 손실: 0.135728\t정확도: 96.48%\n", "1\t검증 세트 손실: 0.087087\t최선의 손실: 0.087087\t정확도: 97.62%\n", "2\t검증 세트 손실: 0.075364\t최선의 손실: 0.075364\t정확도: 97.65%\n", "3\t검증 세트 손실: 0.081787\t최선의 손실: 0.075364\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.063145\t최선의 손실: 0.063145\t정확도: 98.67%\n", "5\t검증 세트 손실: 0.051189\t최선의 손실: 0.051189\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.066969\t최선의 손실: 0.051189\t정확도: 98.05%\n", "7\t검증 세트 손실: 0.079069\t최선의 손실: 0.051189\t정확도: 98.48%\n", "8\t검증 세트 손실: 0.045786\t최선의 손실: 0.045786\t정확도: 98.79%\n", "9\t검증 세트 손실: 0.080343\t최선의 손실: 0.045786\t정확도: 97.85%\n", "10\t검증 세트 손실: 0.040683\t최선의 손실: 0.040683\t정확도: 99.06%\n", "11\t검증 세트 손실: 0.044792\t최선의 손실: 0.040683\t정확도: 98.94%\n", "12\t검증 세트 손실: 0.068421\t최선의 손실: 0.040683\t정확도: 98.20%\n", "13\t검증 세트 손실: 0.037501\t최선의 손실: 0.037501\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.210061\t최선의 손실: 0.037501\t정확도: 96.05%\n", "15\t검증 세트 손실: 0.057494\t최선의 손실: 0.037501\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.051072\t최선의 손실: 0.037501\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.045633\t최선의 손실: 0.037501\t정확도: 99.02%\n", "18\t검증 세트 손실: 0.042456\t최선의 손실: 0.037501\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.054844\t최선의 손실: 0.037501\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.066687\t최선의 손실: 0.037501\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.088692\t최선의 손실: 0.037501\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.086446\t최선의 손실: 0.037501\t정확도: 98.94%\n", "23\t검증 세트 손실: 0.060725\t최선의 손실: 0.037501\t정확도: 99.06%\n", "24\t검증 세트 손실: 0.048680\t최선의 손실: 0.037501\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.069788\t최선의 손실: 0.037501\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.051100\t최선의 손실: 0.037501\t정확도: 99.10%\n", "27\t검증 세트 손실: 0.056261\t최선의 손실: 0.037501\t정확도: 99.14%\n", "28\t검증 세트 손실: 0.065592\t최선의 손실: 0.037501\t정확도: 98.91%\n", "29\t검증 세트 손실: 0.159203\t최선의 손실: 0.037501\t정확도: 98.67%\n", "30\t검증 세트 손실: 0.079300\t최선의 손실: 0.037501\t정확도: 99.02%\n", "31\t검증 세트 손실: 0.072412\t최선의 손실: 0.037501\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.051738\t최선의 손실: 0.037501\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.075235\t최선의 손실: 0.037501\t정확도: 99.06%\n", "34\t검증 세트 손실: 0.093662\t최선의 손실: 0.037501\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.9, activation=, total= 45.8s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.614383\t최선의 손실: 0.614383\t정확도: 91.05%\n", "1\t검증 세트 손실: 0.095887\t최선의 손실: 0.095887\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.078577\t최선의 손실: 0.078577\t정확도: 97.89%\n", "3\t검증 세트 손실: 0.064755\t최선의 손실: 0.064755\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.120429\t최선의 손실: 0.064755\t정확도: 96.79%\n", "5\t검증 세트 손실: 0.075160\t최선의 손실: 0.064755\t정확도: 98.24%\n", "6\t검증 세트 손실: 0.057623\t최선의 손실: 0.057623\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.053828\t최선의 손실: 0.053828\t정확도: 98.48%\n", "8\t검증 세트 손실: 0.074468\t최선의 손실: 0.053828\t정확도: 98.28%\n", "9\t검증 세트 손실: 0.081164\t최선의 손실: 0.053828\t정확도: 98.01%\n", "10\t검증 세트 손실: 0.072241\t최선의 손실: 0.053828\t정확도: 98.51%\n", "11\t검증 세트 손실: 0.049344\t최선의 손실: 0.049344\t정확도: 98.79%\n", "12\t검증 세트 손실: 0.091399\t최선의 손실: 0.049344\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.071793\t최선의 손실: 0.049344\t정확도: 98.20%\n", "14\t검증 세트 손실: 0.082131\t최선의 손실: 0.049344\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.062361\t최선의 손실: 0.049344\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.061084\t최선의 손실: 0.049344\t정확도: 98.79%\n", "17\t검증 세트 손실: 0.055420\t최선의 손실: 0.049344\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.073390\t최선의 손실: 0.049344\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.057887\t최선의 손실: 0.049344\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.068826\t최선의 손실: 0.049344\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.077724\t최선의 손실: 0.049344\t정확도: 98.44%\n", "22\t검증 세트 손실: 0.072042\t최선의 손실: 0.049344\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.059489\t최선의 손실: 0.049344\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.067487\t최선의 손실: 0.049344\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.083031\t최선의 손실: 0.049344\t정확도: 98.48%\n", "26\t검증 세트 손실: 0.102723\t최선의 손실: 0.049344\t정확도: 98.28%\n", "27\t검증 세트 손실: 0.098541\t최선의 손실: 0.049344\t정확도: 98.67%\n", "28\t검증 세트 손실: 0.052200\t최선의 손실: 0.049344\t정확도: 98.79%\n", "29\t검증 세트 손실: 0.123723\t최선의 손실: 0.049344\t정확도: 98.28%\n", "30\t검증 세트 손실: 0.091478\t최선의 손실: 0.049344\t정확도: 98.24%\n", "31\t검증 세트 손실: 0.090837\t최선의 손실: 0.049344\t정확도: 98.40%\n", "32\t검증 세트 손실: 0.052527\t최선의 손실: 0.049344\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=, total= 26.6s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.248080\t최선의 손실: 0.248080\t정확도: 94.92%\n", "1\t검증 세트 손실: 0.118180\t최선의 손실: 0.118180\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.159837\t최선의 손실: 0.118180\t정확도: 96.95%\n", "3\t검증 세트 손실: 0.091653\t최선의 손실: 0.091653\t정확도: 97.73%\n", "4\t검증 세트 손실: 0.066284\t최선의 손실: 0.066284\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.061879\t최선의 손실: 0.061879\t정확도: 98.16%\n", "6\t검증 세트 손실: 0.076704\t최선의 손실: 0.061879\t정확도: 97.89%\n", "7\t검증 세트 손실: 0.096637\t최선의 손실: 0.061879\t정확도: 97.65%\n", "8\t검증 세트 손실: 0.063519\t최선의 손실: 0.061879\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.077627\t최선의 손실: 0.061879\t정확도: 97.89%\n", "10\t검증 세트 손실: 0.092635\t최선의 손실: 0.061879\t정확도: 98.44%\n", "11\t검증 세트 손실: 0.114318\t최선의 손실: 0.061879\t정확도: 97.89%\n", "12\t검증 세트 손실: 0.140188\t최선의 손실: 0.061879\t정확도: 98.12%\n", "13\t검증 세트 손실: 0.079037\t최선의 손실: 0.061879\t정확도: 97.73%\n", "14\t검증 세트 손실: 0.067202\t최선의 손실: 0.061879\t정확도: 98.32%\n", "15\t검증 세트 손실: 0.104569\t최선의 손실: 0.061879\t정확도: 97.69%\n", "16\t검증 세트 손실: 0.061750\t최선의 손실: 0.061750\t정확도: 98.01%\n", "17\t검증 세트 손실: 0.099896\t최선의 손실: 0.061750\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.073799\t최선의 손실: 0.061750\t정확도: 98.08%\n", "19\t검증 세트 손실: 0.054059\t최선의 손실: 0.054059\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.082522\t최선의 손실: 0.054059\t정확도: 98.16%\n", "21\t검증 세트 손실: 0.102147\t최선의 손실: 0.054059\t정확도: 98.32%\n", "22\t검증 세트 손실: 0.082872\t최선의 손실: 0.054059\t정확도: 98.59%\n", "23\t검증 세트 손실: 0.055274\t최선의 손실: 0.054059\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.062160\t최선의 손실: 0.054059\t정확도: 98.40%\n", "25\t검증 세트 손실: 0.059299\t최선의 손실: 0.054059\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.072345\t최선의 손실: 0.054059\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.075447\t최선의 손실: 0.054059\t정확도: 98.71%\n", "28\t검증 세트 손실: 0.060164\t최선의 손실: 0.054059\t정확도: 98.91%\n", "29\t검증 세트 손실: 0.068226\t최선의 손실: 0.054059\t정확도: 98.94%\n", "30\t검증 세트 손실: 0.064627\t최선의 손실: 0.054059\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.082111\t최선의 손실: 0.054059\t정확도: 98.79%\n", "32\t검증 세트 손실: 0.087512\t최선의 손실: 0.054059\t정확도: 97.93%\n", "33\t검증 세트 손실: 0.068156\t최선의 손실: 0.054059\t정확도: 98.87%\n", "34\t검증 세트 손실: 0.084178\t최선의 손실: 0.054059\t정확도: 98.75%\n", "35\t검증 세트 손실: 0.083758\t최선의 손실: 0.054059\t정확도: 98.32%\n", "36\t검증 세트 손실: 0.066259\t최선의 손실: 0.054059\t정확도: 98.48%\n", "37\t검증 세트 손실: 0.071180\t최선의 손실: 0.054059\t정확도: 98.63%\n", "38\t검증 세트 손실: 0.101784\t최선의 손실: 0.054059\t정확도: 98.44%\n", "39\t검증 세트 손실: 0.164873\t최선의 손실: 0.054059\t정확도: 97.77%\n", "40\t검증 세트 손실: 0.074490\t최선의 손실: 0.054059\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=, total= 32.6s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.254632\t최선의 손실: 0.254632\t정확도: 96.44%\n", "1\t검증 세트 손실: 0.088589\t최선의 손실: 0.088589\t정확도: 97.62%\n", "2\t검증 세트 손실: 0.099244\t최선의 손실: 0.088589\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.122457\t최선의 손실: 0.088589\t정확도: 97.19%\n", "4\t검증 세트 손실: 0.065698\t최선의 손실: 0.065698\t정확도: 98.24%\n", "5\t검증 세트 손실: 0.064093\t최선의 손실: 0.064093\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.076670\t최선의 손실: 0.064093\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.073089\t최선의 손실: 0.064093\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.062894\t최선의 손실: 0.062894\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.086110\t최선의 손실: 0.062894\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.085920\t최선의 손실: 0.062894\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.047614\t최선의 손실: 0.047614\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.059643\t최선의 손실: 0.047614\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.061310\t최선의 손실: 0.047614\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.070361\t최선의 손실: 0.047614\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.119703\t최선의 손실: 0.047614\t정확도: 98.01%\n", "16\t검증 세트 손실: 0.053047\t최선의 손실: 0.047614\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.051345\t최선의 손실: 0.047614\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.076449\t최선의 손실: 0.047614\t정확도: 98.55%\n", "19\t검증 세트 손실: 0.099839\t최선의 손실: 0.047614\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.073787\t최선의 손실: 0.047614\t정확도: 97.93%\n", "21\t검증 세트 손실: 0.067983\t최선의 손실: 0.047614\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.063458\t최선의 손실: 0.047614\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.059958\t최선의 손실: 0.047614\t정확도: 98.87%\n", "24\t검증 세트 손실: 0.050966\t최선의 손실: 0.047614\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.064614\t최선의 손실: 0.047614\t정확도: 98.59%\n", "26\t검증 세트 손실: 0.066802\t최선의 손실: 0.047614\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.048795\t최선의 손실: 0.047614\t정확도: 98.63%\n", "28\t검증 세트 손실: 0.054702\t최선의 손실: 0.047614\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.058581\t최선의 손실: 0.047614\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.042670\t최선의 손실: 0.042670\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.077934\t최선의 손실: 0.042670\t정확도: 98.63%\n", "32\t검증 세트 손실: 0.040889\t최선의 손실: 0.040889\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.048097\t최선의 손실: 0.040889\t정확도: 98.87%\n", "34\t검증 세트 손실: 0.070016\t최선의 손실: 0.040889\t정확도: 98.63%\n", "35\t검증 세트 손실: 0.054449\t최선의 손실: 0.040889\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.081662\t최선의 손실: 0.040889\t정확도: 98.67%\n", "37\t검증 세트 손실: 0.052797\t최선의 손실: 0.040889\t정확도: 98.94%\n", "38\t검증 세트 손실: 0.084865\t최선의 손실: 0.040889\t정확도: 98.51%\n", "39\t검증 세트 손실: 0.045995\t최선의 손실: 0.040889\t정확도: 98.87%\n", "40\t검증 세트 손실: 0.096102\t최선의 손실: 0.040889\t정확도: 98.24%\n", "41\t검증 세트 손실: 0.169859\t최선의 손실: 0.040889\t정확도: 98.55%\n", "42\t검증 세트 손실: 0.076930\t최선의 손실: 0.040889\t정확도: 98.67%\n", "43\t검증 세트 손실: 0.065266\t최선의 손실: 0.040889\t정확도: 98.98%\n", "44\t검증 세트 손실: 0.063774\t최선의 손실: 0.040889\t정확도: 99.06%\n", "45\t검증 세트 손실: 0.083190\t최선의 손실: 0.040889\t정확도: 98.91%\n", "46\t검증 세트 손실: 0.074638\t최선의 손실: 0.040889\t정확도: 98.63%\n", "47\t검증 세트 손실: 0.062336\t최선의 손실: 0.040889\t정확도: 98.87%\n", "48\t검증 세트 손실: 0.052928\t최선의 손실: 0.040889\t정확도: 99.14%\n", "49\t검증 세트 손실: 0.090618\t최선의 손실: 0.040889\t정확도: 98.44%\n", "50\t검증 세트 손실: 0.088284\t최선의 손실: 0.040889\t정확도: 98.63%\n", "51\t검증 세트 손실: 0.061876\t최선의 손실: 0.040889\t정확도: 98.83%\n", "52\t검증 세트 손실: 0.068082\t최선의 손실: 0.040889\t정확도: 98.94%\n", "53\t검증 세트 손실: 0.062479\t최선의 손실: 0.040889\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=, total= 42.7s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.075378\t최선의 손실: 0.075378\t정확도: 97.38%\n", "1\t검증 세트 손실: 0.089992\t최선의 손실: 0.075378\t정확도: 97.26%\n", "2\t검증 세트 손실: 0.065531\t최선의 손실: 0.065531\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.046280\t최선의 손실: 0.046280\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.041478\t최선의 손실: 0.041478\t정확도: 98.79%\n", "5\t검증 세트 손실: 0.055892\t최선의 손실: 0.041478\t정확도: 98.75%\n", "6\t검증 세트 손실: 0.056882\t최선의 손실: 0.041478\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.045164\t최선의 손실: 0.041478\t정확도: 98.87%\n", "8\t검증 세트 손실: 0.058877\t최선의 손실: 0.041478\t정확도: 98.36%\n", "9\t검증 세트 손실: 0.042117\t최선의 손실: 0.041478\t정확도: 98.91%\n", "10\t검증 세트 손실: 0.053063\t최선의 손실: 0.041478\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.051517\t최선의 손실: 0.041478\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.042375\t최선의 손실: 0.041478\t정확도: 99.14%\n", "13\t검증 세트 손실: 0.043671\t최선의 손실: 0.041478\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.048873\t최선의 손실: 0.041478\t정확도: 98.67%\n", "15\t검증 세트 손실: 0.057293\t최선의 손실: 0.041478\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.052523\t최선의 손실: 0.041478\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.061989\t최선의 손실: 0.041478\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.042555\t최선의 손실: 0.041478\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.054133\t최선의 손실: 0.041478\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.053217\t최선의 손실: 0.041478\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.063664\t최선의 손실: 0.041478\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.055239\t최선의 손실: 0.041478\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.067053\t최선의 손실: 0.041478\t정확도: 98.51%\n", "24\t검증 세트 손실: 0.044587\t최선의 손실: 0.041478\t정확도: 98.98%\n", "25\t검증 세트 손실: 0.052045\t최선의 손실: 0.041478\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=, total= 17.8s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.112716\t최선의 손실: 0.112716\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.120816\t최선의 손실: 0.112716\t정확도: 96.99%\n", "2\t검증 세트 손실: 0.067650\t최선의 손실: 0.067650\t정확도: 98.05%\n", "3\t검증 세트 손실: 0.056951\t최선의 손실: 0.056951\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.081096\t최선의 손실: 0.056951\t정확도: 97.81%\n", "5\t검증 세트 손실: 0.037421\t최선의 손실: 0.037421\t정확도: 98.87%\n", "6\t검증 세트 손실: 0.057104\t최선의 손실: 0.037421\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.051478\t최선의 손실: 0.037421\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.055217\t최선의 손실: 0.037421\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.049300\t최선의 손실: 0.037421\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.045287\t최선의 손실: 0.037421\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.044758\t최선의 손실: 0.037421\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.045712\t최선의 손실: 0.037421\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.045743\t최선의 손실: 0.037421\t정확도: 98.87%\n", "14\t검증 세트 손실: 0.044625\t최선의 손실: 0.037421\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.064408\t최선의 손실: 0.037421\t정확도: 98.55%\n", "16\t검증 세트 손실: 0.063047\t최선의 손실: 0.037421\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.055007\t최선의 손실: 0.037421\t정확도: 98.51%\n", "18\t검증 세트 손실: 0.052013\t최선의 손실: 0.037421\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.049196\t최선의 손실: 0.037421\t정확도: 99.10%\n", "20\t검증 세트 손실: 0.053355\t최선의 손실: 0.037421\t정확도: 98.59%\n", "21\t검증 세트 손실: 0.048524\t최선의 손실: 0.037421\t정확도: 99.06%\n", "22\t검증 세트 손실: 0.042714\t최선의 손실: 0.037421\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.054473\t최선의 손실: 0.037421\t정확도: 98.71%\n", "24\t검증 세트 손실: 0.044261\t최선의 손실: 0.037421\t정확도: 98.87%\n", "25\t검증 세트 손실: 0.038757\t최선의 손실: 0.037421\t정확도: 99.22%\n", "26\t검증 세트 손실: 0.072378\t최선의 손실: 0.037421\t정확도: 98.40%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=, total= 18.4s\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.127921\t최선의 손실: 0.127921\t정확도: 96.56%\n", "1\t검증 세트 손실: 0.073223\t최선의 손실: 0.073223\t정확도: 97.85%\n", "2\t검증 세트 손실: 0.065731\t최선의 손실: 0.065731\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.048066\t최선의 손실: 0.048066\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.061799\t최선의 손실: 0.048066\t정확도: 98.51%\n", "5\t검증 세트 손실: 0.053388\t최선의 손실: 0.048066\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.060170\t최선의 손실: 0.048066\t정확도: 98.71%\n", "7\t검증 세트 손실: 0.055574\t최선의 손실: 0.048066\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.037650\t최선의 손실: 0.037650\t정확도: 99.14%\n", "9\t검증 세트 손실: 0.060116\t최선의 손실: 0.037650\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.064227\t최선의 손실: 0.037650\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.041996\t최선의 손실: 0.037650\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.032629\t최선의 손실: 0.032629\t정확도: 99.18%\n", "13\t검증 세트 손실: 0.057482\t최선의 손실: 0.032629\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.072535\t최선의 손실: 0.032629\t정확도: 98.44%\n", "15\t검증 세트 손실: 0.076306\t최선의 손실: 0.032629\t정확도: 98.67%\n", "16\t검증 세트 손실: 0.039823\t최선의 손실: 0.032629\t정확도: 98.98%\n", "17\t검증 세트 손실: 0.101721\t최선의 손실: 0.032629\t정확도: 97.81%\n", "18\t검증 세트 손실: 0.041055\t최선의 손실: 0.032629\t정확도: 99.10%\n", "19\t검증 세트 손실: 0.046397\t최선의 손실: 0.032629\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.040693\t최선의 손실: 0.032629\t정확도: 99.26%\n", "21\t검증 세트 손실: 0.049694\t최선의 손실: 0.032629\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.042663\t최선의 손실: 0.032629\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.043833\t최선의 손실: 0.032629\t정확도: 99.14%\n", "24\t검증 세트 손실: 0.043171\t최선의 손실: 0.032629\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.044276\t최선의 손실: 0.032629\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.026843\t최선의 손실: 0.026843\t정확도: 99.26%\n", "27\t검증 세트 손실: 0.053940\t최선의 손실: 0.026843\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.056283\t최선의 손실: 0.026843\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.041915\t최선의 손실: 0.026843\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.050856\t최선의 손실: 0.026843\t정확도: 98.75%\n", "31\t검증 세트 손실: 0.053100\t최선의 손실: 0.026843\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.051772\t최선의 손실: 0.026843\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.049575\t최선의 손실: 0.026843\t정확도: 98.91%\n", "34\t검증 세트 손실: 0.047249\t최선의 손실: 0.026843\t정확도: 99.18%\n", "35\t검증 세트 손실: 0.043121\t최선의 손실: 0.026843\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.049502\t최선의 손실: 0.026843\t정확도: 98.79%\n", "37\t검증 세트 손실: 0.062034\t최선의 손실: 0.026843\t정확도: 98.87%\n", "38\t검증 세트 손실: 0.055387\t최선의 손실: 0.026843\t정확도: 98.94%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "39\t검증 세트 손실: 0.048374\t최선의 손실: 0.026843\t정확도: 99.22%\n", "40\t검증 세트 손실: 0.045672\t최선의 손실: 0.026843\t정확도: 99.02%\n", "41\t검증 세트 손실: 0.048947\t최선의 손실: 0.026843\t정확도: 98.94%\n", "42\t검증 세트 손실: 0.067613\t최선의 손실: 0.026843\t정확도: 98.91%\n", "43\t검증 세트 손실: 0.048992\t최선의 손실: 0.026843\t정확도: 98.67%\n", "44\t검증 세트 손실: 0.046884\t최선의 손실: 0.026843\t정확도: 98.98%\n", "45\t검증 세트 손실: 0.039326\t최선의 손실: 0.026843\t정확도: 99.06%\n", "46\t검증 세트 손실: 0.051531\t최선의 손실: 0.026843\t정확도: 98.94%\n", "47\t검증 세트 손실: 0.047207\t최선의 손실: 0.026843\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, batch_size=100, batch_norm_momentum=0.95, activation=, total= 31.4s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.069303\t최선의 손실: 0.069303\t정확도: 98.01%\n", "1\t검증 세트 손실: 0.054452\t최선의 손실: 0.054452\t정확도: 98.44%\n", "2\t검증 세트 손실: 0.064878\t최선의 손실: 0.054452\t정확도: 98.32%\n", "3\t검증 세트 손실: 0.042581\t최선의 손실: 0.042581\t정확도: 98.63%\n", "4\t검증 세트 손실: 0.053605\t최선의 손실: 0.042581\t정확도: 98.67%\n", "5\t검증 세트 손실: 0.041769\t최선의 손실: 0.041769\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.029797\t최선의 손실: 0.029797\t정확도: 98.98%\n", "7\t검증 세트 손실: 0.052659\t최선의 손실: 0.029797\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.040425\t최선의 손실: 0.029797\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.050066\t최선의 손실: 0.029797\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.055382\t최선의 손실: 0.029797\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.039248\t최선의 손실: 0.029797\t정확도: 99.02%\n", "12\t검증 세트 손실: 0.035602\t최선의 손실: 0.029797\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.044072\t최선의 손실: 0.029797\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.075779\t최선의 손실: 0.029797\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.042247\t최선의 손실: 0.029797\t정확도: 99.06%\n", "16\t검증 세트 손실: 0.033734\t최선의 손실: 0.029797\t정확도: 99.10%\n", "17\t검증 세트 손실: 0.079593\t최선의 손실: 0.029797\t정확도: 98.51%\n", "18\t검증 세트 손실: 0.035451\t최선의 손실: 0.029797\t정확도: 99.06%\n", "19\t검증 세트 손실: 0.055338\t최선의 손실: 0.029797\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.043289\t최선의 손실: 0.029797\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.045950\t최선의 손실: 0.029797\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.042686\t최선의 손실: 0.029797\t정확도: 98.91%\n", "23\t검증 세트 손실: 0.040408\t최선의 손실: 0.029797\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.031679\t최선의 손실: 0.029797\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.040836\t최선의 손실: 0.029797\t정확도: 99.30%\n", "26\t검증 세트 손실: 0.034036\t최선의 손실: 0.029797\t정확도: 98.98%\n", "27\t검증 세트 손실: 0.043587\t최선의 손실: 0.029797\t정확도: 98.94%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=, total= 33.8s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.098408\t최선의 손실: 0.098408\t정확도: 97.34%\n", "1\t검증 세트 손실: 0.063783\t최선의 손실: 0.063783\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.054388\t최선의 손실: 0.054388\t정확도: 98.63%\n", "3\t검증 세트 손실: 0.052036\t최선의 손실: 0.052036\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.050833\t최선의 손실: 0.050833\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.037888\t최선의 손실: 0.037888\t정확도: 98.83%\n", "6\t검증 세트 손실: 0.049695\t최선의 손실: 0.037888\t정확도: 98.79%\n", "7\t검증 세트 손실: 0.040720\t최선의 손실: 0.037888\t정확도: 98.79%\n", "8\t검증 세트 손실: 0.049837\t최선의 손실: 0.037888\t정확도: 98.87%\n", "9\t검증 세트 손실: 0.037211\t최선의 손실: 0.037211\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.050192\t최선의 손실: 0.037211\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.042288\t최선의 손실: 0.037211\t정확도: 98.79%\n", "12\t검증 세트 손실: 0.046647\t최선의 손실: 0.037211\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.049420\t최선의 손실: 0.037211\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.051905\t최선의 손실: 0.037211\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.047559\t최선의 손실: 0.037211\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.053026\t최선의 손실: 0.037211\t정확도: 98.87%\n", "17\t검증 세트 손실: 0.051102\t최선의 손실: 0.037211\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.063596\t최선의 손실: 0.037211\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.039276\t최선의 손실: 0.037211\t정확도: 99.06%\n", "20\t검증 세트 손실: 0.043626\t최선의 손실: 0.037211\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.036258\t최선의 손실: 0.036258\t정확도: 98.98%\n", "22\t검증 세트 손실: 0.042970\t최선의 손실: 0.036258\t정확도: 99.22%\n", "23\t검증 세트 손실: 0.035486\t최선의 손실: 0.035486\t정확도: 99.14%\n", "24\t검증 세트 손실: 0.048297\t최선의 손실: 0.035486\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.042108\t최선의 손실: 0.035486\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.042558\t최선의 손실: 0.035486\t정확도: 98.98%\n", "27\t검증 세트 손실: 0.037495\t최선의 손실: 0.035486\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.047745\t최선의 손실: 0.035486\t정확도: 99.14%\n", "29\t검증 세트 손실: 0.036081\t최선의 손실: 0.035486\t정확도: 99.30%\n", "30\t검증 세트 손실: 0.048771\t최선의 손실: 0.035486\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.039521\t최선의 손실: 0.035486\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.037460\t최선의 손실: 0.035486\t정확도: 99.30%\n", "33\t검증 세트 손실: 0.039681\t최선의 손실: 0.035486\t정확도: 99.06%\n", "34\t검증 세트 손실: 0.049201\t최선의 손실: 0.035486\t정확도: 99.22%\n", "35\t검증 세트 손실: 0.043495\t최선의 손실: 0.035486\t정확도: 99.14%\n", "36\t검증 세트 손실: 0.043489\t최선의 손실: 0.035486\t정확도: 98.87%\n", "37\t검증 세트 손실: 0.033241\t최선의 손실: 0.033241\t정확도: 99.14%\n", "38\t검증 세트 손실: 0.034843\t최선의 손실: 0.033241\t정확도: 99.30%\n", "39\t검증 세트 손실: 0.037842\t최선의 손실: 0.033241\t정확도: 98.98%\n", "40\t검증 세트 손실: 0.034294\t최선의 손실: 0.033241\t정확도: 99.02%\n", "41\t검증 세트 손실: 0.035484\t최선의 손실: 0.033241\t정확도: 99.06%\n", "42\t검증 세트 손실: 0.033132\t최선의 손실: 0.033132\t정확도: 99.06%\n", "43\t검증 세트 손실: 0.052289\t최선의 손실: 0.033132\t정확도: 99.02%\n", "44\t검증 세트 손실: 0.045333\t최선의 손실: 0.033132\t정확도: 99.10%\n", "45\t검증 세트 손실: 0.059422\t최선의 손실: 0.033132\t정확도: 98.98%\n", "46\t검증 세트 손실: 0.045713\t최선의 손실: 0.033132\t정확도: 99.06%\n", "47\t검증 세트 손실: 0.044382\t최선의 손실: 0.033132\t정확도: 98.94%\n", "48\t검증 세트 손실: 0.053109\t최선의 손실: 0.033132\t정확도: 98.94%\n", "49\t검증 세트 손실: 0.044820\t최선의 손실: 0.033132\t정확도: 99.14%\n", "50\t검증 세트 손실: 0.049977\t최선의 손실: 0.033132\t정확도: 99.10%\n", "51\t검증 세트 손실: 0.044464\t최선의 손실: 0.033132\t정확도: 99.18%\n", "52\t검증 세트 손실: 0.041730\t최선의 손실: 0.033132\t정확도: 99.10%\n", "53\t검증 세트 손실: 0.043027\t최선의 손실: 0.033132\t정확도: 99.34%\n", "54\t검증 세트 손실: 0.041321\t최선의 손실: 0.033132\t정확도: 99.06%\n", "55\t검증 세트 손실: 0.045778\t최선의 손실: 0.033132\t정확도: 99.10%\n", "56\t검증 세트 손실: 0.041691\t최선의 손실: 0.033132\t정확도: 99.02%\n", "57\t검증 세트 손실: 0.041918\t최선의 손실: 0.033132\t정확도: 99.18%\n", "58\t검증 세트 손실: 0.047877\t최선의 손실: 0.033132\t정확도: 99.10%\n", "59\t검증 세트 손실: 0.054925\t최선의 손실: 0.033132\t정확도: 98.75%\n", "60\t검증 세트 손실: 0.037619\t최선의 손실: 0.033132\t정확도: 99.26%\n", "61\t검증 세트 손실: 0.038823\t최선의 손실: 0.033132\t정확도: 99.18%\n", "62\t검증 세트 손실: 0.046267\t최선의 손실: 0.033132\t정확도: 99.14%\n", "63\t검증 세트 손실: 0.043182\t최선의 손실: 0.033132\t정확도: 98.94%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=, total= 1.3min\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.073811\t최선의 손실: 0.073811\t정확도: 97.77%\n", "1\t검증 세트 손실: 0.059193\t최선의 손실: 0.059193\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.057933\t최선의 손실: 0.057933\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.042513\t최선의 손실: 0.042513\t정확도: 98.63%\n", "4\t검증 세트 손실: 0.044867\t최선의 손실: 0.042513\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.054057\t최선의 손실: 0.042513\t정확도: 98.16%\n", "6\t검증 세트 손실: 0.036930\t최선의 손실: 0.036930\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.055154\t최선의 손실: 0.036930\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.037905\t최선의 손실: 0.036930\t정확도: 98.98%\n", "9\t검증 세트 손실: 0.047182\t최선의 손실: 0.036930\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.051197\t최선의 손실: 0.036930\t정확도: 98.83%\n", "11\t검증 세트 손실: 0.034206\t최선의 손실: 0.034206\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.046435\t최선의 손실: 0.034206\t정확도: 98.87%\n", "13\t검증 세트 손실: 0.047091\t최선의 손실: 0.034206\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.038395\t최선의 손실: 0.034206\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.033222\t최선의 손실: 0.033222\t정확도: 99.26%\n", "16\t검증 세트 손실: 0.028644\t최선의 손실: 0.028644\t정확도: 99.26%\n", "17\t검증 세트 손실: 0.052111\t최선의 손실: 0.028644\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.032095\t최선의 손실: 0.028644\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.049699\t최선의 손실: 0.028644\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.032730\t최선의 손실: 0.028644\t정확도: 99.02%\n", "21\t검증 세트 손실: 0.023623\t최선의 손실: 0.023623\t정확도: 99.26%\n", "22\t검증 세트 손실: 0.035763\t최선의 손실: 0.023623\t정확도: 99.26%\n", "23\t검증 세트 손실: 0.036417\t최선의 손실: 0.023623\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.043136\t최선의 손실: 0.023623\t정확도: 99.14%\n", "25\t검증 세트 손실: 0.034090\t최선의 손실: 0.023623\t정확도: 99.41%\n", "26\t검증 세트 손실: 0.039376\t최선의 손실: 0.023623\t정확도: 99.10%\n", "27\t검증 세트 손실: 0.034746\t최선의 손실: 0.023623\t정확도: 99.18%\n", "28\t검증 세트 손실: 0.036059\t최선의 손실: 0.023623\t정확도: 99.14%\n", "29\t검증 세트 손실: 0.044889\t최선의 손실: 0.023623\t정확도: 98.83%\n", "30\t검증 세트 손실: 0.043170\t최선의 손실: 0.023623\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.053884\t최선의 손실: 0.023623\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.039076\t최선의 손실: 0.023623\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.034966\t최선의 손실: 0.023623\t정확도: 99.18%\n", "34\t검증 세트 손실: 0.034829\t최선의 손실: 0.023623\t정확도: 99.18%\n", "35\t검증 세트 손실: 0.032237\t최선의 손실: 0.023623\t정확도: 99.30%\n", "36\t검증 세트 손실: 0.053396\t최선의 손실: 0.023623\t정확도: 98.83%\n", "37\t검증 세트 손실: 0.033320\t최선의 손실: 0.023623\t정확도: 99.26%\n", "38\t검증 세트 손실: 0.042915\t최선의 손실: 0.023623\t정확도: 99.10%\n", "39\t검증 세트 손실: 0.032879\t최선의 손실: 0.023623\t정확도: 99.34%\n", "40\t검증 세트 손실: 0.032572\t최선의 손실: 0.023623\t정확도: 99.22%\n", "41\t검증 세트 손실: 0.028249\t최선의 손실: 0.023623\t정확도: 99.30%\n", "42\t검증 세트 손실: 0.041018\t최선의 손실: 0.023623\t정확도: 99.26%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.98, activation=, total= 51.2s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.093075\t최선의 손실: 0.093075\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.075968\t최선의 손실: 0.075968\t정확도: 97.73%\n", "2\t검증 세트 손실: 0.068777\t최선의 손실: 0.068777\t정확도: 98.01%\n", "3\t검증 세트 손실: 0.054729\t최선의 손실: 0.054729\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.058991\t최선의 손실: 0.054729\t정확도: 98.05%\n", "5\t검증 세트 손실: 0.075930\t최선의 손실: 0.054729\t정확도: 98.01%\n", "6\t검증 세트 손실: 0.055377\t최선의 손실: 0.054729\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.060503\t최선의 손실: 0.054729\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.055821\t최선의 손실: 0.054729\t정확도: 98.28%\n", "9\t검증 세트 손실: 0.065271\t최선의 손실: 0.054729\t정확도: 98.55%\n", "10\t검증 세트 손실: 0.070701\t최선의 손실: 0.054729\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.072530\t최선의 손실: 0.054729\t정확도: 98.36%\n", "12\t검증 세트 손실: 0.060303\t최선의 손실: 0.054729\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.086366\t최선의 손실: 0.054729\t정확도: 98.08%\n", "14\t검증 세트 손실: 0.076648\t최선의 손실: 0.054729\t정확도: 98.32%\n", "15\t검증 세트 손실: 0.101818\t최선의 손실: 0.054729\t정확도: 98.01%\n", "16\t검증 세트 손실: 0.065193\t최선의 손실: 0.054729\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.094030\t최선의 손실: 0.054729\t정확도: 97.85%\n", "18\t검증 세트 손실: 0.086526\t최선의 손실: 0.054729\t정확도: 98.16%\n", "19\t검증 세트 손실: 0.073235\t최선의 손실: 0.054729\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.078611\t최선의 손실: 0.054729\t정확도: 98.48%\n", "21\t검증 세트 손실: 0.080859\t최선의 손실: 0.054729\t정확도: 98.16%\n", "22\t검증 세트 손실: 0.082500\t최선의 손실: 0.054729\t정확도: 98.28%\n", "23\t검증 세트 손실: 0.072484\t최선의 손실: 0.054729\t정확도: 98.48%\n", "24\t검증 세트 손실: 0.064439\t최선의 손실: 0.054729\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=, total= 6.4s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.093968\t최선의 손실: 0.093968\t정확도: 97.22%\n", "1\t검증 세트 손실: 0.075680\t최선의 손실: 0.075680\t정확도: 97.34%\n", "2\t검증 세트 손실: 0.064978\t최선의 손실: 0.064978\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.065327\t최선의 손실: 0.064978\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.068484\t최선의 손실: 0.064978\t정확도: 97.89%\n", "5\t검증 세트 손실: 0.058664\t최선의 손실: 0.058664\t정확도: 98.08%\n", "6\t검증 세트 손실: 0.061410\t최선의 손실: 0.058664\t정확도: 98.12%\n", "7\t검증 세트 손실: 0.063955\t최선의 손실: 0.058664\t정확도: 98.12%\n", "8\t검증 세트 손실: 0.050687\t최선의 손실: 0.050687\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.067192\t최선의 손실: 0.050687\t정확도: 98.20%\n", "10\t검증 세트 손실: 0.057348\t최선의 손실: 0.050687\t정확도: 98.28%\n", "11\t검증 세트 손실: 0.071747\t최선의 손실: 0.050687\t정확도: 98.32%\n", "12\t검증 세트 손실: 0.056589\t최선의 손실: 0.050687\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.066980\t최선의 손실: 0.050687\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.063250\t최선의 손실: 0.050687\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.052233\t최선의 손실: 0.050687\t정확도: 98.83%\n", "16\t검증 세트 손실: 0.055012\t최선의 손실: 0.050687\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.067112\t최선의 손실: 0.050687\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.077737\t최선의 손실: 0.050687\t정확도: 98.08%\n", "19\t검증 세트 손실: 0.072173\t최선의 손실: 0.050687\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.053839\t최선의 손실: 0.050687\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.065846\t최선의 손실: 0.050687\t정확도: 98.59%\n", "22\t검증 세트 손실: 0.068843\t최선의 손실: 0.050687\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.060869\t최선의 손실: 0.050687\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.059193\t최선의 손실: 0.050687\t정확도: 98.59%\n", "25\t검증 세트 손실: 0.074569\t최선의 손실: 0.050687\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.063692\t최선의 손실: 0.050687\t정확도: 98.55%\n", "27\t검증 세트 손실: 0.064207\t최선의 손실: 0.050687\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.056920\t최선의 손실: 0.050687\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.058223\t최선의 손실: 0.050687\t정확도: 98.71%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=, total= 7.3s\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.101058\t최선의 손실: 0.101058\t정확도: 96.64%\n", "1\t검증 세트 손실: 0.073386\t최선의 손실: 0.073386\t정확도: 97.81%\n", "2\t검증 세트 손실: 0.063363\t최선의 손실: 0.063363\t정확도: 98.01%\n", "3\t검증 세트 손실: 0.058877\t최선의 손실: 0.058877\t정확도: 98.12%\n", "4\t검증 세트 손실: 0.053828\t최선의 손실: 0.053828\t정확도: 98.40%\n", "5\t검증 세트 손실: 0.076710\t최선의 손실: 0.053828\t정확도: 97.93%\n", "6\t검증 세트 손실: 0.054175\t최선의 손실: 0.053828\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.054884\t최선의 손실: 0.053828\t정확도: 98.20%\n", "8\t검증 세트 손실: 0.052852\t최선의 손실: 0.052852\t정확도: 98.55%\n", "9\t검증 세트 손실: 0.049851\t최선의 손실: 0.049851\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.059400\t최선의 손실: 0.049851\t정확도: 98.51%\n", "11\t검증 세트 손실: 0.076320\t최선의 손실: 0.049851\t정확도: 98.44%\n", "12\t검증 세트 손실: 0.047231\t최선의 손실: 0.047231\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.059607\t최선의 손실: 0.047231\t정확도: 98.28%\n", "14\t검증 세트 손실: 0.053742\t최선의 손실: 0.047231\t정확도: 98.48%\n", "15\t검증 세트 손실: 0.059160\t최선의 손실: 0.047231\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.042582\t최선의 손실: 0.042582\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.061908\t최선의 손실: 0.042582\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.059357\t최선의 손실: 0.042582\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.060690\t최선의 손실: 0.042582\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.042562\t최선의 손실: 0.042562\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.048000\t최선의 손실: 0.042562\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.063437\t최선의 손실: 0.042562\t정확도: 98.40%\n", "23\t검증 세트 손실: 0.068323\t최선의 손실: 0.042562\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.061304\t최선의 손실: 0.042562\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.073191\t최선의 손실: 0.042562\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.055661\t최선의 손실: 0.042562\t정확도: 98.63%\n", "27\t검증 세트 손실: 0.063273\t최선의 손실: 0.042562\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.059132\t최선의 손실: 0.042562\t정확도: 98.59%\n", "29\t검증 세트 손실: 0.068064\t최선의 손실: 0.042562\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.068732\t최선의 손실: 0.042562\t정확도: 98.55%\n", "31\t검증 세트 손실: 0.057486\t최선의 손실: 0.042562\t정확도: 98.75%\n", "32\t검증 세트 손실: 0.044462\t최선의 손실: 0.042562\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.043247\t최선의 손실: 0.042562\t정확도: 99.02%\n", "34\t검증 세트 손실: 0.040971\t최선의 손실: 0.040971\t정확도: 99.10%\n", "35\t검증 세트 손실: 0.051486\t최선의 손실: 0.040971\t정확도: 98.83%\n", "36\t검증 세트 손실: 0.043223\t최선의 손실: 0.040971\t정확도: 98.98%\n", "37\t검증 세트 손실: 0.068919\t최선의 손실: 0.040971\t정확도: 98.87%\n", "38\t검증 세트 손실: 0.059370\t최선의 손실: 0.040971\t정확도: 98.91%\n", "39\t검증 세트 손실: 0.070623\t최선의 손실: 0.040971\t정확도: 98.79%\n", "40\t검증 세트 손실: 0.056595\t최선의 손실: 0.040971\t정확도: 98.98%\n", "41\t검증 세트 손실: 0.075980\t최선의 손실: 0.040971\t정확도: 98.67%\n", "42\t검증 세트 손실: 0.047117\t최선의 손실: 0.040971\t정확도: 98.94%\n", "43\t검증 세트 손실: 0.084176\t최선의 손실: 0.040971\t정확도: 98.51%\n", "44\t검증 세트 손실: 0.058529\t최선의 손실: 0.040971\t정확도: 98.87%\n", "45\t검증 세트 손실: 0.053853\t최선의 손실: 0.040971\t정확도: 98.83%\n", "46\t검증 세트 손실: 0.053650\t최선의 손실: 0.040971\t정확도: 98.91%\n", "47\t검증 세트 손실: 0.048880\t최선의 손실: 0.040971\t정확도: 98.98%\n", "48\t검증 세트 손실: 0.067848\t최선의 손실: 0.040971\t정확도: 98.91%\n", "49\t검증 세트 손실: 0.066453\t최선의 손실: 0.040971\t정확도: 98.91%\n", "50\t검증 세트 손실: 0.052292\t최선의 손실: 0.040971\t정확도: 98.94%\n", "51\t검증 세트 손실: 0.058421\t최선의 손실: 0.040971\t정확도: 99.02%\n", "52\t검증 세트 손실: 0.054975\t최선의 손실: 0.040971\t정확도: 98.94%\n", "53\t검증 세트 손실: 0.065825\t최선의 손실: 0.040971\t정확도: 98.67%\n", "54\t검증 세트 손실: 0.064168\t최선의 손실: 0.040971\t정확도: 98.94%\n", "55\t검증 세트 손실: 0.060557\t최선의 손실: 0.040971\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=, total= 12.5s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.104289\t최선의 손실: 0.104289\t정확도: 96.76%\n", "1\t검증 세트 손실: 0.088055\t최선의 손실: 0.088055\t정확도: 97.62%\n", "2\t검증 세트 손실: 0.069319\t최선의 손실: 0.069319\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.052672\t최선의 손실: 0.052672\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.072860\t최선의 손실: 0.052672\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.059541\t최선의 손실: 0.052672\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.046383\t최선의 손실: 0.046383\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.041506\t최선의 손실: 0.041506\t정확도: 98.98%\n", "8\t검증 세트 손실: 0.047763\t최선의 손실: 0.041506\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.051859\t최선의 손실: 0.041506\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.056382\t최선의 손실: 0.041506\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.040450\t최선의 손실: 0.040450\t정확도: 98.94%\n", "12\t검증 세트 손실: 0.031557\t최선의 손실: 0.031557\t정확도: 99.10%\n", "13\t검증 세트 손실: 0.046088\t최선의 손실: 0.031557\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.037378\t최선의 손실: 0.031557\t정확도: 99.14%\n", "15\t검증 세트 손실: 0.086020\t최선의 손실: 0.031557\t정확도: 97.81%\n", "16\t검증 세트 손실: 0.050288\t최선의 손실: 0.031557\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.063642\t최선의 손실: 0.031557\t정확도: 98.63%\n", "18\t검증 세트 손실: 0.039879\t최선의 손실: 0.031557\t정확도: 99.10%\n", "19\t검증 세트 손실: 0.051761\t최선의 손실: 0.031557\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.063951\t최선의 손실: 0.031557\t정확도: 98.59%\n", "21\t검증 세트 손실: 0.060095\t최선의 손실: 0.031557\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.047208\t최선의 손실: 0.031557\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.060878\t최선의 손실: 0.031557\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.047232\t최선의 손실: 0.031557\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.043657\t최선의 손실: 0.031557\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.032714\t최선의 손실: 0.031557\t정확도: 99.18%\n", "27\t검증 세트 손실: 0.041949\t최선의 손실: 0.031557\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.050942\t최선의 손실: 0.031557\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.038022\t최선의 손실: 0.031557\t정확도: 99.10%\n", "30\t검증 세트 손실: 0.040260\t최선의 손실: 0.031557\t정확도: 99.18%\n", "31\t검증 세트 손실: 0.050866\t최선의 손실: 0.031557\t정확도: 99.06%\n", "32\t검증 세트 손실: 0.038032\t최선의 손실: 0.031557\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.053216\t최선의 손실: 0.031557\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=, total= 29.9s\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.118798\t최선의 손실: 0.118798\t정확도: 96.40%\n", "1\t검증 세트 손실: 0.059795\t최선의 손실: 0.059795\t정확도: 97.93%\n", "2\t검증 세트 손실: 0.050503\t최선의 손실: 0.050503\t정확도: 98.44%\n", "3\t검증 세트 손실: 0.083408\t최선의 손실: 0.050503\t정확도: 97.69%\n", "4\t검증 세트 손실: 0.061110\t최선의 손실: 0.050503\t정확도: 98.05%\n", "5\t검증 세트 손실: 0.039210\t최선의 손실: 0.039210\t정확도: 98.63%\n", "6\t검증 세트 손실: 0.061753\t최선의 손실: 0.039210\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.071503\t최선의 손실: 0.039210\t정확도: 98.16%\n", "8\t검증 세트 손실: 0.070803\t최선의 손실: 0.039210\t정확도: 98.36%\n", "9\t검증 세트 손실: 0.053840\t최선의 손실: 0.039210\t정확도: 98.51%\n", "10\t검증 세트 손실: 0.047859\t최선의 손실: 0.039210\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.050843\t최선의 손실: 0.039210\t정확도: 98.79%\n", "12\t검증 세트 손실: 0.045244\t최선의 손실: 0.039210\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.046966\t최선의 손실: 0.039210\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.051040\t최선의 손실: 0.039210\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.046968\t최선의 손실: 0.039210\t정확도: 98.67%\n", "16\t검증 세트 손실: 0.042550\t최선의 손실: 0.039210\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.041343\t최선의 손실: 0.039210\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.086319\t최선의 손실: 0.039210\t정확도: 98.12%\n", "19\t검증 세트 손실: 0.054425\t최선의 손실: 0.039210\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.046662\t최선의 손실: 0.039210\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.062395\t최선의 손실: 0.039210\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.049680\t최선의 손실: 0.039210\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.083545\t최선의 손실: 0.039210\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.044586\t최선의 손실: 0.039210\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.031454\t최선의 손실: 0.031454\t정확도: 99.26%\n", "26\t검증 세트 손실: 0.053430\t최선의 손실: 0.031454\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.068733\t최선의 손실: 0.031454\t정확도: 98.71%\n", "28\t검증 세트 손실: 0.072873\t최선의 손실: 0.031454\t정확도: 98.59%\n", "29\t검증 세트 손실: 0.067959\t최선의 손실: 0.031454\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.062991\t최선의 손실: 0.031454\t정확도: 98.36%\n", "31\t검증 세트 손실: 0.051514\t최선의 손실: 0.031454\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.045994\t최선의 손실: 0.031454\t정확도: 98.87%\n", "33\t검증 세트 손실: 0.069914\t최선의 손실: 0.031454\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.058887\t최선의 손실: 0.031454\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.062212\t최선의 손실: 0.031454\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.074445\t최선의 손실: 0.031454\t정확도: 98.36%\n", "37\t검증 세트 손실: 0.076238\t최선의 손실: 0.031454\t정확도: 98.71%\n", "38\t검증 세트 손실: 0.062779\t최선의 손실: 0.031454\t정확도: 98.91%\n", "39\t검증 세트 손실: 0.065585\t최선의 손실: 0.031454\t정확도: 98.83%\n", "40\t검증 세트 손실: 0.060330\t최선의 손실: 0.031454\t정확도: 98.87%\n", "41\t검증 세트 손실: 0.054455\t최선의 손실: 0.031454\t정확도: 98.87%\n", "42\t검증 세트 손실: 0.063136\t최선의 손실: 0.031454\t정확도: 98.91%\n", "43\t검증 세트 손실: 0.067011\t최선의 손실: 0.031454\t정확도: 98.91%\n", "44\t검증 세트 손실: 0.073767\t최선의 손실: 0.031454\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.060839\t최선의 손실: 0.031454\t정확도: 99.02%\n", "46\t검증 세트 손실: 0.062900\t최선의 손실: 0.031454\t정확도: 98.98%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=, total= 40.7s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation= \n", "0\t검증 세트 손실: 0.089269\t최선의 손실: 0.089269\t정확도: 97.34%\n", "1\t검증 세트 손실: 0.064015\t최선의 손실: 0.064015\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.065332\t최선의 손실: 0.064015\t정확도: 97.81%\n", "3\t검증 세트 손실: 0.051505\t최선의 손실: 0.051505\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.064441\t최선의 손실: 0.051505\t정확도: 98.12%\n", "5\t검증 세트 손실: 0.044897\t최선의 손실: 0.044897\t정확도: 98.67%\n", "6\t검증 세트 손실: 0.041494\t최선의 손실: 0.041494\t정확도: 98.71%\n", "7\t검증 세트 손실: 0.072499\t최선의 손실: 0.041494\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.036179\t최선의 손실: 0.036179\t정확도: 99.02%\n", "9\t검증 세트 손실: 0.038194\t최선의 손실: 0.036179\t정확도: 98.98%\n", "10\t검증 세트 손실: 0.054203\t최선의 손실: 0.036179\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.048510\t최선의 손실: 0.036179\t정확도: 98.44%\n", "12\t검증 세트 손실: 0.032630\t최선의 손실: 0.032630\t정확도: 99.22%\n", "13\t검증 세트 손실: 0.042218\t최선의 손실: 0.032630\t정확도: 98.98%\n", "14\t검증 세트 손실: 0.043471\t최선의 손실: 0.032630\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.051250\t최선의 손실: 0.032630\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.059361\t최선의 손실: 0.032630\t정확도: 98.67%\n", "17\t검증 세트 손실: 0.045646\t최선의 손실: 0.032630\t정확도: 98.91%\n", "18\t검증 세트 손실: 0.070216\t최선의 손실: 0.032630\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.050028\t최선의 손실: 0.032630\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.042933\t최선의 손실: 0.032630\t정확도: 99.06%\n", "21\t검증 세트 손실: 0.040881\t최선의 손실: 0.032630\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.046555\t최선의 손실: 0.032630\t정확도: 98.91%\n", "23\t검증 세트 손실: 0.042637\t최선의 손실: 0.032630\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.051474\t최선의 손실: 0.032630\t정확도: 98.98%\n", "25\t검증 세트 손실: 0.047607\t최선의 손실: 0.032630\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.042257\t최선의 손실: 0.032630\t정확도: 99.10%\n", "27\t검증 세트 손실: 0.040131\t최선의 손실: 0.032630\t정확도: 98.98%\n", "28\t검증 세트 손실: 0.058729\t최선의 손실: 0.032630\t정확도: 98.91%\n", "29\t검증 세트 손실: 0.069780\t최선의 손실: 0.032630\t정확도: 98.44%\n", "30\t검증 세트 손실: 0.044402\t최선의 손실: 0.032630\t정확도: 99.22%\n", "31\t검증 세트 손실: 0.037494\t최선의 손실: 0.032630\t정확도: 99.18%\n", "32\t검증 세트 손실: 0.033725\t최선의 손실: 0.032630\t정확도: 99.30%\n", "33\t검증 세트 손실: 0.036022\t최선의 손실: 0.032630\t정확도: 99.34%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=100, batch_norm_momentum=0.95, activation=, total= 29.9s\n", "[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.208730\t최선의 손실: 0.208730\t정확도: 95.00%\n", "1\t검증 세트 손실: 0.080768\t최선의 손실: 0.080768\t정확도: 97.77%\n", "2\t검증 세트 손실: 0.087810\t최선의 손실: 0.080768\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.078392\t최선의 손실: 0.078392\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.067945\t최선의 손실: 0.067945\t정확도: 98.12%\n", "5\t검증 세트 손실: 0.171794\t최선의 손실: 0.067945\t정확도: 97.50%\n", "6\t검증 세트 손실: 0.081828\t최선의 손실: 0.067945\t정확도: 98.24%\n", "7\t검증 세트 손실: 0.105131\t최선의 손실: 0.067945\t정확도: 98.40%\n", "8\t검증 세트 손실: 0.118289\t최선의 손실: 0.067945\t정확도: 97.89%\n", "9\t검증 세트 손실: 2.235662\t최선의 손실: 0.067945\t정확도: 96.87%\n", "10\t검증 세트 손실: 0.095571\t최선의 손실: 0.067945\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.078645\t최선의 손실: 0.067945\t정확도: 98.59%\n", "12\t검증 세트 손실: 0.049215\t최선의 손실: 0.049215\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.068348\t최선의 손실: 0.049215\t정확도: 99.02%\n", "14\t검증 세트 손실: 0.063386\t최선의 손실: 0.049215\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.095897\t최선의 손실: 0.049215\t정확도: 98.12%\n", "16\t검증 세트 손실: 0.152199\t최선의 손실: 0.049215\t정확도: 97.73%\n", "17\t검증 세트 손실: 4.541672\t최선의 손실: 0.049215\t정확도: 93.86%\n", "18\t검증 세트 손실: 0.438085\t최선의 손실: 0.049215\t정확도: 96.05%\n", "19\t검증 세트 손실: 0.218270\t최선의 손실: 0.049215\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.199715\t최선의 손실: 0.049215\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.125885\t최선의 손실: 0.049215\t정확도: 98.91%\n", "22\t검증 세트 손실: 0.167422\t최선의 손실: 0.049215\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.246789\t최선의 손실: 0.049215\t정확도: 98.51%\n", "24\t검증 세트 손실: 0.304223\t최선의 손실: 0.049215\t정확도: 98.63%\n", "25\t검증 세트 손실: 0.180662\t최선의 손실: 0.049215\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.260002\t최선의 손실: 0.049215\t정확도: 98.36%\n", "27\t검증 세트 손실: 0.163190\t최선의 손실: 0.049215\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.138922\t최선의 손실: 0.049215\t정확도: 98.83%\n", "29\t검증 세트 손실: 1.344907\t최선의 손실: 0.049215\t정확도: 98.16%\n", "30\t검증 세트 손실: 0.266195\t최선의 손실: 0.049215\t정확도: 98.94%\n", "31\t검증 세트 손실: 0.242166\t최선의 손실: 0.049215\t정확도: 98.91%\n", "32\t검증 세트 손실: 0.236292\t최선의 손실: 0.049215\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.263645\t최선의 손실: 0.049215\t정확도: 98.71%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=, total= 37.4s\n", "[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.195867\t최선의 손실: 0.195867\t정확도: 95.23%\n", "1\t검증 세트 손실: 0.099212\t최선의 손실: 0.099212\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.951098\t최선의 손실: 0.099212\t정확도: 88.43%\n", "3\t검증 세트 손실: 0.065655\t최선의 손실: 0.065655\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.117978\t최선의 손실: 0.065655\t정확도: 97.58%\n", "5\t검증 세트 손실: 0.090425\t최선의 손실: 0.065655\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.112880\t최선의 손실: 0.065655\t정확도: 98.08%\n", "7\t검증 세트 손실: 0.063459\t최선의 손실: 0.063459\t정확도: 98.59%\n", "8\t검증 세트 손실: 0.104766\t최선의 손실: 0.063459\t정확도: 98.08%\n", "9\t검증 세트 손실: 0.204395\t최선의 손실: 0.063459\t정확도: 97.34%\n", "10\t검증 세트 손실: 0.060008\t최선의 손실: 0.060008\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.040942\t최선의 손실: 0.040942\t정확도: 99.02%\n", "12\t검증 세트 손실: 5.938588\t최선의 손실: 0.040942\t정확도: 95.78%\n", "13\t검증 세트 손실: 0.212986\t최선의 손실: 0.040942\t정확도: 98.24%\n", "14\t검증 세트 손실: 0.157899\t최선의 손실: 0.040942\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.090690\t최선의 손실: 0.040942\t정확도: 98.32%\n", "16\t검증 세트 손실: 0.134854\t최선의 손실: 0.040942\t정확도: 97.69%\n", "17\t검증 세트 손실: 0.147862\t최선의 손실: 0.040942\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.064164\t최선의 손실: 0.040942\t정확도: 99.26%\n", "19\t검증 세트 손실: 0.208687\t최선의 손실: 0.040942\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.204379\t최선의 손실: 0.040942\t정확도: 98.20%\n", "21\t검증 세트 손실: 0.068695\t최선의 손실: 0.040942\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.155569\t최선의 손실: 0.040942\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.173929\t최선의 손실: 0.040942\t정확도: 98.51%\n", "24\t검증 세트 손실: 0.147234\t최선의 손실: 0.040942\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.168685\t최선의 손실: 0.040942\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.301522\t최선의 손실: 0.040942\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.633516\t최선의 손실: 0.040942\t정확도: 97.46%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "28\t검증 세트 손실: 0.139728\t최선의 손실: 0.040942\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.179773\t최선의 손실: 0.040942\t정확도: 98.94%\n", "30\t검증 세트 손실: 0.115226\t최선의 손실: 0.040942\t정확도: 99.02%\n", "31\t검증 세트 손실: 0.081625\t최선의 손실: 0.040942\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.119648\t최선의 손실: 0.040942\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=, total= 36.5s\n", "[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.172427\t최선의 손실: 0.172427\t정확도: 96.95%\n", "1\t검증 세트 손실: 0.123897\t최선의 손실: 0.123897\t정확도: 96.83%\n", "2\t검증 세트 손실: 0.086588\t최선의 손실: 0.086588\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.132676\t최선의 손실: 0.086588\t정확도: 97.22%\n", "4\t검증 세트 손실: 0.090178\t최선의 손실: 0.086588\t정확도: 98.24%\n", "5\t검증 세트 손실: 0.119296\t최선의 손실: 0.086588\t정확도: 97.65%\n", "6\t검증 세트 손실: 0.066637\t최선의 손실: 0.066637\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.115669\t최선의 손실: 0.066637\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.065329\t최선의 손실: 0.065329\t정확도: 98.48%\n", "9\t검증 세트 손실: 0.139165\t최선의 손실: 0.065329\t정확도: 97.65%\n", "10\t검증 세트 손실: 0.959097\t최선의 손실: 0.065329\t정확도: 97.03%\n", "11\t검증 세트 손실: 0.107995\t최선의 손실: 0.065329\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.095307\t최선의 손실: 0.065329\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.055173\t최선의 손실: 0.055173\t정확도: 98.98%\n", "14\t검증 세트 손실: 0.067573\t최선의 손실: 0.055173\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.073618\t최선의 손실: 0.055173\t정확도: 98.91%\n", "16\t검증 세트 손실: 0.072231\t최선의 손실: 0.055173\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.127348\t최선의 손실: 0.055173\t정확도: 98.16%\n", "18\t검증 세트 손실: 1.107549\t최선의 손실: 0.055173\t정확도: 97.22%\n", "19\t검증 세트 손실: 0.259501\t최선의 손실: 0.055173\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.083669\t최선의 손실: 0.055173\t정확도: 99.02%\n", "21\t검증 세트 손실: 0.075474\t최선의 손실: 0.055173\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.095771\t최선의 손실: 0.055173\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.093700\t최선의 손실: 0.055173\t정확도: 99.14%\n", "24\t검증 세트 손실: 0.096452\t최선의 손실: 0.055173\t정확도: 98.98%\n", "25\t검증 세트 손실: 0.298177\t최선의 손실: 0.055173\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.374284\t최선의 손실: 0.055173\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.144318\t최선의 손실: 0.055173\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.168230\t최선의 손실: 0.055173\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.133171\t최선의 손실: 0.055173\t정확도: 99.14%\n", "30\t검증 세트 손실: 0.245915\t최선의 손실: 0.055173\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.217255\t최선의 손실: 0.055173\t정확도: 98.75%\n", "32\t검증 세트 손실: 0.223001\t최선의 손실: 0.055173\t정확도: 98.94%\n", "33\t검증 세트 손실: 0.889751\t최선의 손실: 0.055173\t정확도: 98.16%\n", "34\t검증 세트 손실: 0.346960\t최선의 손실: 0.055173\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.99, activation=, total= 38.7s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.261385\t최선의 손실: 0.261385\t정확도: 92.65%\n", "1\t검증 세트 손실: 0.162157\t최선의 손실: 0.162157\t정확도: 95.23%\n", "2\t검증 세트 손실: 0.143203\t최선의 손실: 0.143203\t정확도: 95.47%\n", "3\t검증 세트 손실: 0.147119\t최선의 손실: 0.143203\t정확도: 95.27%\n", "4\t검증 세트 손실: 0.279868\t최선의 손실: 0.143203\t정확도: 89.48%\n", "5\t검증 세트 손실: 0.169629\t최선의 손실: 0.143203\t정확도: 94.96%\n", "6\t검증 세트 손실: 0.086600\t최선의 손실: 0.086600\t정확도: 97.46%\n", "7\t검증 세트 손실: 0.130973\t최선의 손실: 0.086600\t정확도: 96.44%\n", "8\t검증 세트 손실: 0.199008\t최선의 손실: 0.086600\t정확도: 95.00%\n", "9\t검증 세트 손실: 0.078077\t최선의 손실: 0.078077\t정확도: 98.05%\n", "10\t검증 세트 손실: 0.122950\t최선의 손실: 0.078077\t정확도: 96.68%\n", "11\t검증 세트 손실: 0.094952\t최선의 손실: 0.078077\t정확도: 97.65%\n", "12\t검증 세트 손실: 0.107395\t최선의 손실: 0.078077\t정확도: 97.38%\n", "13\t검증 세트 손실: 0.126409\t최선의 손실: 0.078077\t정확도: 96.79%\n", "14\t검증 세트 손실: 0.093040\t최선의 손실: 0.078077\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.109853\t최선의 손실: 0.078077\t정확도: 97.65%\n", "16\t검증 세트 손실: 0.099309\t최선의 손실: 0.078077\t정확도: 97.54%\n", "17\t검증 세트 손실: 0.109889\t최선의 손실: 0.078077\t정확도: 97.77%\n", "18\t검증 세트 손실: 0.115121\t최선의 손실: 0.078077\t정확도: 97.22%\n", "19\t검증 세트 손실: 0.133547\t최선의 손실: 0.078077\t정확도: 97.26%\n", "20\t검증 세트 손실: 0.082578\t최선의 손실: 0.078077\t정확도: 98.36%\n", "21\t검증 세트 손실: 0.130825\t최선의 손실: 0.078077\t정확도: 97.34%\n", "22\t검증 세트 손실: 0.102591\t최선의 손실: 0.078077\t정확도: 97.93%\n", "23\t검증 세트 손실: 0.148601\t최선의 손실: 0.078077\t정확도: 97.26%\n", "24\t검증 세트 손실: 0.131845\t최선의 손실: 0.078077\t정확도: 97.73%\n", "25\t검증 세트 손실: 0.121500\t최선의 손실: 0.078077\t정확도: 97.54%\n", "26\t검증 세트 손실: 0.119495\t최선의 손실: 0.078077\t정확도: 97.73%\n", "27\t검증 세트 손실: 0.112208\t최선의 손실: 0.078077\t정확도: 97.65%\n", "28\t검증 세트 손실: 0.115241\t최선의 손실: 0.078077\t정확도: 97.65%\n", "29\t검증 세트 손실: 0.215331\t최선의 손실: 0.078077\t정확도: 95.70%\n", "30\t검증 세트 손실: 0.097444\t최선의 손실: 0.078077\t정확도: 97.97%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=, total= 5.2s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.207014\t최선의 손실: 0.207014\t정확도: 93.75%\n", "1\t검증 세트 손실: 0.185412\t최선의 손실: 0.185412\t정확도: 93.90%\n", "2\t검증 세트 손실: 0.130583\t최선의 손실: 0.130583\t정확도: 96.52%\n", "3\t검증 세트 손실: 0.137197\t최선의 손실: 0.130583\t정확도: 95.66%\n", "4\t검증 세트 손실: 0.094043\t최선의 손실: 0.094043\t정확도: 96.99%\n", "5\t검증 세트 손실: 0.107013\t최선의 손실: 0.094043\t정확도: 96.60%\n", "6\t검증 세트 손실: 0.108102\t최선의 손실: 0.094043\t정확도: 97.42%\n", "7\t검증 세트 손실: 0.161698\t최선의 손실: 0.094043\t정확도: 95.58%\n", "8\t검증 세트 손실: 0.100806\t최선의 손실: 0.094043\t정확도: 96.83%\n", "9\t검증 세트 손실: 0.109001\t최선의 손실: 0.094043\t정확도: 96.79%\n", "10\t검증 세트 손실: 0.110374\t최선의 손실: 0.094043\t정확도: 97.11%\n", "11\t검증 세트 손실: 0.124355\t최선의 손실: 0.094043\t정확도: 96.76%\n", "12\t검증 세트 손실: 0.105535\t최선의 손실: 0.094043\t정확도: 97.38%\n", "13\t검증 세트 손실: 0.122336\t최선의 손실: 0.094043\t정확도: 97.42%\n", "14\t검증 세트 손실: 0.083407\t최선의 손실: 0.083407\t정확도: 97.81%\n", "15\t검증 세트 손실: 0.089028\t최선의 손실: 0.083407\t정확도: 97.58%\n", "16\t검증 세트 손실: 0.087110\t최선의 손실: 0.083407\t정확도: 98.12%\n", "17\t검증 세트 손실: 0.103629\t최선의 손실: 0.083407\t정확도: 97.58%\n", "18\t검증 세트 손실: 0.093321\t최선의 손실: 0.083407\t정확도: 98.01%\n", "19\t검증 세트 손실: 0.114963\t최선의 손실: 0.083407\t정확도: 97.97%\n", "20\t검증 세트 손실: 0.097852\t최선의 손실: 0.083407\t정확도: 98.05%\n", "21\t검증 세트 손실: 0.110359\t최선의 손실: 0.083407\t정확도: 97.30%\n", "22\t검증 세트 손실: 0.095362\t최선의 손실: 0.083407\t정확도: 97.77%\n", "23\t검증 세트 손실: 0.121934\t최선의 손실: 0.083407\t정확도: 97.93%\n", "24\t검증 세트 손실: 0.089751\t최선의 손실: 0.083407\t정확도: 97.97%\n", "25\t검증 세트 손실: 0.111491\t최선의 손실: 0.083407\t정확도: 97.81%\n", "26\t검증 세트 손실: 0.117297\t최선의 손실: 0.083407\t정확도: 97.62%\n", "27\t검증 세트 손실: 0.128388\t최선의 손실: 0.083407\t정확도: 97.81%\n", "28\t검증 세트 손실: 0.093579\t최선의 손실: 0.083407\t정확도: 98.20%\n", "29\t검증 세트 손실: 0.095810\t최선의 손실: 0.083407\t정확도: 98.24%\n", "30\t검증 세트 손실: 0.175770\t최선의 손실: 0.083407\t정확도: 97.34%\n", "31\t검증 세트 손실: 0.110144\t최선의 손실: 0.083407\t정확도: 97.97%\n", "32\t검증 세트 손실: 0.120657\t최선의 손실: 0.083407\t정확도: 98.12%\n", "33\t검증 세트 손실: 0.124450\t최선의 손실: 0.083407\t정확도: 97.46%\n", "34\t검증 세트 손실: 0.107313\t최선의 손실: 0.083407\t정확도: 98.16%\n", "35\t검증 세트 손실: 0.146261\t최선의 손실: 0.083407\t정확도: 97.58%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=, total= 5.7s\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.232865\t최선의 손실: 0.232865\t정확도: 93.00%\n", "1\t검증 세트 손실: 0.235792\t최선의 손실: 0.232865\t정확도: 91.56%\n", "2\t검증 세트 손실: 0.247265\t최선의 손실: 0.232865\t정확도: 91.83%\n", "3\t검증 세트 손실: 0.188708\t최선의 손실: 0.188708\t정확도: 93.86%\n", "4\t검증 세트 손실: 0.090292\t최선의 손실: 0.090292\t정확도: 96.87%\n", "5\t검증 세트 손실: 0.100760\t최선의 손실: 0.090292\t정확도: 96.56%\n", "6\t검증 세트 손실: 0.080154\t최선의 손실: 0.080154\t정확도: 97.11%\n", "7\t검증 세트 손실: 0.078640\t최선의 손실: 0.078640\t정확도: 97.50%\n", "8\t검증 세트 손실: 0.092030\t최선의 손실: 0.078640\t정확도: 97.62%\n", "9\t검증 세트 손실: 0.074983\t최선의 손실: 0.074983\t정확도: 98.01%\n", "10\t검증 세트 손실: 0.076790\t최선의 손실: 0.074983\t정확도: 97.97%\n", "11\t검증 세트 손실: 0.082481\t최선의 손실: 0.074983\t정확도: 97.58%\n", "12\t검증 세트 손실: 0.089566\t최선의 손실: 0.074983\t정확도: 97.69%\n", "13\t검증 세트 손실: 0.071471\t최선의 손실: 0.071471\t정확도: 97.58%\n", "14\t검증 세트 손실: 0.122822\t최선의 손실: 0.071471\t정확도: 96.95%\n", "15\t검증 세트 손실: 0.086264\t최선의 손실: 0.071471\t정확도: 97.89%\n", "16\t검증 세트 손실: 0.100651\t최선의 손실: 0.071471\t정확도: 97.65%\n", "17\t검증 세트 손실: 0.105219\t최선의 손실: 0.071471\t정확도: 97.30%\n", "18\t검증 세트 손실: 0.079060\t최선의 손실: 0.071471\t정확도: 97.54%\n", "19\t검증 세트 손실: 0.111028\t최선의 손실: 0.071471\t정확도: 97.11%\n", "20\t검증 세트 손실: 0.076055\t최선의 손실: 0.071471\t정확도: 98.01%\n", "21\t검증 세트 손실: 0.126877\t최선의 손실: 0.071471\t정확도: 97.11%\n", "22\t검증 세트 손실: 0.110235\t최선의 손실: 0.071471\t정확도: 97.73%\n", "23\t검증 세트 손실: 0.077789\t최선의 손실: 0.071471\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.100780\t최선의 손실: 0.071471\t정확도: 97.62%\n", "25\t검증 세트 손실: 0.079903\t최선의 손실: 0.071471\t정확도: 98.32%\n", "26\t검증 세트 손실: 0.085370\t최선의 손실: 0.071471\t정확도: 98.12%\n", "27\t검증 세트 손실: 0.076579\t최선의 손실: 0.071471\t정확도: 98.01%\n", "28\t검증 세트 손실: 0.063970\t최선의 손실: 0.063970\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.074450\t최선의 손실: 0.063970\t정확도: 98.24%\n", "30\t검증 세트 손실: 0.067409\t최선의 손실: 0.063970\t정확도: 98.40%\n", "31\t검증 세트 손실: 0.076819\t최선의 손실: 0.063970\t정확도: 98.24%\n", "32\t검증 세트 손실: 0.078574\t최선의 손실: 0.063970\t정확도: 98.20%\n", "33\t검증 세트 손실: 0.099312\t최선의 손실: 0.063970\t정확도: 98.20%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "34\t검증 세트 손실: 0.102943\t최선의 손실: 0.063970\t정확도: 98.08%\n", "35\t검증 세트 손실: 0.091090\t최선의 손실: 0.063970\t정확도: 97.89%\n", "36\t검증 세트 손실: 0.069864\t최선의 손실: 0.063970\t정확도: 98.24%\n", "37\t검증 세트 손실: 0.099319\t최선의 손실: 0.063970\t정확도: 98.01%\n", "38\t검증 세트 손실: 0.083558\t최선의 손실: 0.063970\t정확도: 98.16%\n", "39\t검증 세트 손실: 0.149214\t최선의 손실: 0.063970\t정확도: 96.91%\n", "40\t검증 세트 손실: 0.096099\t최선의 손실: 0.063970\t정확도: 97.89%\n", "41\t검증 세트 손실: 0.101661\t최선의 손실: 0.063970\t정확도: 97.81%\n", "42\t검증 세트 손실: 0.084866\t최선의 손실: 0.063970\t정확도: 98.36%\n", "43\t검증 세트 손실: 0.086606\t최선의 손실: 0.063970\t정확도: 98.12%\n", "44\t검증 세트 손실: 0.092522\t최선의 손실: 0.063970\t정확도: 98.20%\n", "45\t검증 세트 손실: 0.104953\t최선의 손실: 0.063970\t정확도: 98.05%\n", "46\t검증 세트 손실: 0.112595\t최선의 손실: 0.063970\t정확도: 97.50%\n", "47\t검증 세트 손실: 0.082376\t최선의 손실: 0.063970\t정확도: 98.16%\n", "48\t검증 세트 손실: 0.083420\t최선의 손실: 0.063970\t정확도: 98.08%\n", "49\t검증 세트 손실: 0.084266\t최선의 손실: 0.063970\t정확도: 98.40%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.99, activation=, total= 7.3s\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.154811\t최선의 손실: 0.154811\t정확도: 96.56%\n", "1\t검증 세트 손실: 0.084283\t최선의 손실: 0.084283\t정확도: 98.05%\n", "2\t검증 세트 손실: 0.095032\t최선의 손실: 0.084283\t정확도: 97.38%\n", "3\t검증 세트 손실: 0.065475\t최선의 손실: 0.065475\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.087697\t최선의 손실: 0.065475\t정확도: 96.95%\n", "5\t검증 세트 손실: 0.062333\t최선의 손실: 0.062333\t정확도: 98.59%\n", "6\t검증 세트 손실: 0.089933\t최선의 손실: 0.062333\t정확도: 97.62%\n", "7\t검증 세트 손실: 0.073170\t최선의 손실: 0.062333\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.078915\t최선의 손실: 0.062333\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.076189\t최선의 손실: 0.062333\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.062583\t최선의 손실: 0.062333\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.096394\t최선의 손실: 0.062333\t정확도: 98.05%\n", "12\t검증 세트 손실: 0.077183\t최선의 손실: 0.062333\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.099755\t최선의 손실: 0.062333\t정확도: 98.16%\n", "14\t검증 세트 손실: 0.068972\t최선의 손실: 0.062333\t정확도: 98.51%\n", "15\t검증 세트 손실: 0.098057\t최선의 손실: 0.062333\t정확도: 98.36%\n", "16\t검증 세트 손실: 0.121537\t최선의 손실: 0.062333\t정확도: 98.16%\n", "17\t검증 세트 손실: 0.074331\t최선의 손실: 0.062333\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.123593\t최선의 손실: 0.062333\t정확도: 98.01%\n", "19\t검증 세트 손실: 0.068416\t최선의 손실: 0.062333\t정확도: 98.71%\n", "20\t검증 세트 손실: 0.068545\t최선의 손실: 0.062333\t정확도: 98.79%\n", "21\t검증 세트 손실: 0.055166\t최선의 손실: 0.055166\t정확도: 98.98%\n", "22\t검증 세트 손실: 0.087199\t최선의 손실: 0.055166\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.075018\t최선의 손실: 0.055166\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.047389\t최선의 손실: 0.047389\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.080064\t최선의 손실: 0.047389\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.058506\t최선의 손실: 0.047389\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.117778\t최선의 손실: 0.047389\t정확도: 98.55%\n", "28\t검증 세트 손실: 0.111988\t최선의 손실: 0.047389\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.151922\t최선의 손실: 0.047389\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.112341\t최선의 손실: 0.047389\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.070995\t최선의 손실: 0.047389\t정확도: 98.91%\n", "32\t검증 세트 손실: 0.072973\t최선의 손실: 0.047389\t정확도: 98.91%\n", "33\t검증 세트 손실: 0.100210\t최선의 손실: 0.047389\t정확도: 98.63%\n", "34\t검증 세트 손실: 0.170456\t최선의 손실: 0.047389\t정확도: 98.59%\n", "35\t검증 세트 손실: 0.101874\t최선의 손실: 0.047389\t정확도: 98.59%\n", "36\t검증 세트 손실: 0.074246\t최선의 손실: 0.047389\t정확도: 99.02%\n", "37\t검증 세트 손실: 0.185815\t최선의 손실: 0.047389\t정확도: 98.20%\n", "38\t검증 세트 손실: 0.131166\t최선의 손실: 0.047389\t정확도: 98.71%\n", "39\t검증 세트 손실: 0.085084\t최선의 손실: 0.047389\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.089434\t최선의 손실: 0.047389\t정확도: 98.55%\n", "41\t검증 세트 손실: 0.083510\t최선의 손실: 0.047389\t정확도: 99.06%\n", "42\t검증 세트 손실: 0.083434\t최선의 손실: 0.047389\t정확도: 99.14%\n", "43\t검증 세트 손실: 0.085651\t최선의 손실: 0.047389\t정확도: 98.94%\n", "44\t검증 세트 손실: 0.211753\t최선의 손실: 0.047389\t정확도: 97.81%\n", "45\t검증 세트 손실: 0.136682\t최선의 손실: 0.047389\t정확도: 98.59%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 1.1min\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.139816\t최선의 손실: 0.139816\t정확도: 96.21%\n", "1\t검증 세트 손실: 0.103859\t최선의 손실: 0.103859\t정확도: 97.89%\n", "2\t검증 세트 손실: 0.084236\t최선의 손실: 0.084236\t정확도: 97.93%\n", "3\t검증 세트 손실: 0.199285\t최선의 손실: 0.084236\t정확도: 96.13%\n", "4\t검증 세트 손실: 0.074962\t최선의 손실: 0.074962\t정확도: 98.01%\n", "5\t검증 세트 손실: 0.103917\t최선의 손실: 0.074962\t정확도: 97.54%\n", "6\t검증 세트 손실: 0.079943\t최선의 손실: 0.074962\t정확도: 97.93%\n", "7\t검증 세트 손실: 0.053033\t최선의 손실: 0.053033\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.071027\t최선의 손실: 0.053033\t정확도: 98.36%\n", "9\t검증 세트 손실: 0.063563\t최선의 손실: 0.053033\t정확도: 98.24%\n", "10\t검증 세트 손실: 0.090369\t최선의 손실: 0.053033\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.087036\t최선의 손실: 0.053033\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.088078\t최선의 손실: 0.053033\t정확도: 97.97%\n", "13\t검증 세트 손실: 0.039536\t최선의 손실: 0.039536\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.148475\t최선의 손실: 0.039536\t정확도: 97.81%\n", "15\t검증 세트 손실: 0.065294\t최선의 손실: 0.039536\t정확도: 98.83%\n", "16\t검증 세트 손실: 0.070501\t최선의 손실: 0.039536\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.319948\t최선의 손실: 0.039536\t정확도: 97.77%\n", "18\t검증 세트 손실: 0.059939\t최선의 손실: 0.039536\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.057149\t최선의 손실: 0.039536\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.067073\t최선의 손실: 0.039536\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.063411\t최선의 손실: 0.039536\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.081848\t최선의 손실: 0.039536\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.142494\t최선의 손실: 0.039536\t정확도: 97.42%\n", "24\t검증 세트 손실: 0.062999\t최선의 손실: 0.039536\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.064514\t최선의 손실: 0.039536\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.091956\t최선의 손실: 0.039536\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.064874\t최선의 손실: 0.039536\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.275035\t최선의 손실: 0.039536\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.205618\t최선의 손실: 0.039536\t정확도: 98.51%\n", "30\t검증 세트 손실: 0.147132\t최선의 손실: 0.039536\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.077391\t최선의 손실: 0.039536\t정확도: 98.91%\n", "32\t검증 세트 손실: 0.057300\t최선의 손실: 0.039536\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.141584\t최선의 손실: 0.039536\t정확도: 98.16%\n", "34\t검증 세트 손실: 0.116430\t최선의 손실: 0.039536\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 50.2s\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.234712\t최선의 손실: 0.234712\t정확도: 94.76%\n", "1\t검증 세트 손실: 0.119066\t최선의 손실: 0.119066\t정확도: 96.91%\n", "2\t검증 세트 손실: 0.069523\t최선의 손실: 0.069523\t정확도: 98.36%\n", "3\t검증 세트 손실: 0.055915\t최선의 손실: 0.055915\t정확도: 98.32%\n", "4\t검증 세트 손실: 0.079563\t최선의 손실: 0.055915\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.058632\t최선의 손실: 0.055915\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.116719\t최선의 손실: 0.055915\t정확도: 96.56%\n", "7\t검증 세트 손실: 0.075467\t최선의 손실: 0.055915\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.044454\t최선의 손실: 0.044454\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.088509\t최선의 손실: 0.044454\t정확도: 98.16%\n", "10\t검증 세트 손실: 0.084162\t최선의 손실: 0.044454\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.061884\t최선의 손실: 0.044454\t정확도: 98.63%\n", "12\t검증 세트 손실: 0.067743\t최선의 손실: 0.044454\t정확도: 98.40%\n", "13\t검증 세트 손실: 0.054607\t최선의 손실: 0.044454\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.050075\t최선의 손실: 0.044454\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.060238\t최선의 손실: 0.044454\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.085472\t최선의 손실: 0.044454\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.083842\t최선의 손실: 0.044454\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.123862\t최선의 손실: 0.044454\t정확도: 97.97%\n", "19\t검증 세트 손실: 0.104352\t최선의 손실: 0.044454\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.052586\t최선의 손실: 0.044454\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.083580\t최선의 손실: 0.044454\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.215760\t최선의 손실: 0.044454\t정확도: 97.89%\n", "23\t검증 세트 손실: 0.107127\t최선의 손실: 0.044454\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.081820\t최선의 손실: 0.044454\t정확도: 98.87%\n", "25\t검증 세트 손실: 0.052555\t최선의 손실: 0.044454\t정확도: 98.75%\n", "26\t검증 세트 손실: 0.087010\t최선의 손실: 0.044454\t정확도: 98.71%\n", "27\t검증 세트 손실: 0.090239\t최선의 손실: 0.044454\t정확도: 98.59%\n", "28\t검증 세트 손실: 0.066670\t최선의 손실: 0.044454\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.110395\t최선의 손실: 0.044454\t정확도: 98.59%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 43.2s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.141335\t최선의 손실: 0.141335\t정확도: 96.52%\n", "1\t검증 세트 손실: 0.061413\t최선의 손실: 0.061413\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.064733\t최선의 손실: 0.061413\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.078236\t최선의 손실: 0.061413\t정확도: 97.81%\n", "4\t검증 세트 손실: 0.039708\t최선의 손실: 0.039708\t정확도: 98.91%\n", "5\t검증 세트 손실: 0.051991\t최선의 손실: 0.039708\t정확도: 98.55%\n", "6\t검증 세트 손실: 0.041348\t최선의 손실: 0.039708\t정확도: 98.71%\n", "7\t검증 세트 손실: 0.056816\t최선의 손실: 0.039708\t정확도: 98.40%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "8\t검증 세트 손실: 0.049332\t최선의 손실: 0.039708\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.045931\t최선의 손실: 0.039708\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.042113\t최선의 손실: 0.039708\t정확도: 99.10%\n", "11\t검증 세트 손실: 0.047508\t최선의 손실: 0.039708\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.044585\t최선의 손실: 0.039708\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.045212\t최선의 손실: 0.039708\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.045713\t최선의 손실: 0.039708\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.034023\t최선의 손실: 0.034023\t정확도: 99.30%\n", "16\t검증 세트 손실: 0.067372\t최선의 손실: 0.034023\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.038484\t최선의 손실: 0.034023\t정확도: 98.91%\n", "18\t검증 세트 손실: 0.051220\t최선의 손실: 0.034023\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.069158\t최선의 손실: 0.034023\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.045432\t최선의 손실: 0.034023\t정확도: 99.06%\n", "21\t검증 세트 손실: 0.056940\t최선의 손실: 0.034023\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.058635\t최선의 손실: 0.034023\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.049306\t최선의 손실: 0.034023\t정확도: 98.87%\n", "24\t검증 세트 손실: 0.050061\t최선의 손실: 0.034023\t정확도: 99.10%\n", "25\t검증 세트 손실: 0.052173\t최선의 손실: 0.034023\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.041441\t최선의 손실: 0.034023\t정확도: 98.98%\n", "27\t검증 세트 손실: 0.038558\t최선의 손실: 0.034023\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.048064\t최선의 손실: 0.034023\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.038078\t최선의 손실: 0.034023\t정확도: 99.18%\n", "30\t검증 세트 손실: 0.047551\t최선의 손실: 0.034023\t정확도: 99.18%\n", "31\t검증 세트 손실: 0.041505\t최선의 손실: 0.034023\t정확도: 99.06%\n", "32\t검증 세트 손실: 0.050714\t최선의 손실: 0.034023\t정확도: 99.18%\n", "33\t검증 세트 손실: 0.052887\t최선의 손실: 0.034023\t정확도: 99.02%\n", "34\t검증 세트 손실: 0.057202\t최선의 손실: 0.034023\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.051881\t최선의 손실: 0.034023\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.043397\t최선의 손실: 0.034023\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 37.4s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.122390\t최선의 손실: 0.122390\t정확도: 96.68%\n", "1\t검증 세트 손실: 0.056544\t최선의 손실: 0.056544\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.141340\t최선의 손실: 0.056544\t정확도: 95.93%\n", "3\t검증 세트 손실: 0.051296\t최선의 손실: 0.051296\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.066328\t최선의 손실: 0.051296\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.056698\t최선의 손실: 0.051296\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.054994\t최선의 손실: 0.051296\t정확도: 98.28%\n", "7\t검증 세트 손실: 0.055255\t최선의 손실: 0.051296\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.036173\t최선의 손실: 0.036173\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.063994\t최선의 손실: 0.036173\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.045259\t최선의 손실: 0.036173\t정확도: 98.91%\n", "11\t검증 세트 손실: 0.048033\t최선의 손실: 0.036173\t정확도: 98.94%\n", "12\t검증 세트 손실: 0.040915\t최선의 손실: 0.036173\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.043608\t최선의 손실: 0.036173\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.047104\t최선의 손실: 0.036173\t정확도: 98.67%\n", "15\t검증 세트 손실: 0.029973\t최선의 손실: 0.029973\t정확도: 98.91%\n", "16\t검증 세트 손실: 0.057686\t최선의 손실: 0.029973\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.040743\t최선의 손실: 0.029973\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.048948\t최선의 손실: 0.029973\t정확도: 98.79%\n", "19\t검증 세트 손실: 0.054570\t최선의 손실: 0.029973\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.044568\t최선의 손실: 0.029973\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.053380\t최선의 손실: 0.029973\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.047466\t최선의 손실: 0.029973\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.048010\t최선의 손실: 0.029973\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.045564\t최선의 손실: 0.029973\t정확도: 99.26%\n", "25\t검증 세트 손실: 0.040290\t최선의 손실: 0.029973\t정확도: 99.14%\n", "26\t검증 세트 손실: 0.053243\t최선의 손실: 0.029973\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.042433\t최선의 손실: 0.029973\t정확도: 99.26%\n", "28\t검증 세트 손실: 0.065821\t최선의 손실: 0.029973\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.052128\t최선의 손실: 0.029973\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.042127\t최선의 손실: 0.029973\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.040486\t최선의 손실: 0.029973\t정확도: 99.14%\n", "32\t검증 세트 손실: 0.043039\t최선의 손실: 0.029973\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.043367\t최선의 손실: 0.029973\t정확도: 98.98%\n", "34\t검증 세트 손실: 0.062636\t최선의 손실: 0.029973\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.047254\t최선의 손실: 0.029973\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.049529\t최선의 손실: 0.029973\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 37.5s\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.093120\t최선의 손실: 0.093120\t정확도: 97.97%\n", "1\t검증 세트 손실: 0.078011\t최선의 손실: 0.078011\t정확도: 97.38%\n", "2\t검증 세트 손실: 0.083262\t최선의 손실: 0.078011\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.044716\t최선의 손실: 0.044716\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.051373\t최선의 손실: 0.044716\t정확도: 98.67%\n", "5\t검증 세트 손실: 0.053068\t최선의 손실: 0.044716\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.067628\t최선의 손실: 0.044716\t정확도: 98.28%\n", "7\t검증 세트 손실: 0.052515\t최선의 손실: 0.044716\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.040413\t최선의 손실: 0.040413\t정확도: 99.06%\n", "9\t검증 세트 손실: 0.034303\t최선의 손실: 0.034303\t정확도: 99.02%\n", "10\t검증 세트 손실: 0.043697\t최선의 손실: 0.034303\t정확도: 99.02%\n", "11\t검증 세트 손실: 0.067900\t최선의 손실: 0.034303\t정확도: 97.62%\n", "12\t검증 세트 손실: 0.072169\t최선의 손실: 0.034303\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.046959\t최선의 손실: 0.034303\t정확도: 99.10%\n", "14\t검증 세트 손실: 0.050745\t최선의 손실: 0.034303\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.045901\t최선의 손실: 0.034303\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.043545\t최선의 손실: 0.034303\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.056210\t최선의 손실: 0.034303\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.036558\t최선의 손실: 0.034303\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.051108\t최선의 손실: 0.034303\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.056650\t최선의 손실: 0.034303\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.038001\t최선의 손실: 0.034303\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.064812\t최선의 손실: 0.034303\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.053609\t최선의 손실: 0.034303\t정확도: 99.06%\n", "24\t검증 세트 손실: 0.071144\t최선의 손실: 0.034303\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.044123\t최선의 손실: 0.034303\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.052408\t최선의 손실: 0.034303\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.031435\t최선의 손실: 0.031435\t정확도: 99.26%\n", "28\t검증 세트 손실: 0.042197\t최선의 손실: 0.031435\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.037366\t최선의 손실: 0.031435\t정확도: 99.22%\n", "30\t검증 세트 손실: 0.043012\t최선의 손실: 0.031435\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.059582\t최선의 손실: 0.031435\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.044389\t최선의 손실: 0.031435\t정확도: 98.91%\n", "33\t검증 세트 손실: 0.069978\t최선의 손실: 0.031435\t정확도: 98.75%\n", "34\t검증 세트 손실: 0.054611\t최선의 손실: 0.031435\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.043577\t최선의 손실: 0.031435\t정확도: 99.26%\n", "36\t검증 세트 손실: 0.049443\t최선의 손실: 0.031435\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.033359\t최선의 손실: 0.031435\t정확도: 99.26%\n", "38\t검증 세트 손실: 0.040323\t최선의 손실: 0.031435\t정확도: 99.02%\n", "39\t검증 세트 손실: 0.034193\t최선의 손실: 0.031435\t정확도: 99.18%\n", "40\t검증 세트 손실: 0.034348\t최선의 손실: 0.031435\t정확도: 99.22%\n", "41\t검증 세트 손실: 0.049178\t최선의 손실: 0.031435\t정확도: 99.14%\n", "42\t검증 세트 손실: 0.044832\t최선의 손실: 0.031435\t정확도: 99.14%\n", "43\t검증 세트 손실: 0.044374\t최선의 손실: 0.031435\t정확도: 99.10%\n", "44\t검증 세트 손실: 0.066005\t최선의 손실: 0.031435\t정확도: 98.71%\n", "45\t검증 세트 손실: 0.037330\t최선의 손실: 0.031435\t정확도: 99.26%\n", "46\t검증 세트 손실: 0.067141\t최선의 손실: 0.031435\t정확도: 98.91%\n", "47\t검증 세트 손실: 0.054104\t최선의 손실: 0.031435\t정확도: 98.94%\n", "48\t검증 세트 손실: 0.042078\t최선의 손실: 0.031435\t정확도: 99.30%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, batch_size=50, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 49.0s\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.075491\t최선의 손실: 0.075491\t정확도: 97.85%\n", "1\t검증 세트 손실: 0.068393\t최선의 손실: 0.068393\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.044805\t최선의 손실: 0.044805\t정확도: 98.63%\n", "3\t검증 세트 손실: 0.040807\t최선의 손실: 0.040807\t정확도: 98.79%\n", "4\t검증 세트 손실: 0.041718\t최선의 손실: 0.040807\t정확도: 98.67%\n", "5\t검증 세트 손실: 0.030649\t최선의 손실: 0.030649\t정확도: 99.06%\n", "6\t검증 세트 손실: 0.046081\t최선의 손실: 0.030649\t정확도: 98.67%\n", "7\t검증 세트 손실: 0.053235\t최선의 손실: 0.030649\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.042768\t최선의 손실: 0.030649\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.039862\t최선의 손실: 0.030649\t정확도: 98.87%\n", "10\t검증 세트 손실: 0.034784\t최선의 손실: 0.030649\t정확도: 98.94%\n", "11\t검증 세트 손실: 0.035766\t최선의 손실: 0.030649\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.036663\t최선의 손실: 0.030649\t정확도: 98.98%\n", "13\t검증 세트 손실: 0.043309\t최선의 손실: 0.030649\t정확도: 99.02%\n", "14\t검증 세트 손실: 0.033974\t최선의 손실: 0.030649\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.043730\t최선의 손실: 0.030649\t정확도: 98.91%\n", "16\t검증 세트 손실: 0.032689\t최선의 손실: 0.030649\t정확도: 99.26%\n", "17\t검증 세트 손실: 0.043658\t최선의 손실: 0.030649\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.036702\t최선의 손실: 0.030649\t정확도: 99.14%\n", "19\t검증 세트 손실: 0.040522\t최선의 손실: 0.030649\t정확도: 99.10%\n", "20\t검증 세트 손실: 0.048211\t최선의 손실: 0.030649\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.041970\t최선의 손실: 0.030649\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.036923\t최선의 손실: 0.030649\t정확도: 99.14%\n", "23\t검증 세트 손실: 0.037089\t최선의 손실: 0.030649\t정확도: 99.22%\n", "24\t검증 세트 손실: 0.033773\t최선의 손실: 0.030649\t정확도: 99.18%\n", "25\t검증 세트 손실: 0.040249\t최선의 손실: 0.030649\t정확도: 99.06%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "26\t검증 세트 손실: 0.038816\t최선의 손실: 0.030649\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 19.3s\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.081612\t최선의 손실: 0.081612\t정확도: 97.54%\n", "1\t검증 세트 손실: 0.045716\t최선의 손실: 0.045716\t정확도: 98.59%\n", "2\t검증 세트 손실: 0.044103\t최선의 손실: 0.044103\t정확도: 98.51%\n", "3\t검증 세트 손실: 0.046870\t최선의 손실: 0.044103\t정확도: 98.55%\n", "4\t검증 세트 손실: 0.044690\t최선의 손실: 0.044103\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.038618\t최선의 손실: 0.038618\t정확도: 98.63%\n", "6\t검증 세트 손실: 0.062088\t최선의 손실: 0.038618\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.046381\t최선의 손실: 0.038618\t정확도: 98.71%\n", "8\t검증 세트 손실: 0.039060\t최선의 손실: 0.038618\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.053182\t최선의 손실: 0.038618\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.047961\t최선의 손실: 0.038618\t정확도: 98.83%\n", "11\t검증 세트 손실: 0.045919\t최선의 손실: 0.038618\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.053143\t최선의 손실: 0.038618\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.039142\t최선의 손실: 0.038618\t정확도: 98.87%\n", "14\t검증 세트 손실: 0.043774\t최선의 손실: 0.038618\t정확도: 98.94%\n", "15\t검증 세트 손실: 0.049380\t최선의 손실: 0.038618\t정확도: 98.91%\n", "16\t검증 세트 손실: 0.056472\t최선의 손실: 0.038618\t정확도: 98.87%\n", "17\t검증 세트 손실: 0.045089\t최선의 손실: 0.038618\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.041171\t최선의 손실: 0.038618\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.044702\t최선의 손실: 0.038618\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.044970\t최선의 손실: 0.038618\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.038338\t최선의 손실: 0.038338\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.056080\t최선의 손실: 0.038338\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.062585\t최선의 손실: 0.038338\t정확도: 98.75%\n", "24\t검증 세트 손실: 0.044380\t최선의 손실: 0.038338\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.063542\t최선의 손실: 0.038338\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.049656\t최선의 손실: 0.038338\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.064249\t최선의 손실: 0.038338\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.071744\t최선의 손실: 0.038338\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.054265\t최선의 손실: 0.038338\t정확도: 99.02%\n", "30\t검증 세트 손실: 0.059769\t최선의 손실: 0.038338\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.062473\t최선의 손실: 0.038338\t정확도: 98.75%\n", "32\t검증 세트 손실: 0.059700\t최선의 손실: 0.038338\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.070211\t최선의 손실: 0.038338\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.056823\t최선의 손실: 0.038338\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.060896\t최선의 손실: 0.038338\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.052177\t최선의 손실: 0.038338\t정확도: 98.75%\n", "37\t검증 세트 손실: 0.051464\t최선의 손실: 0.038338\t정확도: 98.91%\n", "38\t검증 세트 손실: 0.053396\t최선의 손실: 0.038338\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.047279\t최선의 손실: 0.038338\t정확도: 98.98%\n", "40\t검증 세트 손실: 0.054517\t최선의 손실: 0.038338\t정확도: 99.10%\n", "41\t검증 세트 손실: 0.045629\t최선의 손실: 0.038338\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.051702\t최선의 손실: 0.038338\t정확도: 99.02%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 29.9s\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.061196\t최선의 손실: 0.061196\t정확도: 98.20%\n", "1\t검증 세트 손실: 0.062150\t최선의 손실: 0.061196\t정확도: 98.08%\n", "2\t검증 세트 손실: 0.046554\t최선의 손실: 0.046554\t정확도: 98.32%\n", "3\t검증 세트 손실: 0.050200\t최선의 손실: 0.046554\t정확도: 98.32%\n", "4\t검증 세트 손실: 0.038133\t최선의 손실: 0.038133\t정확도: 98.51%\n", "5\t검증 세트 손실: 0.032050\t최선의 손실: 0.032050\t정확도: 98.87%\n", "6\t검증 세트 손실: 0.040779\t최선의 손실: 0.032050\t정확도: 98.87%\n", "7\t검증 세트 손실: 0.046538\t최선의 손실: 0.032050\t정확도: 98.71%\n", "8\t검증 세트 손실: 0.041340\t최선의 손실: 0.032050\t정확도: 98.87%\n", "9\t검증 세트 손실: 0.040119\t최선의 손실: 0.032050\t정확도: 98.91%\n", "10\t검증 세트 손실: 0.039465\t최선의 손실: 0.032050\t정확도: 98.94%\n", "11\t검증 세트 손실: 0.031864\t최선의 손실: 0.031864\t정확도: 99.10%\n", "12\t검증 세트 손실: 0.033944\t최선의 손실: 0.031864\t정확도: 99.14%\n", "13\t검증 세트 손실: 0.036519\t최선의 손실: 0.031864\t정확도: 98.98%\n", "14\t검증 세트 손실: 0.035934\t최선의 손실: 0.031864\t정확도: 99.06%\n", "15\t검증 세트 손실: 0.039248\t최선의 손실: 0.031864\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.041531\t최선의 손실: 0.031864\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.037235\t최선의 손실: 0.031864\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.035805\t최선의 손실: 0.031864\t정확도: 98.98%\n", "19\t검증 세트 손실: 0.037050\t최선의 손실: 0.031864\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.049961\t최선의 손실: 0.031864\t정확도: 98.48%\n", "21\t검증 세트 손실: 0.027104\t최선의 손실: 0.027104\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.038971\t최선의 손실: 0.027104\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.027453\t최선의 손실: 0.027104\t정확도: 99.30%\n", "24\t검증 세트 손실: 0.047679\t최선의 손실: 0.027104\t정확도: 99.14%\n", "25\t검증 세트 손실: 0.038931\t최선의 손실: 0.027104\t정확도: 99.14%\n", "26\t검증 세트 손실: 0.041281\t최선의 손실: 0.027104\t정확도: 99.26%\n", "27\t검증 세트 손실: 0.051883\t최선의 손실: 0.027104\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.034985\t최선의 손실: 0.027104\t정확도: 99.34%\n", "29\t검증 세트 손실: 0.036515\t최선의 손실: 0.027104\t정확도: 99.14%\n", "30\t검증 세트 손실: 0.035565\t최선의 손실: 0.027104\t정확도: 99.22%\n", "31\t검증 세트 손실: 0.049567\t최선의 손실: 0.027104\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.043402\t최선의 손실: 0.027104\t정확도: 99.06%\n", "33\t검증 세트 손실: 0.041818\t최선의 손실: 0.027104\t정확도: 99.06%\n", "34\t검증 세트 손실: 0.038107\t최선의 손실: 0.027104\t정확도: 99.26%\n", "35\t검증 세트 손실: 0.040006\t최선의 손실: 0.027104\t정확도: 99.06%\n", "36\t검증 세트 손실: 0.037485\t최선의 손실: 0.027104\t정확도: 99.10%\n", "37\t검증 세트 손실: 0.043721\t최선의 손실: 0.027104\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.041980\t최선의 손실: 0.027104\t정확도: 99.14%\n", "39\t검증 세트 손실: 0.035519\t최선의 손실: 0.027104\t정확도: 99.22%\n", "40\t검증 세트 손실: 0.048534\t최선의 손실: 0.027104\t정확도: 98.71%\n", "41\t검증 세트 손실: 0.040161\t최선의 손실: 0.027104\t정확도: 99.30%\n", "42\t검증 세트 손실: 0.032246\t최선의 손실: 0.027104\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 29.8s\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 2.478998\t최선의 손실: 2.478998\t정확도: 94.53%\n", "1\t검증 세트 손실: 0.458788\t최선의 손실: 0.458788\t정확도: 95.15%\n", "2\t검증 세트 손실: 0.140459\t최선의 손실: 0.140459\t정확도: 97.73%\n", "3\t검증 세트 손실: 0.120113\t최선의 손실: 0.120113\t정확도: 97.50%\n", "4\t검증 세트 손실: 0.089016\t최선의 손실: 0.089016\t정확도: 98.55%\n", "5\t검증 세트 손실: 0.173259\t최선의 손실: 0.089016\t정확도: 97.03%\n", "6\t검증 세트 손실: 0.096427\t최선의 손실: 0.089016\t정확도: 98.01%\n", "7\t검증 세트 손실: 0.072181\t최선의 손실: 0.072181\t정확도: 98.59%\n", "8\t검증 세트 손실: 0.062597\t최선의 손실: 0.062597\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.082563\t최선의 손실: 0.062597\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.066648\t최선의 손실: 0.062597\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.056970\t최선의 손실: 0.056970\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.064460\t최선의 손실: 0.056970\t정확도: 98.87%\n", "13\t검증 세트 손실: 0.055867\t최선의 손실: 0.055867\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.104118\t최선의 손실: 0.055867\t정확도: 97.97%\n", "15\t검증 세트 손실: 0.100488\t최선의 손실: 0.055867\t정확도: 98.01%\n", "16\t검증 세트 손실: 0.060207\t최선의 손실: 0.055867\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.054104\t최선의 손실: 0.054104\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.064933\t최선의 손실: 0.054104\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.048565\t최선의 손실: 0.048565\t정확도: 99.02%\n", "20\t검증 세트 손실: 0.062065\t최선의 손실: 0.048565\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.067455\t최선의 손실: 0.048565\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.086593\t최선의 손실: 0.048565\t정확도: 98.51%\n", "23\t검증 세트 손실: 0.087194\t최선의 손실: 0.048565\t정확도: 98.71%\n", "24\t검증 세트 손실: 0.087956\t최선의 손실: 0.048565\t정확도: 98.51%\n", "25\t검증 세트 손실: 0.075433\t최선의 손실: 0.048565\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.071082\t최선의 손실: 0.048565\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.057649\t최선의 손실: 0.048565\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.068848\t최선의 손실: 0.048565\t정확도: 98.55%\n", "29\t검증 세트 손실: 0.057169\t최선의 손실: 0.048565\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.091134\t최선의 손실: 0.048565\t정확도: 98.55%\n", "31\t검증 세트 손실: 0.080886\t최선의 손실: 0.048565\t정확도: 98.67%\n", "32\t검증 세트 손실: 0.108150\t최선의 손실: 0.048565\t정확도: 98.32%\n", "33\t검증 세트 손실: 0.084943\t최선의 손실: 0.048565\t정확도: 98.51%\n", "34\t검증 세트 손실: 0.094366\t최선의 손실: 0.048565\t정확도: 98.32%\n", "35\t검증 세트 손실: 0.063626\t최선의 손실: 0.048565\t정확도: 98.79%\n", "36\t검증 세트 손실: 0.064163\t최선의 손실: 0.048565\t정확도: 98.79%\n", "37\t검증 세트 손실: 0.130550\t최선의 손실: 0.048565\t정확도: 98.48%\n", "38\t검증 세트 손실: 0.091143\t최선의 손실: 0.048565\t정확도: 98.32%\n", "39\t검증 세트 손실: 0.053978\t최선의 손실: 0.048565\t정확도: 98.94%\n", "40\t검증 세트 손실: 0.063374\t최선의 손실: 0.048565\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 14.9s\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 3.864653\t최선의 손실: 3.864653\t정확도: 86.28%\n", "1\t검증 세트 손실: 0.264261\t최선의 손실: 0.264261\t정확도: 97.22%\n", "2\t검증 세트 손실: 0.173995\t최선의 손실: 0.173995\t정확도: 97.26%\n", "3\t검증 세트 손실: 0.071280\t최선의 손실: 0.071280\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.092237\t최선의 손실: 0.071280\t정확도: 97.85%\n", "5\t검증 세트 손실: 0.129167\t최선의 손실: 0.071280\t정확도: 96.99%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "6\t검증 세트 손실: 0.070267\t최선의 손실: 0.070267\t정확도: 98.08%\n", "7\t검증 세트 손실: 0.086551\t최선의 손실: 0.070267\t정확도: 98.20%\n", "8\t검증 세트 손실: 0.096464\t최선의 손실: 0.070267\t정확도: 98.08%\n", "9\t검증 세트 손실: 0.065975\t최선의 손실: 0.065975\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.091872\t최선의 손실: 0.065975\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.069650\t최선의 손실: 0.065975\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.060875\t최선의 손실: 0.060875\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.056098\t최선의 손실: 0.056098\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.087803\t최선의 손실: 0.056098\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.077933\t최선의 손실: 0.056098\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.058565\t최선의 손실: 0.056098\t정확도: 98.87%\n", "17\t검증 세트 손실: 0.060645\t최선의 손실: 0.056098\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.073854\t최선의 손실: 0.056098\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.088291\t최선의 손실: 0.056098\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.078110\t최선의 손실: 0.056098\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.074371\t최선의 손실: 0.056098\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.075018\t최선의 손실: 0.056098\t정확도: 98.51%\n", "23\t검증 세트 손실: 0.056407\t최선의 손실: 0.056098\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.063468\t최선의 손실: 0.056098\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.116141\t최선의 손실: 0.056098\t정확도: 98.12%\n", "26\t검증 세트 손실: 0.058222\t최선의 손실: 0.056098\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.069426\t최선의 손실: 0.056098\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.097741\t최선의 손실: 0.056098\t정확도: 98.59%\n", "29\t검증 세트 손실: 0.073053\t최선의 손실: 0.056098\t정확도: 98.63%\n", "30\t검증 세트 손실: 0.065958\t최선의 손실: 0.056098\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.074085\t최선의 손실: 0.056098\t정확도: 98.67%\n", "32\t검증 세트 손실: 0.077389\t최선의 손실: 0.056098\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.082879\t최선의 손실: 0.056098\t정확도: 98.63%\n", "34\t검증 세트 손실: 0.084573\t최선의 손실: 0.056098\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 12.9s\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 1.545305\t최선의 손실: 1.545305\t정확도: 93.16%\n", "1\t검증 세트 손실: 0.282418\t최선의 손실: 0.282418\t정확도: 97.15%\n", "2\t검증 세트 손실: 0.106239\t최선의 손실: 0.106239\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.078249\t최선의 손실: 0.078249\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.106543\t최선의 손실: 0.078249\t정확도: 97.77%\n", "5\t검증 세트 손실: 0.096182\t최선의 손실: 0.078249\t정확도: 98.36%\n", "6\t검증 세트 손실: 0.085939\t최선의 손실: 0.078249\t정확도: 98.08%\n", "7\t검증 세트 손실: 0.061860\t최선의 손실: 0.061860\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.059406\t최선의 손실: 0.059406\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.044102\t최선의 손실: 0.044102\t정확도: 98.98%\n", "10\t검증 세트 손실: 0.071046\t최선의 손실: 0.044102\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.114026\t최선의 손실: 0.044102\t정확도: 97.89%\n", "12\t검증 세트 손실: 0.069768\t최선의 손실: 0.044102\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.070695\t최선의 손실: 0.044102\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.079249\t최선의 손실: 0.044102\t정확도: 98.51%\n", "15\t검증 세트 손실: 0.076373\t최선의 손실: 0.044102\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.071651\t최선의 손실: 0.044102\t정확도: 98.67%\n", "17\t검증 세트 손실: 0.063991\t최선의 손실: 0.044102\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.074036\t최선의 손실: 0.044102\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.055675\t최선의 손실: 0.044102\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.057518\t최선의 손실: 0.044102\t정확도: 98.91%\n", "21\t검증 세트 손실: 0.071406\t최선의 손실: 0.044102\t정확도: 98.51%\n", "22\t검증 세트 손실: 0.067844\t최선의 손실: 0.044102\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.053762\t최선의 손실: 0.044102\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.071873\t최선의 손실: 0.044102\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.081753\t최선의 손실: 0.044102\t정확도: 98.44%\n", "26\t검증 세트 손실: 0.057524\t최선의 손실: 0.044102\t정확도: 99.02%\n", "27\t검증 세트 손실: 0.065538\t최선의 손실: 0.044102\t정확도: 98.79%\n", "28\t검증 세트 손실: 0.050495\t최선의 손실: 0.044102\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.040231\t최선의 손실: 0.040231\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.050914\t최선의 손실: 0.040231\t정확도: 98.94%\n", "31\t검증 세트 손실: 0.077501\t최선의 손실: 0.040231\t정확도: 98.63%\n", "32\t검증 세트 손실: 0.064035\t최선의 손실: 0.040231\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.089943\t최선의 손실: 0.040231\t정확도: 98.28%\n", "34\t검증 세트 손실: 0.057293\t최선의 손실: 0.040231\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.055064\t최선의 손실: 0.040231\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.045044\t최선의 손실: 0.040231\t정확도: 98.94%\n", "37\t검증 세트 손실: 0.059708\t최선의 손실: 0.040231\t정확도: 98.91%\n", "38\t검증 세트 손실: 0.084063\t최선의 손실: 0.040231\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.051146\t최선의 손실: 0.040231\t정확도: 99.10%\n", "40\t검증 세트 손실: 0.058476\t최선의 손실: 0.040231\t정확도: 98.87%\n", "41\t검증 세트 손실: 0.062926\t최선의 손실: 0.040231\t정확도: 98.75%\n", "42\t검증 세트 손실: 0.060139\t최선의 손실: 0.040231\t정확도: 98.94%\n", "43\t검증 세트 손실: 0.055237\t최선의 손실: 0.040231\t정확도: 99.06%\n", "44\t검증 세트 손실: 0.053879\t최선의 손실: 0.040231\t정확도: 98.98%\n", "45\t검증 세트 손실: 0.065132\t최선의 손실: 0.040231\t정확도: 99.10%\n", "46\t검증 세트 손실: 0.051844\t최선의 손실: 0.040231\t정확도: 99.14%\n", "47\t검증 세트 손실: 0.054467\t최선의 손실: 0.040231\t정확도: 98.71%\n", "48\t검증 세트 손실: 0.071239\t최선의 손실: 0.040231\t정확도: 99.06%\n", "49\t검증 세트 손실: 0.072217\t최선의 손실: 0.040231\t정확도: 99.06%\n", "50\t검증 세트 손실: 0.072872\t최선의 손실: 0.040231\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 18.1s\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.100603\t최선의 손실: 0.100603\t정확도: 97.26%\n", "1\t검증 세트 손실: 0.095987\t최선의 손실: 0.095987\t정확도: 96.87%\n", "2\t검증 세트 손실: 0.061204\t최선의 손실: 0.061204\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.070166\t최선의 손실: 0.061204\t정확도: 97.65%\n", "4\t검증 세트 손실: 0.057627\t최선의 손실: 0.057627\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.071396\t최선의 손실: 0.057627\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.056442\t최선의 손실: 0.056442\t정확도: 98.55%\n", "7\t검증 세트 손실: 0.043360\t최선의 손실: 0.043360\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.045068\t최선의 손실: 0.043360\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.058310\t최선의 손실: 0.043360\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.058694\t최선의 손실: 0.043360\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.037737\t최선의 손실: 0.037737\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.044625\t최선의 손실: 0.037737\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.044334\t최선의 손실: 0.037737\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.045598\t최선의 손실: 0.037737\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.044164\t최선의 손실: 0.037737\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.044774\t최선의 손실: 0.037737\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.040375\t최선의 손실: 0.037737\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.040069\t최선의 손실: 0.037737\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.045493\t최선의 손실: 0.037737\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.044257\t최선의 손실: 0.037737\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.045531\t최선의 손실: 0.037737\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.043908\t최선의 손실: 0.037737\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.047887\t최선의 손실: 0.037737\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.043792\t최선의 손실: 0.037737\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.037507\t최선의 손실: 0.037507\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.045902\t최선의 손실: 0.037507\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.048083\t최선의 손실: 0.037507\t정확도: 98.55%\n", "28\t검증 세트 손실: 0.049194\t최선의 손실: 0.037507\t정확도: 98.51%\n", "29\t검증 세트 손실: 0.052442\t최선의 손실: 0.037507\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.047821\t최선의 손실: 0.037507\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.040178\t최선의 손실: 0.037507\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.047428\t최선의 손실: 0.037507\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.046033\t최선의 손실: 0.037507\t정확도: 98.71%\n", "34\t검증 세트 손실: 0.043453\t최선의 손실: 0.037507\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.048953\t최선의 손실: 0.037507\t정확도: 98.59%\n", "36\t검증 세트 손실: 0.046497\t최선의 손실: 0.037507\t정확도: 98.83%\n", "37\t검증 세트 손실: 0.050526\t최선의 손실: 0.037507\t정확도: 98.51%\n", "38\t검증 세트 손실: 0.059607\t최선의 손실: 0.037507\t정확도: 98.48%\n", "39\t검증 세트 손실: 0.039519\t최선의 손실: 0.037507\t정확도: 99.06%\n", "40\t검증 세트 손실: 0.040046\t최선의 손실: 0.037507\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.045818\t최선의 손실: 0.037507\t정확도: 98.63%\n", "42\t검증 세트 손실: 0.052572\t최선의 손실: 0.037507\t정확도: 98.44%\n", "43\t검증 세트 손실: 0.049188\t최선의 손실: 0.037507\t정확도: 98.91%\n", "44\t검증 세트 손실: 0.039469\t최선의 손실: 0.037507\t정확도: 98.87%\n", "45\t검증 세트 손실: 0.044195\t최선의 손실: 0.037507\t정확도: 98.91%\n", "46\t검증 세트 손실: 0.048622\t최선의 손실: 0.037507\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=, total= 2.0min\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.121895\t최선의 손실: 0.121895\t정확도: 96.29%\n", "1\t검증 세트 손실: 0.092253\t최선의 손실: 0.092253\t정확도: 97.15%\n", "2\t검증 세트 손실: 0.088004\t최선의 손실: 0.088004\t정확도: 97.07%\n", "3\t검증 세트 손실: 0.060347\t최선의 손실: 0.060347\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.057473\t최선의 손실: 0.057473\t정확도: 97.93%\n", "5\t검증 세트 손실: 0.059368\t최선의 손실: 0.057473\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.046952\t최선의 손실: 0.046952\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.039276\t최선의 손실: 0.039276\t정확도: 98.63%\n", "8\t검증 세트 손실: 0.047805\t최선의 손실: 0.039276\t정확도: 98.55%\n", "9\t검증 세트 손실: 0.052766\t최선의 손실: 0.039276\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.063021\t최선의 손실: 0.039276\t정확도: 97.93%\n", "11\t검증 세트 손실: 0.042493\t최선의 손실: 0.039276\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.045186\t최선의 손실: 0.039276\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.046415\t최선의 손실: 0.039276\t정확도: 98.59%\n", "14\t검증 세트 손실: 0.043055\t최선의 손실: 0.039276\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.049050\t최선의 손실: 0.039276\t정확도: 98.32%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "16\t검증 세트 손실: 0.043508\t최선의 손실: 0.039276\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.043853\t최선의 손실: 0.039276\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.044556\t최선의 손실: 0.039276\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.038379\t최선의 손실: 0.038379\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.039012\t최선의 손실: 0.038379\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.045854\t최선의 손실: 0.038379\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.041372\t최선의 손실: 0.038379\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.044562\t최선의 손실: 0.038379\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.030980\t최선의 손실: 0.030980\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.031959\t최선의 손실: 0.030980\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.043089\t최선의 손실: 0.030980\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.041988\t최선의 손실: 0.030980\t정확도: 98.63%\n", "28\t검증 세트 손실: 0.029320\t최선의 손실: 0.029320\t정확도: 99.14%\n", "29\t검증 세트 손실: 0.050636\t최선의 손실: 0.029320\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.045775\t최선의 손실: 0.029320\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.041300\t최선의 손실: 0.029320\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.027898\t최선의 손실: 0.027898\t정확도: 99.26%\n", "33\t검증 세트 손실: 0.033033\t최선의 손실: 0.027898\t정확도: 98.98%\n", "34\t검증 세트 손실: 0.062622\t최선의 손실: 0.027898\t정확도: 98.71%\n", "35\t검증 세트 손실: 0.037295\t최선의 손실: 0.027898\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.041117\t최선의 손실: 0.027898\t정확도: 98.94%\n", "37\t검증 세트 손실: 0.050021\t최선의 손실: 0.027898\t정확도: 98.48%\n", "38\t검증 세트 손실: 0.034783\t최선의 손실: 0.027898\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.034003\t최선의 손실: 0.027898\t정확도: 99.06%\n", "40\t검증 세트 손실: 0.042847\t최선의 손실: 0.027898\t정확도: 98.71%\n", "41\t검증 세트 손실: 0.034893\t최선의 손실: 0.027898\t정확도: 99.02%\n", "42\t검증 세트 손실: 0.036109\t최선의 손실: 0.027898\t정확도: 98.75%\n", "43\t검증 세트 손실: 0.035995\t최선의 손실: 0.027898\t정확도: 98.87%\n", "44\t검증 세트 손실: 0.046147\t최선의 손실: 0.027898\t정확도: 98.91%\n", "45\t검증 세트 손실: 0.035157\t최선의 손실: 0.027898\t정확도: 98.94%\n", "46\t검증 세트 손실: 0.034277\t최선의 손실: 0.027898\t정확도: 99.10%\n", "47\t검증 세트 손실: 0.039010\t최선의 손실: 0.027898\t정확도: 98.98%\n", "48\t검증 세트 손실: 0.058768\t최선의 손실: 0.027898\t정확도: 98.67%\n", "49\t검증 세트 손실: 0.048524\t최선의 손실: 0.027898\t정확도: 98.75%\n", "50\t검증 세트 손실: 0.043241\t최선의 손실: 0.027898\t정확도: 98.44%\n", "51\t검증 세트 손실: 0.041173\t최선의 손실: 0.027898\t정확도: 98.83%\n", "52\t검증 세트 손실: 0.046565\t최선의 손실: 0.027898\t정확도: 98.83%\n", "53\t검증 세트 손실: 0.045326\t최선의 손실: 0.027898\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=, total= 2.3min\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.100030\t최선의 손실: 0.100030\t정확도: 97.19%\n", "1\t검증 세트 손실: 0.070623\t최선의 손실: 0.070623\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.064858\t최선의 손실: 0.064858\t정확도: 98.01%\n", "3\t검증 세트 손실: 0.058851\t최선의 손실: 0.058851\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.047061\t최선의 손실: 0.047061\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.058901\t최선의 손실: 0.047061\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.077585\t최선의 손실: 0.047061\t정확도: 97.50%\n", "7\t검증 세트 손실: 0.040281\t최선의 손실: 0.040281\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.037623\t최선의 손실: 0.037623\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.040125\t최선의 손실: 0.037623\t정확도: 98.94%\n", "10\t검증 세트 손실: 0.035225\t최선의 손실: 0.035225\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.043298\t최선의 손실: 0.035225\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.042809\t최선의 손실: 0.035225\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.041754\t최선의 손실: 0.035225\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.045671\t최선의 손실: 0.035225\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.036880\t최선의 손실: 0.035225\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.030745\t최선의 손실: 0.030745\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.039960\t최선의 손실: 0.030745\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.033983\t최선의 손실: 0.030745\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.041830\t최선의 손실: 0.030745\t정확도: 98.48%\n", "20\t검증 세트 손실: 0.033926\t최선의 손실: 0.030745\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.029316\t최선의 손실: 0.029316\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.032503\t최선의 손실: 0.029316\t정확도: 99.06%\n", "23\t검증 세트 손실: 0.035125\t최선의 손실: 0.029316\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.038176\t최선의 손실: 0.029316\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.039735\t최선의 손실: 0.029316\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.039223\t최선의 손실: 0.029316\t정확도: 98.98%\n", "27\t검증 세트 손실: 0.032711\t최선의 손실: 0.029316\t정확도: 98.98%\n", "28\t검증 세트 손실: 0.033500\t최선의 손실: 0.029316\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.041764\t최선의 손실: 0.029316\t정확도: 98.83%\n", "30\t검증 세트 손실: 0.046980\t최선의 손실: 0.029316\t정확도: 98.75%\n", "31\t검증 세트 손실: 0.041176\t최선의 손실: 0.029316\t정확도: 98.59%\n", "32\t검증 세트 손실: 0.033270\t최선의 손실: 0.029316\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.037823\t최선의 손실: 0.029316\t정확도: 98.98%\n", "34\t검증 세트 손실: 0.032578\t최선의 손실: 0.029316\t정확도: 98.87%\n", "35\t검증 세트 손실: 0.037565\t최선의 손실: 0.029316\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.042676\t최선의 손실: 0.029316\t정확도: 98.87%\n", "37\t검증 세트 손실: 0.036772\t최선의 손실: 0.029316\t정확도: 98.87%\n", "38\t검증 세트 손실: 0.043170\t최선의 손실: 0.029316\t정확도: 98.75%\n", "39\t검증 세트 손실: 0.034908\t최선의 손실: 0.029316\t정확도: 98.94%\n", "40\t검증 세트 손실: 0.036616\t최선의 손실: 0.029316\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.040407\t최선의 손실: 0.029316\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.034894\t최선의 손실: 0.029316\t정확도: 98.87%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=, total= 1.8min\n", "[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.212140\t최선의 손실: 0.212140\t정확도: 94.45%\n", "1\t검증 세트 손실: 0.098957\t최선의 손실: 0.098957\t정확도: 97.19%\n", "2\t검증 세트 손실: 0.078246\t최선의 손실: 0.078246\t정확도: 97.65%\n", "3\t검증 세트 손실: 0.066202\t최선의 손실: 0.066202\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.052945\t최선의 손실: 0.052945\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.065469\t최선의 손실: 0.052945\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.130332\t최선의 손실: 0.052945\t정확도: 96.44%\n", "7\t검증 세트 손실: 0.057354\t최선의 손실: 0.052945\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.054194\t최선의 손실: 0.052945\t정확도: 98.24%\n", "9\t검증 세트 손실: 0.059746\t최선의 손실: 0.052945\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.050507\t최선의 손실: 0.050507\t정확도: 98.32%\n", "11\t검증 세트 손실: 0.056456\t최선의 손실: 0.050507\t정확도: 98.48%\n", "12\t검증 세트 손실: 0.056127\t최선의 손실: 0.050507\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.051199\t최선의 손실: 0.050507\t정확도: 98.20%\n", "14\t검증 세트 손실: 0.052454\t최선의 손실: 0.050507\t정확도: 98.71%\n", "15\t검증 세트 손실: 0.050868\t최선의 손실: 0.050507\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.054372\t최선의 손실: 0.050507\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.047549\t최선의 손실: 0.047549\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.066167\t최선의 손실: 0.047549\t정확도: 98.08%\n", "19\t검증 세트 손실: 0.063800\t최선의 손실: 0.047549\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.058271\t최선의 손실: 0.047549\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.040681\t최선의 손실: 0.040681\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.057463\t최선의 손실: 0.040681\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.056186\t최선의 손실: 0.040681\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.037900\t최선의 손실: 0.037900\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.060407\t최선의 손실: 0.037900\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.039482\t최선의 손실: 0.037900\t정확도: 99.18%\n", "27\t검증 세트 손실: 0.083588\t최선의 손실: 0.037900\t정확도: 98.08%\n", "28\t검증 세트 손실: 0.075337\t최선의 손실: 0.037900\t정확도: 98.59%\n", "29\t검증 세트 손실: 0.053983\t최선의 손실: 0.037900\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.047716\t최선의 손실: 0.037900\t정확도: 98.94%\n", "31\t검증 세트 손실: 0.047535\t최선의 손실: 0.037900\t정확도: 99.02%\n", "32\t검증 세트 손실: 0.065004\t최선의 손실: 0.037900\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.053850\t최선의 손실: 0.037900\t정확도: 99.10%\n", "34\t검증 세트 손실: 0.058793\t최선의 손실: 0.037900\t정확도: 98.83%\n", "35\t검증 세트 손실: 0.036635\t최선의 손실: 0.036635\t정확도: 99.14%\n", "36\t검증 세트 손실: 0.049593\t최선의 손실: 0.036635\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.092141\t최선의 손실: 0.036635\t정확도: 98.36%\n", "38\t검증 세트 손실: 0.067755\t최선의 손실: 0.036635\t정확도: 99.02%\n", "39\t검증 세트 손실: 0.053219\t최선의 손실: 0.036635\t정확도: 99.02%\n", "40\t검증 세트 손실: 0.050433\t최선의 손실: 0.036635\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.044516\t최선의 손실: 0.036635\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.049445\t최선의 손실: 0.036635\t정확도: 98.71%\n", "43\t검증 세트 손실: 0.049240\t최선의 손실: 0.036635\t정확도: 98.87%\n", "44\t검증 세트 손실: 0.051228\t최선의 손실: 0.036635\t정확도: 99.02%\n", "45\t검증 세트 손실: 0.085578\t최선의 손실: 0.036635\t정확도: 98.59%\n", "46\t검증 세트 손실: 0.056779\t최선의 손실: 0.036635\t정확도: 98.79%\n", "47\t검증 세트 손실: 0.064794\t최선의 손실: 0.036635\t정확도: 98.51%\n", "48\t검증 세트 손실: 0.072838\t최선의 손실: 0.036635\t정확도: 98.83%\n", "49\t검증 세트 손실: 0.085182\t최선의 손실: 0.036635\t정확도: 98.40%\n", "50\t검증 세트 손실: 0.074836\t최선의 손실: 0.036635\t정확도: 98.40%\n", "51\t검증 세트 손실: 0.059198\t최선의 손실: 0.036635\t정확도: 98.75%\n", "52\t검증 세트 손실: 0.094831\t최선의 손실: 0.036635\t정확도: 98.36%\n", "53\t검증 세트 손실: 0.067013\t최선의 손실: 0.036635\t정확도: 98.83%\n", "54\t검증 세트 손실: 0.056849\t최선의 손실: 0.036635\t정확도: 98.75%\n", "55\t검증 세트 손실: 0.081401\t최선의 손실: 0.036635\t정확도: 98.16%\n", "56\t검증 세트 손실: 0.104219\t최선의 손실: 0.036635\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.1min\n", "[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.130739\t최선의 손실: 0.130739\t정확도: 96.33%\n", "1\t검증 세트 손실: 0.096265\t최선의 손실: 0.096265\t정확도: 97.03%\n", "2\t검증 세트 손실: 0.076156\t최선의 손실: 0.076156\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.255259\t최선의 손실: 0.076156\t정확도: 95.78%\n", "4\t검증 세트 손실: 0.052834\t최선의 손실: 0.052834\t정확도: 98.63%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "5\t검증 세트 손실: 0.070017\t최선의 손실: 0.052834\t정확도: 97.89%\n", "6\t검증 세트 손실: 0.072873\t최선의 손실: 0.052834\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.062900\t최선의 손실: 0.052834\t정확도: 97.62%\n", "8\t검증 세트 손실: 0.074799\t최선의 손실: 0.052834\t정확도: 98.12%\n", "9\t검증 세트 손실: 0.055148\t최선의 손실: 0.052834\t정확도: 98.59%\n", "10\t검증 세트 손실: 0.071833\t최선의 손실: 0.052834\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.067117\t최선의 손실: 0.052834\t정확도: 98.24%\n", "12\t검증 세트 손실: 0.045779\t최선의 손실: 0.045779\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.046497\t최선의 손실: 0.045779\t정확도: 99.02%\n", "14\t검증 세트 손실: 0.042511\t최선의 손실: 0.042511\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.074468\t최선의 손실: 0.042511\t정확도: 97.89%\n", "16\t검증 세트 손실: 0.067823\t최선의 손실: 0.042511\t정확도: 98.51%\n", "17\t검증 세트 손실: 0.049138\t최선의 손실: 0.042511\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.058330\t최선의 손실: 0.042511\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.045549\t최선의 손실: 0.042511\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.058263\t최선의 손실: 0.042511\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.049386\t최선의 손실: 0.042511\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.053419\t최선의 손실: 0.042511\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.048095\t최선의 손실: 0.042511\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.056695\t최선의 손실: 0.042511\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.059468\t최선의 손실: 0.042511\t정확도: 98.20%\n", "26\t검증 세트 손실: 0.035598\t최선의 손실: 0.035598\t정확도: 98.98%\n", "27\t검증 세트 손실: 0.043477\t최선의 손실: 0.035598\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.077709\t최선의 손실: 0.035598\t정확도: 98.51%\n", "29\t검증 세트 손실: 0.069939\t최선의 손실: 0.035598\t정확도: 98.40%\n", "30\t검증 세트 손실: 0.064058\t최선의 손실: 0.035598\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.074587\t최선의 손실: 0.035598\t정확도: 98.28%\n", "32\t검증 세트 손실: 0.058136\t최선의 손실: 0.035598\t정확도: 98.71%\n", "33\t검증 세트 손실: 0.062856\t최선의 손실: 0.035598\t정확도: 98.48%\n", "34\t검증 세트 손실: 0.046335\t최선의 손실: 0.035598\t정확도: 98.83%\n", "35\t검증 세트 손실: 0.066735\t최선의 손실: 0.035598\t정확도: 98.63%\n", "36\t검증 세트 손실: 0.053662\t최선의 손실: 0.035598\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.101943\t최선의 손실: 0.035598\t정확도: 97.73%\n", "38\t검증 세트 손실: 0.050886\t최선의 손실: 0.035598\t정확도: 98.71%\n", "39\t검증 세트 손실: 0.054765\t최선의 손실: 0.035598\t정확도: 98.48%\n", "40\t검증 세트 손실: 0.057015\t최선의 손실: 0.035598\t정확도: 98.55%\n", "41\t검증 세트 손실: 0.060916\t최선의 손실: 0.035598\t정확도: 98.59%\n", "42\t검증 세트 손실: 0.058006\t최선의 손실: 0.035598\t정확도: 98.79%\n", "43\t검증 세트 손실: 0.061985\t최선의 손실: 0.035598\t정확도: 98.67%\n", "44\t검증 세트 손실: 0.077563\t최선의 손실: 0.035598\t정확도: 98.87%\n", "45\t검증 세트 손실: 0.114689\t최선의 손실: 0.035598\t정확도: 97.11%\n", "46\t검증 세트 손실: 0.071443\t최선의 손실: 0.035598\t정확도: 98.79%\n", "47\t검증 세트 손실: 0.067210\t최선의 손실: 0.035598\t정확도: 98.94%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.6min\n", "[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.100971\t최선의 손실: 0.100971\t정확도: 97.26%\n", "1\t검증 세트 손실: 0.136912\t최선의 손실: 0.100971\t정확도: 96.64%\n", "2\t검증 세트 손실: 0.074927\t최선의 손실: 0.074927\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.057939\t최선의 손실: 0.057939\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.076402\t최선의 손실: 0.057939\t정확도: 97.42%\n", "5\t검증 세트 손실: 0.103015\t최선의 손실: 0.057939\t정확도: 96.95%\n", "6\t검증 세트 손실: 0.076994\t최선의 손실: 0.057939\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.067900\t최선의 손실: 0.057939\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.090544\t최선의 손실: 0.057939\t정확도: 98.28%\n", "9\t검증 세트 손실: 0.284188\t최선의 손실: 0.057939\t정확도: 94.29%\n", "10\t검증 세트 손실: 0.046417\t최선의 손실: 0.046417\t정확도: 98.83%\n", "11\t검증 세트 손실: 0.056508\t최선의 손실: 0.046417\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.051637\t최선의 손실: 0.046417\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.060239\t최선의 손실: 0.046417\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.121830\t최선의 손실: 0.046417\t정확도: 96.25%\n", "15\t검증 세트 손실: 0.055006\t최선의 손실: 0.046417\t정확도: 98.36%\n", "16\t검증 세트 손실: 0.062364\t최선의 손실: 0.046417\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.049467\t최선의 손실: 0.046417\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.040422\t최선의 손실: 0.040422\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.063442\t최선의 손실: 0.040422\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.075499\t최선의 손실: 0.040422\t정확도: 98.24%\n", "21\t검증 세트 손실: 0.051109\t최선의 손실: 0.040422\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.059822\t최선의 손실: 0.040422\t정확도: 98.40%\n", "23\t검증 세트 손실: 0.036305\t최선의 손실: 0.036305\t정확도: 98.87%\n", "24\t검증 세트 손실: 0.058390\t최선의 손실: 0.036305\t정확도: 98.59%\n", "25\t검증 세트 손실: 0.042100\t최선의 손실: 0.036305\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.066516\t최선의 손실: 0.036305\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.043694\t최선의 손실: 0.036305\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.054546\t최선의 손실: 0.036305\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.056360\t최선의 손실: 0.036305\t정확도: 98.48%\n", "30\t검증 세트 손실: 0.065390\t최선의 손실: 0.036305\t정확도: 98.44%\n", "31\t검증 세트 손실: 0.067643\t최선의 손실: 0.036305\t정확도: 98.67%\n", "32\t검증 세트 손실: 0.052458\t최선의 손실: 0.036305\t정확도: 98.94%\n", "33\t검증 세트 손실: 0.071327\t최선의 손실: 0.036305\t정확도: 98.16%\n", "34\t검증 세트 손실: 0.067649\t최선의 손실: 0.036305\t정확도: 98.63%\n", "35\t검증 세트 손실: 0.064948\t최선의 손실: 0.036305\t정확도: 98.63%\n", "36\t검증 세트 손실: 0.074286\t최선의 손실: 0.036305\t정확도: 98.44%\n", "37\t검증 세트 손실: 0.054485\t최선의 손실: 0.036305\t정확도: 98.91%\n", "38\t검증 세트 손실: 0.050064\t최선의 손실: 0.036305\t정확도: 98.94%\n", "39\t검증 세트 손실: 0.069414\t최선의 손실: 0.036305\t정확도: 98.79%\n", "40\t검증 세트 손실: 0.061078\t최선의 손실: 0.036305\t정확도: 98.63%\n", "41\t검증 세트 손실: 0.044933\t최선의 손실: 0.036305\t정확도: 99.02%\n", "42\t검증 세트 손실: 0.066873\t최선의 손실: 0.036305\t정확도: 98.87%\n", "43\t검증 세트 손실: 0.066883\t최선의 손실: 0.036305\t정확도: 98.36%\n", "44\t검증 세트 손실: 0.050397\t최선의 손실: 0.036305\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.5min\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.078187\t최선의 손실: 0.078187\t정확도: 98.16%\n", "1\t검증 세트 손실: 0.060955\t최선의 손실: 0.060955\t정확도: 98.36%\n", "2\t검증 세트 손실: 0.058321\t최선의 손실: 0.058321\t정확도: 98.55%\n", "3\t검증 세트 손실: 0.072151\t최선의 손실: 0.058321\t정확도: 98.12%\n", "4\t검증 세트 손실: 0.040339\t최선의 손실: 0.040339\t정확도: 98.91%\n", "5\t검증 세트 손실: 0.047388\t최선의 손실: 0.040339\t정확도: 98.79%\n", "6\t검증 세트 손실: 0.039580\t최선의 손실: 0.039580\t정확도: 98.94%\n", "7\t검증 세트 손실: 0.044446\t최선의 손실: 0.039580\t정확도: 99.02%\n", "8\t검증 세트 손실: 0.036923\t최선의 손실: 0.036923\t정확도: 99.06%\n", "9\t검증 세트 손실: 0.049075\t최선의 손실: 0.036923\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.045303\t최선의 손실: 0.036923\t정확도: 99.02%\n", "11\t검증 세트 손실: 0.060998\t최선의 손실: 0.036923\t정확도: 98.83%\n", "12\t검증 세트 손실: 0.045595\t최선의 손실: 0.036923\t정확도: 98.98%\n", "13\t검증 세트 손실: 0.057564\t최선의 손실: 0.036923\t정확도: 98.75%\n", "14\t검증 세트 손실: 0.038945\t최선의 손실: 0.036923\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.048115\t최선의 손실: 0.036923\t정확도: 99.18%\n", "16\t검증 세트 손실: 0.041777\t최선의 손실: 0.036923\t정확도: 99.10%\n", "17\t검증 세트 손실: 0.047780\t최선의 손실: 0.036923\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.072120\t최선의 손실: 0.036923\t정확도: 98.24%\n", "19\t검증 세트 손실: 0.055985\t최선의 손실: 0.036923\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.045593\t최선의 손실: 0.036923\t정확도: 99.14%\n", "21\t검증 세트 손실: 0.053846\t최선의 손실: 0.036923\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.038386\t최선의 손실: 0.036923\t정확도: 99.06%\n", "23\t검증 세트 손실: 0.052726\t최선의 손실: 0.036923\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.038564\t최선의 손실: 0.036923\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.052008\t최선의 손실: 0.036923\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.034041\t최선의 손실: 0.034041\t정확도: 99.26%\n", "27\t검증 세트 손실: 0.044444\t최선의 손실: 0.034041\t정확도: 99.22%\n", "28\t검증 세트 손실: 0.038965\t최선의 손실: 0.034041\t정확도: 99.10%\n", "29\t검증 세트 손실: 0.038980\t최선의 손실: 0.034041\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.048642\t최선의 손실: 0.034041\t정확도: 99.06%\n", "31\t검증 세트 손실: 0.030676\t최선의 손실: 0.030676\t정확도: 99.30%\n", "32\t검증 세트 손실: 0.067955\t최선의 손실: 0.030676\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.058650\t최선의 손실: 0.030676\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.046943\t최선의 손실: 0.030676\t정확도: 99.02%\n", "35\t검증 세트 손실: 0.039030\t최선의 손실: 0.030676\t정확도: 99.18%\n", "36\t검증 세트 손실: 0.040877\t최선의 손실: 0.030676\t정확도: 99.26%\n", "37\t검증 세트 손실: 0.049345\t최선의 손실: 0.030676\t정확도: 99.06%\n", "38\t검증 세트 손실: 0.044923\t최선의 손실: 0.030676\t정확도: 99.06%\n", "39\t검증 세트 손실: 0.032241\t최선의 손실: 0.030676\t정확도: 99.10%\n", "40\t검증 세트 손실: 0.042731\t최선의 손실: 0.030676\t정확도: 99.22%\n", "41\t검증 세트 손실: 0.063376\t최선의 손실: 0.030676\t정확도: 98.79%\n", "42\t검증 세트 손실: 0.049270\t최선의 손실: 0.030676\t정확도: 99.22%\n", "43\t검증 세트 손실: 0.048825\t최선의 손실: 0.030676\t정확도: 98.94%\n", "44\t검증 세트 손실: 0.047671\t최선의 손실: 0.030676\t정확도: 99.02%\n", "45\t검증 세트 손실: 0.053872\t최선의 손실: 0.030676\t정확도: 98.83%\n", "46\t검증 세트 손실: 0.043402\t최선의 손실: 0.030676\t정확도: 99.10%\n", "47\t검증 세트 손실: 0.053526\t최선의 손실: 0.030676\t정확도: 98.94%\n", "48\t검증 세트 손실: 0.050458\t최선의 손실: 0.030676\t정확도: 98.94%\n", "49\t검증 세트 손실: 0.044060\t최선의 손실: 0.030676\t정확도: 98.87%\n", "50\t검증 세트 손실: 0.048762\t최선의 손실: 0.030676\t정확도: 98.98%\n", "51\t검증 세트 손실: 0.043963\t최선의 손실: 0.030676\t정확도: 99.14%\n", "52\t검증 세트 손실: 0.039025\t최선의 손실: 0.030676\t정확도: 99.34%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 58.4s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.111888\t최선의 손실: 0.111888\t정확도: 96.76%\n", "1\t검증 세트 손실: 0.049706\t최선의 손실: 0.049706\t정확도: 98.79%\n", "2\t검증 세트 손실: 0.047537\t최선의 손실: 0.047537\t정확도: 98.59%\n", "3\t검증 세트 손실: 0.055002\t최선의 손실: 0.047537\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.057803\t최선의 손실: 0.047537\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.075896\t최선의 손실: 0.047537\t정확도: 97.77%\n", "6\t검증 세트 손실: 0.055984\t최선의 손실: 0.047537\t정확도: 98.67%\n", "7\t검증 세트 손실: 0.067534\t최선의 손실: 0.047537\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.048776\t최선의 손실: 0.047537\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.081232\t최선의 손실: 0.047537\t정확도: 97.81%\n", "10\t검증 세트 손실: 0.039141\t최선의 손실: 0.039141\t정확도: 98.98%\n", "11\t검증 세트 손실: 0.044540\t최선의 손실: 0.039141\t정확도: 98.83%\n", "12\t검증 세트 손실: 0.041863\t최선의 손실: 0.039141\t정확도: 99.14%\n", "13\t검증 세트 손실: 0.045043\t최선의 손실: 0.039141\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.045412\t최선의 손실: 0.039141\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.046455\t최선의 손실: 0.039141\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.045159\t최선의 손실: 0.039141\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.051285\t최선의 손실: 0.039141\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.034931\t최선의 손실: 0.034931\t정확도: 98.94%\n", "19\t검증 세트 손실: 0.049003\t최선의 손실: 0.034931\t정확도: 98.91%\n", "20\t검증 세트 손실: 0.033017\t최선의 손실: 0.033017\t정확도: 99.26%\n", "21\t검증 세트 손실: 0.035224\t최선의 손실: 0.033017\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.052526\t최선의 손실: 0.033017\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.064070\t최선의 손실: 0.033017\t정확도: 98.48%\n", "24\t검증 세트 손실: 0.054564\t최선의 손실: 0.033017\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.059322\t최선의 손실: 0.033017\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.047935\t최선의 손실: 0.033017\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.046030\t최선의 손실: 0.033017\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.086053\t최선의 손실: 0.033017\t정확도: 98.28%\n", "29\t검증 세트 손실: 0.042262\t최선의 손실: 0.033017\t정확도: 99.18%\n", "30\t검증 세트 손실: 0.042905\t최선의 손실: 0.033017\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.051565\t최선의 손실: 0.033017\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.065207\t최선의 손실: 0.033017\t정확도: 98.55%\n", "33\t검증 세트 손실: 0.043525\t최선의 손실: 0.033017\t정확도: 98.91%\n", "34\t검증 세트 손실: 0.048505\t최선의 손실: 0.033017\t정확도: 99.18%\n", "35\t검증 세트 손실: 0.054293\t최선의 손실: 0.033017\t정확도: 98.79%\n", "36\t검증 세트 손실: 0.044403\t최선의 손실: 0.033017\t정확도: 99.14%\n", "37\t검증 세트 손실: 0.045835\t최선의 손실: 0.033017\t정확도: 99.14%\n", "38\t검증 세트 손실: 0.048221\t최선의 손실: 0.033017\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.046241\t최선의 손실: 0.033017\t정확도: 99.14%\n", "40\t검증 세트 손실: 0.059192\t최선의 손실: 0.033017\t정확도: 99.14%\n", "41\t검증 세트 손실: 0.047793\t최선의 손실: 0.033017\t정확도: 99.22%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 46.5s\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.109661\t최선의 손실: 0.109661\t정확도: 97.15%\n", "1\t검증 세트 손실: 0.057337\t최선의 손실: 0.057337\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.076807\t최선의 손실: 0.057337\t정확도: 97.93%\n", "3\t검증 세트 손실: 0.043972\t최선의 손실: 0.043972\t정확도: 98.59%\n", "4\t검증 세트 손실: 0.040494\t최선의 손실: 0.040494\t정확도: 98.83%\n", "5\t검증 세트 손실: 0.048201\t최선의 손실: 0.040494\t정확도: 98.55%\n", "6\t검증 세트 손실: 0.045245\t최선의 손실: 0.040494\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.080178\t최선의 손실: 0.040494\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.035473\t최선의 손실: 0.035473\t정확도: 98.94%\n", "9\t검증 세트 손실: 0.037262\t최선의 손실: 0.035473\t정확도: 98.98%\n", "10\t검증 세트 손실: 0.043671\t최선의 손실: 0.035473\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.041624\t최선의 손실: 0.035473\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.042134\t최선의 손실: 0.035473\t정확도: 98.98%\n", "13\t검증 세트 손실: 0.029472\t최선의 손실: 0.029472\t정확도: 99.26%\n", "14\t검증 세트 손실: 0.026874\t최선의 손실: 0.026874\t정확도: 99.18%\n", "15\t검증 세트 손실: 0.038204\t최선의 손실: 0.026874\t정확도: 99.06%\n", "16\t검증 세트 손실: 0.028434\t최선의 손실: 0.026874\t정확도: 99.26%\n", "17\t검증 세트 손실: 0.043095\t최선의 손실: 0.026874\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.040237\t최선의 손실: 0.026874\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.042846\t최선의 손실: 0.026874\t정확도: 99.06%\n", "20\t검증 세트 손실: 0.041822\t최선의 손실: 0.026874\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.051387\t최선의 손실: 0.026874\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.038324\t최선의 손실: 0.026874\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.037662\t최선의 손실: 0.026874\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.043253\t최선의 손실: 0.026874\t정확도: 99.26%\n", "25\t검증 세트 손실: 0.043117\t최선의 손실: 0.026874\t정확도: 98.87%\n", "26\t검증 세트 손실: 0.036473\t최선의 손실: 0.026874\t정확도: 99.22%\n", "27\t검증 세트 손실: 0.037221\t최선의 손실: 0.026874\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.044277\t최선의 손실: 0.026874\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.035341\t최선의 손실: 0.026874\t정확도: 99.10%\n", "30\t검증 세트 손실: 0.039849\t최선의 손실: 0.026874\t정확도: 99.02%\n", "31\t검증 세트 손실: 0.052319\t최선의 손실: 0.026874\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.053971\t최선의 손실: 0.026874\t정확도: 98.94%\n", "33\t검증 세트 손실: 0.057302\t최선의 손실: 0.026874\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.036608\t최선의 손실: 0.026874\t정확도: 99.14%\n", "35\t검증 세트 손실: 0.052428\t최선의 손실: 0.026874\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, batch_size=50, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 40.2s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 1010.064026\t최선의 손실: 1010.064026\t정확도: 67.28%\n", "1\t검증 세트 손실: 144.496490\t최선의 손실: 144.496490\t정확도: 75.61%\n", "2\t검증 세트 손실: 101.046722\t최선의 손실: 101.046722\t정확도: 62.71%\n", "3\t검증 세트 손실: 14.740313\t최선의 손실: 14.740313\t정확도: 79.75%\n", "4\t검증 세트 손실: 11.709397\t최선의 손실: 11.709397\t정확도: 79.44%\n", "5\t검증 세트 손실: 11.485903\t최선의 손실: 11.485903\t정확도: 81.47%\n", "6\t검증 세트 손실: 3.953874\t최선의 손실: 3.953874\t정확도: 91.28%\n", "7\t검증 세트 손실: 1.972650\t최선의 손실: 1.972650\t정확도: 94.80%\n", "8\t검증 세트 손실: 0.843536\t최선의 손실: 0.843536\t정확도: 97.50%\n", "9\t검증 세트 손실: 0.871858\t최선의 손실: 0.843536\t정확도: 97.42%\n", "10\t검증 세트 손실: 0.691136\t최선의 손실: 0.691136\t정확도: 97.65%\n", "11\t검증 세트 손실: 0.882070\t최선의 손실: 0.691136\t정확도: 96.33%\n", "12\t검증 세트 손실: 0.561596\t최선의 손실: 0.561596\t정확도: 97.77%\n", "13\t검증 세트 손실: 0.486120\t최선의 손실: 0.486120\t정확도: 98.16%\n", "14\t검증 세트 손실: 0.484020\t최선의 손실: 0.484020\t정확도: 98.16%\n", "15\t검증 세트 손실: 0.422796\t최선의 손실: 0.422796\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.386707\t최선의 손실: 0.386707\t정확도: 98.28%\n", "17\t검증 세트 손실: 0.309320\t최선의 손실: 0.309320\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.240735\t최선의 손실: 0.240735\t정확도: 98.55%\n", "19\t검증 세트 손실: 0.342090\t최선의 손실: 0.240735\t정확도: 98.32%\n", "20\t검증 세트 손실: 0.333395\t최선의 손실: 0.240735\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.360702\t최선의 손실: 0.240735\t정확도: 98.32%\n", "22\t검증 세트 손실: 0.373497\t최선의 손실: 0.240735\t정확도: 97.54%\n", "23\t검증 세트 손실: 0.263054\t최선의 손실: 0.240735\t정확도: 98.32%\n", "24\t검증 세트 손실: 0.301029\t최선의 손실: 0.240735\t정확도: 98.32%\n", "25\t검증 세트 손실: 0.265570\t최선의 손실: 0.240735\t정확도: 98.59%\n", "26\t검증 세트 손실: 0.235059\t최선의 손실: 0.235059\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.278470\t최선의 손실: 0.235059\t정확도: 98.44%\n", "28\t검증 세트 손실: 0.267915\t최선의 손실: 0.235059\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.487918\t최선의 손실: 0.235059\t정확도: 97.07%\n", "30\t검증 세트 손실: 0.251736\t최선의 손실: 0.235059\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.282769\t최선의 손실: 0.235059\t정확도: 98.36%\n", "32\t검증 세트 손실: 0.540163\t최선의 손실: 0.235059\t정확도: 97.73%\n", "33\t검증 세트 손실: 0.282167\t최선의 손실: 0.235059\t정확도: 97.81%\n", "34\t검증 세트 손실: 0.286275\t최선의 손실: 0.235059\t정확도: 98.40%\n", "35\t검증 세트 손실: 0.239637\t최선의 손실: 0.235059\t정확도: 98.44%\n", "36\t검증 세트 손실: 0.230052\t최선의 손실: 0.230052\t정확도: 98.24%\n", "37\t검증 세트 손실: 0.205287\t최선의 손실: 0.205287\t정확도: 98.63%\n", "38\t검증 세트 손실: 0.173679\t최선의 손실: 0.173679\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.191841\t최선의 손실: 0.173679\t정확도: 98.55%\n", "40\t검증 세트 손실: 0.159074\t최선의 손실: 0.159074\t정확도: 98.71%\n", "41\t검증 세트 손실: 0.126687\t최선의 손실: 0.126687\t정확도: 98.87%\n", "42\t검증 세트 손실: 0.149708\t최선의 손실: 0.126687\t정확도: 98.75%\n", "43\t검증 세트 손실: 0.254841\t최선의 손실: 0.126687\t정확도: 98.05%\n", "44\t검증 세트 손실: 0.338863\t최선의 손실: 0.126687\t정확도: 97.42%\n", "45\t검증 세트 손실: 0.135585\t최선의 손실: 0.126687\t정확도: 98.87%\n", "46\t검증 세트 손실: 0.147057\t최선의 손실: 0.126687\t정확도: 98.55%\n", "47\t검증 세트 손실: 0.137186\t최선의 손실: 0.126687\t정확도: 98.59%\n", "48\t검증 세트 손실: 0.141723\t최선의 손실: 0.126687\t정확도: 98.91%\n", "49\t검증 세트 손실: 0.133940\t최선의 손실: 0.126687\t정확도: 98.94%\n", "50\t검증 세트 손실: 0.136769\t최선의 손실: 0.126687\t정확도: 98.94%\n", "51\t검증 세트 손실: 0.264432\t최선의 손실: 0.126687\t정확도: 98.40%\n", "52\t검증 세트 손실: 0.237356\t최선의 손실: 0.126687\t정확도: 98.32%\n", "53\t검증 세트 손실: 0.295111\t최선의 손실: 0.126687\t정확도: 98.16%\n", "54\t검증 세트 손실: 0.228898\t최선의 손실: 0.126687\t정확도: 98.16%\n", "55\t검증 세트 손실: 0.227283\t최선의 손실: 0.126687\t정확도: 98.51%\n", "56\t검증 세트 손실: 0.244272\t최선의 손실: 0.126687\t정확도: 98.28%\n", "57\t검증 세트 손실: 0.233691\t최선의 손실: 0.126687\t정확도: 98.36%\n", "58\t검증 세트 손실: 0.462173\t최선의 손실: 0.126687\t정확도: 97.34%\n", "59\t검증 세트 손실: 0.195402\t최선의 손실: 0.126687\t정확도: 98.63%\n", "60\t검증 세트 손실: 0.146608\t최선의 손실: 0.126687\t정확도: 99.02%\n", "61\t검증 세트 손실: 0.213690\t최선의 손실: 0.126687\t정확도: 98.79%\n", "62\t검증 세트 손실: 0.148592\t최선의 손실: 0.126687\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=, total= 28.9s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 234.979431\t최선의 손실: 234.979431\t정확도: 85.93%\n", "1\t검증 세트 손실: 57.949440\t최선의 손실: 57.949440\t정확도: 85.57%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "2\t검증 세트 손실: 28.900074\t최선의 손실: 28.900074\t정확도: 82.96%\n", "3\t검증 세트 손실: 6.395320\t최선의 손실: 6.395320\t정확도: 90.19%\n", "4\t검증 세트 손실: 16.080132\t최선의 손실: 6.395320\t정확도: 75.84%\n", "5\t검증 세트 손실: 12.166788\t최선의 손실: 6.395320\t정확도: 81.78%\n", "6\t검증 세트 손실: 4.962381\t최선의 손실: 4.962381\t정확도: 88.55%\n", "7\t검증 세트 손실: 1.995511\t최선의 손실: 1.995511\t정확도: 93.90%\n", "8\t검증 세트 손실: 1.519193\t최선의 손실: 1.519193\t정확도: 95.00%\n", "9\t검증 세트 손실: 1.121704\t최선의 손실: 1.121704\t정확도: 96.36%\n", "10\t검증 세트 손실: 1.486912\t최선의 손실: 1.121704\t정확도: 95.23%\n", "11\t검증 세트 손실: 0.926115\t최선의 손실: 0.926115\t정확도: 96.99%\n", "12\t검증 세트 손실: 0.586037\t최선의 손실: 0.586037\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.902556\t최선의 손실: 0.586037\t정확도: 96.79%\n", "14\t검증 세트 손실: 0.850522\t최선의 손실: 0.586037\t정확도: 96.91%\n", "15\t검증 세트 손실: 0.789798\t최선의 손실: 0.586037\t정확도: 96.91%\n", "16\t검증 세트 손실: 0.800106\t최선의 손실: 0.586037\t정확도: 96.79%\n", "17\t검증 세트 손실: 0.797817\t최선의 손실: 0.586037\t정확도: 96.76%\n", "18\t검증 세트 손실: 0.632106\t최선의 손실: 0.586037\t정확도: 97.15%\n", "19\t검증 세트 손실: 0.532847\t최선의 손실: 0.532847\t정확도: 97.50%\n", "20\t검증 세트 손실: 0.454667\t최선의 손실: 0.454667\t정확도: 98.12%\n", "21\t검증 세트 손실: 1.047446\t최선의 손실: 0.454667\t정확도: 95.35%\n", "22\t검증 세트 손실: 0.595570\t최선의 손실: 0.454667\t정확도: 97.19%\n", "23\t검증 세트 손실: 0.546675\t최선의 손실: 0.454667\t정확도: 97.73%\n", "24\t검증 세트 손실: 0.615950\t최선의 손실: 0.454667\t정확도: 96.40%\n", "25\t검증 세트 손실: 0.412710\t최선의 손실: 0.412710\t정확도: 98.24%\n", "26\t검증 세트 손실: 0.466116\t최선의 손실: 0.412710\t정확도: 98.08%\n", "27\t검증 세트 손실: 0.348010\t최선의 손실: 0.348010\t정확도: 98.24%\n", "28\t검증 세트 손실: 0.371329\t최선의 손실: 0.348010\t정확도: 97.97%\n", "29\t검증 세트 손실: 0.286016\t최선의 손실: 0.286016\t정확도: 98.48%\n", "30\t검증 세트 손실: 0.391482\t최선의 손실: 0.286016\t정확도: 98.28%\n", "31\t검증 세트 손실: 0.250425\t최선의 손실: 0.250425\t정확도: 98.75%\n", "32\t검증 세트 손실: 0.348643\t최선의 손실: 0.250425\t정확도: 98.40%\n", "33\t검증 세트 손실: 0.276224\t최선의 손실: 0.250425\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.331639\t최선의 손실: 0.250425\t정확도: 98.48%\n", "35\t검증 세트 손실: 0.262888\t최선의 손실: 0.250425\t정확도: 98.75%\n", "36\t검증 세트 손실: 0.493380\t최선의 손실: 0.250425\t정확도: 97.11%\n", "37\t검증 세트 손실: 0.262202\t최선의 손실: 0.250425\t정확도: 98.48%\n", "38\t검증 세트 손실: 0.247989\t최선의 손실: 0.247989\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.220463\t최선의 손실: 0.220463\t정확도: 98.79%\n", "40\t검증 세트 손실: 0.233527\t최선의 손실: 0.220463\t정확도: 98.55%\n", "41\t검증 세트 손실: 0.257290\t최선의 손실: 0.220463\t정확도: 98.59%\n", "42\t검증 세트 손실: 0.219116\t최선의 손실: 0.219116\t정확도: 98.55%\n", "43\t검증 세트 손실: 0.236490\t최선의 손실: 0.219116\t정확도: 98.44%\n", "44\t검증 세트 손실: 0.212678\t최선의 손실: 0.212678\t정확도: 98.28%\n", "45\t검증 세트 손실: 0.197235\t최선의 손실: 0.197235\t정확도: 98.51%\n", "46\t검증 세트 손실: 0.240024\t최선의 손실: 0.197235\t정확도: 98.44%\n", "47\t검증 세트 손실: 0.234043\t최선의 손실: 0.197235\t정확도: 98.32%\n", "48\t검증 세트 손실: 0.201418\t최선의 손실: 0.197235\t정확도: 98.40%\n", "49\t검증 세트 손실: 0.178730\t최선의 손실: 0.178730\t정확도: 98.67%\n", "50\t검증 세트 손실: 0.160614\t최선의 손실: 0.160614\t정확도: 98.71%\n", "51\t검증 세트 손실: 0.150636\t최선의 손실: 0.150636\t정확도: 98.87%\n", "52\t검증 세트 손실: 0.139748\t최선의 손실: 0.139748\t정확도: 98.87%\n", "53\t검증 세트 손실: 0.134207\t최선의 손실: 0.134207\t정확도: 98.94%\n", "54\t검증 세트 손실: 0.131052\t최선의 손실: 0.131052\t정확도: 98.91%\n", "55\t검증 세트 손실: 0.125552\t최선의 손실: 0.125552\t정확도: 98.94%\n", "56\t검증 세트 손실: 0.118856\t최선의 손실: 0.118856\t정확도: 98.94%\n", "57\t검증 세트 손실: 0.115297\t최선의 손실: 0.115297\t정확도: 98.98%\n", "58\t검증 세트 손실: 0.111126\t최선의 손실: 0.111126\t정확도: 98.98%\n", "59\t검증 세트 손실: 0.107343\t최선의 손실: 0.107343\t정확도: 99.02%\n", "60\t검증 세트 손실: 0.104186\t최선의 손실: 0.104186\t정확도: 99.02%\n", "61\t검증 세트 손실: 0.101324\t최선의 손실: 0.101324\t정확도: 99.02%\n", "62\t검증 세트 손실: 0.098560\t최선의 손실: 0.098560\t정확도: 99.02%\n", "63\t검증 세트 손실: 0.095927\t최선의 손실: 0.095927\t정확도: 99.02%\n", "64\t검증 세트 손실: 0.093908\t최선의 손실: 0.093908\t정확도: 99.02%\n", "65\t검증 세트 손실: 0.091727\t최선의 손실: 0.091727\t정확도: 99.02%\n", "66\t검증 세트 손실: 0.087966\t최선의 손실: 0.087966\t정확도: 99.02%\n", "67\t검증 세트 손실: 0.091107\t최선의 손실: 0.087966\t정확도: 98.94%\n", "68\t검증 세트 손실: 0.089075\t최선의 손실: 0.087966\t정확도: 98.94%\n", "69\t검증 세트 손실: 0.086446\t최선의 손실: 0.086446\t정확도: 98.94%\n", "70\t검증 세트 손실: 0.093096\t최선의 손실: 0.086446\t정확도: 99.02%\n", "71\t검증 세트 손실: 0.079422\t최선의 손실: 0.079422\t정확도: 98.98%\n", "72\t검증 세트 손실: 0.154691\t최선의 손실: 0.079422\t정확도: 98.63%\n", "73\t검증 세트 손실: 0.320954\t최선의 손실: 0.079422\t정확도: 97.30%\n", "74\t검증 세트 손실: 0.461011\t최선의 손실: 0.079422\t정확도: 97.46%\n", "75\t검증 세트 손실: 0.302356\t최선의 손실: 0.079422\t정확도: 98.67%\n", "76\t검증 세트 손실: 0.338045\t최선의 손실: 0.079422\t정확도: 97.62%\n", "77\t검증 세트 손실: 0.547740\t최선의 손실: 0.079422\t정확도: 97.30%\n", "78\t검증 세트 손실: 0.302050\t최선의 손실: 0.079422\t정확도: 98.55%\n", "79\t검증 세트 손실: 0.341035\t최선의 손실: 0.079422\t정확도: 98.40%\n", "80\t검증 세트 손실: 0.485129\t최선의 손실: 0.079422\t정확도: 97.77%\n", "81\t검증 세트 손실: 0.313330\t최선의 손실: 0.079422\t정확도: 98.40%\n", "82\t검증 세트 손실: 0.293934\t최선의 손실: 0.079422\t정확도: 98.40%\n", "83\t검증 세트 손실: 0.301956\t최선의 손실: 0.079422\t정확도: 98.40%\n", "84\t검증 세트 손실: 0.302643\t최선의 손실: 0.079422\t정확도: 98.40%\n", "85\t검증 세트 손실: 0.328506\t최선의 손실: 0.079422\t정확도: 98.48%\n", "86\t검증 세트 손실: 0.296302\t최선의 손실: 0.079422\t정확도: 98.44%\n", "87\t검증 세트 손실: 0.531193\t최선의 손실: 0.079422\t정확도: 97.73%\n", "88\t검증 세트 손실: 0.330409\t최선의 손실: 0.079422\t정확도: 98.36%\n", "89\t검증 세트 손실: 0.257414\t최선의 손실: 0.079422\t정확도: 98.59%\n", "90\t검증 세트 손실: 0.207653\t최선의 손실: 0.079422\t정확도: 98.87%\n", "91\t검증 세트 손실: 0.201105\t최선의 손실: 0.079422\t정확도: 98.94%\n", "92\t검증 세트 손실: 0.218980\t최선의 손실: 0.079422\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=, total= 42.1s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 456.280640\t최선의 손실: 456.280640\t정확도: 73.34%\n", "1\t검증 세트 손실: 115.983658\t최선의 손실: 115.983658\t정확도: 72.63%\n", "2\t검증 세트 손실: 25.859509\t최선의 손실: 25.859509\t정확도: 77.72%\n", "3\t검증 세트 손실: 12.632772\t최선의 손실: 12.632772\t정확도: 80.88%\n", "4\t검증 세트 손실: 4.415475\t최선의 손실: 4.415475\t정확도: 89.99%\n", "5\t검증 세트 손실: 4.715579\t최선의 손실: 4.415475\t정확도: 87.33%\n", "6\t검증 세트 손실: 2.192693\t최선의 손실: 2.192693\t정확도: 92.53%\n", "7\t검증 세트 손실: 1.237276\t최선의 손실: 1.237276\t정확도: 95.54%\n", "8\t검증 세트 손실: 1.262897\t최선의 손실: 1.237276\t정확도: 95.54%\n", "9\t검증 세트 손실: 0.965210\t최선의 손실: 0.965210\t정확도: 96.64%\n", "10\t검증 세트 손실: 1.151526\t최선의 손실: 0.965210\t정확도: 95.15%\n", "11\t검증 세트 손실: 0.667303\t최선의 손실: 0.667303\t정확도: 97.58%\n", "12\t검증 세트 손실: 0.642315\t최선의 손실: 0.642315\t정확도: 97.11%\n", "13\t검증 세트 손실: 0.735906\t최선의 손실: 0.642315\t정확도: 97.15%\n", "14\t검증 세트 손실: 0.400536\t최선의 손실: 0.400536\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.451051\t최선의 손실: 0.400536\t정확도: 97.97%\n", "16\t검증 세트 손실: 0.490637\t최선의 손실: 0.400536\t정확도: 97.58%\n", "17\t검증 세트 손실: 0.416785\t최선의 손실: 0.400536\t정확도: 98.05%\n", "18\t검증 세트 손실: 0.305962\t최선의 손실: 0.305962\t정확도: 98.16%\n", "19\t검증 세트 손실: 0.368471\t최선의 손실: 0.305962\t정확도: 97.81%\n", "20\t검증 세트 손실: 0.300164\t최선의 손실: 0.300164\t정확도: 98.36%\n", "21\t검증 세트 손실: 0.532603\t최선의 손실: 0.300164\t정확도: 97.38%\n", "22\t검증 세트 손실: 0.416303\t최선의 손실: 0.300164\t정확도: 97.97%\n", "23\t검증 세트 손실: 0.252976\t최선의 손실: 0.252976\t정확도: 98.51%\n", "24\t검증 세트 손실: 0.334629\t최선의 손실: 0.252976\t정확도: 98.05%\n", "25\t검증 세트 손실: 0.293906\t최선의 손실: 0.252976\t정확도: 98.48%\n", "26\t검증 세트 손실: 0.319023\t최선의 손실: 0.252976\t정확도: 98.24%\n", "27\t검증 세트 손실: 0.376137\t최선의 손실: 0.252976\t정확도: 98.01%\n", "28\t검증 세트 손실: 0.470712\t최선의 손실: 0.252976\t정확도: 97.89%\n", "29\t검증 세트 손실: 0.296131\t최선의 손실: 0.252976\t정확도: 98.40%\n", "30\t검증 세트 손실: 0.411311\t최선의 손실: 0.252976\t정확도: 97.81%\n", "31\t검증 세트 손실: 0.240356\t최선의 손실: 0.240356\t정확도: 98.48%\n", "32\t검증 세트 손실: 0.237893\t최선의 손실: 0.237893\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.175500\t최선의 손실: 0.175500\t정확도: 98.91%\n", "34\t검증 세트 손실: 0.237413\t최선의 손실: 0.175500\t정확도: 98.40%\n", "35\t검증 세트 손실: 0.243432\t최선의 손실: 0.175500\t정확도: 98.36%\n", "36\t검증 세트 손실: 0.169824\t최선의 손실: 0.169824\t정확도: 98.75%\n", "37\t검증 세트 손실: 0.192019\t최선의 손실: 0.169824\t정확도: 98.55%\n", "38\t검증 세트 손실: 0.251581\t최선의 손실: 0.169824\t정확도: 98.32%\n", "39\t검증 세트 손실: 0.208143\t최선의 손실: 0.169824\t정확도: 98.71%\n", "40\t검증 세트 손실: 0.167066\t최선의 손실: 0.167066\t정확도: 98.94%\n", "41\t검증 세트 손실: 0.203740\t최선의 손실: 0.167066\t정확도: 98.67%\n", "42\t검증 세트 손실: 0.186341\t최선의 손실: 0.167066\t정확도: 98.67%\n", "43\t검증 세트 손실: 0.250975\t최선의 손실: 0.167066\t정확도: 98.40%\n", "44\t검증 세트 손실: 0.209538\t최선의 손실: 0.167066\t정확도: 98.55%\n", "45\t검증 세트 손실: 0.170486\t최선의 손실: 0.167066\t정확도: 98.91%\n", "46\t검증 세트 손실: 0.201155\t최선의 손실: 0.167066\t정확도: 98.75%\n", "47\t검증 세트 손실: 0.202411\t최선의 손실: 0.167066\t정확도: 98.75%\n", "48\t검증 세트 손실: 0.163214\t최선의 손실: 0.163214\t정확도: 98.59%\n", "49\t검증 세트 손실: 0.176403\t최선의 손실: 0.163214\t정확도: 98.63%\n", "50\t검증 세트 손실: 0.333854\t최선의 손실: 0.163214\t정확도: 97.89%\n", "51\t검증 세트 손실: 0.193207\t최선의 손실: 0.163214\t정확도: 98.55%\n", "52\t검증 세트 손실: 0.193022\t최선의 손실: 0.163214\t정확도: 98.67%\n", "53\t검증 세트 손실: 0.183490\t최선의 손실: 0.163214\t정확도: 98.83%\n", "54\t검증 세트 손실: 0.189206\t최선의 손실: 0.163214\t정확도: 98.67%\n", "55\t검증 세트 손실: 0.190531\t최선의 손실: 0.163214\t정확도: 98.83%\n", "56\t검증 세트 손실: 0.229597\t최선의 손실: 0.163214\t정확도: 98.51%\n", "57\t검증 세트 손실: 0.298463\t최선의 손실: 0.163214\t정확도: 98.12%\n", "58\t검증 세트 손실: 0.202690\t최선의 손실: 0.163214\t정확도: 98.75%\n", "59\t검증 세트 손실: 0.217539\t최선의 손실: 0.163214\t정확도: 98.87%\n", "60\t검증 세트 손실: 0.191314\t최선의 손실: 0.163214\t정확도: 98.87%\n", "61\t검증 세트 손실: 0.222471\t최선의 손실: 0.163214\t정확도: 98.75%\n", "62\t검증 세트 손실: 0.183865\t최선의 손실: 0.163214\t정확도: 98.87%\n", "63\t검증 세트 손실: 0.206308\t최선의 손실: 0.163214\t정확도: 98.75%\n", "64\t검증 세트 손실: 0.255746\t최선의 손실: 0.163214\t정확도: 98.40%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "65\t검증 세트 손실: 0.199988\t최선의 손실: 0.163214\t정확도: 98.75%\n", "66\t검증 세트 손실: 0.158960\t최선의 손실: 0.158960\t정확도: 98.75%\n", "67\t검증 세트 손실: 0.179000\t최선의 손실: 0.158960\t정확도: 98.94%\n", "68\t검증 세트 손실: 0.137839\t최선의 손실: 0.137839\t정확도: 98.94%\n", "69\t검증 세트 손실: 0.259284\t최선의 손실: 0.137839\t정확도: 98.55%\n", "70\t검증 세트 손실: 0.201989\t최선의 손실: 0.137839\t정확도: 98.44%\n", "71\t검증 세트 손실: 0.171242\t최선의 손실: 0.137839\t정확도: 98.75%\n", "72\t검증 세트 손실: 0.192511\t최선의 손실: 0.137839\t정확도: 98.79%\n", "73\t검증 세트 손실: 0.194389\t최선의 손실: 0.137839\t정확도: 98.71%\n", "74\t검증 세트 손실: 0.177807\t최선의 손실: 0.137839\t정확도: 98.83%\n", "75\t검증 세트 손실: 0.208533\t최선의 손실: 0.137839\t정확도: 98.79%\n", "76\t검증 세트 손실: 0.198413\t최선의 손실: 0.137839\t정확도: 98.79%\n", "77\t검증 세트 손실: 0.176047\t최선의 손실: 0.137839\t정확도: 98.94%\n", "78\t검증 세트 손실: 0.185037\t최선의 손실: 0.137839\t정확도: 98.71%\n", "79\t검증 세트 손실: 0.177991\t최선의 손실: 0.137839\t정확도: 98.94%\n", "80\t검증 세트 손실: 0.141431\t최선의 손실: 0.137839\t정확도: 98.67%\n", "81\t검증 세트 손실: 0.173093\t최선의 손실: 0.137839\t정확도: 98.83%\n", "82\t검증 세트 손실: 0.160719\t최선의 손실: 0.137839\t정확도: 98.91%\n", "83\t검증 세트 손실: 0.151830\t최선의 손실: 0.137839\t정확도: 99.02%\n", "84\t검증 세트 손실: 0.118023\t최선의 손실: 0.118023\t정확도: 99.18%\n", "85\t검증 세트 손실: 0.121695\t최선의 손실: 0.118023\t정확도: 99.10%\n", "86\t검증 세트 손실: 0.128663\t최선의 손실: 0.118023\t정확도: 98.83%\n", "87\t검증 세트 손실: 0.195922\t최선의 손실: 0.118023\t정확도: 98.67%\n", "88\t검증 세트 손실: 0.118394\t최선의 손실: 0.118023\t정확도: 99.06%\n", "89\t검증 세트 손실: 0.121565\t최선의 손실: 0.118023\t정확도: 99.18%\n", "90\t검증 세트 손실: 0.123056\t최선의 손실: 0.118023\t정확도: 99.10%\n", "91\t검증 세트 손실: 0.177495\t최선의 손실: 0.118023\t정확도: 98.51%\n", "92\t검증 세트 손실: 0.165703\t최선의 손실: 0.118023\t정확도: 98.63%\n", "93\t검증 세트 손실: 0.159487\t최선의 손실: 0.118023\t정확도: 98.75%\n", "94\t검증 세트 손실: 0.265186\t최선의 손실: 0.118023\t정확도: 98.44%\n", "95\t검증 세트 손실: 0.203918\t최선의 손실: 0.118023\t정확도: 98.98%\n", "96\t검증 세트 손실: 0.184205\t최선의 손실: 0.118023\t정확도: 98.71%\n", "97\t검증 세트 손실: 0.153483\t최선의 손실: 0.118023\t정확도: 98.98%\n", "98\t검증 세트 손실: 0.163263\t최선의 손실: 0.118023\t정확도: 98.98%\n", "99\t검증 세트 손실: 0.152066\t최선의 손실: 0.118023\t정확도: 99.14%\n", "100\t검증 세트 손실: 0.145097\t최선의 손실: 0.118023\t정확도: 99.22%\n", "101\t검증 세트 손실: 0.198099\t최선의 손실: 0.118023\t정확도: 98.63%\n", "102\t검증 세트 손실: 0.168951\t최선의 손실: 0.118023\t정확도: 98.71%\n", "103\t검증 세트 손실: 0.201277\t최선의 손실: 0.118023\t정확도: 98.83%\n", "104\t검증 세트 손실: 0.194332\t최선의 손실: 0.118023\t정확도: 98.75%\n", "105\t검증 세트 손실: 0.192864\t최선의 손실: 0.118023\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=500, batch_norm_momentum=0.999, activation=, total= 47.7s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.078147\t최선의 손실: 0.078147\t정확도: 98.12%\n", "1\t검증 세트 손실: 0.057204\t최선의 손실: 0.057204\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.046853\t최선의 손실: 0.046853\t정확도: 98.63%\n", "3\t검증 세트 손실: 0.049125\t최선의 손실: 0.046853\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.042105\t최선의 손실: 0.042105\t정확도: 98.67%\n", "5\t검증 세트 손실: 0.057231\t최선의 손실: 0.042105\t정확도: 98.59%\n", "6\t검증 세트 손실: 0.055480\t최선의 손실: 0.042105\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.045701\t최선의 손실: 0.042105\t정확도: 98.87%\n", "8\t검증 세트 손실: 0.040086\t최선의 손실: 0.040086\t정확도: 98.91%\n", "9\t검증 세트 손실: 0.055159\t최선의 손실: 0.040086\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.052161\t최선의 손실: 0.040086\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.037863\t최선의 손실: 0.037863\t정확도: 99.02%\n", "12\t검증 세트 손실: 0.051799\t최선의 손실: 0.037863\t정확도: 98.75%\n", "13\t검증 세트 손실: 0.047442\t최선의 손실: 0.037863\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.049529\t최선의 손실: 0.037863\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.059665\t최선의 손실: 0.037863\t정확도: 98.87%\n", "16\t검증 세트 손실: 0.078243\t최선의 손실: 0.037863\t정확도: 98.36%\n", "17\t검증 세트 손실: 0.043728\t최선의 손실: 0.037863\t정확도: 98.98%\n", "18\t검증 세트 손실: 0.042722\t최선의 손실: 0.037863\t정확도: 98.98%\n", "19\t검증 세트 손실: 0.048433\t최선의 손실: 0.037863\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.053723\t최선의 손실: 0.037863\t정확도: 98.59%\n", "21\t검증 세트 손실: 0.046215\t최선의 손실: 0.037863\t정확도: 98.71%\n", "22\t검증 세트 손실: 0.042246\t최선의 손실: 0.037863\t정확도: 99.06%\n", "23\t검증 세트 손실: 0.045643\t최선의 손실: 0.037863\t정확도: 99.06%\n", "24\t검증 세트 손실: 0.048908\t최선의 손실: 0.037863\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.046052\t최선의 손실: 0.037863\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.035846\t최선의 손실: 0.035846\t정확도: 99.22%\n", "27\t검증 세트 손실: 0.049433\t최선의 손실: 0.035846\t정확도: 99.18%\n", "28\t검증 세트 손실: 0.046466\t최선의 손실: 0.035846\t정확도: 98.98%\n", "29\t검증 세트 손실: 0.049366\t최선의 손실: 0.035846\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.072425\t최선의 손실: 0.035846\t정확도: 98.67%\n", "31\t검증 세트 손실: 0.058118\t최선의 손실: 0.035846\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.055882\t최선의 손실: 0.035846\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.050399\t최선의 손실: 0.035846\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.043155\t최선의 손실: 0.035846\t정확도: 99.06%\n", "35\t검증 세트 손실: 0.050494\t최선의 손실: 0.035846\t정확도: 98.91%\n", "36\t검증 세트 손실: 0.040758\t최선의 손실: 0.035846\t정확도: 99.14%\n", "37\t검증 세트 손실: 0.057688\t최선의 손실: 0.035846\t정확도: 98.94%\n", "38\t검증 세트 손실: 0.078430\t최선의 손실: 0.035846\t정확도: 98.32%\n", "39\t검증 세트 손실: 0.041047\t최선의 손실: 0.035846\t정확도: 99.02%\n", "40\t검증 세트 손실: 0.034587\t최선의 손실: 0.034587\t정확도: 99.22%\n", "41\t검증 세트 손실: 0.042730\t최선의 손실: 0.034587\t정확도: 98.94%\n", "42\t검증 세트 손실: 0.038310\t최선의 손실: 0.034587\t정확도: 99.14%\n", "43\t검증 세트 손실: 0.035308\t최선의 손실: 0.034587\t정확도: 99.18%\n", "44\t검증 세트 손실: 0.052728\t최선의 손실: 0.034587\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.043117\t최선의 손실: 0.034587\t정확도: 99.14%\n", "46\t검증 세트 손실: 0.047921\t최선의 손실: 0.034587\t정확도: 98.87%\n", "47\t검증 세트 손실: 0.043315\t최선의 손실: 0.034587\t정확도: 98.87%\n", "48\t검증 세트 손실: 0.057964\t최선의 손실: 0.034587\t정확도: 98.83%\n", "49\t검증 세트 손실: 0.060044\t최선의 손실: 0.034587\t정확도: 98.98%\n", "50\t검증 세트 손실: 0.058755\t최선의 손실: 0.034587\t정확도: 98.94%\n", "51\t검증 세트 손실: 0.054942\t최선의 손실: 0.034587\t정확도: 98.94%\n", "52\t검증 세트 손실: 0.068158\t최선의 손실: 0.034587\t정확도: 98.79%\n", "53\t검증 세트 손실: 0.045620\t최선의 손실: 0.034587\t정확도: 99.14%\n", "54\t검증 세트 손실: 0.055144\t최선의 손실: 0.034587\t정확도: 98.94%\n", "55\t검증 세트 손실: 0.045578\t최선의 손실: 0.034587\t정확도: 98.94%\n", "56\t검증 세트 손실: 0.057760\t최선의 손실: 0.034587\t정확도: 98.83%\n", "57\t검증 세트 손실: 0.043997\t최선의 손실: 0.034587\t정확도: 99.26%\n", "58\t검증 세트 손실: 0.053498\t최선의 손실: 0.034587\t정확도: 98.98%\n", "59\t검증 세트 손실: 0.065459\t최선의 손실: 0.034587\t정확도: 98.94%\n", "60\t검증 세트 손실: 0.054261\t최선의 손실: 0.034587\t정확도: 98.94%\n", "61\t검증 세트 손실: 0.048226\t최선의 손실: 0.034587\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 29.5s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.081992\t최선의 손실: 0.081992\t정확도: 97.26%\n", "1\t검증 세트 손실: 0.050278\t최선의 손실: 0.050278\t정확도: 98.28%\n", "2\t검증 세트 손실: 0.049981\t최선의 손실: 0.049981\t정확도: 98.63%\n", "3\t검증 세트 손실: 0.045476\t최선의 손실: 0.045476\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.039363\t최선의 손실: 0.039363\t정확도: 98.83%\n", "5\t검증 세트 손실: 0.052543\t최선의 손실: 0.039363\t정확도: 98.67%\n", "6\t검증 세트 손실: 0.047280\t최선의 손실: 0.039363\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.052698\t최선의 손실: 0.039363\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.055455\t최선의 손실: 0.039363\t정확도: 98.40%\n", "9\t검증 세트 손실: 0.037981\t최선의 손실: 0.037981\t정확도: 99.18%\n", "10\t검증 세트 손실: 0.044999\t최선의 손실: 0.037981\t정확도: 98.98%\n", "11\t검증 세트 손실: 0.037346\t최선의 손실: 0.037346\t정확도: 99.30%\n", "12\t검증 세트 손실: 0.048064\t최선의 손실: 0.037346\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.048961\t최선의 손실: 0.037346\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.049904\t최선의 손실: 0.037346\t정확도: 98.91%\n", "15\t검증 세트 손실: 0.059381\t최선의 손실: 0.037346\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.055561\t최선의 손실: 0.037346\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.056900\t최선의 손실: 0.037346\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.042677\t최선의 손실: 0.037346\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.039957\t최선의 손실: 0.037346\t정확도: 99.02%\n", "20\t검증 세트 손실: 0.045055\t최선의 손실: 0.037346\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.041379\t최선의 손실: 0.037346\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.043492\t최선의 손실: 0.037346\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.048171\t최선의 손실: 0.037346\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.045658\t최선의 손실: 0.037346\t정확도: 99.10%\n", "25\t검증 세트 손실: 0.057954\t최선의 손실: 0.037346\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.061537\t최선의 손실: 0.037346\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.040791\t최선의 손실: 0.037346\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.098123\t최선의 손실: 0.037346\t정확도: 98.24%\n", "29\t검증 세트 손실: 0.048709\t최선의 손실: 0.037346\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.047141\t최선의 손실: 0.037346\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.044248\t최선의 손실: 0.037346\t정확도: 98.94%\n", "32\t검증 세트 손실: 0.052749\t최선의 손실: 0.037346\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 16.5s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.064815\t최선의 손실: 0.064815\t정확도: 98.16%\n", "1\t검증 세트 손실: 0.059036\t최선의 손실: 0.059036\t정확도: 98.24%\n", "2\t검증 세트 손실: 0.045541\t최선의 손실: 0.045541\t정확도: 98.75%\n", "3\t검증 세트 손실: 0.061688\t최선의 손실: 0.045541\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.042376\t최선의 손실: 0.042376\t정확도: 98.91%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "5\t검증 세트 손실: 0.046549\t최선의 손실: 0.042376\t정확도: 98.83%\n", "6\t검증 세트 손실: 0.041504\t최선의 손실: 0.041504\t정확도: 99.10%\n", "7\t검증 세트 손실: 0.055102\t최선의 손실: 0.041504\t정확도: 98.79%\n", "8\t검증 세트 손실: 0.044209\t최선의 손실: 0.041504\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.051434\t최선의 손실: 0.041504\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.058782\t최선의 손실: 0.041504\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.079655\t최선의 손실: 0.041504\t정확도: 98.48%\n", "12\t검증 세트 손실: 0.051087\t최선의 손실: 0.041504\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.043582\t최선의 손실: 0.041504\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.051048\t최선의 손실: 0.041504\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.048021\t최선의 손실: 0.041504\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.042548\t최선의 손실: 0.041504\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.057092\t최선의 손실: 0.041504\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.055192\t최선의 손실: 0.041504\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.081643\t최선의 손실: 0.041504\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.056583\t최선의 손실: 0.041504\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.076582\t최선의 손실: 0.041504\t정확도: 98.51%\n", "22\t검증 세트 손실: 0.069742\t최선의 손실: 0.041504\t정확도: 98.40%\n", "23\t검증 세트 손실: 0.070782\t최선의 손실: 0.041504\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.050215\t최선의 손실: 0.041504\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.045901\t최선의 손실: 0.041504\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.040296\t최선의 손실: 0.040296\t정확도: 99.14%\n", "27\t검증 세트 손실: 0.050940\t최선의 손실: 0.040296\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.053824\t최선의 손실: 0.040296\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.045648\t최선의 손실: 0.040296\t정확도: 98.94%\n", "30\t검증 세트 손실: 0.038456\t최선의 손실: 0.038456\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.044586\t최선의 손실: 0.038456\t정확도: 99.02%\n", "32\t검증 세트 손실: 0.047818\t최선의 손실: 0.038456\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.043491\t최선의 손실: 0.038456\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.049433\t최선의 손실: 0.038456\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.043584\t최선의 손실: 0.038456\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.071874\t최선의 손실: 0.038456\t정확도: 98.67%\n", "37\t검증 세트 손실: 0.052066\t최선의 손실: 0.038456\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.058991\t최선의 손실: 0.038456\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.060413\t최선의 손실: 0.038456\t정확도: 98.75%\n", "40\t검증 세트 손실: 0.041909\t최선의 손실: 0.038456\t정확도: 99.02%\n", "41\t검증 세트 손실: 0.044576\t최선의 손실: 0.038456\t정확도: 98.91%\n", "42\t검증 세트 손실: 0.052876\t최선의 손실: 0.038456\t정확도: 99.02%\n", "43\t검증 세트 손실: 0.060591\t최선의 손실: 0.038456\t정확도: 99.02%\n", "44\t검증 세트 손실: 0.049364\t최선의 손실: 0.038456\t정확도: 99.18%\n", "45\t검증 세트 손실: 0.058948\t최선의 손실: 0.038456\t정확도: 98.98%\n", "46\t검증 세트 손실: 0.065838\t최선의 손실: 0.038456\t정확도: 98.87%\n", "47\t검증 세트 손실: 0.043338\t최선의 손실: 0.038456\t정확도: 99.26%\n", "48\t검증 세트 손실: 0.075382\t최선의 손실: 0.038456\t정확도: 98.63%\n", "49\t검증 세트 손실: 0.041043\t최선의 손실: 0.038456\t정확도: 99.14%\n", "50\t검증 세트 손실: 0.055140\t최선의 손실: 0.038456\t정확도: 98.94%\n", "51\t검증 세트 손실: 0.056542\t최선의 손실: 0.038456\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 25.1s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.092492\t최선의 손실: 0.092492\t정확도: 97.58%\n", "1\t검증 세트 손실: 0.061308\t최선의 손실: 0.061308\t정확도: 98.24%\n", "2\t검증 세트 손실: 0.064455\t최선의 손실: 0.061308\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.064591\t최선의 손실: 0.061308\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.048778\t최선의 손실: 0.048778\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.080401\t최선의 손실: 0.048778\t정확도: 97.89%\n", "6\t검증 세트 손실: 0.049132\t최선의 손실: 0.048778\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.051769\t최선의 손실: 0.048778\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.071332\t최선의 손실: 0.048778\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.071764\t최선의 손실: 0.048778\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.110190\t최선의 손실: 0.048778\t정확도: 97.93%\n", "11\t검증 세트 손실: 0.064752\t최선의 손실: 0.048778\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.066177\t최선의 손실: 0.048778\t정확도: 98.67%\n", "13\t검증 세트 손실: 0.087177\t최선의 손실: 0.048778\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.119275\t최선의 손실: 0.048778\t정확도: 97.73%\n", "15\t검증 세트 손실: 0.051321\t최선의 손실: 0.048778\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.045919\t최선의 손실: 0.045919\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.064225\t최선의 손실: 0.045919\t정확도: 98.44%\n", "18\t검증 세트 손실: 0.081066\t최선의 손실: 0.045919\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.114460\t최선의 손실: 0.045919\t정확도: 98.08%\n", "20\t검증 세트 손실: 0.054040\t최선의 손실: 0.045919\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.162678\t최선의 손실: 0.045919\t정확도: 96.91%\n", "22\t검증 세트 손실: 0.073115\t최선의 손실: 0.045919\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.053513\t최선의 손실: 0.045919\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.055864\t최선의 손실: 0.045919\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.053494\t최선의 손실: 0.045919\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.057841\t최선의 손실: 0.045919\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.256817\t최선의 손실: 0.045919\t정확도: 97.42%\n", "28\t검증 세트 손실: 0.083137\t최선의 손실: 0.045919\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.091150\t최선의 손실: 0.045919\t정확도: 98.87%\n", "30\t검증 세트 손실: 0.088372\t최선의 손실: 0.045919\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.071191\t최선의 손실: 0.045919\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.091082\t최선의 손실: 0.045919\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.115246\t최선의 손실: 0.045919\t정확도: 98.24%\n", "34\t검증 세트 손실: 0.077569\t최선의 손실: 0.045919\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.060783\t최선의 손실: 0.045919\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.119128\t최선의 손실: 0.045919\t정확도: 98.55%\n", "37\t검증 세트 손실: 0.182822\t최선의 손실: 0.045919\t정확도: 98.12%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 38.5s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.176941\t최선의 손실: 0.176941\t정확도: 94.53%\n", "1\t검증 세트 손실: 0.084157\t최선의 손실: 0.084157\t정확도: 97.38%\n", "2\t검증 세트 손실: 0.100879\t최선의 손실: 0.084157\t정확도: 97.58%\n", "3\t검증 세트 손실: 0.082315\t최선의 손실: 0.082315\t정확도: 97.89%\n", "4\t검증 세트 손실: 0.066953\t최선의 손실: 0.066953\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.075969\t최선의 손실: 0.066953\t정확도: 98.28%\n", "6\t검증 세트 손실: 0.068412\t최선의 손실: 0.066953\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.071382\t최선의 손실: 0.066953\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.100406\t최선의 손실: 0.066953\t정확도: 97.42%\n", "9\t검증 세트 손실: 0.059413\t최선의 손실: 0.059413\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.088878\t최선의 손실: 0.059413\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.292542\t최선의 손실: 0.059413\t정확도: 94.61%\n", "12\t검증 세트 손실: 0.062154\t최선의 손실: 0.059413\t정확도: 98.32%\n", "13\t검증 세트 손실: 0.057846\t최선의 손실: 0.057846\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.053826\t최선의 손실: 0.053826\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.075626\t최선의 손실: 0.053826\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.272922\t최선의 손실: 0.053826\t정확도: 96.56%\n", "17\t검증 세트 손실: 0.069157\t최선의 손실: 0.053826\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.049368\t최선의 손실: 0.049368\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.109019\t최선의 손실: 0.049368\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.096686\t최선의 손실: 0.049368\t정확도: 98.16%\n", "21\t검증 세트 손실: 0.053000\t최선의 손실: 0.049368\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.053864\t최선의 손실: 0.049368\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.071373\t최선의 손실: 0.049368\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.049000\t최선의 손실: 0.049000\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.059150\t최선의 손실: 0.049000\t정확도: 98.75%\n", "26\t검증 세트 손실: 0.073564\t최선의 손실: 0.049000\t정확도: 98.87%\n", "27\t검증 세트 손실: 0.189299\t최선의 손실: 0.049000\t정확도: 97.77%\n", "28\t검증 세트 손실: 0.054280\t최선의 손실: 0.049000\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.065188\t최선의 손실: 0.049000\t정확도: 98.51%\n", "30\t검증 세트 손실: 0.066261\t최선의 손실: 0.049000\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.062475\t최선의 손실: 0.049000\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.073695\t최선의 손실: 0.049000\t정확도: 98.55%\n", "33\t검증 세트 손실: 0.114874\t최선의 손실: 0.049000\t정확도: 98.59%\n", "34\t검증 세트 손실: 0.087601\t최선의 손실: 0.049000\t정확도: 98.71%\n", "35\t검증 세트 손실: 0.167780\t최선의 손실: 0.049000\t정확도: 98.48%\n", "36\t검증 세트 손실: 0.140684\t최선의 손실: 0.049000\t정확도: 97.97%\n", "37\t검증 세트 손실: 0.091137\t최선의 손실: 0.049000\t정확도: 98.79%\n", "38\t검증 세트 손실: 0.078147\t최선의 손실: 0.049000\t정확도: 98.67%\n", "39\t검증 세트 손실: 0.088146\t최선의 손실: 0.049000\t정확도: 98.67%\n", "40\t검증 세트 손실: 0.065013\t최선의 손실: 0.049000\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.062937\t최선의 손실: 0.049000\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.085397\t최선의 손실: 0.049000\t정확도: 98.75%\n", "43\t검증 세트 손실: 0.201837\t최선의 손실: 0.049000\t정확도: 97.97%\n", "44\t검증 세트 손실: 0.124856\t최선의 손실: 0.049000\t정확도: 98.36%\n", "45\t검증 세트 손실: 0.134501\t최선의 손실: 0.049000\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 46.0s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.202825\t최선의 손실: 0.202825\t정확도: 95.04%\n", "1\t검증 세트 손실: 0.084687\t최선의 손실: 0.084687\t정확도: 97.46%\n", "2\t검증 세트 손실: 0.091119\t최선의 손실: 0.084687\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.078418\t최선의 손실: 0.078418\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.084370\t최선의 손실: 0.078418\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.094872\t최선의 손실: 0.078418\t정확도: 97.34%\n", "6\t검증 세트 손실: 0.068847\t최선의 손실: 0.068847\t정확도: 98.12%\n", "7\t검증 세트 손실: 0.064141\t최선의 손실: 0.064141\t정확도: 98.51%\n", "8\t검증 세트 손실: 0.081237\t최선의 손실: 0.064141\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.101669\t최선의 손실: 0.064141\t정확도: 96.95%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "10\t검증 세트 손실: 0.066247\t최선의 손실: 0.064141\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.088391\t최선의 손실: 0.064141\t정확도: 97.97%\n", "12\t검증 세트 손실: 0.103469\t최선의 손실: 0.064141\t정확도: 98.20%\n", "13\t검증 세트 손실: 0.083513\t최선의 손실: 0.064141\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.079824\t최선의 손실: 0.064141\t정확도: 98.36%\n", "15\t검증 세트 손실: 0.090558\t최선의 손실: 0.064141\t정확도: 98.05%\n", "16\t검증 세트 손실: 0.054843\t최선의 손실: 0.054843\t정확도: 98.98%\n", "17\t검증 세트 손실: 0.102469\t최선의 손실: 0.054843\t정확도: 97.97%\n", "18\t검증 세트 손실: 0.077001\t최선의 손실: 0.054843\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.059901\t최선의 손실: 0.054843\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.059099\t최선의 손실: 0.054843\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.197959\t최선의 손실: 0.054843\t정확도: 97.19%\n", "22\t검증 세트 손실: 0.077555\t최선의 손실: 0.054843\t정확도: 98.71%\n", "23\t검증 세트 손실: 0.053620\t최선의 손실: 0.053620\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.082991\t최선의 손실: 0.053620\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.090567\t최선의 손실: 0.053620\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.107453\t최선의 손실: 0.053620\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.074406\t최선의 손실: 0.053620\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.157559\t최선의 손실: 0.053620\t정확도: 97.97%\n", "29\t검증 세트 손실: 0.072032\t최선의 손실: 0.053620\t정확도: 98.51%\n", "30\t검증 세트 손실: 0.061326\t최선의 손실: 0.053620\t정확도: 98.94%\n", "31\t검증 세트 손실: 0.080304\t최선의 손실: 0.053620\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.102808\t최선의 손실: 0.053620\t정확도: 98.71%\n", "33\t검증 세트 손실: 0.124063\t최선의 손실: 0.053620\t정확도: 98.40%\n", "34\t검증 세트 손실: 0.071729\t최선의 손실: 0.053620\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.100126\t최선의 손실: 0.053620\t정확도: 99.10%\n", "36\t검증 세트 손실: 0.091374\t최선의 손실: 0.053620\t정확도: 98.63%\n", "37\t검증 세트 손실: 0.078469\t최선의 손실: 0.053620\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.144927\t최선의 손실: 0.053620\t정확도: 98.75%\n", "39\t검증 세트 손실: 0.070875\t최선의 손실: 0.053620\t정확도: 99.06%\n", "40\t검증 세트 손실: 0.075755\t최선의 손실: 0.053620\t정확도: 98.98%\n", "41\t검증 세트 손실: 0.096375\t최선의 손실: 0.053620\t정확도: 98.87%\n", "42\t검증 세트 손실: 0.092725\t최선의 손실: 0.053620\t정확도: 98.87%\n", "43\t검증 세트 손실: 0.225476\t최선의 손실: 0.053620\t정확도: 98.40%\n", "44\t검증 세트 손실: 0.084583\t최선의 손실: 0.053620\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 45.0s\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.141763\t최선의 손실: 0.141763\t정확도: 96.99%\n", "1\t검증 세트 손실: 0.066788\t최선의 손실: 0.066788\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.055339\t최선의 손실: 0.055339\t정확도: 98.44%\n", "3\t검증 세트 손실: 0.059105\t최선의 손실: 0.055339\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.048296\t최선의 손실: 0.048296\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.070270\t최선의 손실: 0.048296\t정확도: 98.55%\n", "6\t검증 세트 손실: 0.069489\t최선의 손실: 0.048296\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.074403\t최선의 손실: 0.048296\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.047764\t최선의 손실: 0.047764\t정확도: 98.87%\n", "9\t검증 세트 손실: 0.069150\t최선의 손실: 0.047764\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.105997\t최선의 손실: 0.047764\t정확도: 97.81%\n", "11\t검증 세트 손실: 0.083694\t최선의 손실: 0.047764\t정확도: 98.28%\n", "12\t검증 세트 손실: 0.062409\t최선의 손실: 0.047764\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.074875\t최선의 손실: 0.047764\t정확도: 98.28%\n", "14\t검증 세트 손실: 0.046454\t최선의 손실: 0.046454\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.065828\t최선의 손실: 0.046454\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.045871\t최선의 손실: 0.045871\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.047858\t최선의 손실: 0.045871\t정확도: 98.63%\n", "18\t검증 세트 손실: 0.052737\t최선의 손실: 0.045871\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.046744\t최선의 손실: 0.045871\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.050212\t최선의 손실: 0.045871\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.043739\t최선의 손실: 0.043739\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.079386\t최선의 손실: 0.043739\t정확도: 98.48%\n", "23\t검증 세트 손실: 0.062169\t최선의 손실: 0.043739\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.072171\t최선의 손실: 0.043739\t정확도: 98.40%\n", "25\t검증 세트 손실: 0.056711\t최선의 손실: 0.043739\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.059447\t최선의 손실: 0.043739\t정확도: 98.63%\n", "27\t검증 세트 손실: 0.051647\t최선의 손실: 0.043739\t정확도: 98.98%\n", "28\t검증 세트 손실: 0.094550\t최선의 손실: 0.043739\t정확도: 97.93%\n", "29\t검증 세트 손실: 0.069172\t최선의 손실: 0.043739\t정확도: 98.48%\n", "30\t검증 세트 손실: 0.079916\t최선의 손실: 0.043739\t정확도: 98.28%\n", "31\t검증 세트 손실: 0.051154\t최선의 손실: 0.043739\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.071337\t최선의 손실: 0.043739\t정확도: 98.28%\n", "33\t검증 세트 손실: 0.049608\t최선의 손실: 0.043739\t정확도: 98.98%\n", "34\t검증 세트 손실: 0.079539\t최선의 손실: 0.043739\t정확도: 98.59%\n", "35\t검증 세트 손실: 0.096537\t최선의 손실: 0.043739\t정확도: 98.36%\n", "36\t검증 세트 손실: 0.069136\t최선의 손실: 0.043739\t정확도: 98.71%\n", "37\t검증 세트 손실: 0.048167\t최선의 손실: 0.043739\t정확도: 99.06%\n", "38\t검증 세트 손실: 0.059643\t최선의 손실: 0.043739\t정확도: 98.71%\n", "39\t검증 세트 손실: 0.079928\t최선의 손실: 0.043739\t정확도: 98.40%\n", "40\t검증 세트 손실: 0.064932\t최선의 손실: 0.043739\t정확도: 98.51%\n", "41\t검증 세트 손실: 0.068414\t최선의 손실: 0.043739\t정확도: 98.59%\n", "42\t검증 세트 손실: 0.060368\t최선의 손실: 0.043739\t정확도: 98.71%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 12.1s\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.280207\t최선의 손실: 0.280207\t정확도: 95.15%\n", "1\t검증 세트 손실: 0.097537\t최선의 손실: 0.097537\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.065564\t최선의 손실: 0.065564\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.051405\t최선의 손실: 0.051405\t정확도: 98.79%\n", "4\t검증 세트 손실: 0.046678\t최선의 손실: 0.046678\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.068383\t최선의 손실: 0.046678\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.052424\t최선의 손실: 0.046678\t정확도: 98.83%\n", "7\t검증 세트 손실: 0.100878\t최선의 손실: 0.046678\t정확도: 97.50%\n", "8\t검증 세트 손실: 0.076038\t최선의 손실: 0.046678\t정확도: 97.65%\n", "9\t검증 세트 손실: 0.041058\t최선의 손실: 0.041058\t정확도: 98.87%\n", "10\t검증 세트 손실: 0.052101\t최선의 손실: 0.041058\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.092289\t최선의 손실: 0.041058\t정확도: 97.85%\n", "12\t검증 세트 손실: 0.067570\t최선의 손실: 0.041058\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.061777\t최선의 손실: 0.041058\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.052779\t최선의 손실: 0.041058\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.065462\t최선의 손실: 0.041058\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.062188\t최선의 손실: 0.041058\t정확도: 98.51%\n", "17\t검증 세트 손실: 0.058526\t최선의 손실: 0.041058\t정확도: 98.40%\n", "18\t검증 세트 손실: 0.045023\t최선의 손실: 0.041058\t정확도: 99.18%\n", "19\t검증 세트 손실: 0.060911\t최선의 손실: 0.041058\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.061345\t최선의 손실: 0.041058\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.058534\t최선의 손실: 0.041058\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.066216\t최선의 손실: 0.041058\t정확도: 98.59%\n", "23\t검증 세트 손실: 0.080684\t최선의 손실: 0.041058\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.042166\t최선의 손실: 0.041058\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.041973\t최선의 손실: 0.041058\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.069171\t최선의 손실: 0.041058\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.053858\t최선의 손실: 0.041058\t정확도: 98.91%\n", "28\t검증 세트 손실: 0.056761\t최선의 손실: 0.041058\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.058536\t최선의 손실: 0.041058\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.060312\t최선의 손실: 0.041058\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 9.1s\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.183066\t최선의 손실: 0.183066\t정확도: 96.25%\n", "1\t검증 세트 손실: 0.071020\t최선의 손실: 0.071020\t정확도: 98.24%\n", "2\t검증 세트 손실: 0.060205\t최선의 손실: 0.060205\t정확도: 98.51%\n", "3\t검증 세트 손실: 0.052721\t최선의 손실: 0.052721\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.054612\t최선의 손실: 0.052721\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.090727\t최선의 손실: 0.052721\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.061087\t최선의 손실: 0.052721\t정확도: 98.36%\n", "7\t검증 세트 손실: 0.055393\t최선의 손실: 0.052721\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.061090\t최선의 손실: 0.052721\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.042861\t최선의 손실: 0.042861\t정확도: 98.94%\n", "10\t검증 세트 손실: 0.048577\t최선의 손실: 0.042861\t정확도: 98.87%\n", "11\t검증 세트 손실: 0.062300\t최선의 손실: 0.042861\t정확도: 98.63%\n", "12\t검증 세트 손실: 0.046722\t최선의 손실: 0.042861\t정확도: 98.94%\n", "13\t검증 세트 손실: 0.065796\t최선의 손실: 0.042861\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.050877\t최선의 손실: 0.042861\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.044249\t최선의 손실: 0.042861\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.046493\t최선의 손실: 0.042861\t정확도: 98.98%\n", "17\t검증 세트 손실: 0.057902\t최선의 손실: 0.042861\t정확도: 98.91%\n", "18\t검증 세트 손실: 0.071565\t최선의 손실: 0.042861\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.047269\t최선의 손실: 0.042861\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.053873\t최선의 손실: 0.042861\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.048860\t최선의 손실: 0.042861\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.062678\t최선의 손실: 0.042861\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.058394\t최선의 손실: 0.042861\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.059773\t최선의 손실: 0.042861\t정확도: 98.79%\n", "25\t검증 세트 손실: 0.047675\t최선의 손실: 0.042861\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.059630\t최선의 손실: 0.042861\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.054685\t최선의 손실: 0.042861\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.058963\t최선의 손실: 0.042861\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.043266\t최선의 손실: 0.042861\t정확도: 99.14%\n", "30\t검증 세트 손실: 0.053470\t최선의 손실: 0.042861\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 9.1s\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.092615\t최선의 손실: 0.092615\t정확도: 97.81%\n", "1\t검증 세트 손실: 0.115838\t최선의 손실: 0.092615\t정확도: 97.38%\n", "2\t검증 세트 손실: 0.068658\t최선의 손실: 0.068658\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.061574\t최선의 손실: 0.061574\t정확도: 98.32%\n", "4\t검증 세트 손실: 0.047035\t최선의 손실: 0.047035\t정확도: 98.94%\n", "5\t검증 세트 손실: 0.068900\t최선의 손실: 0.047035\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.052929\t최선의 손실: 0.047035\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.047051\t최선의 손실: 0.047035\t정확도: 98.75%\n", "8\t검증 세트 손실: 0.084144\t최선의 손실: 0.047035\t정확도: 98.51%\n", "9\t검증 세트 손실: 0.035242\t최선의 손실: 0.035242\t정확도: 99.06%\n", "10\t검증 세트 손실: 0.048166\t최선의 손실: 0.035242\t정확도: 98.67%\n", "11\t검증 세트 손실: 0.052362\t최선의 손실: 0.035242\t정확도: 99.06%\n", "12\t검증 세트 손실: 0.074768\t최선의 손실: 0.035242\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.051303\t최선의 손실: 0.035242\t정확도: 98.87%\n", "14\t검증 세트 손실: 0.042337\t최선의 손실: 0.035242\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.047022\t최선의 손실: 0.035242\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.074924\t최선의 손실: 0.035242\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.046348\t최선의 손실: 0.035242\t정확도: 99.02%\n", "18\t검증 세트 손실: 0.065701\t최선의 손실: 0.035242\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.054773\t최선의 손실: 0.035242\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.052844\t최선의 손실: 0.035242\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.044779\t최선의 손실: 0.035242\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.041500\t최선의 손실: 0.035242\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.059176\t최선의 손실: 0.035242\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.037933\t최선의 손실: 0.035242\t정확도: 99.18%\n", "25\t검증 세트 손실: 0.062030\t최선의 손실: 0.035242\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.050103\t최선의 손실: 0.035242\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.043000\t최선의 손실: 0.035242\t정확도: 98.98%\n", "28\t검증 세트 손실: 0.079142\t최선의 손실: 0.035242\t정확도: 98.51%\n", "29\t검증 세트 손실: 0.052764\t최선의 손실: 0.035242\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.043246\t최선의 손실: 0.035242\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 31.3s\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.215852\t최선의 손실: 0.215852\t정확도: 95.62%\n", "1\t검증 세트 손실: 0.063280\t최선의 손실: 0.063280\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.058840\t최선의 손실: 0.058840\t정확도: 98.63%\n", "3\t검증 세트 손실: 0.057257\t최선의 손실: 0.057257\t정확도: 98.36%\n", "4\t검증 세트 손실: 0.060812\t최선의 손실: 0.057257\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.037772\t최선의 손실: 0.037772\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.052452\t최선의 손실: 0.037772\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.065158\t최선의 손실: 0.037772\t정확도: 98.48%\n", "8\t검증 세트 손실: 0.062168\t최선의 손실: 0.037772\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.054397\t최선의 손실: 0.037772\t정확도: 98.94%\n", "10\t검증 세트 손실: 0.071213\t최선의 손실: 0.037772\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.049289\t최선의 손실: 0.037772\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.046745\t최선의 손실: 0.037772\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.047756\t최선의 손실: 0.037772\t정확도: 99.10%\n", "14\t검증 세트 손실: 0.056504\t최선의 손실: 0.037772\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.044482\t최선의 손실: 0.037772\t정확도: 98.94%\n", "16\t검증 세트 손실: 0.049598\t최선의 손실: 0.037772\t정확도: 99.06%\n", "17\t검증 세트 손실: 0.075394\t최선의 손실: 0.037772\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.043138\t최선의 손실: 0.037772\t정확도: 99.22%\n", "19\t검증 세트 손실: 0.050550\t최선의 손실: 0.037772\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.044722\t최선의 손실: 0.037772\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.051287\t최선의 손실: 0.037772\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.046767\t최선의 손실: 0.037772\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.075630\t최선의 손실: 0.037772\t정확도: 98.71%\n", "24\t검증 세트 손실: 0.078609\t최선의 손실: 0.037772\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.053032\t최선의 손실: 0.037772\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.056442\t최선의 손실: 0.037772\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 27.6s\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.110308\t최선의 손실: 0.110308\t정확도: 97.38%\n", "1\t검증 세트 손실: 0.103582\t최선의 손실: 0.103582\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.077819\t최선의 손실: 0.077819\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.048839\t최선의 손실: 0.048839\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.054243\t최선의 손실: 0.048839\t정확도: 98.87%\n", "5\t검증 세트 손실: 0.043279\t최선의 손실: 0.043279\t정확도: 98.91%\n", "6\t검증 세트 손실: 0.042194\t최선의 손실: 0.042194\t정확도: 98.94%\n", "7\t검증 세트 손실: 0.073846\t최선의 손실: 0.042194\t정확도: 98.59%\n", "8\t검증 세트 손실: 0.045791\t최선의 손실: 0.042194\t정확도: 98.83%\n", "9\t검증 세트 손실: 0.047085\t최선의 손실: 0.042194\t정확도: 99.10%\n", "10\t검증 세트 손실: 0.034554\t최선의 손실: 0.034554\t정확도: 99.06%\n", "11\t검증 세트 손실: 0.035371\t최선의 손실: 0.034554\t정확도: 99.10%\n", "12\t검증 세트 손실: 0.029178\t최선의 손실: 0.029178\t정확도: 99.22%\n", "13\t검증 세트 손실: 0.064966\t최선의 손실: 0.029178\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.060175\t최선의 손실: 0.029178\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.065102\t최선의 손실: 0.029178\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.048091\t최선의 손실: 0.029178\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.049929\t최선의 손실: 0.029178\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.053939\t최선의 손실: 0.029178\t정확도: 98.83%\n", "19\t검증 세트 손실: 0.059949\t최선의 손실: 0.029178\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.047010\t최선의 손실: 0.029178\t정확도: 99.22%\n", "21\t검증 세트 손실: 0.041923\t최선의 손실: 0.029178\t정확도: 98.94%\n", "22\t검증 세트 손실: 0.040958\t최선의 손실: 0.029178\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.048497\t최선의 손실: 0.029178\t정확도: 98.98%\n", "24\t검증 세트 손실: 0.045394\t최선의 손실: 0.029178\t정확도: 98.98%\n", "25\t검증 세트 손실: 0.042978\t최선의 손실: 0.029178\t정확도: 99.06%\n", "26\t검증 세트 손실: 0.039780\t최선의 손실: 0.029178\t정확도: 99.02%\n", "27\t검증 세트 손실: 0.038132\t최선의 손실: 0.029178\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.038994\t최선의 손실: 0.029178\t정확도: 99.37%\n", "29\t검증 세트 손실: 0.033430\t최선의 손실: 0.029178\t정확도: 99.26%\n", "30\t검증 세트 손실: 0.036945\t최선의 손실: 0.029178\t정확도: 99.34%\n", "31\t검증 세트 손실: 0.046834\t최선의 손실: 0.029178\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.045647\t최선의 손실: 0.029178\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.044411\t최선의 손실: 0.029178\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 34.4s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.171059\t최선의 손실: 0.171059\t정확도: 95.15%\n", "1\t검증 세트 손실: 0.088663\t최선의 손실: 0.088663\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.090951\t최선의 손실: 0.088663\t정확도: 97.22%\n", "3\t검증 세트 손실: 0.073111\t최선의 손실: 0.073111\t정확도: 97.73%\n", "4\t검증 세트 손실: 0.066913\t최선의 손실: 0.066913\t정확도: 98.01%\n", "5\t검증 세트 손실: 0.110773\t최선의 손실: 0.066913\t정확도: 96.44%\n", "6\t검증 세트 손실: 0.064188\t최선의 손실: 0.064188\t정확도: 98.12%\n", "7\t검증 세트 손실: 0.069757\t최선의 손실: 0.064188\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.069276\t최선의 손실: 0.064188\t정확도: 97.73%\n", "9\t검증 세트 손실: 0.063514\t최선의 손실: 0.063514\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.066032\t최선의 손실: 0.063514\t정확도: 98.24%\n", "11\t검증 세트 손실: 0.080535\t최선의 손실: 0.063514\t정확도: 97.85%\n", "12\t검증 세트 손실: 0.060029\t최선의 손실: 0.060029\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.061915\t최선의 손실: 0.060029\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.064874\t최선의 손실: 0.060029\t정확도: 98.20%\n", "15\t검증 세트 손실: 0.072183\t최선의 손실: 0.060029\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.062984\t최선의 손실: 0.060029\t정확도: 98.36%\n", "17\t검증 세트 손실: 0.077526\t최선의 손실: 0.060029\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.077427\t최선의 손실: 0.060029\t정확도: 98.08%\n", "19\t검증 세트 손실: 0.083266\t최선의 손실: 0.060029\t정확도: 98.08%\n", "20\t검증 세트 손실: 0.059525\t최선의 손실: 0.059525\t정확도: 98.36%\n", "21\t검증 세트 손실: 0.124467\t최선의 손실: 0.059525\t정확도: 97.42%\n", "22\t검증 세트 손실: 0.083279\t최선의 손실: 0.059525\t정확도: 98.28%\n", "23\t검증 세트 손실: 0.075264\t최선의 손실: 0.059525\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.077159\t최선의 손실: 0.059525\t정확도: 98.24%\n", "25\t검증 세트 손실: 0.090969\t최선의 손실: 0.059525\t정확도: 98.08%\n", "26\t검증 세트 손실: 0.074036\t최선의 손실: 0.059525\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.094315\t최선의 손실: 0.059525\t정확도: 98.12%\n", "28\t검증 세트 손실: 0.076264\t최선의 손실: 0.059525\t정확도: 98.24%\n", "29\t검증 세트 손실: 0.114763\t최선의 손실: 0.059525\t정확도: 97.42%\n", "30\t검증 세트 손실: 0.091200\t최선의 손실: 0.059525\t정확도: 98.24%\n", "31\t검증 세트 손실: 0.081389\t최선의 손실: 0.059525\t정확도: 98.36%\n", "32\t검증 세트 손실: 0.106775\t최선의 손실: 0.059525\t정확도: 98.16%\n", "33\t검증 세트 손실: 0.079343\t최선의 손실: 0.059525\t정확도: 98.48%\n", "34\t검증 세트 손실: 0.088802\t최선의 손실: 0.059525\t정확도: 98.32%\n", "35\t검증 세트 손실: 0.117636\t최선의 손실: 0.059525\t정확도: 98.36%\n", "36\t검증 세트 손실: 0.117396\t최선의 손실: 0.059525\t정확도: 98.16%\n", "37\t검증 세트 손실: 0.098606\t최선의 손실: 0.059525\t정확도: 98.01%\n", "38\t검증 세트 손실: 0.084177\t최선의 손실: 0.059525\t정확도: 98.44%\n", "39\t검증 세트 손실: 0.086490\t최선의 손실: 0.059525\t정확도: 98.32%\n", "40\t검증 세트 손실: 0.078091\t최선의 손실: 0.059525\t정확도: 98.28%\n", "41\t검증 세트 손실: 0.081495\t최선의 손실: 0.059525\t정확도: 98.44%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=, total= 11.8s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.184570\t최선의 손실: 0.184570\t정확도: 94.64%\n", "1\t검증 세트 손실: 0.093963\t최선의 손실: 0.093963\t정확도: 97.42%\n", "2\t검증 세트 손실: 0.069974\t최선의 손실: 0.069974\t정확도: 97.81%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "3\t검증 세트 손실: 0.092989\t최선의 손실: 0.069974\t정확도: 96.95%\n", "4\t검증 세트 손실: 0.066953\t최선의 손실: 0.066953\t정확도: 97.81%\n", "5\t검증 세트 손실: 0.064867\t최선의 손실: 0.064867\t정확도: 97.77%\n", "6\t검증 세트 손실: 0.072278\t최선의 손실: 0.064867\t정확도: 97.97%\n", "7\t검증 세트 손실: 0.068722\t최선의 손실: 0.064867\t정확도: 97.77%\n", "8\t검증 세트 손실: 0.084900\t최선의 손실: 0.064867\t정확도: 97.34%\n", "9\t검증 세트 손실: 0.089994\t최선의 손실: 0.064867\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.075441\t최선의 손실: 0.064867\t정확도: 98.16%\n", "11\t검증 세트 손실: 0.061371\t최선의 손실: 0.061371\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.060653\t최선의 손실: 0.060653\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.067469\t최선의 손실: 0.060653\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.065859\t최선의 손실: 0.060653\t정확도: 98.44%\n", "15\t검증 세트 손실: 0.093166\t최선의 손실: 0.060653\t정확도: 97.85%\n", "16\t검증 세트 손실: 0.067028\t최선의 손실: 0.060653\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.056255\t최선의 손실: 0.056255\t정확도: 98.67%\n", "18\t검증 세트 손실: 0.069464\t최선의 손실: 0.056255\t정확도: 98.36%\n", "19\t검증 세트 손실: 0.066900\t최선의 손실: 0.056255\t정확도: 98.28%\n", "20\t검증 세트 손실: 0.109722\t최선의 손실: 0.056255\t정확도: 98.01%\n", "21\t검증 세트 손실: 0.067366\t최선의 손실: 0.056255\t정확도: 98.28%\n", "22\t검증 세트 손실: 0.066086\t최선의 손실: 0.056255\t정확도: 98.48%\n", "23\t검증 세트 손실: 0.072867\t최선의 손실: 0.056255\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.078491\t최선의 손실: 0.056255\t정확도: 98.32%\n", "25\t검증 세트 손실: 0.065533\t최선의 손실: 0.056255\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.074195\t최선의 손실: 0.056255\t정확도: 98.44%\n", "27\t검증 세트 손실: 0.069133\t최선의 손실: 0.056255\t정확도: 98.59%\n", "28\t검증 세트 손실: 0.089871\t최선의 손실: 0.056255\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.074972\t최선의 손실: 0.056255\t정확도: 98.24%\n", "30\t검증 세트 손실: 0.097003\t최선의 손실: 0.056255\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.106570\t최선의 손실: 0.056255\t정확도: 98.12%\n", "32\t검증 세트 손실: 0.069013\t최선의 손실: 0.056255\t정확도: 98.51%\n", "33\t검증 세트 손실: 0.099714\t최선의 손실: 0.056255\t정확도: 98.28%\n", "34\t검증 세트 손실: 0.111085\t최선의 손실: 0.056255\t정확도: 98.20%\n", "35\t검증 세트 손실: 0.098384\t최선의 손실: 0.056255\t정확도: 98.28%\n", "36\t검증 세트 손실: 0.079746\t최선의 손실: 0.056255\t정확도: 98.55%\n", "37\t검증 세트 손실: 0.079570\t최선의 손실: 0.056255\t정확도: 98.67%\n", "38\t검증 세트 손실: 0.085948\t최선의 손실: 0.056255\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=, total= 11.0s\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.161133\t최선의 손실: 0.161133\t정확도: 95.19%\n", "1\t검증 세트 손실: 0.091983\t최선의 손실: 0.091983\t정확도: 97.30%\n", "2\t검증 세트 손실: 0.078080\t최선의 손실: 0.078080\t정확도: 97.65%\n", "3\t검증 세트 손실: 0.071704\t최선의 손실: 0.071704\t정확도: 97.77%\n", "4\t검증 세트 손실: 0.081327\t최선의 손실: 0.071704\t정확도: 97.42%\n", "5\t검증 세트 손실: 0.066075\t최선의 손실: 0.066075\t정확도: 97.89%\n", "6\t검증 세트 손실: 0.058196\t최선의 손실: 0.058196\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.073338\t최선의 손실: 0.058196\t정확도: 97.65%\n", "8\t검증 세트 손실: 0.055870\t최선의 손실: 0.055870\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.054802\t최선의 손실: 0.054802\t정확도: 98.36%\n", "10\t검증 세트 손실: 0.059678\t최선의 손실: 0.054802\t정확도: 98.32%\n", "11\t검증 세트 손실: 0.063105\t최선의 손실: 0.054802\t정확도: 98.12%\n", "12\t검증 세트 손실: 0.059872\t최선의 손실: 0.054802\t정확도: 98.55%\n", "13\t검증 세트 손실: 0.080143\t최선의 손실: 0.054802\t정확도: 98.08%\n", "14\t검증 세트 손실: 0.051669\t최선의 손실: 0.051669\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.087903\t최선의 손실: 0.051669\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.051712\t최선의 손실: 0.051669\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.070965\t최선의 손실: 0.051669\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.062853\t최선의 손실: 0.051669\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.055163\t최선의 손실: 0.051669\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.066905\t최선의 손실: 0.051669\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.068644\t최선의 손실: 0.051669\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.080125\t최선의 손실: 0.051669\t정확도: 98.36%\n", "23\t검증 세트 손실: 0.088040\t최선의 손실: 0.051669\t정확도: 98.16%\n", "24\t검증 세트 손실: 0.078729\t최선의 손실: 0.051669\t정확도: 98.36%\n", "25\t검증 세트 손실: 0.063293\t최선의 손실: 0.051669\t정확도: 98.59%\n", "26\t검증 세트 손실: 0.060264\t최선의 손실: 0.051669\t정확도: 98.63%\n", "27\t검증 세트 손실: 0.053625\t최선의 손실: 0.051669\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.063638\t최선의 손실: 0.051669\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.071928\t최선의 손실: 0.051669\t정확도: 98.44%\n", "30\t검증 세트 손실: 0.064908\t최선의 손실: 0.051669\t정확도: 98.98%\n", "31\t검증 세트 손실: 0.056927\t최선의 손실: 0.051669\t정확도: 98.91%\n", "32\t검증 세트 손실: 0.073637\t최선의 손실: 0.051669\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.073036\t최선의 손실: 0.051669\t정확도: 98.67%\n", "34\t검증 세트 손실: 0.105667\t최선의 손실: 0.051669\t정확도: 98.48%\n", "35\t검증 세트 손실: 0.065414\t최선의 손실: 0.051669\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=, total= 10.3s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.140822\t최선의 손실: 0.140822\t정확도: 95.90%\n", "1\t검증 세트 손실: 0.082633\t최선의 손실: 0.082633\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.064084\t최선의 손실: 0.064084\t정확도: 98.05%\n", "3\t검증 세트 손실: 0.061194\t최선의 손실: 0.061194\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.061395\t최선의 손실: 0.061194\t정확도: 98.28%\n", "5\t검증 세트 손실: 0.095874\t최선의 손실: 0.061194\t정확도: 97.11%\n", "6\t검증 세트 손실: 0.051429\t최선의 손실: 0.051429\t정확도: 98.28%\n", "7\t검증 세트 손실: 0.069614\t최선의 손실: 0.051429\t정확도: 98.28%\n", "8\t검증 세트 손실: 0.046168\t최선의 손실: 0.046168\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.058167\t최선의 손실: 0.046168\t정확도: 98.51%\n", "10\t검증 세트 손실: 0.061108\t최선의 손실: 0.046168\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.074856\t최선의 손실: 0.046168\t정확도: 98.20%\n", "12\t검증 세트 손실: 0.045359\t최선의 손실: 0.045359\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.054158\t최선의 손실: 0.045359\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.056385\t최선의 손실: 0.045359\t정확도: 98.98%\n", "15\t검증 세트 손실: 0.058765\t최선의 손실: 0.045359\t정확도: 98.44%\n", "16\t검증 세트 손실: 0.059400\t최선의 손실: 0.045359\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.054341\t최선의 손실: 0.045359\t정확도: 98.83%\n", "18\t검증 세트 손실: 0.068342\t최선의 손실: 0.045359\t정확도: 98.44%\n", "19\t검증 세트 손실: 0.063954\t최선의 손실: 0.045359\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.055993\t최선의 손실: 0.045359\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.064808\t최선의 손실: 0.045359\t정확도: 98.59%\n", "22\t검증 세트 손실: 0.057288\t최선의 손실: 0.045359\t정확도: 98.91%\n", "23\t검증 세트 손실: 0.060961\t최선의 손실: 0.045359\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.053204\t최선의 손실: 0.045359\t정확도: 98.48%\n", "25\t검증 세트 손실: 0.063796\t최선의 손실: 0.045359\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.057954\t최선의 손실: 0.045359\t정확도: 98.71%\n", "27\t검증 세트 손실: 0.045796\t최선의 손실: 0.045359\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.050166\t최선의 손실: 0.045359\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.055828\t최선의 손실: 0.045359\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.078270\t최선의 손실: 0.045359\t정확도: 98.36%\n", "31\t검증 세트 손실: 0.063441\t최선의 손실: 0.045359\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.081855\t최선의 손실: 0.045359\t정확도: 98.36%\n", "33\t검증 세트 손실: 0.074538\t최선의 손실: 0.045359\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 12.6s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.131295\t최선의 손실: 0.131295\t정확도: 95.97%\n", "1\t검증 세트 손실: 0.077599\t최선의 손실: 0.077599\t정확도: 97.62%\n", "2\t검증 세트 손실: 0.067669\t최선의 손실: 0.067669\t정확도: 97.93%\n", "3\t검증 세트 손실: 0.058339\t최선의 손실: 0.058339\t정확도: 98.40%\n", "4\t검증 세트 손실: 0.067773\t최선의 손실: 0.058339\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.058532\t최선의 손실: 0.058339\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.051651\t최선의 손실: 0.051651\t정확도: 98.48%\n", "7\t검증 세트 손실: 0.070256\t최선의 손실: 0.051651\t정확도: 98.12%\n", "8\t검증 세트 손실: 0.050993\t최선의 손실: 0.050993\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.048529\t최선의 손실: 0.048529\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.056953\t최선의 손실: 0.048529\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.071445\t최선의 손실: 0.048529\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.057251\t최선의 손실: 0.048529\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.063848\t최선의 손실: 0.048529\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.054832\t최선의 손실: 0.048529\t정확도: 98.94%\n", "15\t검증 세트 손실: 0.069416\t최선의 손실: 0.048529\t정확도: 98.55%\n", "16\t검증 세트 손실: 0.047131\t최선의 손실: 0.047131\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.045439\t최선의 손실: 0.045439\t정확도: 99.26%\n", "18\t검증 세트 손실: 0.057264\t최선의 손실: 0.045439\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.057512\t최선의 손실: 0.045439\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.053412\t최선의 손실: 0.045439\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.061222\t최선의 손실: 0.045439\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.061719\t최선의 손실: 0.045439\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.057569\t최선의 손실: 0.045439\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.062489\t최선의 손실: 0.045439\t정확도: 98.63%\n", "25\t검증 세트 손실: 0.069081\t최선의 손실: 0.045439\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.071501\t최선의 손실: 0.045439\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.077435\t최선의 손실: 0.045439\t정확도: 98.55%\n", "28\t검증 세트 손실: 0.065439\t최선의 손실: 0.045439\t정확도: 98.83%\n", "29\t검증 세트 손실: 0.077742\t최선의 손실: 0.045439\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.085174\t최선의 손실: 0.045439\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.050705\t최선의 손실: 0.045439\t정확도: 98.63%\n", "32\t검증 세트 손실: 0.061399\t최선의 손실: 0.045439\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.092911\t최선의 손실: 0.045439\t정확도: 98.40%\n", "34\t검증 세트 손실: 0.073682\t최선의 손실: 0.045439\t정확도: 98.51%\n", "35\t검증 세트 손실: 0.074531\t최선의 손실: 0.045439\t정확도: 98.36%\n", "36\t검증 세트 손실: 0.068441\t최선의 손실: 0.045439\t정확도: 98.51%\n", "37\t검증 세트 손실: 0.073469\t최선의 손실: 0.045439\t정확도: 98.63%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "38\t검증 세트 손실: 0.100938\t최선의 손실: 0.045439\t정확도: 98.24%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 14.2s\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.124578\t최선의 손실: 0.124578\t정확도: 96.01%\n", "1\t검증 세트 손실: 0.070664\t최선의 손실: 0.070664\t정확도: 97.50%\n", "2\t검증 세트 손실: 0.054728\t최선의 손실: 0.054728\t정확도: 98.40%\n", "3\t검증 세트 손실: 0.056908\t최선의 손실: 0.054728\t정확도: 98.32%\n", "4\t검증 세트 손실: 0.044010\t최선의 손실: 0.044010\t정확도: 98.75%\n", "5\t검증 세트 손실: 0.059860\t최선의 손실: 0.044010\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.078997\t최선의 손실: 0.044010\t정확도: 97.73%\n", "7\t검증 세트 손실: 0.043646\t최선의 손실: 0.043646\t정확도: 98.71%\n", "8\t검증 세트 손실: 0.052680\t최선의 손실: 0.043646\t정확도: 98.71%\n", "9\t검증 세트 손실: 0.043184\t최선의 손실: 0.043184\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.057058\t최선의 손실: 0.043184\t정확도: 98.55%\n", "11\t검증 세트 손실: 0.052013\t최선의 손실: 0.043184\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.042971\t최선의 손실: 0.042971\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.040537\t최선의 손실: 0.040537\t정확도: 99.14%\n", "14\t검증 세트 손실: 0.056453\t최선의 손실: 0.040537\t정확도: 98.63%\n", "15\t검증 세트 손실: 0.046881\t최선의 손실: 0.040537\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.059996\t최선의 손실: 0.040537\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.068978\t최선의 손실: 0.040537\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.046426\t최선의 손실: 0.040537\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.079138\t최선의 손실: 0.040537\t정확도: 98.48%\n", "20\t검증 세트 손실: 0.081031\t최선의 손실: 0.040537\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.063551\t최선의 손실: 0.040537\t정확도: 98.67%\n", "22\t검증 세트 손실: 0.065991\t최선의 손실: 0.040537\t정확도: 98.55%\n", "23\t검증 세트 손실: 0.056070\t최선의 손실: 0.040537\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.042961\t최선의 손실: 0.040537\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.075129\t최선의 손실: 0.040537\t정확도: 98.40%\n", "26\t검증 세트 손실: 0.040831\t최선의 손실: 0.040537\t정확도: 98.87%\n", "27\t검증 세트 손실: 0.033652\t최선의 손실: 0.033652\t정확도: 99.18%\n", "28\t검증 세트 손실: 0.047560\t최선의 손실: 0.033652\t정확도: 99.10%\n", "29\t검증 세트 손실: 0.045208\t최선의 손실: 0.033652\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.051470\t최선의 손실: 0.033652\t정확도: 98.94%\n", "31\t검증 세트 손실: 0.050538\t최선의 손실: 0.033652\t정확도: 99.06%\n", "32\t검증 세트 손실: 0.045926\t최선의 손실: 0.033652\t정확도: 99.10%\n", "33\t검증 세트 손실: 0.069739\t최선의 손실: 0.033652\t정확도: 98.59%\n", "34\t검증 세트 손실: 0.100661\t최선의 손실: 0.033652\t정확도: 98.20%\n", "35\t검증 세트 손실: 0.059598\t최선의 손실: 0.033652\t정확도: 98.71%\n", "36\t검증 세트 손실: 0.049156\t최선의 손실: 0.033652\t정확도: 98.83%\n", "37\t검증 세트 손실: 0.054560\t최선의 손실: 0.033652\t정확도: 98.83%\n", "38\t검증 세트 손실: 0.069837\t최선의 손실: 0.033652\t정확도: 98.63%\n", "39\t검증 세트 손실: 0.048407\t최선의 손실: 0.033652\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.059486\t최선의 손실: 0.033652\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.048959\t최선의 손실: 0.033652\t정확도: 99.02%\n", "42\t검증 세트 손실: 0.064640\t최선의 손실: 0.033652\t정확도: 98.91%\n", "43\t검증 세트 손실: 0.057914\t최선의 손실: 0.033652\t정확도: 98.91%\n", "44\t검증 세트 손실: 0.071244\t최선의 손실: 0.033652\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.067352\t최선의 손실: 0.033652\t정확도: 98.87%\n", "46\t검증 세트 손실: 0.074187\t최선의 손실: 0.033652\t정확도: 98.51%\n", "47\t검증 세트 손실: 0.051783\t최선의 손실: 0.033652\t정확도: 98.98%\n", "48\t검증 세트 손실: 0.072249\t최선의 손실: 0.033652\t정확도: 98.63%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 17.5s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.063477\t최선의 손실: 0.063477\t정확도: 98.28%\n", "1\t검증 세트 손실: 0.048737\t최선의 손실: 0.048737\t정확도: 98.51%\n", "2\t검증 세트 손실: 0.053888\t최선의 손실: 0.048737\t정확도: 98.32%\n", "3\t검증 세트 손실: 0.047502\t최선의 손실: 0.047502\t정확도: 98.71%\n", "4\t검증 세트 손실: 0.031727\t최선의 손실: 0.031727\t정확도: 99.06%\n", "5\t검증 세트 손실: 0.041483\t최선의 손실: 0.031727\t정확도: 98.79%\n", "6\t검증 세트 손실: 0.048648\t최선의 손실: 0.031727\t정확도: 98.79%\n", "7\t검증 세트 손실: 0.046553\t최선의 손실: 0.031727\t정확도: 98.79%\n", "8\t검증 세트 손실: 0.044340\t최선의 손실: 0.031727\t정확도: 98.79%\n", "9\t검증 세트 손실: 0.031078\t최선의 손실: 0.031078\t정확도: 99.14%\n", "10\t검증 세트 손실: 0.037854\t최선의 손실: 0.031078\t정확도: 98.98%\n", "11\t검증 세트 손실: 0.031460\t최선의 손실: 0.031078\t정확도: 99.18%\n", "12\t검증 세트 손실: 0.042333\t최선의 손실: 0.031078\t정확도: 98.98%\n", "13\t검증 세트 손실: 0.069370\t최선의 손실: 0.031078\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.050184\t최선의 손실: 0.031078\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.056445\t최선의 손실: 0.031078\t정확도: 99.06%\n", "16\t검증 세트 손실: 0.067878\t최선의 손실: 0.031078\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.046472\t최선의 손실: 0.031078\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.046664\t최선의 손실: 0.031078\t정확도: 98.94%\n", "19\t검증 세트 손실: 0.040344\t최선의 손실: 0.031078\t정확도: 99.06%\n", "20\t검증 세트 손실: 0.050834\t최선의 손실: 0.031078\t정확도: 98.94%\n", "21\t검증 세트 손실: 0.043783\t최선의 손실: 0.031078\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.045924\t최선의 손실: 0.031078\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.050211\t최선의 손실: 0.031078\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.050423\t최선의 손실: 0.031078\t정확도: 98.98%\n", "25\t검증 세트 손실: 0.047149\t최선의 손실: 0.031078\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.062115\t최선의 손실: 0.031078\t정확도: 98.94%\n", "27\t검증 세트 손실: 0.066241\t최선의 손실: 0.031078\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.059185\t최선의 손실: 0.031078\t정확도: 98.59%\n", "29\t검증 세트 손실: 0.066729\t최선의 손실: 0.031078\t정확도: 98.83%\n", "30\t검증 세트 손실: 0.055278\t최선의 손실: 0.031078\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=, total= 14.9s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation= \n", "0\t검증 세트 손실: 0.065311\t최선의 손실: 0.065311\t정확도: 97.97%\n", "1\t검증 세트 손실: 0.047484\t최선의 손실: 0.047484\t정확도: 98.67%\n", "2\t검증 세트 손실: 0.043112\t최선의 손실: 0.043112\t정확도: 98.71%\n", "3\t검증 세트 손실: 0.047656\t최선의 손실: 0.043112\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.043808\t최선의 손실: 0.043112\t정확도: 98.79%\n", "5\t검증 세트 손실: 0.049723\t최선의 손실: 0.043112\t정확도: 98.48%\n", "6\t검증 세트 손실: 0.041190\t최선의 손실: 0.041190\t정확도: 99.02%\n", "7\t검증 세트 손실: 0.044885\t최선의 손실: 0.041190\t정확도: 98.87%\n", "8\t검증 세트 손실: 0.062136\t최선의 손실: 0.041190\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.048816\t최선의 손실: 0.041190\t정확도: 98.98%\n", "10\t검증 세트 손실: 0.037836\t최선의 손실: 0.037836\t정확도: 99.10%\n", "11\t검증 세트 손실: 0.043283\t최선의 손실: 0.037836\t정확도: 99.06%\n", "12\t검증 세트 손실: 0.036957\t최선의 손실: 0.036957\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.039044\t최선의 손실: 0.036957\t정확도: 99.14%\n", "14\t검증 세트 손실: 0.040032\t최선의 손실: 0.036957\t정확도: 99.26%\n", "15\t검증 세트 손실: 0.051030\t최선의 손실: 0.036957\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.037220\t최선의 손실: 0.036957\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.041052\t최선의 손실: 0.036957\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.038708\t최선의 손실: 0.036957\t정확도: 99.10%\n", "19\t검증 세트 손실: 0.036168\t최선의 손실: 0.036168\t정확도: 99.02%\n", "20\t검증 세트 손실: 0.035756\t최선의 손실: 0.035756\t정확도: 99.30%\n", "21\t검증 세트 손실: 0.039414\t최선의 손실: 0.035756\t정확도: 99.18%\n", "22\t검증 세트 손실: 0.037555\t최선의 손실: 0.035756\t정확도: 99.22%\n", "23\t검증 세트 손실: 0.066223\t최선의 손실: 0.035756\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.064371\t최선의 손실: 0.035756\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.048263\t최선의 손실: 0.035756\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.053088\t최선의 손실: 0.035756\t정확도: 98.79%\n", "27\t검증 세트 손실: 0.045680\t최선의 손실: 0.035756\t정확도: 99.10%\n", "28\t검증 세트 손실: 0.039480\t최선의 손실: 0.035756\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.043469\t최선의 손실: 0.035756\t정확도: 99.18%\n", "30\t검증 세트 손실: 0.044092\t최선의 손실: 0.035756\t정확도: 99.18%\n", "31\t검증 세트 손실: 0.040478\t최선의 손실: 0.035756\t정확도: 99.34%\n", "32\t검증 세트 손실: 0.043673\t최선의 손실: 0.035756\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.047034\t최선의 손실: 0.035756\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.047572\t최선의 손실: 0.035756\t정확도: 99.02%\n", "35\t검증 세트 손실: 0.032107\t최선의 손실: 0.032107\t정확도: 99.22%\n", "36\t검증 세트 손실: 0.047321\t최선의 손실: 0.032107\t정확도: 99.02%\n", "37\t검증 세트 손실: 0.045880\t최선의 손실: 0.032107\t정확도: 98.94%\n", "38\t검증 세트 손실: 0.033600\t최선의 손실: 0.032107\t정확도: 99.37%\n", "39\t검증 세트 손실: 0.056154\t최선의 손실: 0.032107\t정확도: 99.14%\n", "40\t검증 세트 손실: 0.056492\t최선의 손실: 0.032107\t정확도: 99.14%\n", "41\t검증 세트 손실: 0.052988\t최선의 손실: 0.032107\t정확도: 99.02%\n", "42\t검증 세트 손실: 0.044204\t최선의 손실: 0.032107\t정확도: 99.14%\n", "43\t검증 세트 손실: 0.049684\t최선의 손실: 0.032107\t정확도: 99.14%\n", "44\t검증 세트 손실: 0.034238\t최선의 손실: 0.032107\t정확도: 99.22%\n", "45\t검증 세트 손실: 0.036250\t최선의 손실: 0.032107\t정확도: 99.22%\n", "46\t검증 세트 손실: 0.033646\t최선의 손실: 0.032107\t정확도: 99.26%\n", "47\t검증 세트 손실: 0.040553\t최선의 손실: 0.032107\t정확도: 98.83%\n", "48\t검증 세트 손실: 0.039866\t최선의 손실: 0.032107\t정확도: 99.22%\n", "49\t검증 세트 손실: 0.037110\t최선의 손실: 0.032107\t정확도: 99.10%\n", "50\t검증 세트 손실: 0.039167\t최선의 손실: 0.032107\t정확도: 99.18%\n", "51\t검증 세트 손실: 0.043983\t최선의 손실: 0.032107\t정확도: 99.02%\n", "52\t검증 세트 손실: 0.056665\t최선의 손실: 0.032107\t정확도: 99.14%\n", "53\t검증 세트 손실: 0.056942\t최선의 손실: 0.032107\t정확도: 99.02%\n", "54\t검증 세트 손실: 0.058014\t최선의 손실: 0.032107\t정확도: 98.91%\n", "55\t검증 세트 손실: 0.056853\t최선의 손실: 0.032107\t정확도: 98.75%\n", "56\t검증 세트 손실: 0.070122\t최선의 손실: 0.032107\t정확도: 98.75%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=, total= 26.3s\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.064626\t최선의 손실: 0.064626\t정확도: 97.89%\n", "1\t검증 세트 손실: 0.052373\t최선의 손실: 0.052373\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.036296\t최선의 손실: 0.036296\t정확도: 98.98%\n", "3\t검증 세트 손실: 0.038425\t최선의 손실: 0.036296\t정확도: 98.91%\n", "4\t검증 세트 손실: 0.036733\t최선의 손실: 0.036296\t정확도: 98.91%\n", "5\t검증 세트 손실: 0.056489\t최선의 손실: 0.036296\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.038087\t최선의 손실: 0.036296\t정확도: 98.83%\n", "7\t검증 세트 손실: 0.044718\t최선의 손실: 0.036296\t정확도: 98.83%\n", "8\t검증 세트 손실: 0.049772\t최선의 손실: 0.036296\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.055939\t최선의 손실: 0.036296\t정확도: 98.83%\n", "10\t검증 세트 손실: 0.043103\t최선의 손실: 0.036296\t정확도: 98.63%\n", "11\t검증 세트 손실: 0.038262\t최선의 손실: 0.036296\t정확도: 98.98%\n", "12\t검증 세트 손실: 0.040300\t최선의 손실: 0.036296\t정확도: 98.98%\n", "13\t검증 세트 손실: 0.050213\t최선의 손실: 0.036296\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.033515\t최선의 손실: 0.033515\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.036253\t최선의 손실: 0.033515\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.063034\t최선의 손실: 0.033515\t정확도: 98.51%\n", "17\t검증 세트 손실: 0.037518\t최선의 손실: 0.033515\t정확도: 99.10%\n", "18\t검증 세트 손실: 0.036804\t최선의 손실: 0.033515\t정확도: 99.06%\n", "19\t검증 세트 손실: 0.051849\t최선의 손실: 0.033515\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.045505\t최선의 손실: 0.033515\t정확도: 99.06%\n", "21\t검증 세트 손실: 0.040961\t최선의 손실: 0.033515\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.054374\t최선의 손실: 0.033515\t정확도: 99.02%\n", "23\t검증 세트 손실: 0.048013\t최선의 손실: 0.033515\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.042267\t최선의 손실: 0.033515\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.030022\t최선의 손실: 0.030022\t정확도: 99.34%\n", "26\t검증 세트 손실: 0.029454\t최선의 손실: 0.029454\t정확도: 99.34%\n", "27\t검증 세트 손실: 0.041724\t최선의 손실: 0.029454\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.037122\t최선의 손실: 0.029454\t정확도: 99.30%\n", "29\t검증 세트 손실: 0.040615\t최선의 손실: 0.029454\t정확도: 99.18%\n", "30\t검증 세트 손실: 0.037711\t최선의 손실: 0.029454\t정확도: 99.22%\n", "31\t검증 세트 손실: 0.045125\t최선의 손실: 0.029454\t정확도: 99.02%\n", "32\t검증 세트 손실: 0.036658\t최선의 손실: 0.029454\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.047035\t최선의 손실: 0.029454\t정확도: 99.10%\n", "34\t검증 세트 손실: 0.037245\t최선의 손실: 0.029454\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.030266\t최선의 손실: 0.029454\t정확도: 99.26%\n", "36\t검증 세트 손실: 0.026520\t최선의 손실: 0.026520\t정확도: 99.26%\n", "37\t검증 세트 손실: 0.032032\t최선의 손실: 0.026520\t정확도: 99.30%\n", "38\t검증 세트 손실: 0.037685\t최선의 손실: 0.026520\t정확도: 99.22%\n", "39\t검증 세트 손실: 0.035736\t최선의 손실: 0.026520\t정확도: 99.14%\n", "40\t검증 세트 손실: 0.036220\t최선의 손실: 0.026520\t정확도: 99.14%\n", "41\t검증 세트 손실: 0.036171\t최선의 손실: 0.026520\t정확도: 99.26%\n", "42\t검증 세트 손실: 0.062166\t최선의 손실: 0.026520\t정확도: 99.02%\n", "43\t검증 세트 손실: 0.044855\t최선의 손실: 0.026520\t정확도: 99.22%\n", "44\t검증 세트 손실: 0.042436\t최선의 손실: 0.026520\t정확도: 98.87%\n", "45\t검증 세트 손실: 0.042494\t최선의 손실: 0.026520\t정확도: 99.14%\n", "46\t검증 세트 손실: 0.040540\t최선의 손실: 0.026520\t정확도: 99.14%\n", "47\t검증 세트 손실: 0.047777\t최선의 손실: 0.026520\t정확도: 99.14%\n", "48\t검증 세트 손실: 0.034800\t최선의 손실: 0.026520\t정확도: 99.18%\n", "49\t검증 세트 손실: 0.038949\t최선의 손실: 0.026520\t정확도: 99.14%\n", "50\t검증 세트 손실: 0.035014\t최선의 손실: 0.026520\t정확도: 99.14%\n", "51\t검증 세트 손실: 0.035409\t최선의 손실: 0.026520\t정확도: 99.30%\n", "52\t검증 세트 손실: 0.034602\t최선의 손실: 0.026520\t정확도: 99.22%\n", "53\t검증 세트 손실: 0.032281\t최선의 손실: 0.026520\t정확도: 99.37%\n", "54\t검증 세트 손실: 0.033641\t최선의 손실: 0.026520\t정확도: 99.37%\n", "55\t검증 세트 손실: 0.033059\t최선의 손실: 0.026520\t정확도: 99.34%\n", "56\t검증 세트 손실: 0.034806\t최선의 손실: 0.026520\t정확도: 99.34%\n", "57\t검증 세트 손실: 0.028019\t최선의 손실: 0.026520\t정확도: 99.34%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, batch_size=500, batch_norm_momentum=0.9, activation=, total= 26.7s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.069277\t최선의 손실: 0.069277\t정확도: 98.20%\n", "1\t검증 세트 손실: 0.061487\t최선의 손실: 0.061487\t정확도: 97.93%\n", "2\t검증 세트 손실: 0.041685\t최선의 손실: 0.041685\t정확도: 98.94%\n", "3\t검증 세트 손실: 0.046300\t최선의 손실: 0.041685\t정확도: 98.63%\n", "4\t검증 세트 손실: 0.038092\t최선의 손실: 0.038092\t정확도: 98.87%\n", "5\t검증 세트 손실: 0.063802\t최선의 손실: 0.038092\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.057011\t최선의 손실: 0.038092\t정확도: 98.44%\n", "7\t검증 세트 손실: 0.053442\t최선의 손실: 0.038092\t정확도: 98.71%\n", "8\t검증 세트 손실: 0.032092\t최선의 손실: 0.032092\t정확도: 99.14%\n", "9\t검증 세트 손실: 0.038600\t최선의 손실: 0.032092\t정확도: 99.14%\n", "10\t검증 세트 손실: 0.038476\t최선의 손실: 0.032092\t정확도: 99.02%\n", "11\t검증 세트 손실: 0.045270\t최선의 손실: 0.032092\t정확도: 98.98%\n", "12\t검증 세트 손실: 0.056328\t최선의 손실: 0.032092\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.049206\t최선의 손실: 0.032092\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.044632\t최선의 손실: 0.032092\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.058128\t최선의 손실: 0.032092\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.058684\t최선의 손실: 0.032092\t정확도: 98.91%\n", "17\t검증 세트 손실: 0.056107\t최선의 손실: 0.032092\t정확도: 98.79%\n", "18\t검증 세트 손실: 0.071710\t최선의 손실: 0.032092\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.053441\t최선의 손실: 0.032092\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.037892\t최선의 손실: 0.032092\t정확도: 99.06%\n", "21\t검증 세트 손실: 0.044339\t최선의 손실: 0.032092\t정확도: 99.02%\n", "22\t검증 세트 손실: 0.062378\t최선의 손실: 0.032092\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.049467\t최선의 손실: 0.032092\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.045966\t최선의 손실: 0.032092\t정확도: 99.14%\n", "25\t검증 세트 손실: 0.045151\t최선의 손실: 0.032092\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.050116\t최선의 손실: 0.032092\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.044307\t최선의 손실: 0.032092\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.050716\t최선의 손실: 0.032092\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.077799\t최선의 손실: 0.032092\t정확도: 98.48%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 15.0s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.061526\t최선의 손실: 0.061526\t정확도: 97.97%\n", "1\t검증 세트 손실: 0.045697\t최선의 손실: 0.045697\t정확도: 98.44%\n", "2\t검증 세트 손실: 0.053120\t최선의 손실: 0.045697\t정확도: 98.28%\n", "3\t검증 세트 손실: 0.044335\t최선의 손실: 0.044335\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.043921\t최선의 손실: 0.043921\t정확도: 98.36%\n", "5\t검증 세트 손실: 0.052357\t최선의 손실: 0.043921\t정확도: 98.79%\n", "6\t검증 세트 손실: 0.041424\t최선의 손실: 0.041424\t정확도: 98.87%\n", "7\t검증 세트 손실: 0.043853\t최선의 손실: 0.041424\t정확도: 98.91%\n", "8\t검증 세트 손실: 0.037305\t최선의 손실: 0.037305\t정확도: 98.87%\n", "9\t검증 세트 손실: 0.035022\t최선의 손실: 0.035022\t정확도: 99.06%\n", "10\t검증 세트 손실: 0.047999\t최선의 손실: 0.035022\t정확도: 99.06%\n", "11\t검증 세트 손실: 0.050584\t최선의 손실: 0.035022\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.050530\t최선의 손실: 0.035022\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.050269\t최선의 손실: 0.035022\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.067954\t최선의 손실: 0.035022\t정확도: 98.36%\n", "15\t검증 세트 손실: 0.054507\t최선의 손실: 0.035022\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.040587\t최선의 손실: 0.035022\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.063212\t최선의 손실: 0.035022\t정확도: 98.63%\n", "18\t검증 세트 손실: 0.057710\t최선의 손실: 0.035022\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.055299\t최선의 손실: 0.035022\t정확도: 98.75%\n", "20\t검증 세트 손실: 0.057662\t최선의 손실: 0.035022\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.047784\t최선의 손실: 0.035022\t정확도: 99.06%\n", "22\t검증 세트 손실: 0.063486\t최선의 손실: 0.035022\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.063758\t최선의 손실: 0.035022\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.063198\t최선의 손실: 0.035022\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.061762\t최선의 손실: 0.035022\t정확도: 98.87%\n", "26\t검증 세트 손실: 0.053213\t최선의 손실: 0.035022\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.059716\t최선의 손실: 0.035022\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.043507\t최선의 손실: 0.035022\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.047515\t최선의 손실: 0.035022\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.040817\t최선의 손실: 0.035022\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 15.6s\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.055981\t최선의 손실: 0.055981\t정확도: 98.20%\n", "1\t검증 세트 손실: 0.050416\t최선의 손실: 0.050416\t정확도: 98.36%\n", "2\t검증 세트 손실: 0.045378\t최선의 손실: 0.045378\t정확도: 98.44%\n", "3\t검증 세트 손실: 0.056748\t최선의 손실: 0.045378\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.035094\t최선의 손실: 0.035094\t정확도: 98.87%\n", "5\t검증 세트 손실: 0.068826\t최선의 손실: 0.035094\t정확도: 98.16%\n", "6\t검증 세트 손실: 0.047269\t최선의 손실: 0.035094\t정확도: 98.67%\n", "7\t검증 세트 손실: 0.034221\t최선의 손실: 0.034221\t정확도: 99.02%\n", "8\t검증 세트 손실: 0.048749\t최선의 손실: 0.034221\t정확도: 98.87%\n", "9\t검증 세트 손실: 0.042339\t최선의 손실: 0.034221\t정확도: 98.98%\n", "10\t검증 세트 손실: 0.050137\t최선의 손실: 0.034221\t정확도: 98.71%\n", "11\t검증 세트 손실: 0.052958\t최선의 손실: 0.034221\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.048541\t최선의 손실: 0.034221\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.062809\t최선의 손실: 0.034221\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.048790\t최선의 손실: 0.034221\t정확도: 98.83%\n", "15\t검증 세트 손실: 0.047352\t최선의 손실: 0.034221\t정확도: 98.71%\n", "16\t검증 세트 손실: 0.054542\t최선의 손실: 0.034221\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.038573\t최선의 손실: 0.034221\t정확도: 99.18%\n", "18\t검증 세트 손실: 0.040756\t최선의 손실: 0.034221\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.041154\t최선의 손실: 0.034221\t정확도: 99.26%\n", "20\t검증 세트 손실: 0.040873\t최선의 손실: 0.034221\t정확도: 99.30%\n", "21\t검증 세트 손실: 0.055550\t최선의 손실: 0.034221\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.064107\t최선의 손실: 0.034221\t정확도: 98.71%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "23\t검증 세트 손실: 0.041130\t최선의 손실: 0.034221\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.049754\t최선의 손실: 0.034221\t정확도: 98.91%\n", "25\t검증 세트 손실: 0.049959\t최선의 손실: 0.034221\t정확도: 98.94%\n", "26\t검증 세트 손실: 0.057005\t최선의 손실: 0.034221\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.054901\t최선의 손실: 0.034221\t정확도: 98.79%\n", "28\t검증 세트 손실: 0.052608\t최선의 손실: 0.034221\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 14.7s\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 9.738727\t최선의 손실: 9.738727\t정확도: 85.97%\n", "1\t검증 세트 손실: 0.734870\t최선의 손실: 0.734870\t정확도: 92.38%\n", "2\t검증 세트 손실: 0.930431\t최선의 손실: 0.734870\t정확도: 94.76%\n", "3\t검증 세트 손실: 0.983529\t최선의 손실: 0.734870\t정확도: 93.59%\n", "4\t검증 세트 손실: 0.523504\t최선의 손실: 0.523504\t정확도: 95.62%\n", "5\t검증 세트 손실: 0.240284\t최선의 손실: 0.240284\t정확도: 96.52%\n", "6\t검증 세트 손실: 0.574664\t최선의 손실: 0.240284\t정확도: 94.61%\n", "7\t검증 세트 손실: 0.182912\t최선의 손실: 0.182912\t정확도: 97.50%\n", "8\t검증 세트 손실: 0.310844\t최선의 손실: 0.182912\t정확도: 97.89%\n", "9\t검증 세트 손실: 0.130313\t최선의 손실: 0.130313\t정확도: 98.20%\n", "10\t검증 세트 손실: 0.256367\t최선의 손실: 0.130313\t정확도: 97.30%\n", "11\t검증 세트 손실: 0.084459\t최선의 손실: 0.084459\t정확도: 98.20%\n", "12\t검증 세트 손실: 0.133447\t최선의 손실: 0.084459\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.228161\t최선의 손실: 0.084459\t정확도: 97.03%\n", "14\t검증 세트 손실: 0.236479\t최선의 손실: 0.084459\t정확도: 97.30%\n", "15\t검증 세트 손실: 0.156968\t최선의 손실: 0.084459\t정확도: 98.20%\n", "16\t검증 세트 손실: 0.282740\t최선의 손실: 0.084459\t정확도: 97.34%\n", "17\t검증 세트 손실: 0.153333\t최선의 손실: 0.084459\t정확도: 98.40%\n", "18\t검증 세트 손실: 0.666473\t최선의 손실: 0.084459\t정확도: 96.13%\n", "19\t검증 세트 손실: 0.103814\t최선의 손실: 0.084459\t정확도: 98.71%\n", "20\t검증 세트 손실: 0.146087\t최선의 손실: 0.084459\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.197908\t최선의 손실: 0.084459\t정확도: 97.07%\n", "22\t검증 세트 손실: 0.201433\t최선의 손실: 0.084459\t정확도: 97.97%\n", "23\t검증 세트 손실: 0.224857\t최선의 손실: 0.084459\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.200603\t최선의 손실: 0.084459\t정확도: 97.89%\n", "25\t검증 세트 손실: 0.373686\t최선의 손실: 0.084459\t정확도: 96.95%\n", "26\t검증 세트 손실: 0.159758\t최선의 손실: 0.084459\t정확도: 98.40%\n", "27\t검증 세트 손실: 0.243181\t최선의 손실: 0.084459\t정확도: 98.51%\n", "28\t검증 세트 손실: 0.162730\t최선의 손실: 0.084459\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.278361\t최선의 손실: 0.084459\t정확도: 98.08%\n", "30\t검증 세트 손실: 0.321619\t최선의 손실: 0.084459\t정확도: 97.93%\n", "31\t검증 세트 손실: 0.211882\t최선의 손실: 0.084459\t정확도: 98.63%\n", "32\t검증 세트 손실: 0.318474\t최선의 손실: 0.084459\t정확도: 97.81%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 2.4min\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 22.297178\t최선의 손실: 22.297178\t정확도: 65.01%\n", "1\t검증 세트 손실: 4.458448\t최선의 손실: 4.458448\t정확도: 79.95%\n", "2\t검증 세트 손실: 1.924845\t최선의 손실: 1.924845\t정확도: 92.53%\n", "3\t검증 세트 손실: 0.402342\t최선의 손실: 0.402342\t정확도: 94.02%\n", "4\t검증 세트 손실: 0.743910\t최선의 손실: 0.402342\t정확도: 94.76%\n", "5\t검증 세트 손실: 0.232487\t최선의 손실: 0.232487\t정확도: 95.39%\n", "6\t검증 세트 손실: 0.670266\t최선의 손실: 0.232487\t정확도: 90.81%\n", "7\t검증 세트 손실: 0.424519\t최선의 손실: 0.232487\t정확도: 96.56%\n", "8\t검증 세트 손실: 0.658646\t최선의 손실: 0.232487\t정확도: 94.02%\n", "9\t검증 세트 손실: 0.256298\t최선의 손실: 0.232487\t정확도: 95.39%\n", "10\t검증 세트 손실: 0.344962\t최선의 손실: 0.232487\t정확도: 96.99%\n", "11\t검증 세트 손실: 0.338288\t최선의 손실: 0.232487\t정확도: 97.46%\n", "12\t검증 세트 손실: 0.152054\t최선의 손실: 0.152054\t정확도: 98.51%\n", "13\t검증 세트 손실: 0.288073\t최선의 손실: 0.152054\t정확도: 96.91%\n", "14\t검증 세트 손실: 1.122285\t최선의 손실: 0.152054\t정확도: 93.00%\n", "15\t검증 세트 손실: 0.281588\t최선의 손실: 0.152054\t정확도: 96.60%\n", "16\t검증 세트 손실: 0.234202\t최선의 손실: 0.152054\t정확도: 98.12%\n", "17\t검증 세트 손실: 0.589742\t최선의 손실: 0.152054\t정확도: 96.79%\n", "18\t검증 세트 손실: 0.179324\t최선의 손실: 0.152054\t정확도: 98.44%\n", "19\t검증 세트 손실: 3.749451\t최선의 손실: 0.152054\t정확도: 91.20%\n", "20\t검증 세트 손실: 0.185050\t최선의 손실: 0.152054\t정확도: 98.08%\n", "21\t검증 세트 손실: 0.681894\t최선의 손실: 0.152054\t정확도: 93.98%\n", "22\t검증 세트 손실: 0.121694\t최선의 손실: 0.121694\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.160800\t최선의 손실: 0.121694\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.248986\t최선의 손실: 0.121694\t정확도: 98.55%\n", "25\t검증 세트 손실: 0.359851\t최선의 손실: 0.121694\t정확도: 97.58%\n", "26\t검증 세트 손실: 0.215050\t최선의 손실: 0.121694\t정확도: 98.36%\n", "27\t검증 세트 손실: 0.279318\t최선의 손실: 0.121694\t정확도: 97.85%\n", "28\t검증 세트 손실: 0.220104\t최선의 손실: 0.121694\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.214426\t최선의 손실: 0.121694\t정확도: 98.28%\n", "30\t검증 세트 손실: 0.359162\t최선의 손실: 0.121694\t정확도: 97.73%\n", "31\t검증 세트 손실: 0.216691\t최선의 손실: 0.121694\t정확도: 98.32%\n", "32\t검증 세트 손실: 11.512515\t최선의 손실: 0.121694\t정확도: 89.60%\n", "33\t검증 세트 손실: 0.253163\t최선의 손실: 0.121694\t정확도: 98.44%\n", "34\t검증 세트 손실: 0.217156\t최선의 손실: 0.121694\t정확도: 97.81%\n", "35\t검증 세트 손실: 0.249955\t최선의 손실: 0.121694\t정확도: 98.20%\n", "36\t검증 세트 손실: 0.301939\t최선의 손실: 0.121694\t정확도: 97.69%\n", "37\t검증 세트 손실: 0.596550\t최선의 손실: 0.121694\t정확도: 96.25%\n", "38\t검증 세트 손실: 0.218058\t최선의 손실: 0.121694\t정확도: 98.51%\n", "39\t검증 세트 손실: 0.200049\t최선의 손실: 0.121694\t정확도: 98.63%\n", "40\t검증 세트 손실: 0.262244\t최선의 손실: 0.121694\t정확도: 98.75%\n", "41\t검증 세트 손실: 0.255550\t최선의 손실: 0.121694\t정확도: 98.59%\n", "42\t검증 세트 손실: 0.368755\t최선의 손실: 0.121694\t정확도: 98.20%\n", "43\t검증 세트 손실: 0.283637\t최선의 손실: 0.121694\t정확도: 98.83%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 3.2min\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 31.787273\t최선의 손실: 31.787273\t정확도: 58.21%\n", "1\t검증 세트 손실: 2.535948\t최선의 손실: 2.535948\t정확도: 92.18%\n", "2\t검증 세트 손실: 0.577870\t최선의 손실: 0.577870\t정확도: 96.01%\n", "3\t검증 세트 손실: 0.326380\t최선의 손실: 0.326380\t정확도: 97.03%\n", "4\t검증 세트 손실: 0.302108\t최선의 손실: 0.302108\t정확도: 97.50%\n", "5\t검증 세트 손실: 0.456826\t최선의 손실: 0.302108\t정확도: 94.84%\n", "6\t검증 세트 손실: 0.551453\t최선의 손실: 0.302108\t정확도: 94.96%\n", "7\t검증 세트 손실: 0.219659\t최선의 손실: 0.219659\t정확도: 96.25%\n", "8\t검증 세트 손실: 0.557994\t최선의 손실: 0.219659\t정확도: 93.98%\n", "9\t검증 세트 손실: 1.279997\t최선의 손실: 0.219659\t정확도: 85.22%\n", "10\t검증 세트 손실: 0.162590\t최선의 손실: 0.162590\t정확도: 98.24%\n", "11\t검증 세트 손실: 0.133032\t최선의 손실: 0.133032\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.301222\t최선의 손실: 0.133032\t정확도: 96.87%\n", "13\t검증 세트 손실: 0.251595\t최선의 손실: 0.133032\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.514565\t최선의 손실: 0.133032\t정확도: 95.70%\n", "15\t검증 세트 손실: 0.254914\t최선의 손실: 0.133032\t정확도: 98.05%\n", "16\t검증 세트 손실: 0.153884\t최선의 손실: 0.133032\t정확도: 98.16%\n", "17\t검증 세트 손실: 0.769023\t최선의 손실: 0.133032\t정확도: 95.00%\n", "18\t검증 세트 손실: 0.177450\t최선의 손실: 0.133032\t정확도: 97.73%\n", "19\t검증 세트 손실: 0.156805\t최선의 손실: 0.133032\t정확도: 98.63%\n", "20\t검증 세트 손실: 0.288163\t최선의 손실: 0.133032\t정확도: 97.93%\n", "21\t검증 세트 손실: 0.164452\t최선의 손실: 0.133032\t정확도: 98.16%\n", "22\t검증 세트 손실: 0.176759\t최선의 손실: 0.133032\t정확도: 98.40%\n", "23\t검증 세트 손실: 0.216264\t최선의 손실: 0.133032\t정확도: 98.12%\n", "24\t검증 세트 손실: 0.280007\t최선의 손실: 0.133032\t정확도: 98.01%\n", "25\t검증 세트 손실: 0.212781\t최선의 손실: 0.133032\t정확도: 98.36%\n", "26\t검증 세트 손실: 0.289238\t최선의 손실: 0.133032\t정확도: 98.36%\n", "27\t검증 세트 손실: 0.163983\t최선의 손실: 0.133032\t정확도: 98.51%\n", "28\t검증 세트 손실: 0.283674\t최선의 손실: 0.133032\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.331548\t최선의 손실: 0.133032\t정확도: 98.16%\n", "30\t검증 세트 손실: 0.297406\t최선의 손실: 0.133032\t정확도: 98.67%\n", "31\t검증 세트 손실: 0.252557\t최선의 손실: 0.133032\t정확도: 97.50%\n", "32\t검증 세트 손실: 0.262748\t최선의 손실: 0.133032\t정확도: 97.89%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 2.4min\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.124859\t최선의 손실: 0.124859\t정확도: 97.26%\n", "1\t검증 세트 손실: 0.106536\t최선의 손실: 0.106536\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.089321\t최선의 손실: 0.089321\t정확도: 97.62%\n", "3\t검증 세트 손실: 0.054731\t최선의 손실: 0.054731\t정확도: 98.51%\n", "4\t검증 세트 손실: 0.049337\t최선의 손실: 0.049337\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.107117\t최선의 손실: 0.049337\t정확도: 97.81%\n", "6\t검증 세트 손실: 0.055256\t최선의 손실: 0.049337\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.055912\t최선의 손실: 0.049337\t정확도: 98.79%\n", "8\t검증 세트 손실: 0.059574\t최선의 손실: 0.049337\t정확도: 98.28%\n", "9\t검증 세트 손실: 0.057554\t최선의 손실: 0.049337\t정확도: 98.67%\n", "10\t검증 세트 손실: 0.047892\t최선의 손실: 0.047892\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.063360\t최선의 손실: 0.047892\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.052368\t최선의 손실: 0.047892\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.047311\t최선의 손실: 0.047311\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.056095\t최선의 손실: 0.047311\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.048590\t최선의 손실: 0.047311\t정확도: 98.98%\n", "16\t검증 세트 손실: 0.060837\t최선의 손실: 0.047311\t정확도: 98.55%\n", "17\t검증 세트 손실: 0.043111\t최선의 손실: 0.043111\t정확도: 98.91%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "18\t검증 세트 손실: 0.066702\t최선의 손실: 0.043111\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.057129\t최선의 손실: 0.043111\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.054535\t최선의 손실: 0.043111\t정확도: 99.02%\n", "21\t검증 세트 손실: 0.047850\t최선의 손실: 0.043111\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.051106\t최선의 손실: 0.043111\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.039743\t최선의 손실: 0.039743\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.065632\t최선의 손실: 0.039743\t정확도: 98.44%\n", "25\t검증 세트 손실: 0.055955\t최선의 손실: 0.039743\t정확도: 98.75%\n", "26\t검증 세트 손실: 0.051029\t최선의 손실: 0.039743\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.036002\t최선의 손실: 0.036002\t정확도: 99.26%\n", "28\t검증 세트 손실: 0.044668\t최선의 손실: 0.036002\t정확도: 98.87%\n", "29\t검증 세트 손실: 0.061711\t최선의 손실: 0.036002\t정확도: 98.83%\n", "30\t검증 세트 손실: 0.057820\t최선의 손실: 0.036002\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.052321\t최선의 손실: 0.036002\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.063412\t최선의 손실: 0.036002\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.047003\t최선의 손실: 0.036002\t정확도: 98.87%\n", "34\t검증 세트 손실: 0.052387\t최선의 손실: 0.036002\t정확도: 98.87%\n", "35\t검증 세트 손실: 0.046704\t최선의 손실: 0.036002\t정확도: 99.22%\n", "36\t검증 세트 손실: 0.051920\t최선의 손실: 0.036002\t정확도: 99.10%\n", "37\t검증 세트 손실: 0.080661\t최선의 손실: 0.036002\t정확도: 98.40%\n", "38\t검증 세트 손실: 0.047670\t최선의 손실: 0.036002\t정확도: 98.98%\n", "39\t검증 세트 손실: 0.050224\t최선의 손실: 0.036002\t정확도: 99.14%\n", "40\t검증 세트 손실: 0.063234\t최선의 손실: 0.036002\t정확도: 98.98%\n", "41\t검증 세트 손실: 0.058537\t최선의 손실: 0.036002\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.042003\t최선의 손실: 0.036002\t정확도: 98.98%\n", "43\t검증 세트 손실: 0.041883\t최선의 손실: 0.036002\t정확도: 99.14%\n", "44\t검증 세트 손실: 0.047767\t최선의 손실: 0.036002\t정확도: 99.18%\n", "45\t검증 세트 손실: 0.076704\t최선의 손실: 0.036002\t정확도: 98.55%\n", "46\t검증 세트 손실: 0.070268\t최선의 손실: 0.036002\t정확도: 98.63%\n", "47\t검증 세트 손실: 0.091338\t최선의 손실: 0.036002\t정확도: 98.32%\n", "48\t검증 세트 손실: 0.070773\t최선의 손실: 0.036002\t정확도: 98.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 33.8s\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.170035\t최선의 손실: 0.170035\t정확도: 95.93%\n", "1\t검증 세트 손실: 0.052680\t최선의 손실: 0.052680\t정확도: 98.40%\n", "2\t검증 세트 손실: 0.059086\t최선의 손실: 0.052680\t정확도: 98.40%\n", "3\t검증 세트 손실: 0.082150\t최선의 손실: 0.052680\t정확도: 98.05%\n", "4\t검증 세트 손실: 0.072233\t최선의 손실: 0.052680\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.049776\t최선의 손실: 0.049776\t정확도: 98.79%\n", "6\t검증 세트 손실: 0.056509\t최선의 손실: 0.049776\t정확도: 98.55%\n", "7\t검증 세트 손실: 0.053337\t최선의 손실: 0.049776\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.045478\t최선의 손실: 0.045478\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.049743\t최선의 손실: 0.045478\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.061758\t최선의 손실: 0.045478\t정확도: 98.71%\n", "11\t검증 세트 손실: 0.050220\t최선의 손실: 0.045478\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.069658\t최선의 손실: 0.045478\t정확도: 98.32%\n", "13\t검증 세트 손실: 0.064037\t최선의 손실: 0.045478\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.057720\t최선의 손실: 0.045478\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.041087\t최선의 손실: 0.041087\t정확도: 98.91%\n", "16\t검증 세트 손실: 0.045688\t최선의 손실: 0.041087\t정확도: 98.79%\n", "17\t검증 세트 손실: 0.107715\t최선의 손실: 0.041087\t정확도: 98.32%\n", "18\t검증 세트 손실: 0.045540\t최선의 손실: 0.041087\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.043185\t최선의 손실: 0.041087\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.053742\t최선의 손실: 0.041087\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.052213\t최선의 손실: 0.041087\t정확도: 98.98%\n", "22\t검증 세트 손실: 0.048429\t최선의 손실: 0.041087\t정확도: 99.10%\n", "23\t검증 세트 손실: 0.093501\t최선의 손실: 0.041087\t정확도: 98.32%\n", "24\t검증 세트 손실: 0.054087\t최선의 손실: 0.041087\t정확도: 98.94%\n", "25\t검증 세트 손실: 0.047718\t최선의 손실: 0.041087\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.049185\t최선의 손실: 0.041087\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.054024\t최선의 손실: 0.041087\t정확도: 98.51%\n", "28\t검증 세트 손실: 0.058370\t최선의 손실: 0.041087\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.058113\t최선의 손실: 0.041087\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.058821\t최선의 손실: 0.041087\t정확도: 98.75%\n", "31\t검증 세트 손실: 0.118758\t최선의 손실: 0.041087\t정확도: 97.15%\n", "32\t검증 세트 손실: 0.043810\t최선의 손실: 0.041087\t정확도: 99.06%\n", "33\t검증 세트 손실: 0.084875\t최선의 손실: 0.041087\t정확도: 98.55%\n", "34\t검증 세트 손실: 0.069467\t최선의 손실: 0.041087\t정확도: 98.51%\n", "35\t검증 세트 손실: 0.054470\t최선의 손실: 0.041087\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.110263\t최선의 손실: 0.041087\t정확도: 97.93%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 25.8s\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.157971\t최선의 손실: 0.157971\t정확도: 96.64%\n", "1\t검증 세트 손실: 0.085125\t최선의 손실: 0.085125\t정확도: 97.73%\n", "2\t검증 세트 손실: 0.075379\t최선의 손실: 0.075379\t정확도: 98.08%\n", "3\t검증 세트 손실: 0.063558\t최선의 손실: 0.063558\t정확도: 98.44%\n", "4\t검증 세트 손실: 0.044068\t최선의 손실: 0.044068\t정확도: 98.59%\n", "5\t검증 세트 손실: 0.049937\t최선의 손실: 0.044068\t정확도: 98.71%\n", "6\t검증 세트 손실: 0.038469\t최선의 손실: 0.038469\t정확도: 98.91%\n", "7\t검증 세트 손실: 0.077721\t최선의 손실: 0.038469\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.042893\t최선의 손실: 0.038469\t정확도: 98.87%\n", "9\t검증 세트 손실: 0.085975\t최선의 손실: 0.038469\t정확도: 97.93%\n", "10\t검증 세트 손실: 0.050317\t최선의 손실: 0.038469\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.076410\t최선의 손실: 0.038469\t정확도: 98.36%\n", "12\t검증 세트 손실: 0.061913\t최선의 손실: 0.038469\t정확도: 98.59%\n", "13\t검증 세트 손실: 0.073930\t최선의 손실: 0.038469\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.047848\t최선의 손실: 0.038469\t정확도: 98.94%\n", "15\t검증 세트 손실: 0.067152\t최선의 손실: 0.038469\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.040366\t최선의 손실: 0.038469\t정확도: 98.98%\n", "17\t검증 세트 손실: 0.040939\t최선의 손실: 0.038469\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.040451\t최선의 손실: 0.038469\t정확도: 99.14%\n", "19\t검증 세트 손실: 0.084523\t최선의 손실: 0.038469\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.049721\t최선의 손실: 0.038469\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.034949\t최선의 손실: 0.034949\t정확도: 99.06%\n", "22\t검증 세트 손실: 0.050379\t최선의 손실: 0.034949\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.056052\t최선의 손실: 0.034949\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.046652\t최선의 손실: 0.034949\t정확도: 99.10%\n", "25\t검증 세트 손실: 0.034469\t최선의 손실: 0.034469\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.060034\t최선의 손실: 0.034469\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.047699\t최선의 손실: 0.034469\t정확도: 98.87%\n", "28\t검증 세트 손실: 0.023849\t최선의 손실: 0.023849\t정확도: 99.53%\n", "29\t검증 세트 손실: 0.032839\t최선의 손실: 0.023849\t정확도: 98.98%\n", "30\t검증 세트 손실: 0.040843\t최선의 손실: 0.023849\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.036232\t최선의 손실: 0.023849\t정확도: 99.30%\n", "32\t검증 세트 손실: 0.075257\t최선의 손실: 0.023849\t정확도: 98.71%\n", "33\t검증 세트 손실: 0.051102\t최선의 손실: 0.023849\t정확도: 99.10%\n", "34\t검증 세트 손실: 0.044406\t최선의 손실: 0.023849\t정확도: 99.06%\n", "35\t검증 세트 손실: 0.046806\t최선의 손실: 0.023849\t정확도: 99.26%\n", "36\t검증 세트 손실: 0.042568\t최선의 손실: 0.023849\t정확도: 99.30%\n", "37\t검증 세트 손실: 0.051491\t최선의 손실: 0.023849\t정확도: 98.98%\n", "38\t검증 세트 손실: 0.038605\t최선의 손실: 0.023849\t정확도: 99.14%\n", "39\t검증 세트 손실: 0.051106\t최선의 손실: 0.023849\t정확도: 99.06%\n", "40\t검증 세트 손실: 0.061185\t최선의 손실: 0.023849\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.061415\t최선의 손실: 0.023849\t정확도: 98.91%\n", "42\t검증 세트 손실: 0.045860\t최선의 손실: 0.023849\t정확도: 99.18%\n", "43\t검증 세트 손실: 0.047549\t최선의 손실: 0.023849\t정확도: 98.87%\n", "44\t검증 세트 손실: 0.048482\t최선의 손실: 0.023849\t정확도: 99.02%\n", "45\t검증 세트 손실: 0.036163\t최선의 손실: 0.023849\t정확도: 99.10%\n", "46\t검증 세트 손실: 0.041805\t최선의 손실: 0.023849\t정확도: 98.94%\n", "47\t검증 세트 손실: 0.040458\t최선의 손실: 0.023849\t정확도: 99.06%\n", "48\t검증 세트 손실: 0.045438\t최선의 손실: 0.023849\t정확도: 99.26%\n", "49\t검증 세트 손실: 0.123784\t최선의 손실: 0.023849\t정확도: 98.20%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 34.6s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.211880\t최선의 손실: 0.211880\t정확도: 93.78%\n", "1\t검증 세트 손실: 0.137079\t최선의 손실: 0.137079\t정확도: 94.92%\n", "2\t검증 세트 손실: 0.103738\t최선의 손실: 0.103738\t정확도: 97.03%\n", "3\t검증 세트 손실: 0.156666\t최선의 손실: 0.103738\t정확도: 95.19%\n", "4\t검증 세트 손실: 0.063632\t최선의 손실: 0.063632\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.075008\t최선의 손실: 0.063632\t정확도: 98.01%\n", "6\t검증 세트 손실: 0.081752\t최선의 손실: 0.063632\t정확도: 97.50%\n", "7\t검증 세트 손실: 0.673547\t최선의 손실: 0.063632\t정확도: 87.88%\n", "8\t검증 세트 손실: 0.066437\t최선의 손실: 0.063632\t정확도: 97.97%\n", "9\t검증 세트 손실: 0.083416\t최선의 손실: 0.063632\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.108252\t최선의 손실: 0.063632\t정확도: 97.15%\n", "11\t검증 세트 손실: 0.052522\t최선의 손실: 0.052522\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.067801\t최선의 손실: 0.052522\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.107056\t최선의 손실: 0.052522\t정확도: 97.15%\n", "14\t검증 세트 손실: 0.086343\t최선의 손실: 0.052522\t정확도: 97.65%\n", "15\t검증 세트 손실: 0.052717\t최선의 손실: 0.052522\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.075682\t최선의 손실: 0.052522\t정확도: 98.05%\n", "17\t검증 세트 손실: 0.055845\t최선의 손실: 0.052522\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.082290\t최선의 손실: 0.052522\t정확도: 97.97%\n", "19\t검증 세트 손실: 0.073144\t최선의 손실: 0.052522\t정확도: 98.24%\n", "20\t검증 세트 손실: 0.058481\t최선의 손실: 0.052522\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.113643\t최선의 손실: 0.052522\t정확도: 98.28%\n", "22\t검증 세트 손실: 0.088577\t최선의 손실: 0.052522\t정확도: 98.36%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "23\t검증 세트 손실: 0.046414\t최선의 손실: 0.046414\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.054732\t최선의 손실: 0.046414\t정확도: 98.28%\n", "25\t검증 세트 손실: 0.049774\t최선의 손실: 0.046414\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.056705\t최선의 손실: 0.046414\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.068111\t최선의 손실: 0.046414\t정확도: 98.79%\n", "28\t검증 세트 손실: 0.061112\t최선의 손실: 0.046414\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.082492\t최선의 손실: 0.046414\t정확도: 98.24%\n", "30\t검증 세트 손실: 0.466989\t최선의 손실: 0.046414\t정확도: 94.49%\n", "31\t검증 세트 손실: 0.072053\t최선의 손실: 0.046414\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.053139\t최선의 손실: 0.046414\t정확도: 98.71%\n", "33\t검증 세트 손실: 0.088726\t최선의 손실: 0.046414\t정확도: 97.89%\n", "34\t검증 세트 손실: 0.058527\t최선의 손실: 0.046414\t정확도: 98.71%\n", "35\t검증 세트 손실: 0.067056\t최선의 손실: 0.046414\t정확도: 98.48%\n", "36\t검증 세트 손실: 0.064762\t최선의 손실: 0.046414\t정확도: 98.87%\n", "37\t검증 세트 손실: 0.092468\t최선의 손실: 0.046414\t정확도: 98.20%\n", "38\t검증 세트 손실: 0.054660\t최선의 손실: 0.046414\t정확도: 98.63%\n", "39\t검증 세트 손실: 0.064893\t최선의 손실: 0.046414\t정확도: 98.59%\n", "40\t검증 세트 손실: 0.060888\t최선의 손실: 0.046414\t정확도: 98.79%\n", "41\t검증 세트 손실: 0.057694\t최선의 손실: 0.046414\t정확도: 98.75%\n", "42\t검증 세트 손실: 0.108344\t최선의 손실: 0.046414\t정확도: 98.44%\n", "43\t검증 세트 손실: 0.054494\t최선의 손실: 0.046414\t정확도: 98.67%\n", "44\t검증 세트 손실: 0.067370\t최선의 손실: 0.046414\t정확도: 98.71%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 2.4min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.125771\t최선의 손실: 0.125771\t정확도: 96.44%\n", "1\t검증 세트 손실: 0.156424\t최선의 손실: 0.125771\t정확도: 96.33%\n", "2\t검증 세트 손실: 0.163165\t최선의 손실: 0.125771\t정확도: 95.43%\n", "3\t검증 세트 손실: 0.087621\t최선의 손실: 0.087621\t정확도: 97.42%\n", "4\t검증 세트 손실: 0.070970\t최선의 손실: 0.070970\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.071215\t최선의 손실: 0.070970\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.055954\t최선의 손실: 0.055954\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.067345\t최선의 손실: 0.055954\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.084220\t최선의 손실: 0.055954\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.073256\t최선의 손실: 0.055954\t정확도: 98.05%\n", "10\t검증 세트 손실: 0.084843\t최선의 손실: 0.055954\t정확도: 97.69%\n", "11\t검증 세트 손실: 0.058626\t최선의 손실: 0.055954\t정확도: 98.59%\n", "12\t검증 세트 손실: 0.109272\t최선의 손실: 0.055954\t정확도: 97.50%\n", "13\t검증 세트 손실: 0.048225\t최선의 손실: 0.048225\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.067430\t최선의 손실: 0.048225\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.061037\t최선의 손실: 0.048225\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.063676\t최선의 손실: 0.048225\t정확도: 98.40%\n", "17\t검증 세트 손실: 0.078240\t최선의 손실: 0.048225\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.098436\t최선의 손실: 0.048225\t정확도: 97.97%\n", "19\t검증 세트 손실: 0.081828\t최선의 손실: 0.048225\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.059240\t최선의 손실: 0.048225\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.115250\t최선의 손실: 0.048225\t정확도: 97.62%\n", "22\t검증 세트 손실: 0.065068\t최선의 손실: 0.048225\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.067888\t최선의 손실: 0.048225\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.103821\t최선의 손실: 0.048225\t정확도: 97.97%\n", "25\t검증 세트 손실: 0.061455\t최선의 손실: 0.048225\t정확도: 98.83%\n", "26\t검증 세트 손실: 0.096361\t최선의 손실: 0.048225\t정확도: 98.55%\n", "27\t검증 세트 손실: 0.058291\t최선의 손실: 0.048225\t정확도: 98.67%\n", "28\t검증 세트 손실: 0.067858\t최선의 손실: 0.048225\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.105515\t최선의 손실: 0.048225\t정확도: 96.99%\n", "30\t검증 세트 손실: 0.056689\t최선의 손실: 0.048225\t정확도: 98.48%\n", "31\t검증 세트 손실: 0.079612\t최선의 손실: 0.048225\t정확도: 97.89%\n", "32\t검증 세트 손실: 0.094362\t최선의 손실: 0.048225\t정확도: 98.16%\n", "33\t검증 세트 손실: 0.061057\t최선의 손실: 0.048225\t정확도: 98.36%\n", "34\t검증 세트 손실: 0.092730\t최선의 손실: 0.048225\t정확도: 98.16%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.8min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.133346\t최선의 손실: 0.133346\t정확도: 96.68%\n", "1\t검증 세트 손실: 0.092253\t최선의 손실: 0.092253\t정확도: 97.38%\n", "2\t검증 세트 손실: 0.136111\t최선의 손실: 0.092253\t정확도: 95.78%\n", "3\t검증 세트 손실: 0.069890\t최선의 손실: 0.069890\t정확도: 97.81%\n", "4\t검증 세트 손실: 0.099141\t최선의 손실: 0.069890\t정확도: 97.15%\n", "5\t검증 세트 손실: 0.066556\t최선의 손실: 0.066556\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.076363\t최선의 손실: 0.066556\t정확도: 98.05%\n", "7\t검증 세트 손실: 0.067370\t최선의 손실: 0.066556\t정확도: 98.24%\n", "8\t검증 세트 손실: 0.140166\t최선의 손실: 0.066556\t정확도: 97.42%\n", "9\t검증 세트 손실: 0.066631\t최선의 손실: 0.066556\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.180645\t최선의 손실: 0.066556\t정확도: 95.97%\n", "11\t검증 세트 손실: 0.042569\t최선의 손실: 0.042569\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.068061\t최선의 손실: 0.042569\t정확도: 98.05%\n", "13\t검증 세트 손실: 0.047307\t최선의 손실: 0.042569\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.095993\t최선의 손실: 0.042569\t정확도: 98.08%\n", "15\t검증 세트 손실: 0.105915\t최선의 손실: 0.042569\t정확도: 97.65%\n", "16\t검증 세트 손실: 0.083543\t최선의 손실: 0.042569\t정확도: 98.28%\n", "17\t검증 세트 손실: 0.111681\t최선의 손실: 0.042569\t정확도: 97.50%\n", "18\t검증 세트 손실: 0.067460\t최선의 손실: 0.042569\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.066219\t최선의 손실: 0.042569\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.050561\t최선의 손실: 0.042569\t정확도: 98.48%\n", "21\t검증 세트 손실: 0.064436\t최선의 손실: 0.042569\t정확도: 98.32%\n", "22\t검증 세트 손실: 0.068323\t최선의 손실: 0.042569\t정확도: 98.48%\n", "23\t검증 세트 손실: 0.070235\t최선의 손실: 0.042569\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.059749\t최선의 손실: 0.042569\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.059526\t최선의 손실: 0.042569\t정확도: 98.40%\n", "26\t검증 세트 손실: 0.055389\t최선의 손실: 0.042569\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.085408\t최선의 손실: 0.042569\t정확도: 98.20%\n", "28\t검증 세트 손실: 0.078196\t최선의 손실: 0.042569\t정확도: 98.36%\n", "29\t검증 세트 손실: 0.059490\t최선의 손실: 0.042569\t정확도: 98.40%\n", "30\t검증 세트 손실: 0.075333\t최선의 손실: 0.042569\t정확도: 98.59%\n", "31\t검증 세트 손실: 0.072249\t최선의 손실: 0.042569\t정확도: 97.89%\n", "32\t검증 세트 손실: 0.116213\t최선의 손실: 0.042569\t정확도: 97.46%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=10, batch_norm_momentum=0.9, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 1.7min\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 3.379658\t최선의 손실: 3.379658\t정확도: 91.75%\n", "1\t검증 세트 손실: 0.982626\t최선의 손실: 0.982626\t정확도: 89.48%\n", "2\t검증 세트 손실: 0.467639\t최선의 손실: 0.467639\t정확도: 92.10%\n", "3\t검증 세트 손실: 0.629243\t최선의 손실: 0.467639\t정확도: 83.39%\n", "4\t검증 세트 손실: 0.319113\t최선의 손실: 0.319113\t정확도: 94.18%\n", "5\t검증 세트 손실: 0.280127\t최선의 손실: 0.280127\t정확도: 92.46%\n", "6\t검증 세트 손실: 0.211779\t최선의 손실: 0.211779\t정확도: 96.60%\n", "7\t검증 세트 손실: 0.101026\t최선의 손실: 0.101026\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.212782\t최선의 손실: 0.101026\t정확도: 97.58%\n", "9\t검증 세트 손실: 0.165132\t최선의 손실: 0.101026\t정확도: 97.89%\n", "10\t검증 세트 손실: 0.206488\t최선의 손실: 0.101026\t정확도: 98.16%\n", "11\t검증 세트 손실: 0.098530\t최선의 손실: 0.098530\t정확도: 97.50%\n", "12\t검증 세트 손실: 0.136034\t최선의 손실: 0.098530\t정확도: 98.12%\n", "13\t검증 세트 손실: 0.156293\t최선의 손실: 0.098530\t정확도: 97.85%\n", "14\t검증 세트 손실: 0.181174\t최선의 손실: 0.098530\t정확도: 96.64%\n", "15\t검증 세트 손실: 0.126481\t최선의 손실: 0.098530\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.575125\t최선의 손실: 0.098530\t정확도: 95.35%\n", "17\t검증 세트 손실: 0.117311\t최선의 손실: 0.098530\t정확도: 98.32%\n", "18\t검증 세트 손실: 0.140160\t최선의 손실: 0.098530\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.087691\t최선의 손실: 0.087691\t정확도: 98.94%\n", "20\t검증 세트 손실: 0.192029\t최선의 손실: 0.087691\t정확도: 98.36%\n", "21\t검증 세트 손실: 0.214761\t최선의 손실: 0.087691\t정확도: 97.54%\n", "22\t검증 세트 손실: 0.227348\t최선의 손실: 0.087691\t정확도: 98.01%\n", "23\t검증 세트 손실: 0.224913\t최선의 손실: 0.087691\t정확도: 98.12%\n", "24\t검증 세트 손실: 0.137710\t최선의 손실: 0.087691\t정확도: 98.28%\n", "25\t검증 세트 손실: 0.212345\t최선의 손실: 0.087691\t정확도: 97.85%\n", "26\t검증 세트 손실: 0.175138\t최선의 손실: 0.087691\t정확도: 98.75%\n", "27\t검증 세트 손실: 0.283096\t최선의 손실: 0.087691\t정확도: 97.50%\n", "28\t검증 세트 손실: 0.463745\t최선의 손실: 0.087691\t정확도: 96.13%\n", "29\t검증 세트 손실: 0.139465\t최선의 손실: 0.087691\t정확도: 98.48%\n", "30\t검증 세트 손실: 0.108919\t최선의 손실: 0.087691\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.254839\t최선의 손실: 0.087691\t정확도: 97.73%\n", "32\t검증 세트 손실: 0.298108\t최선의 손실: 0.087691\t정확도: 97.97%\n", "33\t검증 세트 손실: 0.477420\t최선의 손실: 0.087691\t정확도: 96.25%\n", "34\t검증 세트 손실: 0.171667\t최선의 손실: 0.087691\t정확도: 98.48%\n", "35\t검증 세트 손실: 0.172515\t최선의 손실: 0.087691\t정확도: 98.75%\n", "36\t검증 세트 손실: 0.137779\t최선의 손실: 0.087691\t정확도: 98.94%\n", "37\t검증 세트 손실: 0.201901\t최선의 손실: 0.087691\t정확도: 98.63%\n", "38\t검증 세트 손실: 0.221855\t최선의 손실: 0.087691\t정확도: 98.24%\n", "39\t검증 세트 손실: 0.157483\t최선의 손실: 0.087691\t정확도: 98.98%\n", "40\t검증 세트 손실: 0.384741\t최선의 손실: 0.087691\t정확도: 96.95%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=, total= 2.7min\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 0.420665\t최선의 손실: 0.420665\t정확도: 95.93%\n", "1\t검증 세트 손실: 0.639411\t최선의 손실: 0.420665\t정확도: 92.49%\n", "2\t검증 세트 손실: 0.568680\t최선의 손실: 0.420665\t정확도: 93.94%\n", "3\t검증 세트 손실: 0.240046\t최선의 손실: 0.240046\t정확도: 96.17%\n", "4\t검증 세트 손실: 0.258242\t최선의 손실: 0.240046\t정확도: 93.16%\n", "5\t검증 세트 손실: 0.126659\t최선의 손실: 0.126659\t정확도: 96.25%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "6\t검증 세트 손실: 0.401696\t최선의 손실: 0.126659\t정확도: 92.03%\n", "7\t검증 세트 손실: 0.098748\t최선의 손실: 0.098748\t정확도: 97.77%\n", "8\t검증 세트 손실: 0.095541\t최선의 손실: 0.095541\t정확도: 97.85%\n", "9\t검증 세트 손실: 0.109859\t최선의 손실: 0.095541\t정확도: 98.20%\n", "10\t검증 세트 손실: 0.787210\t최선의 손실: 0.095541\t정확도: 94.61%\n", "11\t검증 세트 손실: 0.078854\t최선의 손실: 0.078854\t정확도: 97.97%\n", "12\t검증 세트 손실: 0.238200\t최선의 손실: 0.078854\t정확도: 95.93%\n", "13\t검증 세트 손실: 0.164941\t최선의 손실: 0.078854\t정확도: 97.81%\n", "14\t검증 세트 손실: 0.120243\t최선의 손실: 0.078854\t정확도: 98.08%\n", "15\t검증 세트 손실: 0.237256\t최선의 손실: 0.078854\t정확도: 97.73%\n", "16\t검증 세트 손실: 0.736618\t최선의 손실: 0.078854\t정확도: 94.64%\n", "17\t검증 세트 손실: 0.307341\t최선의 손실: 0.078854\t정확도: 96.48%\n", "18\t검증 세트 손실: 0.105529\t최선의 손실: 0.078854\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.162109\t최선의 손실: 0.078854\t정확도: 98.08%\n", "20\t검증 세트 손실: 0.117121\t최선의 손실: 0.078854\t정확도: 98.40%\n", "21\t검증 세트 손실: 0.170956\t최선의 손실: 0.078854\t정확도: 98.55%\n", "22\t검증 세트 손실: 0.139365\t최선의 손실: 0.078854\t정확도: 98.20%\n", "23\t검증 세트 손실: 0.132150\t최선의 손실: 0.078854\t정확도: 98.67%\n", "24\t검증 세트 손실: 0.085726\t최선의 손실: 0.078854\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.151900\t최선의 손실: 0.078854\t정확도: 98.63%\n", "26\t검증 세트 손실: 0.140471\t최선의 손실: 0.078854\t정확도: 98.20%\n", "27\t검증 세트 손실: 0.225787\t최선의 손실: 0.078854\t정확도: 97.46%\n", "28\t검증 세트 손실: 0.184156\t최선의 손실: 0.078854\t정확도: 98.48%\n", "29\t검증 세트 손실: 0.120329\t최선의 손실: 0.078854\t정확도: 98.87%\n", "30\t검증 세트 손실: 0.162691\t최선의 손실: 0.078854\t정확도: 98.79%\n", "31\t검증 세트 손실: 0.185776\t최선의 손실: 0.078854\t정확도: 98.55%\n", "32\t검증 세트 손실: 0.506007\t최선의 손실: 0.078854\t정확도: 96.79%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=, total= 2.2min\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 1.213176\t최선의 손실: 1.213176\t정확도: 92.38%\n", "1\t검증 세트 손실: 0.155421\t최선의 손실: 0.155421\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.106864\t최선의 손실: 0.106864\t정확도: 97.69%\n", "3\t검증 세트 손실: 0.201448\t최선의 손실: 0.106864\t정확도: 96.44%\n", "4\t검증 세트 손실: 0.368151\t최선의 손실: 0.106864\t정확도: 95.04%\n", "5\t검증 세트 손실: 0.226775\t최선의 손실: 0.106864\t정확도: 97.46%\n", "6\t검증 세트 손실: 0.613091\t최선의 손실: 0.106864\t정확도: 97.15%\n", "7\t검증 세트 손실: 0.124042\t최선의 손실: 0.106864\t정확도: 97.58%\n", "8\t검증 세트 손실: 0.091571\t최선의 손실: 0.091571\t정확도: 98.05%\n", "9\t검증 세트 손실: 0.091362\t최선의 손실: 0.091362\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.283615\t최선의 손실: 0.091362\t정확도: 95.86%\n", "11\t검증 세트 손실: 0.189329\t최선의 손실: 0.091362\t정확도: 98.12%\n", "12\t검증 세트 손실: 0.126958\t최선의 손실: 0.091362\t정확도: 97.89%\n", "13\t검증 세트 손실: 0.309816\t최선의 손실: 0.091362\t정확도: 97.22%\n", "14\t검증 세트 손실: 0.089215\t최선의 손실: 0.089215\t정확도: 98.01%\n", "15\t검증 세트 손실: 0.148816\t최선의 손실: 0.089215\t정확도: 97.97%\n", "16\t검증 세트 손실: 0.091953\t최선의 손실: 0.089215\t정확도: 98.40%\n", "17\t검증 세트 손실: 0.223619\t최선의 손실: 0.089215\t정확도: 97.65%\n", "18\t검증 세트 손실: 0.204771\t최선의 손실: 0.089215\t정확도: 97.62%\n", "19\t검증 세트 손실: 0.139097\t최선의 손실: 0.089215\t정확도: 98.48%\n", "20\t검증 세트 손실: 0.386144\t최선의 손실: 0.089215\t정확도: 96.48%\n", "21\t검증 세트 손실: 0.109225\t최선의 손실: 0.089215\t정확도: 98.24%\n", "22\t검증 세트 손실: 0.103933\t최선의 손실: 0.089215\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.120715\t최선의 손실: 0.089215\t정확도: 98.75%\n", "24\t검증 세트 손실: 0.105676\t최선의 손실: 0.089215\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.131960\t최선의 손실: 0.089215\t정확도: 98.32%\n", "26\t검증 세트 손실: 0.260022\t최선의 손실: 0.089215\t정확도: 97.97%\n", "27\t검증 세트 손실: 0.171426\t최선의 손실: 0.089215\t정확도: 97.69%\n", "28\t검증 세트 손실: 0.200766\t최선의 손실: 0.089215\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.103591\t최선의 손실: 0.089215\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.696411\t최선의 손실: 0.089215\t정확도: 94.68%\n", "31\t검증 세트 손실: 0.150714\t최선의 손실: 0.089215\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.178717\t최선의 손실: 0.089215\t정확도: 98.24%\n", "33\t검증 세트 손실: 0.151926\t최선의 손실: 0.089215\t정확도: 98.48%\n", "34\t검증 세트 손실: 0.177869\t최선의 손실: 0.089215\t정확도: 98.32%\n", "35\t검증 세트 손실: 0.176844\t최선의 손실: 0.089215\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=10, batch_norm_momentum=0.999, activation=, total= 2.4min\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.118445\t최선의 손실: 0.118445\t정확도: 97.15%\n", "1\t검증 세트 손실: 0.096976\t최선의 손실: 0.096976\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.079803\t최선의 손실: 0.079803\t정확도: 97.19%\n", "3\t검증 세트 손실: 0.073884\t최선의 손실: 0.073884\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.080394\t최선의 손실: 0.073884\t정확도: 97.73%\n", "5\t검증 세트 손실: 0.061520\t최선의 손실: 0.061520\t정확도: 98.51%\n", "6\t검증 세트 손실: 0.056961\t최선의 손실: 0.056961\t정확도: 98.28%\n", "7\t검증 세트 손실: 0.088921\t최선의 손실: 0.056961\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.069309\t최선의 손실: 0.056961\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.077232\t최선의 손실: 0.056961\t정확도: 98.36%\n", "10\t검증 세트 손실: 0.090309\t최선의 손실: 0.056961\t정확도: 98.20%\n", "11\t검증 세트 손실: 0.054661\t최선의 손실: 0.054661\t정확도: 98.63%\n", "12\t검증 세트 손실: 0.066232\t최선의 손실: 0.054661\t정확도: 98.40%\n", "13\t검증 세트 손실: 0.068344\t최선의 손실: 0.054661\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.058697\t최선의 손실: 0.054661\t정확도: 98.75%\n", "15\t검증 세트 손실: 0.065090\t최선의 손실: 0.054661\t정확도: 98.51%\n", "16\t검증 세트 손실: 0.065116\t최선의 손실: 0.054661\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.053457\t최선의 손실: 0.053457\t정확도: 99.02%\n", "18\t검증 세트 손실: 0.042730\t최선의 손실: 0.042730\t정확도: 98.94%\n", "19\t검증 세트 손실: 0.073875\t최선의 손실: 0.042730\t정확도: 98.44%\n", "20\t검증 세트 손실: 0.071922\t최선의 손실: 0.042730\t정확도: 98.83%\n", "21\t검증 세트 손실: 0.076648\t최선의 손실: 0.042730\t정확도: 98.71%\n", "22\t검증 세트 손실: 0.151328\t최선의 손실: 0.042730\t정확도: 96.91%\n", "23\t검증 세트 손실: 0.092234\t최선의 손실: 0.042730\t정확도: 98.28%\n", "24\t검증 세트 손실: 0.053222\t최선의 손실: 0.042730\t정확도: 98.87%\n", "25\t검증 세트 손실: 0.053362\t최선의 손실: 0.042730\t정확도: 98.44%\n", "26\t검증 세트 손실: 0.037808\t최선의 손실: 0.037808\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.058370\t최선의 손실: 0.037808\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.064635\t최선의 손실: 0.037808\t정확도: 98.67%\n", "29\t검증 세트 손실: 0.096080\t최선의 손실: 0.037808\t정확도: 98.71%\n", "30\t검증 세트 손실: 0.082699\t최선의 손실: 0.037808\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.077647\t최선의 손실: 0.037808\t정확도: 98.75%\n", "32\t검증 세트 손실: 0.075896\t최선의 손실: 0.037808\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.084469\t최선의 손실: 0.037808\t정확도: 98.94%\n", "34\t검증 세트 손실: 0.070606\t최선의 손실: 0.037808\t정확도: 98.83%\n", "35\t검증 세트 손실: 0.086963\t최선의 손실: 0.037808\t정확도: 98.75%\n", "36\t검증 세트 손실: 0.111779\t최선의 손실: 0.037808\t정확도: 98.36%\n", "37\t검증 세트 손실: 0.100355\t최선의 손실: 0.037808\t정확도: 98.55%\n", "38\t검증 세트 손실: 0.084490\t최선의 손실: 0.037808\t정확도: 98.83%\n", "39\t검증 세트 손실: 0.109431\t최선의 손실: 0.037808\t정확도: 98.75%\n", "40\t검증 세트 손실: 0.057646\t최선의 손실: 0.037808\t정확도: 98.87%\n", "41\t검증 세트 손실: 0.081654\t최선의 손실: 0.037808\t정확도: 98.75%\n", "42\t검증 세트 손실: 0.102338\t최선의 손실: 0.037808\t정확도: 98.87%\n", "43\t검증 세트 손실: 0.075442\t최선의 손실: 0.037808\t정확도: 98.94%\n", "44\t검증 세트 손실: 0.097639\t최선의 손실: 0.037808\t정확도: 98.71%\n", "45\t검증 세트 손실: 0.116718\t최선의 손실: 0.037808\t정확도: 98.51%\n", "46\t검증 세트 손실: 0.117353\t최선의 손실: 0.037808\t정확도: 98.63%\n", "47\t검증 세트 손실: 0.124984\t최선의 손실: 0.037808\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 40.3s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.155967\t최선의 손실: 0.155967\t정확도: 95.90%\n", "1\t검증 세트 손실: 0.079732\t최선의 손실: 0.079732\t정확도: 97.93%\n", "2\t검증 세트 손실: 0.074790\t최선의 손실: 0.074790\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.064969\t최선의 손실: 0.064969\t정확도: 98.28%\n", "4\t검증 세트 손실: 0.071460\t최선의 손실: 0.064969\t정확도: 97.97%\n", "5\t검증 세트 손실: 0.077138\t최선의 손실: 0.064969\t정확도: 98.32%\n", "6\t검증 세트 손실: 0.068602\t최선의 손실: 0.064969\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.087255\t최선의 손실: 0.064969\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.075463\t최선의 손실: 0.064969\t정확도: 98.36%\n", "9\t검증 세트 손실: 0.108870\t최선의 손실: 0.064969\t정확도: 97.97%\n", "10\t검증 세트 손실: 0.079243\t최선의 손실: 0.064969\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.056590\t최선의 손실: 0.056590\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.073756\t최선의 손실: 0.056590\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.090901\t최선의 손실: 0.056590\t정확도: 97.81%\n", "14\t검증 세트 손실: 0.104134\t최선의 손실: 0.056590\t정확도: 98.12%\n", "15\t검증 세트 손실: 0.067356\t최선의 손실: 0.056590\t정확도: 98.48%\n", "16\t검증 세트 손실: 0.088926\t최선의 손실: 0.056590\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.079066\t최선의 손실: 0.056590\t정확도: 98.40%\n", "18\t검증 세트 손실: 0.106283\t최선의 손실: 0.056590\t정확도: 98.16%\n", "19\t검증 세트 손실: 0.117949\t최선의 손실: 0.056590\t정확도: 97.65%\n", "20\t검증 세트 손실: 0.058870\t최선의 손실: 0.056590\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.076907\t최선의 손실: 0.056590\t정확도: 98.48%\n", "22\t검증 세트 손실: 0.091253\t최선의 손실: 0.056590\t정확도: 98.08%\n", "23\t검증 세트 손실: 0.091407\t최선의 손실: 0.056590\t정확도: 98.20%\n", "24\t검증 세트 손실: 0.075287\t최선의 손실: 0.056590\t정확도: 98.75%\n", "25\t검증 세트 손실: 0.065180\t최선의 손실: 0.056590\t정확도: 98.59%\n", "26\t검증 세트 손실: 0.077303\t최선의 손실: 0.056590\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.068367\t최선의 손실: 0.056590\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.070591\t최선의 손실: 0.056590\t정확도: 98.55%\n", "29\t검증 세트 손실: 0.051162\t최선의 손실: 0.051162\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.075537\t최선의 손실: 0.051162\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.097779\t최선의 손실: 0.051162\t정확도: 98.44%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "32\t검증 세트 손실: 0.167454\t최선의 손실: 0.051162\t정확도: 98.24%\n", "33\t검증 세트 손실: 0.161405\t최선의 손실: 0.051162\t정확도: 98.44%\n", "34\t검증 세트 손실: 0.102506\t최선의 손실: 0.051162\t정확도: 98.59%\n", "35\t검증 세트 손실: 0.115067\t최선의 손실: 0.051162\t정확도: 98.71%\n", "36\t검증 세트 손실: 0.136748\t최선의 손실: 0.051162\t정확도: 98.28%\n", "37\t검증 세트 손실: 0.070474\t최선의 손실: 0.051162\t정확도: 98.79%\n", "38\t검증 세트 손실: 0.090449\t최선의 손실: 0.051162\t정확도: 98.55%\n", "39\t검증 세트 손실: 0.075310\t최선의 손실: 0.051162\t정확도: 98.67%\n", "40\t검증 세트 손실: 0.090262\t최선의 손실: 0.051162\t정확도: 98.51%\n", "41\t검증 세트 손실: 0.091393\t최선의 손실: 0.051162\t정확도: 98.87%\n", "42\t검증 세트 손실: 0.105684\t최선의 손실: 0.051162\t정확도: 98.63%\n", "43\t검증 세트 손실: 0.157863\t최선의 손실: 0.051162\t정확도: 98.48%\n", "44\t검증 세트 손실: 0.126184\t최선의 손실: 0.051162\t정확도: 98.63%\n", "45\t검증 세트 손실: 0.095349\t최선의 손실: 0.051162\t정확도: 98.71%\n", "46\t검증 세트 손실: 0.134807\t최선의 손실: 0.051162\t정확도: 98.79%\n", "47\t검증 세트 손실: 0.108948\t최선의 손실: 0.051162\t정확도: 98.91%\n", "48\t검증 세트 손실: 0.094183\t최선의 손실: 0.051162\t정확도: 98.67%\n", "49\t검증 세트 손실: 0.116607\t최선의 손실: 0.051162\t정확도: 98.83%\n", "50\t검증 세트 손실: 0.105446\t최선의 손실: 0.051162\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 42.8s\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.518100\t최선의 손실: 0.518100\t정확도: 91.44%\n", "1\t검증 세트 손실: 0.091071\t최선의 손실: 0.091071\t정확도: 97.34%\n", "2\t검증 세트 손실: 0.065991\t최선의 손실: 0.065991\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.096091\t최선의 손실: 0.065991\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.065404\t최선의 손실: 0.065404\t정확도: 98.16%\n", "5\t검증 세트 손실: 0.094921\t최선의 손실: 0.065404\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.063330\t최선의 손실: 0.063330\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.080486\t최선의 손실: 0.063330\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.059139\t최선의 손실: 0.059139\t정확도: 98.79%\n", "9\t검증 세트 손실: 0.049634\t최선의 손실: 0.049634\t정확도: 98.55%\n", "10\t검증 세트 손실: 0.078806\t최선의 손실: 0.049634\t정확도: 98.16%\n", "11\t검증 세트 손실: 0.044441\t최선의 손실: 0.044441\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.063934\t최선의 손실: 0.044441\t정확도: 98.40%\n", "13\t검증 세트 손실: 0.069075\t최선의 손실: 0.044441\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.079248\t최선의 손실: 0.044441\t정확도: 98.08%\n", "15\t검증 세트 손실: 0.071419\t최선의 손실: 0.044441\t정확도: 98.48%\n", "16\t검증 세트 손실: 0.046318\t최선의 손실: 0.044441\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.058561\t최선의 손실: 0.044441\t정확도: 98.59%\n", "18\t검증 세트 손실: 0.075758\t최선의 손실: 0.044441\t정확도: 98.67%\n", "19\t검증 세트 손실: 0.083009\t최선의 손실: 0.044441\t정확도: 98.12%\n", "20\t검증 세트 손실: 0.089859\t최선의 손실: 0.044441\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.052805\t최선의 손실: 0.044441\t정확도: 98.87%\n", "22\t검증 세트 손실: 0.053694\t최선의 손실: 0.044441\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.051802\t최선의 손실: 0.044441\t정확도: 98.83%\n", "24\t검증 세트 손실: 0.055365\t최선의 손실: 0.044441\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.065847\t최선의 손실: 0.044441\t정확도: 98.63%\n", "26\t검증 세트 손실: 0.072963\t최선의 손실: 0.044441\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.040547\t최선의 손실: 0.040547\t정확도: 98.98%\n", "28\t검증 세트 손실: 0.051811\t최선의 손실: 0.040547\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.062280\t최선의 손실: 0.040547\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.077613\t최선의 손실: 0.040547\t정확도: 98.63%\n", "31\t검증 세트 손실: 0.284400\t최선의 손실: 0.040547\t정확도: 97.46%\n", "32\t검증 세트 손실: 0.074472\t최선의 손실: 0.040547\t정확도: 98.67%\n", "33\t검증 세트 손실: 0.068215\t최선의 손실: 0.040547\t정확도: 98.71%\n", "34\t검증 세트 손실: 0.071241\t최선의 손실: 0.040547\t정확도: 98.71%\n", "35\t검증 세트 손실: 0.059362\t최선의 손실: 0.040547\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.041344\t최선의 손실: 0.040547\t정확도: 99.10%\n", "37\t검증 세트 손실: 0.079203\t최선의 손실: 0.040547\t정확도: 98.79%\n", "38\t검증 세트 손실: 0.050785\t최선의 손실: 0.040547\t정확도: 98.91%\n", "39\t검증 세트 손실: 0.078625\t최선의 손실: 0.040547\t정확도: 98.83%\n", "40\t검증 세트 손실: 0.092492\t최선의 손실: 0.040547\t정확도: 98.63%\n", "41\t검증 세트 손실: 0.058838\t최선의 손실: 0.040547\t정확도: 99.06%\n", "42\t검증 세트 손실: 0.087397\t최선의 손실: 0.040547\t정확도: 98.55%\n", "43\t검증 세트 손실: 0.074119\t최선의 손실: 0.040547\t정확도: 98.75%\n", "44\t검증 세트 손실: 0.065719\t최선의 손실: 0.040547\t정확도: 98.67%\n", "45\t검증 세트 손실: 0.071939\t최선의 손실: 0.040547\t정확도: 98.71%\n", "46\t검증 세트 손실: 0.060181\t최선의 손실: 0.040547\t정확도: 99.14%\n", "47\t검증 세트 손실: 0.070087\t최선의 손실: 0.040547\t정확도: 98.94%\n", "48\t검증 세트 손실: 0.239547\t최선의 손실: 0.040547\t정확도: 98.59%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, batch_size=50, batch_norm_momentum=0.95, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 41.1s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 0.293761\t최선의 손실: 0.293761\t정확도: 91.48%\n", "1\t검증 세트 손실: 0.755442\t최선의 손실: 0.293761\t정확도: 83.54%\n", "2\t검증 세트 손실: 0.293596\t최선의 손실: 0.293596\t정확도: 93.39%\n", "3\t검증 세트 손실: 0.197692\t최선의 손실: 0.197692\t정확도: 95.07%\n", "4\t검증 세트 손실: 0.212457\t최선의 손실: 0.197692\t정확도: 94.88%\n", "5\t검증 세트 손실: 0.364270\t최선의 손실: 0.197692\t정확도: 93.55%\n", "6\t검증 세트 손실: 0.139716\t최선의 손실: 0.139716\t정확도: 97.42%\n", "7\t검증 세트 손실: 0.160663\t최선의 손실: 0.139716\t정확도: 97.22%\n", "8\t검증 세트 손실: 0.114988\t최선의 손실: 0.114988\t정확도: 97.89%\n", "9\t검증 세트 손실: 0.135900\t최선의 손실: 0.114988\t정확도: 97.97%\n", "10\t검증 세트 손실: 0.130165\t최선의 손실: 0.114988\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.252014\t최선의 손실: 0.114988\t정확도: 96.95%\n", "12\t검증 세트 손실: 0.215489\t최선의 손실: 0.114988\t정확도: 96.76%\n", "13\t검증 세트 손실: 0.249277\t최선의 손실: 0.114988\t정확도: 96.83%\n", "14\t검증 세트 손실: 0.131245\t최선의 손실: 0.114988\t정확도: 98.32%\n", "15\t검증 세트 손실: 0.167363\t최선의 손실: 0.114988\t정확도: 98.16%\n", "16\t검증 세트 손실: 0.180978\t최선의 손실: 0.114988\t정확도: 98.08%\n", "17\t검증 세트 손실: 0.182313\t최선의 손실: 0.114988\t정확도: 98.12%\n", "18\t검증 세트 손실: 0.140347\t최선의 손실: 0.114988\t정확도: 98.48%\n", "19\t검증 세트 손실: 0.193538\t최선의 손실: 0.114988\t정확도: 98.01%\n", "20\t검증 세트 손실: 0.162612\t최선의 손실: 0.114988\t정확도: 98.16%\n", "21\t검증 세트 손실: 0.178196\t최선의 손실: 0.114988\t정확도: 97.85%\n", "22\t검증 세트 손실: 0.186191\t최선의 손실: 0.114988\t정확도: 98.05%\n", "23\t검증 세트 손실: 0.136903\t최선의 손실: 0.114988\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.121833\t최선의 손실: 0.114988\t정확도: 98.63%\n", "25\t검증 세트 손실: 0.125330\t최선의 손실: 0.114988\t정확도: 98.51%\n", "26\t검증 세트 손실: 0.125204\t최선의 손실: 0.114988\t정확도: 98.48%\n", "27\t검증 세트 손실: 0.110843\t최선의 손실: 0.110843\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.107576\t최선의 손실: 0.107576\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.099938\t최선의 손실: 0.099938\t정확도: 98.79%\n", "30\t검증 세트 손실: 0.097566\t최선의 손실: 0.097566\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.090593\t최선의 손실: 0.090593\t정확도: 98.71%\n", "32\t검증 세트 손실: 0.085572\t최선의 손실: 0.085572\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.086057\t최선의 손실: 0.085572\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.076039\t최선의 손실: 0.076039\t정확도: 98.83%\n", "35\t검증 세트 손실: 0.073952\t최선의 손실: 0.073952\t정확도: 98.79%\n", "36\t검증 세트 손실: 0.074455\t최선의 손실: 0.073952\t정확도: 98.75%\n", "37\t검증 세트 손실: 0.077019\t최선의 손실: 0.073952\t정확도: 98.79%\n", "38\t검증 세트 손실: 0.070785\t최선의 손실: 0.070785\t정확도: 98.75%\n", "39\t검증 세트 손실: 0.069751\t최선의 손실: 0.069751\t정확도: 98.83%\n", "40\t검증 세트 손실: 0.068790\t최선의 손실: 0.068790\t정확도: 98.87%\n", "41\t검증 세트 손실: 0.068468\t최선의 손실: 0.068468\t정확도: 98.79%\n", "42\t검증 세트 손실: 0.070198\t최선의 손실: 0.068468\t정확도: 98.75%\n", "43\t검증 세트 손실: 0.064942\t최선의 손실: 0.064942\t정확도: 98.75%\n", "44\t검증 세트 손실: 0.067820\t최선의 손실: 0.064942\t정확도: 98.75%\n", "45\t검증 세트 손실: 0.067032\t최선의 손실: 0.064942\t정확도: 98.75%\n", "46\t검증 세트 손실: 0.064981\t최선의 손실: 0.064942\t정확도: 98.75%\n", "47\t검증 세트 손실: 0.063061\t최선의 손실: 0.063061\t정확도: 98.83%\n", "48\t검증 세트 손실: 0.061428\t최선의 손실: 0.061428\t정확도: 98.87%\n", "49\t검증 세트 손실: 0.067527\t최선의 손실: 0.061428\t정확도: 98.75%\n", "50\t검증 세트 손실: 0.061451\t최선의 손실: 0.061428\t정확도: 98.83%\n", "51\t검증 세트 손실: 0.060914\t최선의 손실: 0.060914\t정확도: 98.94%\n", "52\t검증 세트 손실: 0.060045\t최선의 손실: 0.060045\t정확도: 98.91%\n", "53\t검증 세트 손실: 0.060342\t최선의 손실: 0.060045\t정확도: 98.91%\n", "54\t검증 세트 손실: 0.060420\t최선의 손실: 0.060045\t정확도: 98.91%\n", "55\t검증 세트 손실: 0.060165\t최선의 손실: 0.060045\t정확도: 98.87%\n", "56\t검증 세트 손실: 0.061292\t최선의 손실: 0.060045\t정확도: 98.67%\n", "57\t검증 세트 손실: 0.065017\t최선의 손실: 0.060045\t정확도: 98.94%\n", "58\t검증 세트 손실: 0.479919\t최선의 손실: 0.060045\t정확도: 96.13%\n", "59\t검증 세트 손실: 0.400706\t최선의 손실: 0.060045\t정확도: 96.99%\n", "60\t검증 세트 손실: 0.320223\t최선의 손실: 0.060045\t정확도: 97.30%\n", "61\t검증 세트 손실: 0.334299\t최선의 손실: 0.060045\t정확도: 98.01%\n", "62\t검증 세트 손실: 0.264431\t최선의 손실: 0.060045\t정확도: 98.20%\n", "63\t검증 세트 손실: 0.229154\t최선의 손실: 0.060045\t정확도: 98.28%\n", "64\t검증 세트 손실: 0.261920\t최선의 손실: 0.060045\t정확도: 98.44%\n", "65\t검증 세트 손실: 0.237270\t최선의 손실: 0.060045\t정확도: 98.20%\n", "66\t검증 세트 손실: 0.263530\t최선의 손실: 0.060045\t정확도: 98.20%\n", "67\t검증 세트 손실: 0.247358\t최선의 손실: 0.060045\t정확도: 98.08%\n", "68\t검증 세트 손실: 0.231528\t최선의 손실: 0.060045\t정확도: 98.05%\n", "69\t검증 세트 손실: 0.183060\t최선의 손실: 0.060045\t정확도: 98.44%\n", "70\t검증 세트 손실: 0.229961\t최선의 손실: 0.060045\t정확도: 98.28%\n", "71\t검증 세트 손실: 0.205281\t최선의 손실: 0.060045\t정확도: 98.32%\n", "72\t검증 세트 손실: 0.207094\t최선의 손실: 0.060045\t정확도: 98.48%\n", "73\t검증 세트 손실: 0.223835\t최선의 손실: 0.060045\t정확도: 98.28%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=, total= 16.1s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 0.353487\t최선의 손실: 0.353487\t정확도: 89.72%\n", "1\t검증 세트 손실: 0.170060\t최선의 손실: 0.170060\t정확도: 95.62%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "2\t검증 세트 손실: 0.144062\t최선의 손실: 0.144062\t정확도: 96.33%\n", "3\t검증 세트 손실: 0.107548\t최선의 손실: 0.107548\t정확도: 97.58%\n", "4\t검증 세트 손실: 0.144815\t최선의 손실: 0.107548\t정확도: 97.07%\n", "5\t검증 세트 손실: 0.186889\t최선의 손실: 0.107548\t정확도: 96.76%\n", "6\t검증 세트 손실: 0.148381\t최선의 손실: 0.107548\t정확도: 97.34%\n", "7\t검증 세트 손실: 0.127165\t최선의 손실: 0.107548\t정확도: 97.93%\n", "8\t검증 세트 손실: 0.170552\t최선의 손실: 0.107548\t정확도: 97.42%\n", "9\t검증 세트 손실: 0.293297\t최선의 손실: 0.107548\t정확도: 96.05%\n", "10\t검증 세트 손실: 0.222563\t최선의 손실: 0.107548\t정확도: 97.11%\n", "11\t검증 세트 손실: 0.213661\t최선의 손실: 0.107548\t정확도: 97.42%\n", "12\t검증 세트 손실: 0.228014\t최선의 손실: 0.107548\t정확도: 97.11%\n", "13\t검증 세트 손실: 0.195099\t최선의 손실: 0.107548\t정확도: 97.77%\n", "14\t검증 세트 손실: 0.191703\t최선의 손실: 0.107548\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.195506\t최선의 손실: 0.107548\t정확도: 97.89%\n", "16\t검증 세트 손실: 0.170240\t최선의 손실: 0.107548\t정확도: 98.12%\n", "17\t검증 세트 손실: 0.252191\t최선의 손실: 0.107548\t정확도: 97.58%\n", "18\t검증 세트 손실: 0.192234\t최선의 손실: 0.107548\t정확도: 98.01%\n", "19\t검증 세트 손실: 0.181073\t최선의 손실: 0.107548\t정확도: 98.28%\n", "20\t검증 세트 손실: 0.175975\t최선의 손실: 0.107548\t정확도: 98.08%\n", "21\t검증 세트 손실: 0.173205\t최선의 손실: 0.107548\t정확도: 98.24%\n", "22\t검증 세트 손실: 0.229891\t최선의 손실: 0.107548\t정확도: 97.69%\n", "23\t검증 세트 손실: 0.180947\t최선의 손실: 0.107548\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.302480\t최선의 손실: 0.107548\t정확도: 96.83%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=, total= 6.4s\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation= \n", "0\t검증 세트 손실: 0.751562\t최선의 손실: 0.751562\t정확도: 80.30%\n", "1\t검증 세트 손실: 0.212701\t최선의 손실: 0.212701\t정확도: 94.45%\n", "2\t검증 세트 손실: 0.226318\t최선의 손실: 0.212701\t정확도: 94.72%\n", "3\t검증 세트 손실: 0.128307\t최선의 손실: 0.128307\t정확도: 96.25%\n", "4\t검증 세트 손실: 0.131049\t최선의 손실: 0.128307\t정확도: 96.79%\n", "5\t검증 세트 손실: 0.158078\t최선의 손실: 0.128307\t정확도: 96.60%\n", "6\t검증 세트 손실: 0.136999\t최선의 손실: 0.128307\t정확도: 97.46%\n", "7\t검증 세트 손실: 0.133097\t최선의 손실: 0.128307\t정확도: 97.93%\n", "8\t검증 세트 손실: 0.157153\t최선의 손실: 0.128307\t정확도: 97.77%\n", "9\t검증 세트 손실: 0.133417\t최선의 손실: 0.128307\t정확도: 97.93%\n", "10\t검증 세트 손실: 0.204938\t최선의 손실: 0.128307\t정확도: 97.19%\n", "11\t검증 세트 손실: 0.227268\t최선의 손실: 0.128307\t정확도: 97.30%\n", "12\t검증 세트 손실: 0.165124\t최선의 손실: 0.128307\t정확도: 97.81%\n", "13\t검증 세트 손실: 0.131744\t최선의 손실: 0.128307\t정확도: 98.20%\n", "14\t검증 세트 손실: 0.124015\t최선의 손실: 0.124015\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.176897\t최선의 손실: 0.124015\t정확도: 98.20%\n", "16\t검증 세트 손실: 0.172798\t최선의 손실: 0.124015\t정확도: 98.12%\n", "17\t검증 세트 손실: 0.146141\t최선의 손실: 0.124015\t정확도: 98.12%\n", "18\t검증 세트 손실: 0.138607\t최선의 손실: 0.124015\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.144296\t최선의 손실: 0.124015\t정확도: 98.67%\n", "20\t검증 세트 손실: 0.185485\t최선의 손실: 0.124015\t정확도: 98.20%\n", "21\t검증 세트 손실: 0.122321\t최선의 손실: 0.122321\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.134034\t최선의 손실: 0.122321\t정확도: 98.51%\n", "23\t검증 세트 손실: 0.166559\t최선의 손실: 0.122321\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.203764\t최선의 손실: 0.122321\t정확도: 98.08%\n", "25\t검증 세트 손실: 0.252425\t최선의 손실: 0.122321\t정확도: 97.65%\n", "26\t검증 세트 손실: 0.246696\t최선의 손실: 0.122321\t정확도: 97.89%\n", "27\t검증 세트 손실: 0.109772\t최선의 손실: 0.109772\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.161442\t최선의 손실: 0.109772\t정확도: 98.63%\n", "29\t검증 세트 손실: 0.132687\t최선의 손실: 0.109772\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.124046\t최선의 손실: 0.109772\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.146876\t최선의 손실: 0.109772\t정확도: 98.59%\n", "32\t검증 세트 손실: 0.130567\t최선의 손실: 0.109772\t정확도: 98.59%\n", "33\t검증 세트 손실: 0.116598\t최선의 손실: 0.109772\t정확도: 98.71%\n", "34\t검증 세트 손실: 0.094582\t최선의 손실: 0.094582\t정확도: 98.94%\n", "35\t검증 세트 손실: 0.080715\t최선의 손실: 0.080715\t정확도: 99.02%\n", "36\t검증 세트 손실: 0.076449\t최선의 손실: 0.076449\t정확도: 98.94%\n", "37\t검증 세트 손실: 0.080108\t최선의 손실: 0.076449\t정확도: 98.94%\n", "38\t검증 세트 손실: 0.073276\t최선의 손실: 0.073276\t정확도: 99.02%\n", "39\t검증 세트 손실: 0.079769\t최선의 손실: 0.073276\t정확도: 98.94%\n", "40\t검증 세트 손실: 0.066798\t최선의 손실: 0.066798\t정확도: 99.02%\n", "41\t검증 세트 손실: 0.061990\t최선의 손실: 0.061990\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.063826\t최선의 손실: 0.061990\t정확도: 98.94%\n", "43\t검증 세트 손실: 0.056886\t최선의 손실: 0.056886\t정확도: 99.02%\n", "44\t검증 세트 손실: 0.057055\t최선의 손실: 0.056886\t정확도: 99.02%\n", "45\t검증 세트 손실: 0.054763\t최선의 손실: 0.054763\t정확도: 99.02%\n", "46\t검증 세트 손실: 0.055034\t최선의 손실: 0.054763\t정확도: 98.98%\n", "47\t검증 세트 손실: 0.055312\t최선의 손실: 0.054763\t정확도: 99.02%\n", "48\t검증 세트 손실: 0.057337\t최선의 손실: 0.054763\t정확도: 99.02%\n", "49\t검증 세트 손실: 0.051573\t최선의 손실: 0.051573\t정확도: 99.10%\n", "50\t검증 세트 손실: 0.052983\t최선의 손실: 0.051573\t정확도: 99.02%\n", "51\t검증 세트 손실: 0.051856\t최선의 손실: 0.051573\t정확도: 99.10%\n", "52\t검증 세트 손실: 0.051015\t최선의 손실: 0.051015\t정확도: 99.06%\n", "53\t검증 세트 손실: 0.049387\t최선의 손실: 0.049387\t정확도: 99.06%\n", "54\t검증 세트 손실: 0.049856\t최선의 손실: 0.049387\t정확도: 99.06%\n", "55\t검증 세트 손실: 0.050346\t최선의 손실: 0.049387\t정확도: 99.10%\n", "56\t검증 세트 손실: 0.048836\t최선의 손실: 0.048836\t정확도: 99.10%\n", "57\t검증 세트 손실: 0.047167\t최선의 손실: 0.047167\t정확도: 99.06%\n", "58\t검증 세트 손실: 0.047428\t최선의 손실: 0.047167\t정확도: 99.06%\n", "59\t검증 세트 손실: 0.047336\t최선의 손실: 0.047167\t정확도: 99.06%\n", "60\t검증 세트 손실: 0.047376\t최선의 손실: 0.047167\t정확도: 99.02%\n", "61\t검증 세트 손실: 0.047115\t최선의 손실: 0.047115\t정확도: 99.02%\n", "62\t검증 세트 손실: 0.046543\t최선의 손실: 0.046543\t정확도: 99.02%\n", "63\t검증 세트 손실: 0.046636\t최선의 손실: 0.046543\t정확도: 99.02%\n", "64\t검증 세트 손실: 0.046546\t최선의 손실: 0.046543\t정확도: 99.02%\n", "65\t검증 세트 손실: 0.047016\t최선의 손실: 0.046543\t정확도: 99.02%\n", "66\t검증 세트 손실: 0.046262\t최선의 손실: 0.046262\t정확도: 99.02%\n", "67\t검증 세트 손실: 0.044845\t최선의 손실: 0.044845\t정확도: 99.06%\n", "68\t검증 세트 손실: 0.044895\t최선의 손실: 0.044845\t정확도: 99.02%\n", "69\t검증 세트 손실: 0.045057\t최선의 손실: 0.044845\t정확도: 98.98%\n", "70\t검증 세트 손실: 0.045221\t최선의 손실: 0.044845\t정확도: 98.98%\n", "71\t검증 세트 손실: 0.045055\t최선의 손실: 0.044845\t정확도: 98.91%\n", "72\t검증 세트 손실: 0.044772\t최선의 손실: 0.044772\t정확도: 99.06%\n", "73\t검증 세트 손실: 0.044757\t최선의 손실: 0.044757\t정확도: 99.10%\n", "74\t검증 세트 손실: 0.045229\t최선의 손실: 0.044757\t정확도: 99.02%\n", "75\t검증 세트 손실: 0.045194\t최선의 손실: 0.044757\t정확도: 99.10%\n", "76\t검증 세트 손실: 0.045625\t최선의 손실: 0.044757\t정확도: 99.06%\n", "77\t검증 세트 손실: 0.045382\t최선의 손실: 0.044757\t정확도: 99.02%\n", "78\t검증 세트 손실: 0.048750\t최선의 손실: 0.044757\t정확도: 99.02%\n", "79\t검증 세트 손실: 0.049659\t최선의 손실: 0.044757\t정확도: 99.02%\n", "80\t검증 세트 손실: 0.048732\t최선의 손실: 0.044757\t정확도: 98.98%\n", "81\t검증 세트 손실: 0.052058\t최선의 손실: 0.044757\t정확도: 98.91%\n", "82\t검증 세트 손실: 0.048976\t최선의 손실: 0.044757\t정확도: 98.91%\n", "83\t검증 세트 손실: 0.047482\t최선의 손실: 0.044757\t정확도: 98.87%\n", "84\t검증 세트 손실: 0.049620\t최선의 손실: 0.044757\t정확도: 98.91%\n", "85\t검증 세트 손실: 0.049073\t최선의 손실: 0.044757\t정확도: 98.91%\n", "86\t검증 세트 손실: 0.048932\t최선의 손실: 0.044757\t정확도: 98.87%\n", "87\t검증 세트 손실: 0.047738\t최선의 손실: 0.044757\t정확도: 98.91%\n", "88\t검증 세트 손실: 0.047026\t최선의 손실: 0.044757\t정확도: 98.94%\n", "89\t검증 세트 손실: 0.046657\t최선의 손실: 0.044757\t정확도: 98.94%\n", "90\t검증 세트 손실: 0.045989\t최선의 손실: 0.044757\t정확도: 98.94%\n", "91\t검증 세트 손실: 0.046774\t최선의 손실: 0.044757\t정확도: 98.94%\n", "92\t검증 세트 손실: 0.046605\t최선의 손실: 0.044757\t정확도: 98.94%\n", "93\t검증 세트 손실: 0.046911\t최선의 손실: 0.044757\t정확도: 98.94%\n", "94\t검증 세트 손실: 0.047093\t최선의 손실: 0.044757\t정확도: 98.98%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, batch_size=500, batch_norm_momentum=0.999, activation=, total= 20.1s\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.567522\t최선의 손실: 0.567522\t정확도: 96.01%\n", "1\t검증 세트 손실: 0.097874\t최선의 손실: 0.097874\t정확도: 97.69%\n", "2\t검증 세트 손실: 0.104150\t최선의 손실: 0.097874\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.155069\t최선의 손실: 0.097874\t정확도: 96.95%\n", "4\t검증 세트 손실: 0.057450\t최선의 손실: 0.057450\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.094948\t최선의 손실: 0.057450\t정확도: 97.58%\n", "6\t검증 세트 손실: 0.104371\t최선의 손실: 0.057450\t정확도: 96.95%\n", "7\t검증 세트 손실: 0.055161\t최선의 손실: 0.055161\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.070940\t최선의 손실: 0.055161\t정확도: 97.81%\n", "9\t검증 세트 손실: 0.065417\t최선의 손실: 0.055161\t정확도: 98.48%\n", "10\t검증 세트 손실: 0.075444\t최선의 손실: 0.055161\t정확도: 97.77%\n", "11\t검증 세트 손실: 0.070587\t최선의 손실: 0.055161\t정확도: 98.05%\n", "12\t검증 세트 손실: 0.079735\t최선의 손실: 0.055161\t정확도: 97.77%\n", "13\t검증 세트 손실: 0.046789\t최선의 손실: 0.046789\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.065232\t최선의 손실: 0.046789\t정확도: 98.20%\n", "15\t검증 세트 손실: 0.053585\t최선의 손실: 0.046789\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.066055\t최선의 손실: 0.046789\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.049776\t최선의 손실: 0.046789\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.047667\t최선의 손실: 0.046789\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.050757\t최선의 손실: 0.046789\t정확도: 98.32%\n", "20\t검증 세트 손실: 0.061545\t최선의 손실: 0.046789\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.038089\t최선의 손실: 0.038089\t정확도: 98.91%\n", "22\t검증 세트 손실: 0.054952\t최선의 손실: 0.038089\t정확도: 98.63%\n", "23\t검증 세트 손실: 0.051027\t최선의 손실: 0.038089\t정확도: 98.71%\n", "24\t검증 세트 손실: 0.078350\t최선의 손실: 0.038089\t정확도: 97.97%\n", "25\t검증 세트 손실: 0.048246\t최선의 손실: 0.038089\t정확도: 98.51%\n", "26\t검증 세트 손실: 0.040342\t최선의 손실: 0.038089\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.062026\t최선의 손실: 0.038089\t정확도: 98.51%\n", "28\t검증 세트 손실: 0.041558\t최선의 손실: 0.038089\t정확도: 99.02%\n", "29\t검증 세트 손실: 0.055998\t최선의 손실: 0.038089\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.045386\t최선의 손실: 0.038089\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.043103\t최선의 손실: 0.038089\t정확도: 99.06%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "32\t검증 세트 손실: 0.044294\t최선의 손실: 0.038089\t정확도: 98.94%\n", "33\t검증 세트 손실: 0.060156\t최선의 손실: 0.038089\t정확도: 98.59%\n", "34\t검증 세트 손실: 0.044823\t최선의 손실: 0.038089\t정확도: 98.98%\n", "35\t검증 세트 손실: 0.040487\t최선의 손실: 0.038089\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.051332\t최선의 손실: 0.038089\t정확도: 98.55%\n", "37\t검증 세트 손실: 0.046549\t최선의 손실: 0.038089\t정확도: 98.75%\n", "38\t검증 세트 손실: 0.043616\t최선의 손실: 0.038089\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.036224\t최선의 손실: 0.036224\t정확도: 98.87%\n", "40\t검증 세트 손실: 0.072686\t최선의 손실: 0.036224\t정확도: 98.28%\n", "41\t검증 세트 손실: 0.047522\t최선의 손실: 0.036224\t정확도: 98.98%\n", "42\t검증 세트 손실: 0.052453\t최선의 손실: 0.036224\t정확도: 98.83%\n", "43\t검증 세트 손실: 0.062838\t최선의 손실: 0.036224\t정확도: 98.71%\n", "44\t검증 세트 손실: 0.045917\t최선의 손실: 0.036224\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.056827\t최선의 손실: 0.036224\t정확도: 98.28%\n", "46\t검증 세트 손실: 0.037732\t최선의 손실: 0.036224\t정확도: 98.83%\n", "47\t검증 세트 손실: 0.070288\t최선의 손실: 0.036224\t정확도: 98.40%\n", "48\t검증 세트 손실: 0.049500\t최선의 손실: 0.036224\t정확도: 98.87%\n", "49\t검증 세트 손실: 0.045961\t최선의 손실: 0.036224\t정확도: 98.91%\n", "50\t검증 세트 손실: 0.051574\t최선의 손실: 0.036224\t정확도: 98.71%\n", "51\t검증 세트 손실: 0.052054\t최선의 손실: 0.036224\t정확도: 98.67%\n", "52\t검증 세트 손실: 0.047829\t최선의 손실: 0.036224\t정확도: 98.91%\n", "53\t검증 세트 손실: 0.051384\t최선의 손실: 0.036224\t정확도: 98.83%\n", "54\t검증 세트 손실: 0.082153\t최선의 손실: 0.036224\t정확도: 98.28%\n", "55\t검증 세트 손실: 0.043088\t최선의 손실: 0.036224\t정확도: 98.91%\n", "56\t검증 세트 손실: 0.046191\t최선의 손실: 0.036224\t정확도: 98.87%\n", "57\t검증 세트 손실: 0.054216\t최선의 손실: 0.036224\t정확도: 98.87%\n", "58\t검증 세트 손실: 0.050872\t최선의 손실: 0.036224\t정확도: 98.83%\n", "59\t검증 세트 손실: 0.042636\t최선의 손실: 0.036224\t정확도: 99.06%\n", "60\t검증 세트 손실: 0.061656\t최선의 손실: 0.036224\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.1min\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.350211\t최선의 손실: 0.350211\t정확도: 95.43%\n", "1\t검증 세트 손실: 0.322165\t최선의 손실: 0.322165\t정확도: 95.90%\n", "2\t검증 세트 손실: 0.154909\t최선의 손실: 0.154909\t정확도: 96.68%\n", "3\t검증 세트 손실: 0.078982\t최선의 손실: 0.078982\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.120312\t최선의 손실: 0.078982\t정확도: 97.46%\n", "5\t검증 세트 손실: 0.171650\t최선의 손실: 0.078982\t정확도: 95.39%\n", "6\t검증 세트 손실: 0.062365\t최선의 손실: 0.062365\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.102669\t최선의 손실: 0.062365\t정확도: 97.62%\n", "8\t검증 세트 손실: 0.096393\t최선의 손실: 0.062365\t정확도: 97.81%\n", "9\t검증 세트 손실: 0.054934\t최선의 손실: 0.054934\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.114816\t최선의 손실: 0.054934\t정확도: 97.42%\n", "11\t검증 세트 손실: 0.108278\t최선의 손실: 0.054934\t정확도: 96.99%\n", "12\t검증 세트 손실: 0.085854\t최선의 손실: 0.054934\t정확도: 97.50%\n", "13\t검증 세트 손실: 0.080352\t최선의 손실: 0.054934\t정확도: 97.73%\n", "14\t검증 세트 손실: 0.054125\t최선의 손실: 0.054125\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.053159\t최선의 손실: 0.053159\t정확도: 98.48%\n", "16\t검증 세트 손실: 0.055840\t최선의 손실: 0.053159\t정확도: 98.36%\n", "17\t검증 세트 손실: 0.049685\t최선의 손실: 0.049685\t정확도: 98.63%\n", "18\t검증 세트 손실: 0.060765\t최선의 손실: 0.049685\t정확도: 97.89%\n", "19\t검증 세트 손실: 0.054672\t최선의 손실: 0.049685\t정확도: 98.48%\n", "20\t검증 세트 손실: 0.048962\t최선의 손실: 0.048962\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.052049\t최선의 손실: 0.048962\t정확도: 98.75%\n", "22\t검증 세트 손실: 0.052766\t최선의 손실: 0.048962\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.047113\t최선의 손실: 0.047113\t정확도: 98.79%\n", "24\t검증 세트 손실: 0.049368\t최선의 손실: 0.047113\t정확도: 98.71%\n", "25\t검증 세트 손실: 0.051666\t최선의 손실: 0.047113\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.039044\t최선의 손실: 0.039044\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.437585\t최선의 손실: 0.039044\t정확도: 93.20%\n", "28\t검증 세트 손실: 0.062286\t최선의 손실: 0.039044\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.067358\t최선의 손실: 0.039044\t정확도: 98.32%\n", "30\t검증 세트 손실: 0.055097\t최선의 손실: 0.039044\t정확도: 98.59%\n", "31\t검증 세트 손실: 0.044892\t최선의 손실: 0.039044\t정확도: 98.79%\n", "32\t검증 세트 손실: 0.042079\t최선의 손실: 0.039044\t정확도: 98.75%\n", "33\t검증 세트 손실: 0.041856\t최선의 손실: 0.039044\t정확도: 99.02%\n", "34\t검증 세트 손실: 0.056962\t최선의 손실: 0.039044\t정확도: 98.48%\n", "35\t검증 세트 손실: 0.048398\t최선의 손실: 0.039044\t정확도: 98.51%\n", "36\t검증 세트 손실: 0.049313\t최선의 손실: 0.039044\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.038852\t최선의 손실: 0.038852\t정확도: 99.06%\n", "38\t검증 세트 손실: 0.044140\t최선의 손실: 0.038852\t정확도: 98.87%\n", "39\t검증 세트 손실: 0.039828\t최선의 손실: 0.038852\t정확도: 98.87%\n", "40\t검증 세트 손실: 0.056061\t최선의 손실: 0.038852\t정확도: 98.79%\n", "41\t검증 세트 손실: 0.054227\t최선의 손실: 0.038852\t정확도: 98.75%\n", "42\t검증 세트 손실: 0.053628\t최선의 손실: 0.038852\t정확도: 98.83%\n", "43\t검증 세트 손실: 0.051051\t최선의 손실: 0.038852\t정확도: 98.67%\n", "44\t검증 세트 손실: 0.043928\t최선의 손실: 0.038852\t정확도: 98.91%\n", "45\t검증 세트 손실: 0.058338\t최선의 손실: 0.038852\t정확도: 98.75%\n", "46\t검증 세트 손실: 0.064130\t최선의 손실: 0.038852\t정확도: 98.55%\n", "47\t검증 세트 손실: 0.051872\t최선의 손실: 0.038852\t정확도: 98.71%\n", "48\t검증 세트 손실: 0.037164\t최선의 손실: 0.037164\t정확도: 98.98%\n", "49\t검증 세트 손실: 0.049553\t최선의 손실: 0.037164\t정확도: 98.75%\n", "50\t검증 세트 손실: 0.050252\t최선의 손실: 0.037164\t정확도: 98.51%\n", "51\t검증 세트 손실: 0.045118\t최선의 손실: 0.037164\t정확도: 98.71%\n", "52\t검증 세트 손실: 0.056971\t최선의 손실: 0.037164\t정확도: 98.94%\n", "53\t검증 세트 손실: 0.044817\t최선의 손실: 0.037164\t정확도: 99.02%\n", "54\t검증 세트 손실: 0.090761\t최선의 손실: 0.037164\t정확도: 98.16%\n", "55\t검증 세트 손실: 0.044212\t최선의 손실: 0.037164\t정확도: 98.87%\n", "56\t검증 세트 손실: 0.043818\t최선의 손실: 0.037164\t정확도: 98.94%\n", "57\t검증 세트 손실: 0.032875\t최선의 손실: 0.032875\t정확도: 99.10%\n", "58\t검증 세트 손실: 0.050619\t최선의 손실: 0.032875\t정확도: 98.83%\n", "59\t검증 세트 손실: 0.057272\t최선의 손실: 0.032875\t정확도: 98.87%\n", "60\t검증 세트 손실: 0.051008\t최선의 손실: 0.032875\t정확도: 98.94%\n", "61\t검증 세트 손실: 0.038567\t최선의 손실: 0.032875\t정확도: 98.79%\n", "62\t검증 세트 손실: 0.031549\t최선의 손실: 0.031549\t정확도: 99.26%\n", "63\t검증 세트 손실: 0.035643\t최선의 손실: 0.031549\t정확도: 99.18%\n", "64\t검증 세트 손실: 0.052910\t최선의 손실: 0.031549\t정확도: 98.71%\n", "65\t검증 세트 손실: 0.039878\t최선의 손실: 0.031549\t정확도: 99.18%\n", "66\t검증 세트 손실: 0.033019\t최선의 손실: 0.031549\t정확도: 99.06%\n", "67\t검증 세트 손실: 0.034011\t최선의 손실: 0.031549\t정확도: 99.06%\n", "68\t검증 세트 손실: 0.057707\t최선의 손실: 0.031549\t정확도: 98.67%\n", "69\t검증 세트 손실: 0.054864\t최선의 손실: 0.031549\t정확도: 98.79%\n", "70\t검증 세트 손실: 0.041670\t최선의 손실: 0.031549\t정확도: 98.98%\n", "71\t검증 세트 손실: 0.053093\t최선의 손실: 0.031549\t정확도: 98.79%\n", "72\t검증 세트 손실: 0.042719\t최선의 손실: 0.031549\t정확도: 99.10%\n", "73\t검증 세트 손실: 0.039211\t최선의 손실: 0.031549\t정확도: 98.98%\n", "74\t검증 세트 손실: 0.038323\t최선의 손실: 0.031549\t정확도: 99.18%\n", "75\t검증 세트 손실: 0.034171\t최선의 손실: 0.031549\t정확도: 99.10%\n", "76\t검증 세트 손실: 0.037945\t최선의 손실: 0.031549\t정확도: 99.26%\n", "77\t검증 세트 손실: 0.043642\t최선의 손실: 0.031549\t정확도: 98.91%\n", "78\t검증 세트 손실: 0.058769\t최선의 손실: 0.031549\t정확도: 98.51%\n", "79\t검증 세트 손실: 0.044407\t최선의 손실: 0.031549\t정확도: 98.75%\n", "80\t검증 세트 손실: 0.043071\t최선의 손실: 0.031549\t정확도: 99.06%\n", "81\t검증 세트 손실: 0.039554\t최선의 손실: 0.031549\t정확도: 99.14%\n", "82\t검증 세트 손실: 0.038447\t최선의 손실: 0.031549\t정확도: 99.06%\n", "83\t검증 세트 손실: 0.042949\t최선의 손실: 0.031549\t정확도: 99.14%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 4.2min\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.528409\t최선의 손실: 0.528409\t정확도: 94.45%\n", "1\t검증 세트 손실: 0.130407\t최선의 손실: 0.130407\t정확도: 97.93%\n", "2\t검증 세트 손실: 0.167507\t최선의 손실: 0.130407\t정확도: 96.52%\n", "3\t검증 세트 손실: 0.163657\t최선의 손실: 0.130407\t정확도: 96.72%\n", "4\t검증 세트 손실: 0.093866\t최선의 손실: 0.093866\t정확도: 97.85%\n", "5\t검증 세트 손실: 0.266104\t최선의 손실: 0.093866\t정확도: 93.12%\n", "6\t검증 세트 손실: 0.062718\t최선의 손실: 0.062718\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.065421\t최선의 손실: 0.062718\t정확도: 98.32%\n", "8\t검증 세트 손실: 0.049376\t최선의 손실: 0.049376\t정확도: 98.59%\n", "9\t검증 세트 손실: 0.046540\t최선의 손실: 0.046540\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.068502\t최선의 손실: 0.046540\t정확도: 98.12%\n", "11\t검증 세트 손실: 0.046824\t최선의 손실: 0.046540\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.053358\t최선의 손실: 0.046540\t정확도: 98.48%\n", "13\t검증 세트 손실: 0.045320\t최선의 손실: 0.045320\t정확도: 98.94%\n", "14\t검증 세트 손실: 0.079961\t최선의 손실: 0.045320\t정확도: 98.08%\n", "15\t검증 세트 손실: 0.051117\t최선의 손실: 0.045320\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.040194\t최선의 손실: 0.040194\t정확도: 98.94%\n", "17\t검증 세트 손실: 0.038243\t최선의 손실: 0.038243\t정확도: 98.71%\n", "18\t검증 세트 손실: 0.041086\t최선의 손실: 0.038243\t정확도: 98.71%\n", "19\t검증 세트 손실: 0.040521\t최선의 손실: 0.038243\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.051071\t최선의 손실: 0.038243\t정확도: 98.67%\n", "21\t검증 세트 손실: 0.038507\t최선의 손실: 0.038243\t정확도: 98.83%\n", "22\t검증 세트 손실: 0.045722\t최선의 손실: 0.038243\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.051671\t최선의 손실: 0.038243\t정확도: 98.55%\n", "24\t검증 세트 손실: 0.047337\t최선의 손실: 0.038243\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.054606\t최선의 손실: 0.038243\t정확도: 98.67%\n", "26\t검증 세트 손실: 0.052825\t최선의 손실: 0.038243\t정확도: 98.44%\n", "27\t검증 세트 손실: 0.045421\t최선의 손실: 0.038243\t정확도: 98.55%\n", "28\t검증 세트 손실: 0.047311\t최선의 손실: 0.038243\t정확도: 98.55%\n", "29\t검증 세트 손실: 0.036371\t최선의 손실: 0.036371\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.058621\t최선의 손실: 0.036371\t정확도: 98.44%\n", "31\t검증 세트 손실: 0.050093\t최선의 손실: 0.036371\t정확도: 98.59%\n", "32\t검증 세트 손실: 0.036069\t최선의 손실: 0.036069\t정확도: 99.14%\n", "33\t검증 세트 손실: 0.043742\t최선의 손실: 0.036069\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.043624\t최선의 손실: 0.036069\t정확도: 98.91%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "35\t검증 세트 손실: 0.045135\t최선의 손실: 0.036069\t정확도: 98.87%\n", "36\t검증 세트 손실: 0.034773\t최선의 손실: 0.034773\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.057465\t최선의 손실: 0.034773\t정확도: 98.91%\n", "38\t검증 세트 손실: 0.042606\t최선의 손실: 0.034773\t정확도: 98.94%\n", "39\t검증 세트 손실: 0.089882\t최선의 손실: 0.034773\t정확도: 98.05%\n", "40\t검증 세트 손실: 0.044947\t최선의 손실: 0.034773\t정확도: 99.02%\n", "41\t검증 세트 손실: 0.036317\t최선의 손실: 0.034773\t정확도: 98.79%\n", "42\t검증 세트 손실: 0.034732\t최선의 손실: 0.034732\t정확도: 99.02%\n", "43\t검증 세트 손실: 0.058725\t최선의 손실: 0.034732\t정확도: 98.44%\n", "44\t검증 세트 손실: 0.044473\t최선의 손실: 0.034732\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.052199\t최선의 손실: 0.034732\t정확도: 98.48%\n", "46\t검증 세트 손실: 0.059939\t최선의 손실: 0.034732\t정확도: 98.36%\n", "47\t검증 세트 손실: 0.038806\t최선의 손실: 0.034732\t정확도: 98.91%\n", "48\t검증 세트 손실: 0.069748\t최선의 손실: 0.034732\t정확도: 98.08%\n", "49\t검증 세트 손실: 0.050419\t최선의 손실: 0.034732\t정확도: 99.18%\n", "50\t검증 세트 손실: 0.058548\t최선의 손실: 0.034732\t정확도: 98.91%\n", "51\t검증 세트 손실: 0.038110\t최선의 손실: 0.034732\t정확도: 98.98%\n", "52\t검증 세트 손실: 0.043129\t최선의 손실: 0.034732\t정확도: 99.06%\n", "53\t검증 세트 손실: 0.052469\t최선의 손실: 0.034732\t정확도: 98.79%\n", "54\t검증 세트 손실: 0.043339\t최선의 손실: 0.034732\t정확도: 98.94%\n", "55\t검증 세트 손실: 0.039581\t최선의 손실: 0.034732\t정확도: 99.14%\n", "56\t검증 세트 손실: 0.054064\t최선의 손실: 0.034732\t정확도: 99.14%\n", "57\t검증 세트 손실: 0.052773\t최선의 손실: 0.034732\t정확도: 98.75%\n", "58\t검증 세트 손실: 0.038811\t최선의 손실: 0.034732\t정확도: 99.14%\n", "59\t검증 세트 손실: 0.093191\t최선의 손실: 0.034732\t정확도: 98.28%\n", "60\t검증 세트 손실: 0.040730\t최선의 손실: 0.034732\t정확도: 98.91%\n", "61\t검증 세트 손실: 0.045452\t최선의 손실: 0.034732\t정확도: 98.94%\n", "62\t검증 세트 손실: 0.060884\t최선의 손실: 0.034732\t정확도: 98.63%\n", "63\t검증 세트 손실: 0.067442\t최선의 손실: 0.034732\t정확도: 98.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, batch_size=10, batch_norm_momentum=0.999, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 3.2min\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.087812\t최선의 손실: 0.087812\t정확도: 97.58%\n", "1\t검증 세트 손실: 0.064553\t최선의 손실: 0.064553\t정확도: 98.44%\n", "2\t검증 세트 손실: 0.068140\t최선의 손실: 0.064553\t정확도: 98.44%\n", "3\t검증 세트 손실: 0.050669\t최선의 손실: 0.050669\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.055411\t최선의 손실: 0.050669\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.041672\t최선의 손실: 0.041672\t정확도: 98.75%\n", "6\t검증 세트 손실: 0.059107\t최선의 손실: 0.041672\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.073250\t최선의 손실: 0.041672\t정확도: 98.16%\n", "8\t검증 세트 손실: 0.044287\t최선의 손실: 0.041672\t정확도: 98.79%\n", "9\t검증 세트 손실: 0.048867\t최선의 손실: 0.041672\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.043201\t최선의 손실: 0.041672\t정확도: 98.91%\n", "11\t검증 세트 손실: 0.039146\t최선의 손실: 0.039146\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.037454\t최선의 손실: 0.037454\t정확도: 99.06%\n", "13\t검증 세트 손실: 0.043869\t최선의 손실: 0.037454\t정확도: 98.91%\n", "14\t검증 세트 손실: 0.056305\t최선의 손실: 0.037454\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.045583\t최선의 손실: 0.037454\t정확도: 98.87%\n", "16\t검증 세트 손실: 0.067640\t최선의 손실: 0.037454\t정확도: 98.63%\n", "17\t검증 세트 손실: 0.072201\t최선의 손실: 0.037454\t정확도: 98.48%\n", "18\t검증 세트 손실: 0.055430\t최선의 손실: 0.037454\t정확도: 98.59%\n", "19\t검증 세트 손실: 0.052496\t최선의 손실: 0.037454\t정확도: 98.83%\n", "20\t검증 세트 손실: 0.112833\t최선의 손실: 0.037454\t정확도: 97.89%\n", "21\t검증 세트 손실: 0.049092\t최선의 손실: 0.037454\t정확도: 98.91%\n", "22\t검증 세트 손실: 0.050744\t최선의 손실: 0.037454\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.054348\t최선의 손실: 0.037454\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.058789\t최선의 손실: 0.037454\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.041646\t최선의 손실: 0.037454\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.042890\t최선의 손실: 0.037454\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.053502\t최선의 손실: 0.037454\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.051556\t최선의 손실: 0.037454\t정확도: 98.98%\n", "29\t검증 세트 손실: 0.058861\t최선의 손실: 0.037454\t정확도: 98.59%\n", "30\t검증 세트 손실: 0.043612\t최선의 손실: 0.037454\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.042752\t최선의 손실: 0.037454\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.065576\t최선의 손실: 0.037454\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.045663\t최선의 손실: 0.037454\t정확도: 98.94%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 20.4s\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.116750\t최선의 손실: 0.116750\t정확도: 96.87%\n", "1\t검증 세트 손실: 0.049369\t최선의 손실: 0.049369\t정확도: 98.55%\n", "2\t검증 세트 손실: 0.049524\t최선의 손실: 0.049369\t정확도: 98.55%\n", "3\t검증 세트 손실: 0.073452\t최선의 손실: 0.049369\t정확도: 97.62%\n", "4\t검증 세트 손실: 0.067573\t최선의 손실: 0.049369\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.054711\t최선의 손실: 0.049369\t정확도: 98.75%\n", "6\t검증 세트 손실: 0.049083\t최선의 손실: 0.049083\t정확도: 98.75%\n", "7\t검증 세트 손실: 0.060912\t최선의 손실: 0.049083\t정확도: 98.44%\n", "8\t검증 세트 손실: 0.057420\t최선의 손실: 0.049083\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.044980\t최선의 손실: 0.044980\t정확도: 98.94%\n", "10\t검증 세트 손실: 0.049767\t최선의 손실: 0.044980\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.047355\t최선의 손실: 0.044980\t정확도: 98.83%\n", "12\t검증 세트 손실: 0.038715\t최선의 손실: 0.038715\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.048705\t최선의 손실: 0.038715\t정확도: 98.94%\n", "14\t검증 세트 손실: 0.050366\t최선의 손실: 0.038715\t정확도: 98.87%\n", "15\t검증 세트 손실: 0.060576\t최선의 손실: 0.038715\t정확도: 98.75%\n", "16\t검증 세트 손실: 0.053471\t최선의 손실: 0.038715\t정확도: 99.02%\n", "17\t검증 세트 손실: 0.043266\t최선의 손실: 0.038715\t정확도: 98.91%\n", "18\t검증 세트 손실: 0.060228\t최선의 손실: 0.038715\t정확도: 98.40%\n", "19\t검증 세트 손실: 0.069335\t최선의 손실: 0.038715\t정확도: 98.51%\n", "20\t검증 세트 손실: 0.054626\t최선의 손실: 0.038715\t정확도: 98.79%\n", "21\t검증 세트 손실: 0.060779\t최선의 손실: 0.038715\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.051444\t최선의 손실: 0.038715\t정확도: 98.83%\n", "23\t검증 세트 손실: 0.142821\t최선의 손실: 0.038715\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.038961\t최선의 손실: 0.038715\t정확도: 99.18%\n", "25\t검증 세트 손실: 0.045030\t최선의 손실: 0.038715\t정확도: 99.02%\n", "26\t검증 세트 손실: 0.049966\t최선의 손실: 0.038715\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.046800\t최선의 손실: 0.038715\t정확도: 99.02%\n", "28\t검증 세트 손실: 0.054326\t최선의 손실: 0.038715\t정확도: 98.79%\n", "29\t검증 세트 손실: 0.052097\t최선의 손실: 0.038715\t정확도: 98.75%\n", "30\t검증 세트 손실: 0.052867\t최선의 손실: 0.038715\t정확도: 98.83%\n", "31\t검증 세트 손실: 0.047371\t최선의 손실: 0.038715\t정확도: 98.87%\n", "32\t검증 세트 손실: 0.044704\t최선의 손실: 0.038715\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.054607\t최선의 손실: 0.038715\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 20.4s\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8> \n", "0\t검증 세트 손실: 0.105057\t최선의 손실: 0.105057\t정확도: 97.73%\n", "1\t검증 세트 손실: 0.058231\t최선의 손실: 0.058231\t정확도: 98.12%\n", "2\t검증 세트 손실: 0.053226\t최선의 손실: 0.053226\t정확도: 98.32%\n", "3\t검증 세트 손실: 0.041625\t최선의 손실: 0.041625\t정확도: 98.59%\n", "4\t검증 세트 손실: 0.046774\t최선의 손실: 0.041625\t정확도: 98.75%\n", "5\t검증 세트 손실: 0.052786\t최선의 손실: 0.041625\t정확도: 98.63%\n", "6\t검증 세트 손실: 0.049684\t최선의 손실: 0.041625\t정확도: 98.75%\n", "7\t검증 세트 손실: 0.039335\t최선의 손실: 0.039335\t정확도: 99.02%\n", "8\t검증 세트 손실: 0.055289\t최선의 손실: 0.039335\t정확도: 98.63%\n", "9\t검증 세트 손실: 0.056288\t최선의 손실: 0.039335\t정확도: 98.75%\n", "10\t검증 세트 손실: 0.046265\t최선의 손실: 0.039335\t정확도: 98.83%\n", "11\t검증 세트 손실: 0.051392\t최선의 손실: 0.039335\t정확도: 98.71%\n", "12\t검증 세트 손실: 0.046146\t최선의 손실: 0.039335\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.039773\t최선의 손실: 0.039335\t정확도: 98.79%\n", "14\t검증 세트 손실: 0.036976\t최선의 손실: 0.036976\t정확도: 99.22%\n", "15\t검증 세트 손실: 0.044991\t최선의 손실: 0.036976\t정확도: 98.79%\n", "16\t검증 세트 손실: 0.033913\t최선의 손실: 0.033913\t정확도: 98.98%\n", "17\t검증 세트 손실: 0.044064\t최선의 손실: 0.033913\t정확도: 98.87%\n", "18\t검증 세트 손실: 0.034809\t최선의 손실: 0.033913\t정확도: 98.91%\n", "19\t검증 세트 손실: 0.056481\t최선의 손실: 0.033913\t정확도: 98.59%\n", "20\t검증 세트 손실: 0.056779\t최선의 손실: 0.033913\t정확도: 98.51%\n", "21\t검증 세트 손실: 0.052635\t최선의 손실: 0.033913\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.041842\t최선의 손실: 0.033913\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.040977\t최선의 손실: 0.033913\t정확도: 99.18%\n", "24\t검증 세트 손실: 0.042980\t최선의 손실: 0.033913\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.035474\t최선의 손실: 0.033913\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.049910\t최선의 손실: 0.033913\t정확도: 98.87%\n", "27\t검증 세트 손실: 0.032837\t최선의 손실: 0.032837\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.051185\t최선의 손실: 0.032837\t정확도: 99.06%\n", "29\t검증 세트 손실: 0.036470\t최선의 손실: 0.032837\t정확도: 99.14%\n", "30\t검증 세트 손실: 0.037151\t최선의 손실: 0.032837\t정확도: 99.10%\n", "31\t검증 세트 손실: 0.035757\t최선의 손실: 0.032837\t정확도: 99.26%\n", "32\t검증 세트 손실: 0.052062\t최선의 손실: 0.032837\t정확도: 98.98%\n", "33\t검증 세트 손실: 0.051830\t최선의 손실: 0.032837\t정확도: 98.98%\n", "34\t검증 세트 손실: 0.035463\t최선의 손실: 0.032837\t정확도: 99.22%\n", "35\t검증 세트 손실: 0.028811\t최선의 손실: 0.028811\t정확도: 99.37%\n", "36\t검증 세트 손실: 0.037316\t최선의 손실: 0.028811\t정확도: 99.14%\n", "37\t검증 세트 손실: 0.044685\t최선의 손실: 0.028811\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.035967\t최선의 손실: 0.028811\t정확도: 99.02%\n", "39\t검증 세트 손실: 0.058678\t최선의 손실: 0.028811\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.046733\t최선의 손실: 0.028811\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.038411\t최선의 손실: 0.028811\t정확도: 99.10%\n", "42\t검증 세트 손실: 0.034719\t최선의 손실: 0.028811\t정확도: 99.18%\n", "43\t검증 세트 손실: 0.079918\t최선의 손실: 0.028811\t정확도: 98.44%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "44\t검증 세트 손실: 0.039111\t최선의 손실: 0.028811\t정확도: 99.26%\n", "45\t검증 세트 손실: 0.056214\t최선의 손실: 0.028811\t정확도: 98.94%\n", "46\t검증 세트 손실: 0.053683\t최선의 손실: 0.028811\t정확도: 98.94%\n", "47\t검증 세트 손실: 0.041169\t최선의 손실: 0.028811\t정확도: 98.98%\n", "48\t검증 세트 손실: 0.045883\t최선의 손실: 0.028811\t정확도: 99.10%\n", "49\t검증 세트 손실: 0.036616\t최선의 손실: 0.028811\t정확도: 99.22%\n", "50\t검증 세트 손실: 0.041563\t최선의 손실: 0.028811\t정확도: 99.10%\n", "51\t검증 세트 손실: 0.036842\t최선의 손실: 0.028811\t정확도: 99.06%\n", "52\t검증 세트 손실: 0.027032\t최선의 손실: 0.027032\t정확도: 99.41%\n", "53\t검증 세트 손실: 0.033045\t최선의 손실: 0.027032\t정확도: 99.34%\n", "54\t검증 세트 손실: 0.031211\t최선의 손실: 0.027032\t정확도: 99.49%\n", "55\t검증 세트 손실: 0.037963\t최선의 손실: 0.027032\t정확도: 99.30%\n", "56\t검증 세트 손실: 0.045096\t최선의 손실: 0.027032\t정확도: 98.83%\n", "57\t검증 세트 손실: 0.055794\t최선의 손실: 0.027032\t정확도: 98.94%\n", "58\t검증 세트 손실: 0.030156\t최선의 손실: 0.027032\t정확도: 99.37%\n", "59\t검증 세트 손실: 0.049189\t최선의 손실: 0.027032\t정확도: 99.06%\n", "60\t검증 세트 손실: 0.027620\t최선의 손실: 0.027032\t정확도: 99.30%\n", "61\t검증 세트 손실: 0.040138\t최선의 손실: 0.027032\t정확도: 99.22%\n", "62\t검증 세트 손실: 0.036149\t최선의 손실: 0.027032\t정확도: 99.22%\n", "63\t검증 세트 손실: 0.030111\t최선의 손실: 0.027032\t정확도: 99.41%\n", "64\t검증 세트 손실: 0.043917\t최선의 손실: 0.027032\t정확도: 99.18%\n", "65\t검증 세트 손실: 0.047071\t최선의 손실: 0.027032\t정확도: 99.22%\n", "66\t검증 세트 손실: 0.038757\t최선의 손실: 0.027032\t정확도: 99.02%\n", "67\t검증 세트 손실: 0.035191\t최선의 손실: 0.027032\t정확도: 99.10%\n", "68\t검증 세트 손실: 0.043112\t최선의 손실: 0.027032\t정확도: 99.22%\n", "69\t검증 세트 손실: 0.036800\t최선의 손실: 0.027032\t정확도: 99.26%\n", "70\t검증 세트 손실: 0.042870\t최선의 손실: 0.027032\t정확도: 99.18%\n", "71\t검증 세트 손실: 0.040749\t최선의 손실: 0.027032\t정확도: 99.26%\n", "72\t검증 세트 손실: 0.049601\t최선의 손실: 0.027032\t정확도: 98.98%\n", "73\t검증 세트 손실: 0.043522\t최선의 손실: 0.027032\t정확도: 99.10%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, batch_size=100, batch_norm_momentum=0.98, activation=.parametrized_leaky_relu at 0x7f8eb7dd3bf8>, total= 42.7s\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.102576\t최선의 손실: 0.102576\t정확도: 97.11%\n", "1\t검증 세트 손실: 0.073843\t최선의 손실: 0.073843\t정확도: 98.16%\n", "2\t검증 세트 손실: 0.057348\t최선의 손실: 0.057348\t정확도: 98.48%\n", "3\t검증 세트 손실: 0.048350\t최선의 손실: 0.048350\t정확도: 98.63%\n", "4\t검증 세트 손실: 0.036745\t최선의 손실: 0.036745\t정확도: 98.79%\n", "5\t검증 세트 손실: 0.044089\t최선의 손실: 0.036745\t정확도: 98.55%\n", "6\t검증 세트 손실: 0.038080\t최선의 손실: 0.036745\t정확도: 98.91%\n", "7\t검증 세트 손실: 0.045790\t최선의 손실: 0.036745\t정확도: 98.55%\n", "8\t검증 세트 손실: 0.041349\t최선의 손실: 0.036745\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.038364\t최선의 손실: 0.036745\t정확도: 98.87%\n", "10\t검증 세트 손실: 0.044156\t최선의 손실: 0.036745\t정확도: 98.79%\n", "11\t검증 세트 손실: 0.041015\t최선의 손실: 0.036745\t정확도: 98.75%\n", "12\t검증 세트 손실: 0.039946\t최선의 손실: 0.036745\t정확도: 98.83%\n", "13\t검증 세트 손실: 0.061287\t최선의 손실: 0.036745\t정확도: 98.44%\n", "14\t검증 세트 손실: 0.066301\t최선의 손실: 0.036745\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.043078\t최선의 손실: 0.036745\t정확도: 98.87%\n", "16\t검증 세트 손실: 0.050406\t최선의 손실: 0.036745\t정확도: 98.87%\n", "17\t검증 세트 손실: 0.035317\t최선의 손실: 0.035317\t정확도: 99.02%\n", "18\t검증 세트 손실: 0.035885\t최선의 손실: 0.035317\t정확도: 99.06%\n", "19\t검증 세트 손실: 0.043909\t최선의 손실: 0.035317\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.048787\t최선의 손실: 0.035317\t정확도: 98.75%\n", "21\t검증 세트 손실: 0.041117\t최선의 손실: 0.035317\t정확도: 99.10%\n", "22\t검증 세트 손실: 0.040276\t최선의 손실: 0.035317\t정확도: 99.06%\n", "23\t검증 세트 손실: 0.047037\t최선의 손실: 0.035317\t정확도: 99.02%\n", "24\t검증 세트 손실: 0.050668\t최선의 손실: 0.035317\t정확도: 98.67%\n", "25\t검증 세트 손실: 0.039296\t최선의 손실: 0.035317\t정확도: 99.10%\n", "26\t검증 세트 손실: 0.034867\t최선의 손실: 0.034867\t정확도: 99.26%\n", "27\t검증 세트 손실: 0.059101\t최선의 손실: 0.034867\t정확도: 98.63%\n", "28\t검증 세트 손실: 0.046288\t최선의 손실: 0.034867\t정확도: 98.94%\n", "29\t검증 세트 손실: 0.032155\t최선의 손실: 0.032155\t정확도: 99.10%\n", "30\t검증 세트 손실: 0.041667\t최선의 손실: 0.032155\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.034541\t최선의 손실: 0.032155\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.041048\t최선의 손실: 0.032155\t정확도: 99.06%\n", "33\t검증 세트 손실: 0.050633\t최선의 손실: 0.032155\t정확도: 98.91%\n", "34\t검증 세트 손실: 0.046462\t최선의 손실: 0.032155\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.038013\t최선의 손실: 0.032155\t정확도: 98.98%\n", "36\t검증 세트 손실: 0.034044\t최선의 손실: 0.032155\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.056781\t최선의 손실: 0.032155\t정확도: 98.83%\n", "38\t검증 세트 손실: 0.035270\t최선의 손실: 0.032155\t정확도: 98.94%\n", "39\t검증 세트 손실: 0.040345\t최선의 손실: 0.032155\t정확도: 98.91%\n", "40\t검증 세트 손실: 0.041302\t최선의 손실: 0.032155\t정확도: 98.94%\n", "41\t검증 세트 손실: 0.042295\t최선의 손실: 0.032155\t정확도: 98.79%\n", "42\t검증 세트 손실: 0.045496\t최선의 손실: 0.032155\t정확도: 99.02%\n", "43\t검증 세트 손실: 0.043715\t최선의 손실: 0.032155\t정확도: 99.02%\n", "44\t검증 세트 손실: 0.035253\t최선의 손실: 0.032155\t정확도: 99.02%\n", "45\t검증 세트 손실: 0.041387\t최선의 손실: 0.032155\t정확도: 98.87%\n", "46\t검증 세트 손실: 0.038307\t최선의 손실: 0.032155\t정확도: 98.83%\n", "47\t검증 세트 손실: 0.046421\t최선의 손실: 0.032155\t정확도: 98.71%\n", "48\t검증 세트 손실: 0.040355\t최선의 손실: 0.032155\t정확도: 98.98%\n", "49\t검증 세트 손실: 0.053719\t최선의 손실: 0.032155\t정확도: 98.87%\n", "50\t검증 세트 손실: 0.044054\t최선의 손실: 0.032155\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=, total= 3.3min\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.093411\t최선의 손실: 0.093411\t정확도: 97.03%\n", "1\t검증 세트 손실: 0.065424\t최선의 손실: 0.065424\t정확도: 97.97%\n", "2\t검증 세트 손실: 0.061798\t최선의 손실: 0.061798\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.060370\t최선의 손실: 0.060370\t정확도: 98.08%\n", "4\t검증 세트 손실: 0.056594\t최선의 손실: 0.056594\t정확도: 98.20%\n", "5\t검증 세트 손실: 0.039845\t최선의 손실: 0.039845\t정확도: 98.79%\n", "6\t검증 세트 손실: 0.036823\t최선의 손실: 0.036823\t정확도: 98.87%\n", "7\t검증 세트 손실: 0.036040\t최선의 손실: 0.036040\t정확도: 98.71%\n", "8\t검증 세트 손실: 0.034847\t최선의 손실: 0.034847\t정확도: 99.02%\n", "9\t검증 세트 손실: 0.041956\t최선의 손실: 0.034847\t정확도: 98.63%\n", "10\t검증 세트 손실: 0.037984\t최선의 손실: 0.034847\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.030058\t최선의 손실: 0.030058\t정확도: 99.06%\n", "12\t검증 세트 손실: 0.032557\t최선의 손실: 0.030058\t정확도: 99.02%\n", "13\t검증 세트 손실: 0.041553\t최선의 손실: 0.030058\t정확도: 98.63%\n", "14\t검증 세트 손실: 0.035305\t최선의 손실: 0.030058\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.034930\t최선의 손실: 0.030058\t정확도: 98.91%\n", "16\t검증 세트 손실: 0.044814\t최선의 손실: 0.030058\t정확도: 98.59%\n", "17\t검증 세트 손실: 0.032787\t최선의 손실: 0.030058\t정확도: 99.06%\n", "18\t검증 세트 손실: 0.036811\t최선의 손실: 0.030058\t정확도: 98.79%\n", "19\t검증 세트 손실: 0.030962\t최선의 손실: 0.030058\t정확도: 99.06%\n", "20\t검증 세트 손실: 0.027889\t최선의 손실: 0.027889\t정확도: 98.98%\n", "21\t검증 세트 손실: 0.042702\t최선의 손실: 0.027889\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.044673\t최선의 손실: 0.027889\t정확도: 98.79%\n", "23\t검증 세트 손실: 0.029588\t최선의 손실: 0.027889\t정확도: 99.26%\n", "24\t검증 세트 손실: 0.033623\t최선의 손실: 0.027889\t정확도: 99.18%\n", "25\t검증 세트 손실: 0.030994\t최선의 손실: 0.027889\t정확도: 98.98%\n", "26\t검증 세트 손실: 0.027787\t최선의 손실: 0.027787\t정확도: 99.10%\n", "27\t검증 세트 손실: 0.033529\t최선의 손실: 0.027787\t정확도: 99.06%\n", "28\t검증 세트 손실: 0.030397\t최선의 손실: 0.027787\t정확도: 98.91%\n", "29\t검증 세트 손실: 0.035105\t최선의 손실: 0.027787\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.036109\t최선의 손실: 0.027787\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.042689\t최선의 손실: 0.027787\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.040656\t최선의 손실: 0.027787\t정확도: 98.91%\n", "33\t검증 세트 손실: 0.044880\t최선의 손실: 0.027787\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.039374\t최선의 손실: 0.027787\t정확도: 98.91%\n", "35\t검증 세트 손실: 0.043793\t최선의 손실: 0.027787\t정확도: 98.75%\n", "36\t검증 세트 손실: 0.049524\t최선의 손실: 0.027787\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.034369\t최선의 손실: 0.027787\t정확도: 98.87%\n", "38\t검증 세트 손실: 0.035910\t최선의 손실: 0.027787\t정확도: 98.83%\n", "39\t검증 세트 손실: 0.031542\t최선의 손실: 0.027787\t정확도: 98.94%\n", "40\t검증 세트 손실: 0.034131\t최선의 손실: 0.027787\t정확도: 98.87%\n", "41\t검증 세트 손실: 0.033153\t최선의 손실: 0.027787\t정확도: 99.06%\n", "42\t검증 세트 손실: 0.029432\t최선의 손실: 0.027787\t정확도: 99.18%\n", "43\t검증 세트 손실: 0.038007\t최선의 손실: 0.027787\t정확도: 99.06%\n", "44\t검증 세트 손실: 0.032069\t최선의 손실: 0.027787\t정확도: 99.14%\n", "45\t검증 세트 손실: 0.036041\t최선의 손실: 0.027787\t정확도: 99.10%\n", "46\t검증 세트 손실: 0.035375\t최선의 손실: 0.027787\t정확도: 99.18%\n", "47\t검증 세트 손실: 0.032454\t최선의 손실: 0.027787\t정확도: 99.06%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=, total= 3.2min\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation= \n", "0\t검증 세트 손실: 0.092877\t최선의 손실: 0.092877\t정확도: 97.58%\n", "1\t검증 세트 손실: 0.055992\t최선의 손실: 0.055992\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.068754\t최선의 손실: 0.055992\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.047175\t최선의 손실: 0.047175\t정확도: 98.59%\n", "4\t검증 세트 손실: 0.052473\t최선의 손실: 0.047175\t정확도: 98.48%\n", "5\t검증 세트 손실: 0.053118\t최선의 손실: 0.047175\t정확도: 98.40%\n", "6\t검증 세트 손실: 0.044048\t최선의 손실: 0.044048\t정확도: 98.63%\n", "7\t검증 세트 손실: 0.037487\t최선의 손실: 0.037487\t정확도: 98.63%\n", "8\t검증 세트 손실: 0.040106\t최선의 손실: 0.037487\t정확도: 98.79%\n", "9\t검증 세트 손실: 0.039328\t최선의 손실: 0.037487\t정확도: 98.51%\n", "10\t검증 세트 손실: 0.034464\t최선의 손실: 0.034464\t정확도: 98.75%\n", "11\t검증 세트 손실: 0.037247\t최선의 손실: 0.034464\t정확도: 98.87%\n", "12\t검증 세트 손실: 0.033022\t최선의 손실: 0.033022\t정확도: 98.94%\n", "13\t검증 세트 손실: 0.033781\t최선의 손실: 0.033022\t정확도: 99.10%\n", "14\t검증 세트 손실: 0.034988\t최선의 손실: 0.033022\t정확도: 98.79%\n", "15\t검증 세트 손실: 0.032677\t최선의 손실: 0.032677\t정확도: 99.06%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "16\t검증 세트 손실: 0.033252\t최선의 손실: 0.032677\t정확도: 98.98%\n", "17\t검증 세트 손실: 0.043378\t최선의 손실: 0.032677\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.034762\t최선의 손실: 0.032677\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.029707\t최선의 손실: 0.029707\t정확도: 98.98%\n", "20\t검증 세트 손실: 0.026351\t최선의 손실: 0.026351\t정확도: 99.10%\n", "21\t검증 세트 손실: 0.023910\t최선의 손실: 0.023910\t정확도: 99.30%\n", "22\t검증 세트 손실: 0.024809\t최선의 손실: 0.023910\t정확도: 99.18%\n", "23\t검증 세트 손실: 0.032281\t최선의 손실: 0.023910\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.032348\t최선의 손실: 0.023910\t정확도: 99.02%\n", "25\t검증 세트 손실: 0.021673\t최선의 손실: 0.021673\t정확도: 99.41%\n", "26\t검증 세트 손실: 0.035176\t최선의 손실: 0.021673\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.036873\t최선의 손실: 0.021673\t정확도: 98.83%\n", "28\t검증 세트 손실: 0.029929\t최선의 손실: 0.021673\t정확도: 98.98%\n", "29\t검증 세트 손실: 0.030010\t최선의 손실: 0.021673\t정확도: 99.06%\n", "30\t검증 세트 손실: 0.033627\t최선의 손실: 0.021673\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.028218\t최선의 손실: 0.021673\t정확도: 99.26%\n", "32\t검증 세트 손실: 0.031958\t최선의 손실: 0.021673\t정확도: 99.14%\n", "33\t검증 세트 손실: 0.025660\t최선의 손실: 0.021673\t정확도: 99.34%\n", "34\t검증 세트 손실: 0.029348\t최선의 손실: 0.021673\t정확도: 99.10%\n", "35\t검증 세트 손실: 0.043915\t최선의 손실: 0.021673\t정확도: 98.83%\n", "36\t검증 세트 손실: 0.038343\t최선의 손실: 0.021673\t정확도: 99.06%\n", "37\t검증 세트 손실: 0.037049\t최선의 손실: 0.021673\t정확도: 99.14%\n", "38\t검증 세트 손실: 0.032889\t최선의 손실: 0.021673\t정확도: 98.83%\n", "39\t검증 세트 손실: 0.040372\t최선의 손실: 0.021673\t정확도: 99.18%\n", "40\t검증 세트 손실: 0.031815\t최선의 손실: 0.021673\t정확도: 99.02%\n", "41\t검증 세트 손실: 0.039172\t최선의 손실: 0.021673\t정확도: 98.91%\n", "42\t검증 세트 손실: 0.035044\t최선의 손실: 0.021673\t정확도: 99.06%\n", "43\t검증 세트 손실: 0.036193\t최선의 손실: 0.021673\t정확도: 98.98%\n", "44\t검증 세트 손실: 0.034337\t최선의 손실: 0.021673\t정확도: 98.75%\n", "45\t검증 세트 손실: 0.032715\t최선의 손실: 0.021673\t정확도: 99.06%\n", "46\t검증 세트 손실: 0.032784\t최선의 손실: 0.021673\t정확도: 99.22%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, batch_size=10, batch_norm_momentum=0.98, activation=, total= 3.1min\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.172632\t최선의 손실: 0.172632\t정확도: 97.07%\n", "1\t검증 세트 손실: 0.127338\t최선의 손실: 0.127338\t정확도: 97.85%\n", "2\t검증 세트 손실: 0.167529\t최선의 손실: 0.127338\t정확도: 97.03%\n", "3\t검증 세트 손실: 0.086108\t최선의 손실: 0.086108\t정확도: 97.81%\n", "4\t검증 세트 손실: 0.115597\t최선의 손실: 0.086108\t정확도: 97.77%\n", "5\t검증 세트 손실: 0.104995\t최선의 손실: 0.086108\t정확도: 98.08%\n", "6\t검증 세트 손실: 0.079326\t최선의 손실: 0.079326\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.064354\t최선의 손실: 0.064354\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.077549\t최선의 손실: 0.064354\t정확도: 98.12%\n", "9\t검증 세트 손실: 0.074422\t최선의 손실: 0.064354\t정확도: 98.40%\n", "10\t검증 세트 손실: 0.102253\t최선의 손실: 0.064354\t정확도: 98.01%\n", "11\t검증 세트 손실: 0.059386\t최선의 손실: 0.059386\t정확도: 98.67%\n", "12\t검증 세트 손실: 0.070048\t최선의 손실: 0.059386\t정확도: 98.71%\n", "13\t검증 세트 손실: 0.067014\t최선의 손실: 0.059386\t정확도: 98.67%\n", "14\t검증 세트 손실: 0.058121\t최선의 손실: 0.058121\t정확도: 98.67%\n", "15\t검증 세트 손실: 0.099994\t최선의 손실: 0.058121\t정확도: 98.59%\n", "16\t검증 세트 손실: 0.074793\t최선의 손실: 0.058121\t정확도: 98.71%\n", "17\t검증 세트 손실: 0.124511\t최선의 손실: 0.058121\t정확도: 97.89%\n", "18\t검증 세트 손실: 0.126258\t최선의 손실: 0.058121\t정확도: 97.34%\n", "19\t검증 세트 손실: 0.082993\t최선의 손실: 0.058121\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.081338\t최선의 손실: 0.058121\t정확도: 98.63%\n", "21\t검증 세트 손실: 0.066099\t최선의 손실: 0.058121\t정확도: 98.75%\n", "22\t검증 세트 손실: 0.069735\t최선의 손실: 0.058121\t정확도: 98.67%\n", "23\t검증 세트 손실: 0.085176\t최선의 손실: 0.058121\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.163379\t최선의 손실: 0.058121\t정확도: 98.20%\n", "25\t검증 세트 손실: 1.996140\t최선의 손실: 0.058121\t정확도: 96.99%\n", "26\t검증 세트 손실: 0.066863\t최선의 손실: 0.058121\t정확도: 98.91%\n", "27\t검증 세트 손실: 0.055087\t최선의 손실: 0.055087\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.123777\t최선의 손실: 0.055087\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.064101\t최선의 손실: 0.055087\t정확도: 99.02%\n", "30\t검증 세트 손실: 0.073873\t최선의 손실: 0.055087\t정확도: 98.91%\n", "31\t검증 세트 손실: 0.057312\t최선의 손실: 0.055087\t정확도: 99.10%\n", "32\t검증 세트 손실: 0.056029\t최선의 손실: 0.055087\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.094997\t최선의 손실: 0.055087\t정확도: 98.79%\n", "34\t검증 세트 손실: 0.067671\t최선의 손실: 0.055087\t정확도: 98.83%\n", "35\t검증 세트 손실: 0.193793\t최선의 손실: 0.055087\t정확도: 97.34%\n", "36\t검증 세트 손실: 0.057467\t최선의 손실: 0.055087\t정확도: 98.91%\n", "37\t검증 세트 손실: 0.052559\t최선의 손실: 0.052559\t정확도: 98.94%\n", "38\t검증 세트 손실: 0.101764\t최선의 손실: 0.052559\t정확도: 98.63%\n", "39\t검증 세트 손실: 0.069096\t최선의 손실: 0.052559\t정확도: 98.83%\n", "40\t검증 세트 손실: 0.062111\t최선의 손실: 0.052559\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.083517\t최선의 손실: 0.052559\t정확도: 98.75%\n", "42\t검증 세트 손실: 0.058545\t최선의 손실: 0.052559\t정확도: 99.10%\n", "43\t검증 세트 손실: 0.100031\t최선의 손실: 0.052559\t정확도: 98.44%\n", "44\t검증 세트 손실: 0.073756\t최선의 손실: 0.052559\t정확도: 99.14%\n", "45\t검증 세트 손실: 0.063625\t최선의 손실: 0.052559\t정확도: 98.98%\n", "46\t검증 세트 손실: 0.060534\t최선의 손실: 0.052559\t정확도: 99.14%\n", "47\t검증 세트 손실: 0.080954\t최선의 손실: 0.052559\t정확도: 99.02%\n", "48\t검증 세트 손실: 0.068139\t최선의 손실: 0.052559\t정확도: 99.10%\n", "49\t검증 세트 손실: 0.156941\t최선의 손실: 0.052559\t정확도: 98.36%\n", "50\t검증 세트 손실: 0.179150\t최선의 손실: 0.052559\t정확도: 98.75%\n", "51\t검증 세트 손실: 0.066174\t최선의 손실: 0.052559\t정확도: 98.98%\n", "52\t검증 세트 손실: 0.081150\t최선의 손실: 0.052559\t정확도: 98.79%\n", "53\t검증 세트 손실: 0.096230\t최선의 손실: 0.052559\t정확도: 98.55%\n", "54\t검증 세트 손실: 0.075193\t최선의 손실: 0.052559\t정확도: 98.98%\n", "55\t검증 세트 손실: 0.088354\t최선의 손실: 0.052559\t정확도: 98.87%\n", "56\t검증 세트 손실: 0.066930\t최선의 손실: 0.052559\t정확도: 99.10%\n", "57\t검증 세트 손실: 0.089648\t최선의 손실: 0.052559\t정확도: 98.79%\n", "58\t검증 세트 손실: 0.091185\t최선의 손실: 0.052559\t정확도: 98.79%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 40.4s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.288914\t최선의 손실: 0.288914\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.295103\t최선의 손실: 0.288914\t정확도: 96.95%\n", "2\t검증 세트 손실: 0.092572\t최선의 손실: 0.092572\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.097222\t최선의 손실: 0.092572\t정확도: 97.93%\n", "4\t검증 세트 손실: 0.106207\t최선의 손실: 0.092572\t정확도: 97.93%\n", "5\t검증 세트 손실: 0.097466\t최선의 손실: 0.092572\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.080326\t최선의 손실: 0.080326\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.073586\t최선의 손실: 0.073586\t정확도: 98.08%\n", "8\t검증 세트 손실: 0.081629\t최선의 손실: 0.073586\t정확도: 98.55%\n", "9\t검증 세트 손실: 0.114939\t최선의 손실: 0.073586\t정확도: 97.85%\n", "10\t검증 세트 손실: 0.084080\t최선의 손실: 0.073586\t정확도: 98.48%\n", "11\t검증 세트 손실: 0.076889\t최선의 손실: 0.073586\t정확도: 98.51%\n", "12\t검증 세트 손실: 0.066533\t최선의 손실: 0.066533\t정확도: 98.75%\n", "13\t검증 세트 손실: 0.116199\t최선의 손실: 0.066533\t정확도: 98.32%\n", "14\t검증 세트 손실: 0.097467\t최선의 손실: 0.066533\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.191124\t최선의 손실: 0.066533\t정확도: 97.42%\n", "16\t검증 세트 손실: 0.103267\t최선의 손실: 0.066533\t정확도: 98.40%\n", "17\t검증 세트 손실: 0.070729\t최선의 손실: 0.066533\t정확도: 98.75%\n", "18\t검증 세트 손실: 0.062405\t최선의 손실: 0.062405\t정확도: 98.51%\n", "19\t검증 세트 손실: 0.107100\t최선의 손실: 0.062405\t정확도: 97.89%\n", "20\t검증 세트 손실: 0.107933\t최선의 손실: 0.062405\t정확도: 98.32%\n", "21\t검증 세트 손실: 0.082877\t최선의 손실: 0.062405\t정확도: 98.32%\n", "22\t검증 세트 손실: 0.066174\t최선의 손실: 0.062405\t정확도: 98.87%\n", "23\t검증 세트 손실: 0.118267\t최선의 손실: 0.062405\t정확도: 98.40%\n", "24\t검증 세트 손실: 0.202478\t최선의 손실: 0.062405\t정확도: 97.65%\n", "25\t검증 세트 손실: 0.098229\t최선의 손실: 0.062405\t정확도: 98.79%\n", "26\t검증 세트 손실: 0.055440\t최선의 손실: 0.055440\t정확도: 98.83%\n", "27\t검증 세트 손실: 0.055648\t최선의 손실: 0.055440\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.069534\t최선의 손실: 0.055440\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.061672\t최선의 손실: 0.055440\t정확도: 98.91%\n", "30\t검증 세트 손실: 0.059775\t최선의 손실: 0.055440\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.066068\t최선의 손실: 0.055440\t정확도: 98.75%\n", "32\t검증 세트 손실: 0.060590\t최선의 손실: 0.055440\t정확도: 99.02%\n", "33\t검증 세트 손실: 0.134338\t최선의 손실: 0.055440\t정확도: 98.36%\n", "34\t검증 세트 손실: 0.123406\t최선의 손실: 0.055440\t정확도: 98.40%\n", "35\t검증 세트 손실: 0.135341\t최선의 손실: 0.055440\t정확도: 98.83%\n", "36\t검증 세트 손실: 0.129451\t최선의 손실: 0.055440\t정확도: 98.16%\n", "37\t검증 세트 손실: 0.064226\t최선의 손실: 0.055440\t정확도: 99.02%\n", "38\t검증 세트 손실: 0.110223\t최선의 손실: 0.055440\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.049849\t최선의 손실: 0.049849\t정확도: 98.79%\n", "40\t검증 세트 손실: 0.061738\t최선의 손실: 0.049849\t정확도: 98.83%\n", "41\t검증 세트 손실: 0.133781\t최선의 손실: 0.049849\t정확도: 97.89%\n", "42\t검증 세트 손실: 0.061410\t최선의 손실: 0.049849\t정확도: 99.06%\n", "43\t검증 세트 손실: 0.081304\t최선의 손실: 0.049849\t정확도: 98.59%\n", "44\t검증 세트 손실: 0.087359\t최선의 손실: 0.049849\t정확도: 98.83%\n", "45\t검증 세트 손실: 0.089902\t최선의 손실: 0.049849\t정확도: 98.55%\n", "46\t검증 세트 손실: 0.115109\t최선의 손실: 0.049849\t정확도: 98.63%\n", "47\t검증 세트 손실: 0.087850\t최선의 손실: 0.049849\t정확도: 98.71%\n", "48\t검증 세트 손실: 0.126105\t최선의 손실: 0.049849\t정확도: 98.44%\n", "49\t검증 세트 손실: 0.103665\t최선의 손실: 0.049849\t정확도: 98.94%\n", "50\t검증 세트 손실: 0.093409\t최선의 손실: 0.049849\t정확도: 98.67%\n", "51\t검증 세트 손실: 0.085302\t최선의 손실: 0.049849\t정확도: 98.71%\n", "52\t검증 세트 손실: 0.103550\t최선의 손실: 0.049849\t정확도: 98.71%\n", "53\t검증 세트 손실: 0.107594\t최선의 손실: 0.049849\t정확도: 98.36%\n", "54\t검증 세트 손실: 0.082458\t최선의 손실: 0.049849\t정확도: 98.83%\n", "55\t검증 세트 손실: 0.098009\t최선의 손실: 0.049849\t정확도: 98.63%\n", "56\t검증 세트 손실: 0.086893\t최선의 손실: 0.049849\t정확도: 98.79%\n", "57\t검증 세트 손실: 0.112890\t최선의 손실: 0.049849\t정확도: 98.48%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "58\t검증 세트 손실: 0.083880\t최선의 손실: 0.049849\t정확도: 98.75%\n", "59\t검증 세트 손실: 0.300027\t최선의 손실: 0.049849\t정확도: 97.58%\n", "60\t검증 세트 손실: 1.252326\t최선의 손실: 0.049849\t정확도: 94.02%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 41.6s\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8> \n", "0\t검증 세트 손실: 0.229177\t최선의 손실: 0.229177\t정확도: 95.97%\n", "1\t검증 세트 손실: 0.161583\t최선의 손실: 0.161583\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.072549\t최선의 손실: 0.072549\t정확도: 97.85%\n", "3\t검증 세트 손실: 0.079806\t최선의 손실: 0.072549\t정확도: 97.89%\n", "4\t검증 세트 손실: 0.068005\t최선의 손실: 0.068005\t정확도: 98.67%\n", "5\t검증 세트 손실: 0.075999\t최선의 손실: 0.068005\t정확도: 97.93%\n", "6\t검증 세트 손실: 0.067954\t최선의 손실: 0.067954\t정확도: 97.58%\n", "7\t검증 세트 손실: 0.086368\t최선의 손실: 0.067954\t정확도: 98.28%\n", "8\t검증 세트 손실: 0.049567\t최선의 손실: 0.049567\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.087549\t최선의 손실: 0.049567\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.126301\t최선의 손실: 0.049567\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.056242\t최선의 손실: 0.049567\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.039624\t최선의 손실: 0.039624\t정확도: 98.91%\n", "13\t검증 세트 손실: 0.053852\t최선의 손실: 0.039624\t정확도: 98.59%\n", "14\t검증 세트 손실: 0.070444\t최선의 손실: 0.039624\t정확도: 98.59%\n", "15\t검증 세트 손실: 0.083562\t최선의 손실: 0.039624\t정확도: 98.05%\n", "16\t검증 세트 손실: 0.079270\t최선의 손실: 0.039624\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.088832\t최선의 손실: 0.039624\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.406926\t최선의 손실: 0.039624\t정확도: 96.91%\n", "19\t검증 세트 손실: 0.090565\t최선의 손실: 0.039624\t정확도: 98.32%\n", "20\t검증 세트 손실: 0.133928\t최선의 손실: 0.039624\t정확도: 98.05%\n", "21\t검증 세트 손실: 0.056788\t최선의 손실: 0.039624\t정확도: 98.71%\n", "22\t검증 세트 손실: 0.058502\t최선의 손실: 0.039624\t정확도: 98.98%\n", "23\t검증 세트 손실: 0.050061\t최선의 손실: 0.039624\t정확도: 98.91%\n", "24\t검증 세트 손실: 0.056469\t최선의 손실: 0.039624\t정확도: 99.14%\n", "25\t검증 세트 손실: 0.042910\t최선의 손실: 0.039624\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.095021\t최선의 손실: 0.039624\t정확도: 97.97%\n", "27\t검증 세트 손실: 0.060380\t최선의 손실: 0.039624\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.078580\t최선의 손실: 0.039624\t정확도: 98.59%\n", "29\t검증 세트 손실: 0.067309\t최선의 손실: 0.039624\t정확도: 98.55%\n", "30\t검증 세트 손실: 0.054109\t최선의 손실: 0.039624\t정확도: 98.87%\n", "31\t검증 세트 손실: 0.053414\t최선의 손실: 0.039624\t정확도: 98.83%\n", "32\t검증 세트 손실: 0.057155\t최선의 손실: 0.039624\t정확도: 99.06%\n", "33\t검증 세트 손실: 0.110648\t최선의 손실: 0.039624\t정확도: 98.36%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, batch_size=100, batch_norm_momentum=0.99, activation=.parametrized_leaky_relu at 0x7f8eb7dd36a8>, total= 23.9s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.130656\t최선의 손실: 0.130656\t정확도: 96.48%\n", "1\t검증 세트 손실: 0.073256\t최선의 손실: 0.073256\t정확도: 98.20%\n", "2\t검증 세트 손실: 0.075469\t최선의 손실: 0.073256\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.072383\t최선의 손실: 0.072383\t정확도: 98.16%\n", "4\t검증 세트 손실: 0.069269\t최선의 손실: 0.069269\t정확도: 98.05%\n", "5\t검증 세트 손실: 0.088101\t최선의 손실: 0.069269\t정확도: 97.97%\n", "6\t검증 세트 손실: 0.114681\t최선의 손실: 0.069269\t정확도: 97.85%\n", "7\t검증 세트 손실: 0.067430\t최선의 손실: 0.067430\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.069420\t최선의 손실: 0.067430\t정확도: 98.12%\n", "9\t검증 세트 손실: 0.095607\t최선의 손실: 0.067430\t정확도: 97.85%\n", "10\t검증 세트 손실: 0.095513\t최선의 손실: 0.067430\t정확도: 98.08%\n", "11\t검증 세트 손실: 0.079213\t최선의 손실: 0.067430\t정확도: 98.55%\n", "12\t검증 세트 손실: 0.052060\t최선의 손실: 0.052060\t정확도: 99.06%\n", "13\t검증 세트 손실: 0.084989\t최선의 손실: 0.052060\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.159963\t최선의 손실: 0.052060\t정확도: 97.54%\n", "15\t검증 세트 손실: 0.057724\t최선의 손실: 0.052060\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.066905\t최선의 손실: 0.052060\t정확도: 98.83%\n", "17\t검증 세트 손실: 0.060238\t최선의 손실: 0.052060\t정확도: 98.51%\n", "18\t검증 세트 손실: 0.307384\t최선의 손실: 0.052060\t정확도: 97.69%\n", "19\t검증 세트 손실: 0.099212\t최선의 손실: 0.052060\t정확도: 98.71%\n", "20\t검증 세트 손실: 0.062065\t최선의 손실: 0.052060\t정확도: 98.87%\n", "21\t검증 세트 손실: 0.040916\t최선의 손실: 0.040916\t정확도: 99.14%\n", "22\t검증 세트 손실: 0.098528\t최선의 손실: 0.040916\t정확도: 98.91%\n", "23\t검증 세트 손실: 0.424636\t최선의 손실: 0.040916\t정확도: 97.62%\n", "24\t검증 세트 손실: 0.070673\t최선의 손실: 0.040916\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.063794\t최선의 손실: 0.040916\t정확도: 98.71%\n", "26\t검증 세트 손실: 0.056378\t최선의 손실: 0.040916\t정확도: 99.06%\n", "27\t검증 세트 손실: 0.059532\t최선의 손실: 0.040916\t정확도: 98.94%\n", "28\t검증 세트 손실: 0.057837\t최선의 손실: 0.040916\t정확도: 99.10%\n", "29\t검증 세트 손실: 0.071637\t최선의 손실: 0.040916\t정확도: 99.02%\n", "30\t검증 세트 손실: 0.190314\t최선의 손실: 0.040916\t정확도: 98.05%\n", "31\t검증 세트 손실: 0.198339\t최선의 손실: 0.040916\t정확도: 98.44%\n", "32\t검증 세트 손실: 0.081575\t최선의 손실: 0.040916\t정확도: 98.79%\n", "33\t검증 세트 손실: 0.099029\t최선의 손실: 0.040916\t정확도: 98.71%\n", "34\t검증 세트 손실: 0.088186\t최선의 손실: 0.040916\t정확도: 98.75%\n", "35\t검증 세트 손실: 0.088717\t최선의 손실: 0.040916\t정확도: 98.94%\n", "36\t검증 세트 손실: 0.162666\t최선의 손실: 0.040916\t정확도: 97.85%\n", "37\t검증 세트 손실: 0.359605\t최선의 손실: 0.040916\t정확도: 98.16%\n", "38\t검증 세트 손실: 0.091594\t최선의 손실: 0.040916\t정확도: 99.18%\n", "39\t검증 세트 손실: 0.082640\t최선의 손실: 0.040916\t정확도: 99.10%\n", "40\t검증 세트 손실: 0.084013\t최선의 손실: 0.040916\t정확도: 98.94%\n", "41\t검증 세트 손실: 0.074580\t최선의 손실: 0.040916\t정확도: 99.10%\n", "42\t검증 세트 손실: 0.092668\t최선의 손실: 0.040916\t정확도: 98.98%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=, total= 56.1s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.195730\t최선의 손실: 0.195730\t정확도: 95.19%\n", "1\t검증 세트 손실: 0.088693\t최선의 손실: 0.088693\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.103137\t최선의 손실: 0.088693\t정확도: 97.62%\n", "3\t검증 세트 손실: 0.075150\t최선의 손실: 0.075150\t정확도: 97.65%\n", "4\t검증 세트 손실: 0.116009\t최선의 손실: 0.075150\t정확도: 97.03%\n", "5\t검증 세트 손실: 0.067035\t최선의 손실: 0.067035\t정확도: 98.44%\n", "6\t검증 세트 손실: 0.063049\t최선의 손실: 0.063049\t정확도: 98.40%\n", "7\t검증 세트 손실: 0.055004\t최선의 손실: 0.055004\t정확도: 98.67%\n", "8\t검증 세트 손실: 0.058563\t최선의 손실: 0.055004\t정확도: 98.67%\n", "9\t검증 세트 손실: 0.071380\t최선의 손실: 0.055004\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.081094\t최선의 손실: 0.055004\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.284284\t최선의 손실: 0.055004\t정확도: 97.69%\n", "12\t검증 세트 손실: 0.050038\t최선의 손실: 0.050038\t정확도: 98.44%\n", "13\t검증 세트 손실: 0.042385\t최선의 손실: 0.042385\t정확도: 98.94%\n", "14\t검증 세트 손실: 0.041446\t최선의 손실: 0.041446\t정확도: 99.02%\n", "15\t검증 세트 손실: 0.036898\t최선의 손실: 0.036898\t정확도: 99.22%\n", "16\t검증 세트 손실: 0.066667\t최선의 손실: 0.036898\t정확도: 98.75%\n", "17\t검증 세트 손실: 0.097190\t최선의 손실: 0.036898\t정확도: 98.55%\n", "18\t검증 세트 손실: 0.076154\t최선의 손실: 0.036898\t정확도: 98.75%\n", "19\t검증 세트 손실: 0.052106\t최선의 손실: 0.036898\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.055894\t최선의 손실: 0.036898\t정확도: 98.71%\n", "21\t검증 세트 손실: 0.317348\t최선의 손실: 0.036898\t정확도: 96.79%\n", "22\t검증 세트 손실: 0.093389\t최선의 손실: 0.036898\t정확도: 98.59%\n", "23\t검증 세트 손실: 0.051417\t최선의 손실: 0.036898\t정확도: 98.94%\n", "24\t검증 세트 손실: 0.060830\t최선의 손실: 0.036898\t정확도: 98.83%\n", "25\t검증 세트 손실: 0.060924\t최선의 손실: 0.036898\t정확도: 98.91%\n", "26\t검증 세트 손실: 0.106065\t최선의 손실: 0.036898\t정확도: 98.51%\n", "27\t검증 세트 손실: 0.066508\t최선의 손실: 0.036898\t정확도: 98.67%\n", "28\t검증 세트 손실: 0.052698\t최선의 손실: 0.036898\t정확도: 99.14%\n", "29\t검증 세트 손실: 0.043786\t최선의 손실: 0.036898\t정확도: 99.34%\n", "30\t검증 세트 손실: 0.081090\t최선의 손실: 0.036898\t정확도: 98.51%\n", "31\t검증 세트 손실: 0.562595\t최선의 손실: 0.036898\t정확도: 97.26%\n", "32\t검증 세트 손실: 0.115433\t최선의 손실: 0.036898\t정확도: 98.63%\n", "33\t검증 세트 손실: 0.070710\t최선의 손실: 0.036898\t정확도: 98.91%\n", "34\t검증 세트 손실: 0.064967\t최선의 손실: 0.036898\t정확도: 99.14%\n", "35\t검증 세트 손실: 0.062783\t최선의 손실: 0.036898\t정확도: 99.18%\n", "36\t검증 세트 손실: 0.110999\t최선의 손실: 0.036898\t정확도: 98.71%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=, total= 48.5s\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation= \n", "0\t검증 세트 손실: 0.131614\t최선의 손실: 0.131614\t정확도: 96.60%\n", "1\t검증 세트 손실: 0.091479\t최선의 손실: 0.091479\t정확도: 97.22%\n", "2\t검증 세트 손실: 0.145731\t최선의 손실: 0.091479\t정확도: 96.40%\n", "3\t검증 세트 손실: 0.092181\t최선의 손실: 0.091479\t정확도: 98.05%\n", "4\t검증 세트 손실: 0.069776\t최선의 손실: 0.069776\t정확도: 98.55%\n", "5\t검증 세트 손실: 0.046527\t최선의 손실: 0.046527\t정확도: 98.55%\n", "6\t검증 세트 손실: 0.114399\t최선의 손실: 0.046527\t정확도: 97.30%\n", "7\t검증 세트 손실: 0.100384\t최선의 손실: 0.046527\t정확도: 98.51%\n", "8\t검증 세트 손실: 0.069123\t최선의 손실: 0.046527\t정확도: 98.44%\n", "9\t검증 세트 손실: 0.186923\t최선의 손실: 0.046527\t정확도: 96.01%\n", "10\t검증 세트 손실: 0.072462\t최선의 손실: 0.046527\t정확도: 98.44%\n", "11\t검증 세트 손실: 0.050464\t최선의 손실: 0.046527\t정확도: 98.91%\n", "12\t검증 세트 손실: 0.079248\t최선의 손실: 0.046527\t정확도: 98.12%\n", "13\t검증 세트 손실: 0.054371\t최선의 손실: 0.046527\t정확도: 98.83%\n", "14\t검증 세트 손실: 0.451563\t최선의 손실: 0.046527\t정확도: 96.60%\n", "15\t검증 세트 손실: 0.058877\t최선의 손실: 0.046527\t정확도: 98.63%\n", "16\t검증 세트 손실: 0.054686\t최선의 손실: 0.046527\t정확도: 98.67%\n", "17\t검증 세트 손실: 0.044117\t최선의 손실: 0.044117\t정확도: 98.94%\n", "18\t검증 세트 손실: 0.046971\t최선의 손실: 0.044117\t정확도: 99.02%\n", "19\t검증 세트 손실: 0.070369\t최선의 손실: 0.044117\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.068712\t최선의 손실: 0.044117\t정확도: 98.83%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "21\t검증 세트 손실: 0.145999\t최선의 손실: 0.044117\t정확도: 98.05%\n", "22\t검증 세트 손실: 0.167401\t최선의 손실: 0.044117\t정확도: 98.08%\n", "23\t검증 세트 손실: 0.085456\t최선의 손실: 0.044117\t정확도: 98.75%\n", "24\t검증 세트 손실: 0.046821\t최선의 손실: 0.044117\t정확도: 99.06%\n", "25\t검증 세트 손실: 0.076084\t최선의 손실: 0.044117\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.047237\t최선의 손실: 0.044117\t정확도: 99.18%\n", "27\t검증 세트 손실: 0.070614\t최선의 손실: 0.044117\t정확도: 98.75%\n", "28\t검증 세트 손실: 0.091068\t최선의 손실: 0.044117\t정확도: 98.79%\n", "29\t검증 세트 손실: 0.327597\t최선의 손실: 0.044117\t정확도: 97.97%\n", "30\t검증 세트 손실: 0.070905\t최선의 손실: 0.044117\t정확도: 99.02%\n", "31\t검증 세트 손실: 0.065737\t최선의 손실: 0.044117\t정확도: 98.98%\n", "32\t검증 세트 손실: 0.052918\t최선의 손실: 0.044117\t정확도: 99.06%\n", "33\t검증 세트 손실: 0.075236\t최선의 손실: 0.044117\t정확도: 99.06%\n", "34\t검증 세트 손실: 0.085037\t최선의 손실: 0.044117\t정확도: 98.79%\n", "35\t검증 세트 손실: 0.085678\t최선의 손실: 0.044117\t정확도: 98.91%\n", "36\t검증 세트 손실: 0.082821\t최선의 손실: 0.044117\t정확도: 98.79%\n", "37\t검증 세트 손실: 0.087109\t최선의 손실: 0.044117\t정확도: 98.91%\n", "38\t검증 세트 손실: 0.327862\t최선의 손실: 0.044117\t정확도: 98.67%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, batch_size=50, batch_norm_momentum=0.99, activation=, total= 50.9s\n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 136.9min finished\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.076891\t최선의 손실: 0.076891\t정확도: 97.73%\n", "1\t검증 세트 손실: 0.055899\t최선의 손실: 0.055899\t정확도: 98.32%\n", "2\t검증 세트 손실: 0.041703\t최선의 손실: 0.041703\t정확도: 98.71%\n", "3\t검증 세트 손실: 0.048100\t최선의 손실: 0.041703\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.034595\t최선의 손실: 0.034595\t정확도: 98.87%\n", "5\t검증 세트 손실: 0.039184\t최선의 손실: 0.034595\t정확도: 98.98%\n", "6\t검증 세트 손실: 0.041247\t최선의 손실: 0.034595\t정확도: 98.59%\n", "7\t검증 세트 손실: 0.038209\t최선의 손실: 0.034595\t정확도: 99.10%\n", "8\t검증 세트 손실: 0.030560\t최선의 손실: 0.030560\t정확도: 99.02%\n", "9\t검증 세트 손실: 0.031388\t최선의 손실: 0.030560\t정확도: 99.10%\n", "10\t검증 세트 손실: 0.031396\t최선의 손실: 0.030560\t정확도: 99.22%\n", "11\t검증 세트 손실: 0.034868\t최선의 손실: 0.030560\t정확도: 98.98%\n", "12\t검증 세트 손실: 0.026068\t최선의 손실: 0.026068\t정확도: 99.45%\n", "13\t검증 세트 손실: 0.022881\t최선의 손실: 0.022881\t정확도: 99.26%\n", "14\t검증 세트 손실: 0.025304\t최선의 손실: 0.022881\t정확도: 99.14%\n", "15\t검증 세트 손실: 0.032327\t최선의 손실: 0.022881\t정확도: 98.87%\n", "16\t검증 세트 손실: 0.022594\t최선의 손실: 0.022594\t정확도: 99.34%\n", "17\t검증 세트 손실: 0.027939\t최선의 손실: 0.022594\t정확도: 99.10%\n", "18\t검증 세트 손실: 0.024709\t최선의 손실: 0.022594\t정확도: 99.34%\n", "19\t검증 세트 손실: 0.029217\t최선의 손실: 0.022594\t정확도: 99.37%\n", "20\t검증 세트 손실: 0.023538\t최선의 손실: 0.022594\t정확도: 99.49%\n", "21\t검증 세트 손실: 0.022978\t최선의 손실: 0.022594\t정확도: 99.37%\n", "22\t검증 세트 손실: 0.025425\t최선의 손실: 0.022594\t정확도: 99.34%\n", "23\t검증 세트 손실: 0.032991\t최선의 손실: 0.022594\t정확도: 99.10%\n", "24\t검증 세트 손실: 0.033606\t최선의 손실: 0.022594\t정확도: 99.26%\n", "25\t검증 세트 손실: 0.021869\t최선의 손실: 0.021869\t정확도: 99.45%\n", "26\t검증 세트 손실: 0.024418\t최선의 손실: 0.021869\t정확도: 99.41%\n", "27\t검증 세트 손실: 0.026577\t최선의 손실: 0.021869\t정확도: 99.14%\n", "28\t검증 세트 손실: 0.024459\t최선의 손실: 0.021869\t정확도: 99.30%\n", "29\t검증 세트 손실: 0.020364\t최선의 손실: 0.020364\t정확도: 99.37%\n", "30\t검증 세트 손실: 0.024887\t최선의 손실: 0.020364\t정확도: 99.41%\n", "31\t검증 세트 손실: 0.019987\t최선의 손실: 0.019987\t정확도: 99.45%\n", "32\t검증 세트 손실: 0.021131\t최선의 손실: 0.019987\t정확도: 99.49%\n", "33\t검증 세트 손실: 0.026594\t최선의 손실: 0.019987\t정확도: 99.41%\n", "34\t검증 세트 손실: 0.017249\t최선의 손실: 0.017249\t정확도: 99.53%\n", "35\t검증 세트 손실: 0.025168\t최선의 손실: 0.017249\t정확도: 99.30%\n", "36\t검증 세트 손실: 0.030527\t최선의 손실: 0.017249\t정확도: 99.18%\n", "37\t검증 세트 손실: 0.019591\t최선의 손실: 0.017249\t정확도: 99.45%\n", "38\t검증 세트 손실: 0.028311\t최선의 손실: 0.017249\t정확도: 99.30%\n", "39\t검증 세트 손실: 0.024483\t최선의 손실: 0.017249\t정확도: 99.37%\n", "40\t검증 세트 손실: 0.029645\t최선의 손실: 0.017249\t정확도: 99.41%\n", "41\t검증 세트 손실: 0.035375\t최선의 손실: 0.017249\t정확도: 99.10%\n", "42\t검증 세트 손실: 0.024481\t최선의 손실: 0.017249\t정확도: 99.41%\n", "43\t검증 세트 손실: 0.029758\t최선의 손실: 0.017249\t정확도: 99.41%\n", "44\t검증 세트 손실: 0.026199\t최선의 손실: 0.017249\t정확도: 99.45%\n", "45\t검증 세트 손실: 0.019230\t최선의 손실: 0.017249\t정확도: 99.45%\n", "46\t검증 세트 손실: 0.027141\t최선의 손실: 0.017249\t정확도: 99.26%\n", "47\t검증 세트 손실: 0.016805\t최선의 손실: 0.016805\t정확도: 99.37%\n", "48\t검증 세트 손실: 0.020508\t최선의 손실: 0.016805\t정확도: 99.49%\n", "49\t검증 세트 손실: 0.024762\t최선의 손실: 0.016805\t정확도: 99.34%\n", "50\t검증 세트 손실: 0.022606\t최선의 손실: 0.016805\t정확도: 99.41%\n", "51\t검증 세트 손실: 0.022523\t최선의 손실: 0.016805\t정확도: 99.34%\n", "52\t검증 세트 손실: 0.025148\t최선의 손실: 0.016805\t정확도: 99.34%\n", "53\t검증 세트 손실: 0.023977\t최선의 손실: 0.016805\t정확도: 99.37%\n", "54\t검증 세트 손실: 0.034416\t최선의 손실: 0.016805\t정확도: 99.41%\n", "55\t검증 세트 손실: 0.022136\t최선의 손실: 0.016805\t정확도: 99.41%\n", "56\t검증 세트 손실: 0.023997\t최선의 손실: 0.016805\t정확도: 99.49%\n", "57\t검증 세트 손실: 0.027638\t최선의 손실: 0.016805\t정확도: 99.26%\n", "58\t검증 세트 손실: 0.032656\t최선의 손실: 0.016805\t정확도: 99.26%\n", "59\t검증 세트 손실: 0.022491\t최선의 손실: 0.016805\t정확도: 99.49%\n", "60\t검증 세트 손실: 0.028398\t최선의 손실: 0.016805\t정확도: 99.30%\n", "61\t검증 세트 손실: 0.033312\t최선의 손실: 0.016805\t정확도: 99.22%\n", "62\t검증 세트 손실: 0.026057\t최선의 손실: 0.016805\t정확도: 99.41%\n", "63\t검증 세트 손실: 0.024146\t최선의 손실: 0.016805\t정확도: 99.34%\n", "64\t검증 세트 손실: 0.026982\t최선의 손실: 0.016805\t정확도: 99.22%\n", "65\t검증 세트 손실: 0.032204\t최선의 손실: 0.016805\t정확도: 99.30%\n", "66\t검증 세트 손실: 0.025495\t최선의 손실: 0.016805\t정확도: 99.49%\n", "67\t검증 세트 손실: 0.025491\t최선의 손실: 0.016805\t정확도: 99.30%\n", "68\t검증 세트 손실: 0.023835\t최선의 손실: 0.016805\t정확도: 99.37%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "RandomizedSearchCV(cv=3, error_score='raise-deprecating',\n", " estimator=DNNClassifier(activation=,\n", " batch_norm_momentum=None, batch_size=20, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=100,\n", " optimizer_class=,\n", " random_state=42),\n", " fit_params=None, iid='warn', n_iter=50, n_jobs=None,\n", " param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [, , .parametrized_leaky_relu at 0x7f8eb7dd3bf8>, .parametrized_leaky_relu at 0x7f8eb7dd36a8>], 'batch_norm_momentum': [0.9, 0.95, 0.98, 0.99, 0.999]},\n", " pre_dispatch='2*n_jobs', random_state=42, refit=True,\n", " return_train_score='warn', scoring=None, verbose=2)" ] }, "execution_count": 21, "metadata": {}, "output_type": "execute_result" } ], "source": [ "from sklearn.model_selection import RandomizedSearchCV\n", "\n", "param_distribs = {\n", " \"n_neurons\": [10, 30, 50, 70, 90, 100, 120, 140, 160],\n", " \"batch_size\": [10, 50, 100, 500],\n", " \"learning_rate\": [0.01, 0.02, 0.05, 0.1],\n", " \"activation\": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],\n", " # you could also try exploring different numbers of hidden layers, different optimizers, etc.\n", " #\"n_hidden_layers\": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],\n", " #\"optimizer_class\": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],\n", " \"batch_norm_momentum\": [0.9, 0.95, 0.98, 0.99, 0.999],\n", "}\n", "\n", "rnd_search_bn = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,\n", " random_state=42, verbose=2, cv=3)\n", "fit_params={\"X_valid\": X_valid1, \"y_valid\": y_valid1, \"n_epochs\": 1000}\n", "rnd_search_bn.fit(X_train1, y_train1, **fit_params)" ] }, { "cell_type": "code", "execution_count": 22, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "{'n_neurons': 160,\n", " 'learning_rate': 0.01,\n", " 'batch_size': 10,\n", " 'batch_norm_momentum': 0.98,\n", " 'activation': }" ] }, "execution_count": 22, "metadata": {}, "output_type": "execute_result" } ], "source": [ "rnd_search_bn.best_params_" ] }, { "cell_type": "code", "execution_count": 23, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9951352403191283" ] }, "execution_count": 23, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = rnd_search_bn.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이전보다 조금 더 나아졌습니다: 99.4% vs 99.3%. 드롭아웃이 더 나은지 확인해 보겠습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 8.5." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 모델이 훈련 세트에 과대적합되었나요? 모든 층에 드롭아웃을 적용하고 다시 시도해 보세요. 도움이 되었나요?_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "앞서 훈련한 최상의 모델로 다시 돌아가서 훈련 세트의 성능이 어떤지 확인해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 24, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9975033882587916" ] }, "execution_count": 24, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = dnn_clf.predict(X_train1)\n", "accuracy_score(y_train1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "테스트 세트에서 보다 훈련 세트에서 모델 성능이 확실히 더 높습니다(99.91% vs 99.32%). 훈련 세트에 과대적합되었다는 뜻입니다. 규제를 조금 추가하면 도움이 될 것 같습니다. 50% 비율로 드롭아웃을 적용해 보죠:" ] }, { "cell_type": "code", "execution_count": 25, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "WARNING:tensorflow:From :25: dropout (from tensorflow.python.layers.core) is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Use keras.layers.dropout instead.\n", "WARNING:tensorflow:From /home/haesun/anaconda3/envs/handson-ml/lib/python3.6/site-packages/tensorflow/python/keras/layers/core.py:143: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.\n", "Instructions for updating:\n", "Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`.\n", "0\t검증 세트 손실: 0.131488\t최선의 손실: 0.131488\t정확도: 96.60%\n", "1\t검증 세트 손실: 0.094731\t최선의 손실: 0.094731\t정확도: 97.19%\n", "2\t검증 세트 손실: 0.097389\t최선의 손실: 0.094731\t정확도: 97.30%\n", "3\t검증 세트 손실: 0.084932\t최선의 손실: 0.084932\t정확도: 97.97%\n", "4\t검증 세트 손실: 0.085275\t최선의 손실: 0.084932\t정확도: 97.69%\n", "5\t검증 세트 손실: 0.073620\t최선의 손실: 0.073620\t정확도: 98.05%\n", "6\t검증 세트 손실: 0.078074\t최선의 손실: 0.073620\t정확도: 97.97%\n", "7\t검증 세트 손실: 0.079028\t최선의 손실: 0.073620\t정확도: 98.05%\n", "8\t검증 세트 손실: 0.080165\t최선의 손실: 0.073620\t정확도: 97.58%\n", "9\t검증 세트 손실: 0.074161\t최선의 손실: 0.073620\t정확도: 97.97%\n", "10\t검증 세트 손실: 0.074321\t최선의 손실: 0.073620\t정확도: 97.69%\n", "11\t검증 세트 손실: 0.073048\t최선의 손실: 0.073048\t정확도: 98.08%\n", "12\t검증 세트 손실: 0.062737\t최선의 손실: 0.062737\t정확도: 98.32%\n", "13\t검증 세트 손실: 0.074568\t최선의 손실: 0.062737\t정확도: 97.93%\n", "14\t검증 세트 손실: 0.068363\t최선의 손실: 0.062737\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.066460\t최선의 손실: 0.062737\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.069441\t최선의 손실: 0.062737\t정확도: 98.16%\n", "17\t검증 세트 손실: 0.065432\t최선의 손실: 0.062737\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.061659\t최선의 손실: 0.061659\t정확도: 98.32%\n", "19\t검증 세트 손실: 0.060087\t최선의 손실: 0.060087\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.071255\t최선의 손실: 0.060087\t정확도: 98.20%\n", "21\t검증 세트 손실: 0.060911\t최선의 손실: 0.060087\t정확도: 98.36%\n", "22\t검증 세트 손실: 0.065604\t최선의 손실: 0.060087\t정확도: 98.32%\n", "23\t검증 세트 손실: 0.071746\t최선의 손실: 0.060087\t정확도: 98.28%\n", "24\t검증 세트 손실: 0.065701\t최선의 손실: 0.060087\t정확도: 98.36%\n", "25\t검증 세트 손실: 0.069983\t최선의 손실: 0.060087\t정확도: 98.36%\n", "26\t검증 세트 손실: 0.077029\t최선의 손실: 0.060087\t정확도: 98.24%\n", "27\t검증 세트 손실: 0.063965\t최선의 손실: 0.060087\t정확도: 98.28%\n", "28\t검증 세트 손실: 0.085406\t최선의 손실: 0.060087\t정확도: 97.97%\n", "29\t검증 세트 손실: 0.087187\t최선의 손실: 0.060087\t정확도: 97.69%\n", "30\t검증 세트 손실: 0.102603\t최선의 손실: 0.060087\t정확도: 97.85%\n", "31\t검증 세트 손실: 0.114200\t최선의 손실: 0.060087\t정확도: 97.03%\n", "32\t검증 세트 손실: 0.126789\t최선의 손실: 0.060087\t정확도: 96.44%\n", "33\t검증 세트 손실: 0.151051\t최선의 손실: 0.060087\t정확도: 97.62%\n", "34\t검증 세트 손실: 0.203365\t최선의 손실: 0.060087\t정확도: 92.61%\n", "35\t검증 세트 손실: 0.168363\t최선의 손실: 0.060087\t정확도: 95.74%\n", "36\t검증 세트 손실: 0.140396\t최선의 손실: 0.060087\t정확도: 96.09%\n", "37\t검증 세트 손실: 0.126834\t최선의 손실: 0.060087\t정확도: 96.52%\n", "38\t검증 세트 손실: 0.124527\t최선의 손실: 0.060087\t정확도: 96.64%\n", "39\t검증 세트 손실: 0.111701\t최선의 손실: 0.060087\t정확도: 97.50%\n", "40\t검증 세트 손실: 0.095861\t최선의 손실: 0.060087\t정확도: 97.42%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "DNNClassifier(activation=.parametrized_leaky_relu at 0x7f8eb7dd3ea0>,\n", " batch_norm_momentum=None, batch_size=500, dropout_rate=0.5,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=90,\n", " optimizer_class=,\n", " random_state=42)" ] }, "execution_count": 25, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn_clf_dropout = DNNClassifier(activation=leaky_relu(alpha=0.1), batch_size=500, learning_rate=0.01,\n", " n_neurons=90, random_state=42,\n", " dropout_rate=0.5)\n", "dnn_clf_dropout.fit(X_train1, y_train1, n_epochs=1000, X_valid=X_valid1, y_valid=y_valid1)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "에포크 23에서 최적의 파라미터에 도달했습니다. 드롭아웃이 조금 수렴을 느리게 합니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "정확도를 확인해 보죠:" ] }, { "cell_type": "code", "execution_count": 26, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9869624440552637" ] }, "execution_count": 26, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = dnn_clf_dropout.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "운이 없네요. 드롭아웃도 그 다지 도움이 되지 않습니다. 하이퍼파라미터를 튜닝해서 조금이라도 성능을 쥐어짤 수 있는지 확인해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 27, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Fitting 3 folds for each of 50 candidates, totalling 150 fits\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation= \n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.243407\t최선의 손실: 0.243407\t정확도: 93.75%\n", "1\t검증 세트 손실: 0.255027\t최선의 손실: 0.243407\t정확도: 94.92%\n", "2\t검증 세트 손실: 0.203923\t최선의 손실: 0.203923\t정확도: 95.90%\n", "3\t검증 세트 손실: 0.196361\t최선의 손실: 0.196361\t정확도: 95.70%\n", "4\t검증 세트 손실: 0.220463\t최선의 손실: 0.196361\t정확도: 95.31%\n", "5\t검증 세트 손실: 0.181717\t최선의 손실: 0.181717\t정확도: 95.90%\n", "6\t검증 세트 손실: 0.158813\t최선의 손실: 0.158813\t정확도: 96.13%\n", "7\t검증 세트 손실: 0.198998\t최선의 손실: 0.158813\t정확도: 96.09%\n", "8\t검증 세트 손실: 0.192713\t최선의 손실: 0.158813\t정확도: 96.09%\n", "9\t검증 세트 손실: 0.197851\t최선의 손실: 0.158813\t정확도: 96.21%\n", "10\t검증 세트 손실: 0.180147\t최선의 손실: 0.158813\t정확도: 95.82%\n", "11\t검증 세트 손실: 0.180937\t최선의 손실: 0.158813\t정확도: 95.54%\n", "12\t검증 세트 손실: 0.166912\t최선의 손실: 0.158813\t정확도: 95.93%\n", "13\t검증 세트 손실: 0.170969\t최선의 손실: 0.158813\t정확도: 96.25%\n", "14\t검증 세트 손실: 0.168775\t최선의 손실: 0.158813\t정확도: 96.76%\n", "15\t검증 세트 손실: 0.160710\t최선의 손실: 0.158813\t정확도: 96.44%\n", "16\t검증 세트 손실: 0.167544\t최선의 손실: 0.158813\t정확도: 96.64%\n", "17\t검증 세트 손실: 0.193535\t최선의 손실: 0.158813\t정확도: 96.72%\n", "18\t검증 세트 손실: 0.144471\t최선의 손실: 0.144471\t정확도: 96.95%\n", "19\t검증 세트 손실: 0.169433\t최선의 손실: 0.144471\t정확도: 96.44%\n", "20\t검증 세트 손실: 0.181593\t최선의 손실: 0.144471\t정확도: 96.68%\n", "21\t검증 세트 손실: 0.161441\t최선의 손실: 0.144471\t정확도: 96.29%\n", "22\t검증 세트 손실: 0.166475\t최선의 손실: 0.144471\t정확도: 97.03%\n", "23\t검증 세트 손실: 0.199328\t최선의 손실: 0.144471\t정확도: 96.68%\n", "24\t검증 세트 손실: 0.148803\t최선의 손실: 0.144471\t정확도: 96.60%\n", "25\t검증 세트 손실: 0.150837\t최선의 손실: 0.144471\t정확도: 96.79%\n", "26\t검증 세트 손실: 0.162011\t최선의 손실: 0.144471\t정확도: 96.44%\n", "27\t검증 세트 손실: 0.170883\t최선의 손실: 0.144471\t정확도: 97.07%\n", "28\t검증 세트 손실: 0.165333\t최선의 손실: 0.144471\t정확도: 96.79%\n", "29\t검증 세트 손실: 0.157528\t최선의 손실: 0.144471\t정확도: 96.76%\n", "30\t검증 세트 손실: 0.162051\t최선의 손실: 0.144471\t정확도: 96.72%\n", "31\t검증 세트 손실: 0.176431\t최선의 손실: 0.144471\t정확도: 96.52%\n", "32\t검증 세트 손실: 0.170918\t최선의 손실: 0.144471\t정확도: 96.44%\n", "33\t검증 세트 손실: 0.145790\t최선의 손실: 0.144471\t정확도: 96.83%\n", "34\t검증 세트 손실: 0.146826\t최선의 손실: 0.144471\t정확도: 96.56%\n", "35\t검증 세트 손실: 0.165535\t최선의 손실: 0.144471\t정확도: 97.11%\n", "36\t검증 세트 손실: 0.146277\t최선의 손실: 0.144471\t정확도: 96.64%\n", "37\t검증 세트 손실: 0.182208\t최선의 손실: 0.144471\t정확도: 96.52%\n", "38\t검증 세트 손실: 0.148948\t최선의 손실: 0.144471\t정확도: 96.76%\n", "39\t검증 세트 손실: 0.164194\t최선의 손실: 0.144471\t정확도: 96.33%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=, total= 13.7s\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation= \n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 13.8s remaining: 0.0s\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.236119\t최선의 손실: 0.236119\t정확도: 93.86%\n", "1\t검증 세트 손실: 0.216633\t최선의 손실: 0.216633\t정확도: 95.70%\n", "2\t검증 세트 손실: 0.199934\t최선의 손실: 0.199934\t정확도: 95.27%\n", "3\t검증 세트 손실: 0.187168\t최선의 손실: 0.187168\t정확도: 95.93%\n", "4\t검증 세트 손실: 0.160661\t최선의 손실: 0.160661\t정확도: 95.97%\n", "5\t검증 세트 손실: 0.190921\t최선의 손실: 0.160661\t정확도: 96.05%\n", "6\t검증 세트 손실: 0.196839\t최선의 손실: 0.160661\t정확도: 96.17%\n", "7\t검증 세트 손실: 0.203062\t최선의 손실: 0.160661\t정확도: 95.07%\n", "8\t검증 세트 손실: 0.172344\t최선의 손실: 0.160661\t정확도: 95.70%\n", "9\t검증 세트 손실: 0.170635\t최선의 손실: 0.160661\t정확도: 96.25%\n", "10\t검증 세트 손실: 0.209704\t최선의 손실: 0.160661\t정확도: 95.35%\n", "11\t검증 세트 손실: 0.159075\t최선의 손실: 0.159075\t정확도: 96.33%\n", "12\t검증 세트 손실: 0.167230\t최선의 손실: 0.159075\t정확도: 96.40%\n", "13\t검증 세트 손실: 0.149076\t최선의 손실: 0.149076\t정확도: 96.25%\n", "14\t검증 세트 손실: 0.169417\t최선의 손실: 0.149076\t정확도: 96.56%\n", "15\t검증 세트 손실: 0.194175\t최선의 손실: 0.149076\t정확도: 96.17%\n", "16\t검증 세트 손실: 0.181656\t최선의 손실: 0.149076\t정확도: 96.05%\n", "17\t검증 세트 손실: 0.241441\t최선의 손실: 0.149076\t정확도: 96.40%\n", "18\t검증 세트 손실: 0.186222\t최선의 손실: 0.149076\t정확도: 95.74%\n", "19\t검증 세트 손실: 0.178634\t최선의 손실: 0.149076\t정확도: 96.64%\n", "20\t검증 세트 손실: 0.162948\t최선의 손실: 0.149076\t정확도: 96.52%\n", "21\t검증 세트 손실: 0.152949\t최선의 손실: 0.149076\t정확도: 96.87%\n", "22\t검증 세트 손실: 0.155784\t최선의 손실: 0.149076\t정확도: 96.68%\n", "23\t검증 세트 손실: 0.194695\t최선의 손실: 0.149076\t정확도: 96.76%\n", "24\t검증 세트 손실: 0.165924\t최선의 손실: 0.149076\t정확도: 96.52%\n", "25\t검증 세트 손실: 0.176858\t최선의 손실: 0.149076\t정확도: 96.44%\n", "26\t검증 세트 손실: 0.192883\t최선의 손실: 0.149076\t정확도: 96.76%\n", "27\t검증 세트 손실: 0.144777\t최선의 손실: 0.144777\t정확도: 96.91%\n", "28\t검증 세트 손실: 0.156936\t최선의 손실: 0.144777\t정확도: 95.50%\n", "29\t검증 세트 손실: 0.274329\t최선의 손실: 0.144777\t정확도: 96.48%\n", "30\t검증 세트 손실: 0.196141\t최선의 손실: 0.144777\t정확도: 93.78%\n", "31\t검증 세트 손실: 0.174732\t최선의 손실: 0.144777\t정확도: 95.97%\n", "32\t검증 세트 손실: 0.199152\t최선의 손실: 0.144777\t정확도: 96.79%\n", "33\t검증 세트 손실: 0.174000\t최선의 손실: 0.144777\t정확도: 95.90%\n", "34\t검증 세트 손실: 0.475849\t최선의 손실: 0.144777\t정확도: 80.69%\n", "35\t검증 세트 손실: 0.204003\t최선의 손실: 0.144777\t정확도: 95.86%\n", "36\t검증 세트 손실: 0.178957\t최선의 손실: 0.144777\t정확도: 96.21%\n", "37\t검증 세트 손실: 0.166186\t최선의 손실: 0.144777\t정확도: 96.64%\n", "38\t검증 세트 손실: 0.187767\t최선의 손실: 0.144777\t정확도: 96.29%\n", "39\t검증 세트 손실: 0.225975\t최선의 손실: 0.144777\t정확도: 96.40%\n", "40\t검증 세트 손실: 0.167379\t최선의 손실: 0.144777\t정확도: 96.36%\n", "41\t검증 세트 손실: 0.159230\t최선의 손실: 0.144777\t정확도: 95.97%\n", "42\t검증 세트 손실: 0.152478\t최선의 손실: 0.144777\t정확도: 96.60%\n", "43\t검증 세트 손실: 0.180703\t최선의 손실: 0.144777\t정확도: 95.66%\n", "44\t검증 세트 손실: 0.151640\t최선의 손실: 0.144777\t정확도: 96.52%\n", "45\t검증 세트 손실: 0.151611\t최선의 손실: 0.144777\t정확도: 96.99%\n", "46\t검증 세트 손실: 0.166850\t최선의 손실: 0.144777\t정확도: 96.40%\n", "47\t검증 세트 손실: 0.171854\t최선의 손실: 0.144777\t정확도: 96.48%\n", "48\t검증 세트 손실: 0.154141\t최선의 손실: 0.144777\t정확도: 96.48%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=, total= 16.8s\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.263334\t최선의 손실: 0.263334\t정확도: 93.55%\n", "1\t검증 세트 손실: 0.249008\t최선의 손실: 0.249008\t정확도: 94.84%\n", "2\t검증 세트 손실: 0.223837\t최선의 손실: 0.223837\t정확도: 95.35%\n", "3\t검증 세트 손실: 0.157686\t최선의 손실: 0.157686\t정확도: 96.25%\n", "4\t검증 세트 손실: 0.193386\t최선의 손실: 0.157686\t정확도: 95.43%\n", "5\t검증 세트 손실: 0.180903\t최선의 손실: 0.157686\t정확도: 95.39%\n", "6\t검증 세트 손실: 0.177885\t최선의 손실: 0.157686\t정확도: 96.60%\n", "7\t검증 세트 손실: 0.180943\t최선의 손실: 0.157686\t정확도: 96.09%\n", "8\t검증 세트 손실: 0.145029\t최선의 손실: 0.145029\t정확도: 96.33%\n", "9\t검증 세트 손실: 0.153955\t최선의 손실: 0.145029\t정확도: 96.52%\n", "10\t검증 세트 손실: 0.172228\t최선의 손실: 0.145029\t정확도: 96.64%\n", "11\t검증 세트 손실: 0.140038\t최선의 손실: 0.140038\t정확도: 96.95%\n", "12\t검증 세트 손실: 0.165238\t최선의 손실: 0.140038\t정확도: 96.68%\n", "13\t검증 세트 손실: 0.165781\t최선의 손실: 0.140038\t정확도: 96.56%\n", "14\t검증 세트 손실: 0.156077\t최선의 손실: 0.140038\t정확도: 96.52%\n", "15\t검증 세트 손실: 0.179476\t최선의 손실: 0.140038\t정확도: 95.93%\n", "16\t검증 세트 손실: 0.158972\t최선의 손실: 0.140038\t정확도: 96.29%\n", "17\t검증 세트 손실: 0.193451\t최선의 손실: 0.140038\t정확도: 96.44%\n", "18\t검증 세트 손실: 0.164307\t최선의 손실: 0.140038\t정확도: 96.64%\n", "19\t검증 세트 손실: 0.141265\t최선의 손실: 0.140038\t정확도: 96.95%\n", "20\t검증 세트 손실: 0.181629\t최선의 손실: 0.140038\t정확도: 95.35%\n", "21\t검증 세트 손실: 0.154105\t최선의 손실: 0.140038\t정확도: 96.64%\n", "22\t검증 세트 손실: 0.177513\t최선의 손실: 0.140038\t정확도: 96.29%\n", "23\t검증 세트 손실: 0.167306\t최선의 손실: 0.140038\t정확도: 96.48%\n", "24\t검증 세트 손실: 0.161603\t최선의 손실: 0.140038\t정확도: 96.17%\n", "25\t검증 세트 손실: 0.167069\t최선의 손실: 0.140038\t정확도: 96.36%\n", "26\t검증 세트 손실: 0.163648\t최선의 손실: 0.140038\t정확도: 96.52%\n", "27\t검증 세트 손실: 0.152784\t최선의 손실: 0.140038\t정확도: 96.40%\n", "28\t검증 세트 손실: 0.156804\t최선의 손실: 0.140038\t정확도: 97.34%\n", "29\t검증 세트 손실: 0.138564\t최선의 손실: 0.138564\t정확도: 97.03%\n", "30\t검증 세트 손실: 0.170130\t최선의 손실: 0.138564\t정확도: 96.79%\n", "31\t검증 세트 손실: 0.146134\t최선의 손실: 0.138564\t정확도: 96.91%\n", "32\t검증 세트 손실: 0.142338\t최선의 손실: 0.138564\t정확도: 97.34%\n", "33\t검증 세트 손실: 0.162989\t최선의 손실: 0.138564\t정확도: 96.76%\n", "34\t검증 세트 손실: 0.165824\t최선의 손실: 0.138564\t정확도: 96.76%\n", "35\t검증 세트 손실: 0.153859\t최선의 손실: 0.138564\t정확도: 96.76%\n", "36\t검증 세트 손실: 0.137862\t최선의 손실: 0.137862\t정확도: 96.68%\n", "37\t검증 세트 손실: 0.137178\t최선의 손실: 0.137178\t정확도: 96.87%\n", "38\t검증 세트 손실: 0.151677\t최선의 손실: 0.137178\t정확도: 96.64%\n", "39\t검증 세트 손실: 0.159910\t최선의 손실: 0.137178\t정확도: 96.68%\n", "40\t검증 세트 손실: 0.148071\t최선의 손실: 0.137178\t정확도: 96.83%\n", "41\t검증 세트 손실: 0.135511\t최선의 손실: 0.135511\t정확도: 96.87%\n", "42\t검증 세트 손실: 0.151895\t최선의 손실: 0.135511\t정확도: 96.91%\n", "43\t검증 세트 손실: 0.146965\t최선의 손실: 0.135511\t정확도: 96.68%\n", "44\t검증 세트 손실: 0.180522\t최선의 손실: 0.135511\t정확도: 96.52%\n", "45\t검증 세트 손실: 0.172610\t최선의 손실: 0.135511\t정확도: 96.36%\n", "46\t검증 세트 손실: 0.157155\t최선의 손실: 0.135511\t정확도: 96.40%\n", "47\t검증 세트 손실: 0.149610\t최선의 손실: 0.135511\t정확도: 96.87%\n", "48\t검증 세트 손실: 0.135955\t최선의 손실: 0.135511\t정확도: 96.99%\n", "49\t검증 세트 손실: 0.146418\t최선의 손실: 0.135511\t정확도: 96.91%\n", "50\t검증 세트 손실: 0.146134\t최선의 손실: 0.135511\t정확도: 96.76%\n", "51\t검증 세트 손실: 0.137357\t최선의 손실: 0.135511\t정확도: 96.68%\n", "52\t검증 세트 손실: 0.129451\t최선의 손실: 0.129451\t정확도: 97.03%\n", "53\t검증 세트 손실: 0.133175\t최선의 손실: 0.129451\t정확도: 97.22%\n", "54\t검증 세트 손실: 0.148331\t최선의 손실: 0.129451\t정확도: 97.11%\n", "55\t검증 세트 손실: 0.158449\t최선의 손실: 0.129451\t정확도: 96.40%\n", "56\t검증 세트 손실: 0.168455\t최선의 손실: 0.129451\t정확도: 96.72%\n", "57\t검증 세트 손실: 0.131678\t최선의 손실: 0.129451\t정확도: 96.99%\n", "58\t검증 세트 손실: 0.160106\t최선의 손실: 0.129451\t정확도: 96.52%\n", "59\t검증 세트 손실: 0.153292\t최선의 손실: 0.129451\t정확도: 96.44%\n", "60\t검증 세트 손실: 0.176675\t최선의 손실: 0.129451\t정확도: 96.60%\n", "61\t검증 세트 손실: 0.151004\t최선의 손실: 0.129451\t정확도: 96.64%\n", "62\t검증 세트 손실: 0.143016\t최선의 손실: 0.129451\t정확도: 96.48%\n", "63\t검증 세트 손실: 0.178128\t최선의 손실: 0.129451\t정확도: 96.99%\n", "64\t검증 세트 손실: 0.139133\t최선의 손실: 0.129451\t정확도: 97.22%\n", "65\t검증 세트 손실: 0.166608\t최선의 손실: 0.129451\t정확도: 97.26%\n", "66\t검증 세트 손실: 0.140046\t최선의 손실: 0.129451\t정확도: 97.03%\n", "67\t검증 세트 손실: 0.169108\t최선의 손실: 0.129451\t정확도: 97.22%\n", "68\t검증 세트 손실: 0.158628\t최선의 손실: 0.129451\t정확도: 97.22%\n", "69\t검증 세트 손실: 0.163780\t최선의 손실: 0.129451\t정확도: 96.99%\n", "70\t검증 세트 손실: 0.144399\t최선의 손실: 0.129451\t정확도: 97.34%\n", "71\t검증 세트 손실: 0.165777\t최선의 손실: 0.129451\t정확도: 97.19%\n", "72\t검증 세트 손실: 0.169067\t최선의 손실: 0.129451\t정확도: 96.95%\n", "73\t검증 세트 손실: 0.144544\t최선의 손실: 0.129451\t정확도: 96.99%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=, total= 24.8s\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.582171\t최선의 손실: 1.582171\t정확도: 49.77%\n", "1\t검증 세트 손실: 1.151708\t최선의 손실: 1.151708\t정확도: 51.99%\n", "2\t검증 세트 손실: 155.315353\t최선의 손실: 1.151708\t정확도: 20.88%\n", "3\t검증 세트 손실: 72.578972\t최선의 손실: 1.151708\t정확도: 19.08%\n", "4\t검증 세트 손실: 109.377968\t최선의 손실: 1.151708\t정확도: 19.08%\n", "5\t검증 세트 손실: 82.581329\t최선의 손실: 1.151708\t정확도: 27.52%\n", "6\t검증 세트 손실: 7.902594\t최선의 손실: 1.151708\t정확도: 46.48%\n", "7\t검증 세트 손실: 4.051972\t최선의 손실: 1.151708\t정확도: 38.19%\n", "8\t검증 세트 손실: 4.041609\t최선의 손실: 1.151708\t정확도: 35.57%\n", "9\t검증 세트 손실: 3.804320\t최선의 손실: 1.151708\t정확도: 35.50%\n", "10\t검증 세트 손실: 2.253343\t최선의 손실: 1.151708\t정확도: 35.22%\n", "11\t검증 세트 손실: 3.031901\t최선의 손실: 1.151708\t정확도: 29.05%\n", "12\t검증 세트 손실: 6.052897\t최선의 손실: 1.151708\t정확도: 25.84%\n", "13\t검증 세트 손실: 3.611439\t최선의 손실: 1.151708\t정확도: 36.00%\n", "14\t검증 세트 손실: 126.169716\t최선의 손실: 1.151708\t정확도: 20.91%\n", "15\t검증 세트 손실: 149.748505\t최선의 손실: 1.151708\t정확도: 20.09%\n", "16\t검증 세트 손실: 45.176731\t최선의 손실: 1.151708\t정확도: 29.98%\n", "17\t검증 세트 손실: 45.355976\t최선의 손실: 1.151708\t정확도: 22.40%\n", "18\t검증 세트 손실: 32.884800\t최선의 손실: 1.151708\t정확도: 29.12%\n", "19\t검증 세트 손실: 272.762207\t최선의 손실: 1.151708\t정확도: 36.79%\n", "20\t검증 세트 손실: 37.233311\t최선의 손실: 1.151708\t정확도: 37.57%\n", "21\t검증 세트 손실: 40.652634\t최선의 손실: 1.151708\t정확도: 26.11%\n", "22\t검증 세트 손실: 97.122192\t최선의 손실: 1.151708\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 35.3s\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.726338\t최선의 손실: 0.726338\t정확도: 69.27%\n", "1\t검증 세트 손실: 2.134341\t최선의 손실: 0.726338\t정확도: 36.79%\n", "2\t검증 세트 손실: 4.003036\t최선의 손실: 0.726338\t정확도: 35.14%\n", "3\t검증 세트 손실: 2.525405\t최선의 손실: 0.726338\t정확도: 29.20%\n", "4\t검증 세트 손실: 2.124594\t최선의 손실: 0.726338\t정확도: 38.12%\n", "5\t검증 세트 손실: 2.139598\t최선의 손실: 0.726338\t정확도: 36.55%\n", "6\t검증 세트 손실: 2.671932\t최선의 손실: 0.726338\t정확도: 31.16%\n", "7\t검증 세트 손실: 23.034058\t최선의 손실: 0.726338\t정확도: 19.00%\n", "8\t검증 세트 손실: 11.460063\t최선의 손실: 0.726338\t정확도: 35.77%\n", "9\t검증 세트 손실: 33.906136\t최선의 손실: 0.726338\t정확도: 42.73%\n", "10\t검증 세트 손실: 29.545448\t최선의 손실: 0.726338\t정확도: 42.92%\n", "11\t검증 세트 손실: 17.567888\t최선의 손실: 0.726338\t정확도: 43.90%\n", "12\t검증 세트 손실: 10.342208\t최선의 손실: 0.726338\t정확도: 48.40%\n", "13\t검증 세트 손실: 19.733105\t최선의 손실: 0.726338\t정확도: 45.54%\n", "14\t검증 세트 손실: 848.238098\t최선의 손실: 0.726338\t정확도: 23.77%\n", "15\t검증 세트 손실: 40485708.000000\t최선의 손실: 0.726338\t정확도: 31.90%\n", "16\t검증 세트 손실: 62.481564\t최선의 손실: 0.726338\t정확도: 36.28%\n", "17\t검증 세트 손실: 246014.468750\t최선의 손실: 0.726338\t정확도: 46.36%\n", "18\t검증 세트 손실: 158.004318\t최선의 손실: 0.726338\t정확도: 27.56%\n", "19\t검증 세트 손실: 72.535065\t최선의 손실: 0.726338\t정확도: 44.14%\n", "20\t검증 세트 손실: 98.867401\t최선의 손실: 0.726338\t정확도: 32.02%\n", "21\t검증 세트 손실: 46.850311\t최선의 손실: 0.726338\t정확도: 44.18%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 33.7s\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.140878\t최선의 손실: 1.140878\t정확도: 46.60%\n", "1\t검증 세트 손실: 1.869088\t최선의 손실: 1.140878\t정확도: 19.43%\n", "2\t검증 세트 손실: 7.628696\t최선의 손실: 1.140878\t정확도: 30.53%\n", "3\t검증 세트 손실: 4.266023\t최선의 손실: 1.140878\t정확도: 32.84%\n", "4\t검증 세트 손실: 4.310674\t최선의 손실: 1.140878\t정확도: 22.17%\n", "5\t검증 세트 손실: 146.068024\t최선의 손실: 1.140878\t정확도: 20.88%\n", "6\t검증 세트 손실: 163.747635\t최선의 손실: 1.140878\t정확도: 19.19%\n", "7\t검증 세트 손실: 156.746262\t최선의 손실: 1.140878\t정확도: 18.73%\n", "8\t검증 세트 손실: 38.106918\t최선의 손실: 1.140878\t정확도: 20.33%\n", "9\t검증 세트 손실: 172.823700\t최선의 손실: 1.140878\t정확도: 19.39%\n", "10\t검증 세트 손실: 86.558952\t최선의 손실: 1.140878\t정확도: 22.95%\n", "11\t검증 세트 손실: 20.423763\t최선의 손실: 1.140878\t정확도: 28.62%\n", "12\t검증 세트 손실: 7.518995\t최선의 손실: 1.140878\t정확도: 34.17%\n", "13\t검증 세트 손실: 4.147361\t최선의 손실: 1.140878\t정확도: 30.61%\n", "14\t검증 세트 손실: 37.642620\t최선의 손실: 1.140878\t정확도: 19.62%\n", "15\t검증 세트 손실: 3.981414\t최선의 손실: 1.140878\t정확도: 32.68%\n", "16\t검증 세트 손실: 2.022980\t최선의 손실: 1.140878\t정확도: 35.57%\n", "17\t검증 세트 손실: 3.040367\t최선의 손실: 1.140878\t정확도: 28.85%\n", "18\t검증 세트 손실: 2.217006\t최선의 손실: 1.140878\t정확도: 33.93%\n", "19\t검증 세트 손실: 1989.403809\t최선의 손실: 1.140878\t정확도: 29.20%\n", "20\t검증 세트 손실: 1451873.625000\t최선의 손실: 1.140878\t정확도: 23.46%\n", "21\t검증 세트 손실: 854.924072\t최선의 손실: 1.140878\t정확도: 35.61%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 33.8s\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.142826\t최선의 손실: 0.142826\t정확도: 96.09%\n", "1\t검증 세트 손실: 0.110069\t최선의 손실: 0.110069\t정확도: 96.48%\n", "2\t검증 세트 손실: 0.125393\t최선의 손실: 0.110069\t정확도: 96.17%\n", "3\t검증 세트 손실: 0.101717\t최선의 손실: 0.101717\t정확도: 97.15%\n", "4\t검증 세트 손실: 0.108409\t최선의 손실: 0.101717\t정확도: 97.26%\n", "5\t검증 세트 손실: 0.112753\t최선의 손실: 0.101717\t정확도: 97.34%\n", "6\t검증 세트 손실: 0.099972\t최선의 손실: 0.099972\t정확도: 97.54%\n", "7\t검증 세트 손실: 0.101330\t최선의 손실: 0.099972\t정확도: 97.54%\n", "8\t검증 세트 손실: 0.096126\t최선의 손실: 0.096126\t정확도: 97.54%\n", "9\t검증 세트 손실: 0.098552\t최선의 손실: 0.096126\t정확도: 97.77%\n", "10\t검증 세트 손실: 0.095507\t최선의 손실: 0.095507\t정확도: 97.77%\n", "11\t검증 세트 손실: 0.098553\t최선의 손실: 0.095507\t정확도: 97.54%\n", "12\t검증 세트 손실: 0.115934\t최선의 손실: 0.095507\t정확도: 97.34%\n", "13\t검증 세트 손실: 0.112044\t최선의 손실: 0.095507\t정확도: 97.22%\n", "14\t검증 세트 손실: 0.091969\t최선의 손실: 0.091969\t정확도: 97.89%\n", "15\t검증 세트 손실: 0.101041\t최선의 손실: 0.091969\t정확도: 97.81%\n", "16\t검증 세트 손실: 0.103099\t최선의 손실: 0.091969\t정확도: 97.81%\n", "17\t검증 세트 손실: 0.103376\t최선의 손실: 0.091969\t정확도: 97.54%\n", "18\t검증 세트 손실: 0.106857\t최선의 손실: 0.091969\t정확도: 97.46%\n", "19\t검증 세트 손실: 0.088826\t최선의 손실: 0.088826\t정확도: 97.97%\n", "20\t검증 세트 손실: 0.089221\t최선의 손실: 0.088826\t정확도: 97.73%\n", "21\t검증 세트 손실: 0.099655\t최선의 손실: 0.088826\t정확도: 97.77%\n", "22\t검증 세트 손실: 0.121409\t최선의 손실: 0.088826\t정확도: 97.42%\n", "23\t검증 세트 손실: 0.105110\t최선의 손실: 0.088826\t정확도: 97.81%\n", "24\t검증 세트 손실: 0.110320\t최선의 손실: 0.088826\t정확도: 97.85%\n", "25\t검증 세트 손실: 0.090649\t최선의 손실: 0.088826\t정확도: 97.97%\n", "26\t검증 세트 손실: 0.108253\t최선의 손실: 0.088826\t정확도: 97.69%\n", "27\t검증 세트 손실: 0.094905\t최선의 손실: 0.088826\t정확도: 97.89%\n", "28\t검증 세트 손실: 0.091894\t최선의 손실: 0.088826\t정확도: 98.32%\n", "29\t검증 세트 손실: 0.101371\t최선의 손실: 0.088826\t정확도: 98.01%\n", "30\t검증 세트 손실: 0.109967\t최선의 손실: 0.088826\t정확도: 97.65%\n", "31\t검증 세트 손실: 0.107810\t최선의 손실: 0.088826\t정확도: 97.93%\n", "32\t검증 세트 손실: 0.103988\t최선의 손실: 0.088826\t정확도: 98.01%\n", "33\t검증 세트 손실: 0.122428\t최선의 손실: 0.088826\t정확도: 97.50%\n", "34\t검증 세트 손실: 0.111297\t최선의 손실: 0.088826\t정확도: 97.89%\n", "35\t검증 세트 손실: 0.094884\t최선의 손실: 0.088826\t정확도: 97.93%\n", "36\t검증 세트 손실: 0.123136\t최선의 손실: 0.088826\t정확도: 97.38%\n", "37\t검증 세트 손실: 0.104457\t최선의 손실: 0.088826\t정확도: 97.81%\n", "38\t검증 세트 손실: 0.096983\t최선의 손실: 0.088826\t정확도: 97.89%\n", "39\t검증 세트 손실: 0.127980\t최선의 손실: 0.088826\t정확도: 97.34%\n", "40\t검증 세트 손실: 0.110746\t최선의 손실: 0.088826\t정확도: 97.42%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 15.5s\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.138377\t최선의 손실: 0.138377\t정확도: 96.09%\n", "1\t검증 세트 손실: 0.112197\t최선의 손실: 0.112197\t정확도: 96.68%\n", "2\t검증 세트 손실: 0.096669\t최선의 손실: 0.096669\t정확도: 97.26%\n", "3\t검증 세트 손실: 0.111878\t최선의 손실: 0.096669\t정확도: 97.11%\n", "4\t검증 세트 손실: 0.105066\t최선의 손실: 0.096669\t정확도: 97.22%\n", "5\t검증 세트 손실: 0.095145\t최선의 손실: 0.095145\t정확도: 97.54%\n", "6\t검증 세트 손실: 0.097483\t최선의 손실: 0.095145\t정확도: 97.42%\n", "7\t검증 세트 손실: 0.086298\t최선의 손실: 0.086298\t정확도: 97.19%\n", "8\t검증 세트 손실: 0.096887\t최선의 손실: 0.086298\t정확도: 97.69%\n", "9\t검증 세트 손실: 0.097257\t최선의 손실: 0.086298\t정확도: 97.93%\n", "10\t검증 세트 손실: 0.103297\t최선의 손실: 0.086298\t정확도: 97.73%\n", "11\t검증 세트 손실: 0.111873\t최선의 손실: 0.086298\t정확도: 97.58%\n", "12\t검증 세트 손실: 0.095670\t최선의 손실: 0.086298\t정확도: 97.81%\n", "13\t검증 세트 손실: 0.089020\t최선의 손실: 0.086298\t정확도: 97.73%\n", "14\t검증 세트 손실: 0.095531\t최선의 손실: 0.086298\t정확도: 97.73%\n", "15\t검증 세트 손실: 0.103666\t최선의 손실: 0.086298\t정확도: 97.15%\n", "16\t검증 세트 손실: 0.085213\t최선의 손실: 0.085213\t정확도: 97.62%\n", "17\t검증 세트 손실: 0.092838\t최선의 손실: 0.085213\t정확도: 97.89%\n", "18\t검증 세트 손실: 0.114233\t최선의 손실: 0.085213\t정확도: 97.62%\n", "19\t검증 세트 손실: 0.096423\t최선의 손실: 0.085213\t정확도: 97.58%\n", "20\t검증 세트 손실: 0.096008\t최선의 손실: 0.085213\t정확도: 97.50%\n", "21\t검증 세트 손실: 0.111685\t최선의 손실: 0.085213\t정확도: 97.62%\n", "22\t검증 세트 손실: 0.095064\t최선의 손실: 0.085213\t정확도: 97.97%\n", "23\t검증 세트 손실: 0.098398\t최선의 손실: 0.085213\t정확도: 97.65%\n", "24\t검증 세트 손실: 0.110576\t최선의 손실: 0.085213\t정확도: 97.62%\n", "25\t검증 세트 손실: 0.101083\t최선의 손실: 0.085213\t정확도: 97.93%\n", "26\t검증 세트 손실: 0.098931\t최선의 손실: 0.085213\t정확도: 97.46%\n", "27\t검증 세트 손실: 0.125703\t최선의 손실: 0.085213\t정확도: 97.73%\n", "28\t검증 세트 손실: 0.096798\t최선의 손실: 0.085213\t정확도: 97.65%\n", "29\t검증 세트 손실: 0.086050\t최선의 손실: 0.085213\t정확도: 97.81%\n", "30\t검증 세트 손실: 0.078593\t최선의 손실: 0.078593\t정확도: 97.81%\n", "31\t검증 세트 손실: 0.086371\t최선의 손실: 0.078593\t정확도: 97.97%\n", "32\t검증 세트 손실: 0.147152\t최선의 손실: 0.078593\t정확도: 97.81%\n", "33\t검증 세트 손실: 0.107413\t최선의 손실: 0.078593\t정확도: 97.81%\n", "34\t검증 세트 손실: 0.100956\t최선의 손실: 0.078593\t정확도: 97.42%\n", "35\t검증 세트 손실: 0.090278\t최선의 손실: 0.078593\t정확도: 97.81%\n", "36\t검증 세트 손실: 0.086650\t최선의 손실: 0.078593\t정확도: 98.01%\n", "37\t검증 세트 손실: 0.101900\t최선의 손실: 0.078593\t정확도: 98.08%\n", "38\t검증 세트 손실: 0.097090\t최선의 손실: 0.078593\t정확도: 97.73%\n", "39\t검증 세트 손실: 0.093581\t최선의 손실: 0.078593\t정확도: 97.97%\n", "40\t검증 세트 손실: 0.105617\t최선의 손실: 0.078593\t정확도: 97.30%\n", "41\t검증 세트 손실: 0.138000\t최선의 손실: 0.078593\t정확도: 97.58%\n", "42\t검증 세트 손실: 0.090949\t최선의 손실: 0.078593\t정확도: 97.54%\n", "43\t검증 세트 손실: 0.085400\t최선의 손실: 0.078593\t정확도: 97.89%\n", "44\t검증 세트 손실: 0.084653\t최선의 손실: 0.078593\t정확도: 98.12%\n", "45\t검증 세트 손실: 0.095247\t최선의 손실: 0.078593\t정확도: 97.93%\n", "46\t검증 세트 손실: 0.095189\t최선의 손실: 0.078593\t정확도: 97.58%\n", "47\t검증 세트 손실: 0.095354\t최선의 손실: 0.078593\t정확도: 97.65%\n", "48\t검증 세트 손실: 0.074692\t최선의 손실: 0.074692\t정확도: 98.40%\n", "49\t검증 세트 손실: 0.093420\t최선의 손실: 0.074692\t정확도: 97.81%\n", "50\t검증 세트 손실: 0.104623\t최선의 손실: 0.074692\t정확도: 97.93%\n", "51\t검증 세트 손실: 0.126653\t최선의 손실: 0.074692\t정확도: 97.58%\n", "52\t검증 세트 손실: 0.112866\t최선의 손실: 0.074692\t정확도: 97.89%\n", "53\t검증 세트 손실: 0.086006\t최선의 손실: 0.074692\t정확도: 97.89%\n", "54\t검증 세트 손실: 0.110493\t최선의 손실: 0.074692\t정확도: 97.73%\n", "55\t검증 세트 손실: 0.088127\t최선의 손실: 0.074692\t정확도: 98.08%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "56\t검증 세트 손실: 0.082930\t최선의 손실: 0.074692\t정확도: 98.08%\n", "57\t검증 세트 손실: 0.119933\t최선의 손실: 0.074692\t정확도: 98.05%\n", "58\t검증 세트 손실: 0.117539\t최선의 손실: 0.074692\t정확도: 97.85%\n", "59\t검증 세트 손실: 0.118173\t최선의 손실: 0.074692\t정확도: 97.77%\n", "60\t검증 세트 손실: 0.118790\t최선의 손실: 0.074692\t정확도: 97.15%\n", "61\t검증 세트 손실: 0.099093\t최선의 손실: 0.074692\t정확도: 97.77%\n", "62\t검증 세트 손실: 0.122232\t최선의 손실: 0.074692\t정확도: 97.69%\n", "63\t검증 세트 손실: 0.117030\t최선의 손실: 0.074692\t정확도: 97.97%\n", "64\t검증 세트 손실: 0.102323\t최선의 손실: 0.074692\t정확도: 97.69%\n", "65\t검증 세트 손실: 0.099137\t최선의 손실: 0.074692\t정확도: 97.97%\n", "66\t검증 세트 손실: 0.098242\t최선의 손실: 0.074692\t정확도: 97.77%\n", "67\t검증 세트 손실: 0.102002\t최선의 손실: 0.074692\t정확도: 98.05%\n", "68\t검증 세트 손실: 0.172630\t최선의 손실: 0.074692\t정확도: 96.83%\n", "69\t검증 세트 손실: 0.107051\t최선의 손실: 0.074692\t정확도: 97.54%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 25.9s\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.120433\t최선의 손실: 0.120433\t정확도: 96.72%\n", "1\t검증 세트 손실: 0.106432\t최선의 손실: 0.106432\t정확도: 96.79%\n", "2\t검증 세트 손실: 0.096031\t최선의 손실: 0.096031\t정확도: 97.50%\n", "3\t검증 세트 손실: 0.083559\t최선의 손실: 0.083559\t정확도: 97.85%\n", "4\t검증 세트 손실: 0.091560\t최선의 손실: 0.083559\t정확도: 97.73%\n", "5\t검증 세트 손실: 0.102056\t최선의 손실: 0.083559\t정확도: 97.34%\n", "6\t검증 세트 손실: 0.088507\t최선의 손실: 0.083559\t정확도: 97.73%\n", "7\t검증 세트 손실: 0.095846\t최선의 손실: 0.083559\t정확도: 97.73%\n", "8\t검증 세트 손실: 0.089872\t최선의 손실: 0.083559\t정확도: 97.65%\n", "9\t검증 세트 손실: 0.081075\t최선의 손실: 0.081075\t정확도: 97.89%\n", "10\t검증 세트 손실: 0.103843\t최선의 손실: 0.081075\t정확도: 97.85%\n", "11\t검증 세트 손실: 0.102655\t최선의 손실: 0.081075\t정확도: 97.93%\n", "12\t검증 세트 손실: 0.088839\t최선의 손실: 0.081075\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.097328\t최선의 손실: 0.081075\t정확도: 97.73%\n", "14\t검증 세트 손실: 0.122675\t최선의 손실: 0.081075\t정확도: 97.62%\n", "15\t검증 세트 손실: 0.097767\t최선의 손실: 0.081075\t정확도: 97.58%\n", "16\t검증 세트 손실: 0.100721\t최선의 손실: 0.081075\t정확도: 97.85%\n", "17\t검증 세트 손실: 0.087700\t최선의 손실: 0.081075\t정확도: 98.05%\n", "18\t검증 세트 손실: 0.081884\t최선의 손실: 0.081075\t정확도: 98.05%\n", "19\t검증 세트 손실: 0.083509\t최선의 손실: 0.081075\t정확도: 97.97%\n", "20\t검증 세트 손실: 0.092576\t최선의 손실: 0.081075\t정확도: 97.81%\n", "21\t검증 세트 손실: 0.086037\t최선의 손실: 0.081075\t정확도: 98.28%\n", "22\t검증 세트 손실: 0.091740\t최선의 손실: 0.081075\t정확도: 98.08%\n", "23\t검증 세트 손실: 0.096869\t최선의 손실: 0.081075\t정확도: 98.01%\n", "24\t검증 세트 손실: 0.137502\t최선의 손실: 0.081075\t정확도: 97.11%\n", "25\t검증 세트 손실: 0.101138\t최선의 손실: 0.081075\t정확도: 98.12%\n", "26\t검증 세트 손실: 0.098529\t최선의 손실: 0.081075\t정확도: 98.24%\n", "27\t검증 세트 손실: 0.080971\t최선의 손실: 0.080971\t정확도: 98.32%\n", "28\t검증 세트 손실: 0.141041\t최선의 손실: 0.080971\t정확도: 97.89%\n", "29\t검증 세트 손실: 0.094648\t최선의 손실: 0.080971\t정확도: 97.93%\n", "30\t검증 세트 손실: 0.105079\t최선의 손실: 0.080971\t정확도: 97.89%\n", "31\t검증 세트 손실: 0.111014\t최선의 손실: 0.080971\t정확도: 97.89%\n", "32\t검증 세트 손실: 0.093638\t최선의 손실: 0.080971\t정확도: 98.05%\n", "33\t검증 세트 손실: 0.094502\t최선의 손실: 0.080971\t정확도: 98.12%\n", "34\t검증 세트 손실: 0.092405\t최선의 손실: 0.080971\t정확도: 97.89%\n", "35\t검증 세트 손실: 0.125714\t최선의 손실: 0.080971\t정확도: 97.85%\n", "36\t검증 세트 손실: 0.097753\t최선의 손실: 0.080971\t정확도: 97.89%\n", "37\t검증 세트 손실: 0.085523\t최선의 손실: 0.080971\t정확도: 98.01%\n", "38\t검증 세트 손실: 0.112209\t최선의 손실: 0.080971\t정확도: 97.77%\n", "39\t검증 세트 손실: 0.118353\t최선의 손실: 0.080971\t정확도: 97.65%\n", "40\t검증 세트 손실: 0.091459\t최선의 손실: 0.080971\t정확도: 97.93%\n", "41\t검증 세트 손실: 0.086964\t최선의 손실: 0.080971\t정확도: 98.05%\n", "42\t검증 세트 손실: 0.087786\t최선의 손실: 0.080971\t정확도: 98.05%\n", "43\t검증 세트 손실: 0.087973\t최선의 손실: 0.080971\t정확도: 97.89%\n", "44\t검증 세트 손실: 0.109529\t최선의 손실: 0.080971\t정확도: 97.69%\n", "45\t검증 세트 손실: 0.107771\t최선의 손실: 0.080971\t정확도: 97.65%\n", "46\t검증 세트 손실: 0.092784\t최선의 손실: 0.080971\t정확도: 97.93%\n", "47\t검증 세트 손실: 0.095767\t최선의 손실: 0.080971\t정확도: 97.77%\n", "48\t검증 세트 손실: 0.103374\t최선의 손실: 0.080971\t정확도: 98.08%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.3, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 18.5s\n", "[CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 2.173371\t최선의 손실: 2.173371\t정확도: 19.19%\n", "1\t검증 세트 손실: 5.935885\t최선의 손실: 2.173371\t정확도: 26.74%\n", "2\t검증 세트 손실: 13.280955\t최선의 손실: 2.173371\t정확도: 19.19%\n", "3\t검증 세트 손실: 119.245346\t최선의 손실: 2.173371\t정확도: 33.23%\n", "4\t검증 세트 손실: 369.138092\t최선의 손실: 2.173371\t정확도: 22.01%\n", "5\t검증 세트 손실: 186.514374\t최선의 손실: 2.173371\t정확도: 19.08%\n", "6\t검증 세트 손실: 2119.540283\t최선의 손실: 2.173371\t정확도: 22.01%\n", "7\t검증 세트 손실: 1400.322144\t최선의 손실: 2.173371\t정확도: 20.91%\n", "8\t검증 세트 손실: 2341.029053\t최선의 손실: 2.173371\t정확도: 19.27%\n", "9\t검증 세트 손실: 296.818817\t최선의 손실: 2.173371\t정확도: 20.45%\n", "10\t검증 세트 손실: 471.802734\t최선의 손실: 2.173371\t정확도: 19.27%\n", "11\t검증 세트 손실: 1317.346313\t최선의 손실: 2.173371\t정확도: 18.73%\n", "12\t검증 세트 손실: 631.466064\t최선의 손실: 2.173371\t정확도: 20.91%\n", "13\t검증 세트 손실: 747.865723\t최선의 손실: 2.173371\t정확도: 19.27%\n", "14\t검증 세트 손실: 1045.155151\t최선의 손실: 2.173371\t정확도: 18.73%\n", "15\t검증 세트 손실: 1558.876953\t최선의 손실: 2.173371\t정확도: 18.73%\n", "16\t검증 세트 손실: 3793.668945\t최선의 손실: 2.173371\t정확도: 19.08%\n", "17\t검증 세트 손실: 1578.548584\t최선의 손실: 2.173371\t정확도: 19.27%\n", "18\t검증 세트 손실: 10435.750000\t최선의 손실: 2.173371\t정확도: 22.01%\n", "19\t검증 세트 손실: 6177.995117\t최선의 손실: 2.173371\t정확도: 20.91%\n", "20\t검증 세트 손실: 2116.525879\t최선의 손실: 2.173371\t정확도: 22.01%\n", "21\t검증 세트 손실: 2644.907715\t최선의 손실: 2.173371\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 47.4s\n", "[CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.497750\t최선의 손실: 1.497750\t정확도: 26.78%\n", "1\t검증 세트 손실: 36.597828\t최선의 손실: 1.497750\t정확도: 20.91%\n", "2\t검증 세트 손실: 8.265285\t최선의 손실: 1.497750\t정확도: 31.74%\n", "3\t검증 세트 손실: 156.557175\t최선의 손실: 1.497750\t정확도: 21.70%\n", "4\t검증 세트 손실: 96.661263\t최선의 손실: 1.497750\t정확도: 18.73%\n", "5\t검증 세트 손실: 410.983185\t최선의 손실: 1.497750\t정확도: 22.01%\n", "6\t검증 세트 손실: 434.165558\t최선의 손실: 1.497750\t정확도: 20.21%\n", "7\t검증 세트 손실: 997.760071\t최선의 손실: 1.497750\t정확도: 18.73%\n", "8\t검증 세트 손실: 473.623932\t최선의 손실: 1.497750\t정확도: 18.73%\n", "9\t검증 세트 손실: 449.200073\t최선의 손실: 1.497750\t정확도: 20.91%\n", "10\t검증 세트 손실: 1324.540161\t최선의 손실: 1.497750\t정확도: 19.08%\n", "11\t검증 세트 손실: 740.141052\t최선의 손실: 1.497750\t정확도: 33.03%\n", "12\t검증 세트 손실: 366.545776\t최선의 손실: 1.497750\t정확도: 20.91%\n", "13\t검증 세트 손실: 729.833374\t최선의 손실: 1.497750\t정확도: 20.91%\n", "14\t검증 세트 손실: 365.127594\t최선의 손실: 1.497750\t정확도: 19.27%\n", "15\t검증 세트 손실: 1925.278198\t최선의 손실: 1.497750\t정확도: 22.01%\n", "16\t검증 세트 손실: 504.790985\t최선의 손실: 1.497750\t정확도: 25.76%\n", "17\t검증 세트 손실: 608.443237\t최선의 손실: 1.497750\t정확도: 21.46%\n", "18\t검증 세트 손실: 610.694397\t최선의 손실: 1.497750\t정확도: 22.01%\n", "19\t검증 세트 손실: 701.057617\t최선의 손실: 1.497750\t정확도: 19.27%\n", "20\t검증 세트 손실: 1379.886475\t최선의 손실: 1.497750\t정확도: 18.73%\n", "21\t검증 세트 손실: 3606.700439\t최선의 손실: 1.497750\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 47.7s\n", "[CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.689465\t최선의 손실: 1.689465\t정확도: 26.08%\n", "1\t검증 세트 손실: 1.526288\t최선의 손실: 1.526288\t정확도: 27.13%\n", "2\t검증 세트 손실: 1.603400\t최선의 손실: 1.526288\t정확도: 26.43%\n", "3\t검증 세트 손실: 17.401201\t최선의 손실: 1.526288\t정확도: 21.62%\n", "4\t검증 세트 손실: 18.572851\t최선의 손실: 1.526288\t정확도: 19.27%\n", "5\t검증 세트 손실: 7.612484\t최선의 손실: 1.526288\t정확도: 28.34%\n", "6\t검증 세트 손실: 209.711960\t최선의 손실: 1.526288\t정확도: 19.27%\n", "7\t검증 세트 손실: 414.601654\t최선의 손실: 1.526288\t정확도: 19.27%\n", "8\t검증 세트 손실: 279.320892\t최선의 손실: 1.526288\t정확도: 19.08%\n", "9\t검증 세트 손실: 1158.043335\t최선의 손실: 1.526288\t정확도: 19.27%\n", "10\t검증 세트 손실: 1236.016724\t최선의 손실: 1.526288\t정확도: 19.62%\n", "11\t검증 세트 손실: 526.501892\t최선의 손실: 1.526288\t정확도: 19.27%\n", "12\t검증 세트 손실: 1936.550659\t최선의 손실: 1.526288\t정확도: 20.91%\n", "13\t검증 세트 손실: 613.101074\t최선의 손실: 1.526288\t정확도: 22.01%\n", "14\t검증 세트 손실: 8387.942383\t최선의 손실: 1.526288\t정확도: 19.08%\n", "15\t검증 세트 손실: 1045.954102\t최선의 손실: 1.526288\t정확도: 20.91%\n", "16\t검증 세트 손실: 861.547607\t최선의 손실: 1.526288\t정확도: 19.66%\n", "17\t검증 세트 손실: 503.101105\t최선의 손실: 1.526288\t정확도: 19.27%\n", "18\t검증 세트 손실: 966.030762\t최선의 손실: 1.526288\t정확도: 20.91%\n", "19\t검증 세트 손실: 2495.006836\t최선의 손실: 1.526288\t정확도: 20.91%\n", "20\t검증 세트 손실: 23884.449219\t최선의 손실: 1.526288\t정확도: 19.08%\n", "21\t검증 세트 손실: 2632.070557\t최선의 손실: 1.526288\t정확도: 22.01%\n", "22\t검증 세트 손실: 1536.640747\t최선의 손실: 1.526288\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.02, dropout_rate=0.6, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 49.9s\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.104798\t최선의 손실: 0.104798\t정확도: 96.95%\n", "1\t검증 세트 손실: 0.101154\t최선의 손실: 0.101154\t정확도: 97.30%\n", "2\t검증 세트 손실: 0.228525\t최선의 손실: 0.101154\t정확도: 94.72%\n", "3\t검증 세트 손실: 0.667494\t최선의 손실: 0.101154\t정확도: 76.04%\n", "4\t검증 세트 손실: 1.706908\t최선의 손실: 0.101154\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.615506\t최선의 손실: 0.101154\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.680179\t최선의 손실: 0.101154\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.642053\t최선의 손실: 0.101154\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.696119\t최선의 손실: 0.101154\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.833418\t최선의 손실: 0.101154\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.662700\t최선의 손실: 0.101154\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.667100\t최선의 손실: 0.101154\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.620204\t최선의 손실: 0.101154\t정확도: 18.73%\n", "13\t검증 세트 손실: 1.614124\t최선의 손실: 0.101154\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.647199\t최선의 손실: 0.101154\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.663431\t최선의 손실: 0.101154\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.655900\t최선의 손실: 0.101154\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.668748\t최선의 손실: 0.101154\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.657857\t최선의 손실: 0.101154\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.642132\t최선의 손실: 0.101154\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.678111\t최선의 손실: 0.101154\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.632577\t최선의 손실: 0.101154\t정확도: 19.08%\n", "22\t검증 세트 손실: 1.630560\t최선의 손실: 0.101154\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=, total= 10.8s\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.109578\t최선의 손실: 0.109578\t정확도: 96.95%\n", "1\t검증 세트 손실: 0.162719\t최선의 손실: 0.109578\t정확도: 95.62%\n", "2\t검증 세트 손실: 0.131056\t최선의 손실: 0.109578\t정확도: 97.38%\n", "3\t검증 세트 손실: 1.630863\t최선의 손실: 0.109578\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.671597\t최선의 손실: 0.109578\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.646002\t최선의 손실: 0.109578\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.704840\t최선의 손실: 0.109578\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.628270\t최선의 손실: 0.109578\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.646619\t최선의 손실: 0.109578\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.650979\t최선의 손실: 0.109578\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.670362\t최선의 손실: 0.109578\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.614667\t최선의 손실: 0.109578\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.656286\t최선의 손실: 0.109578\t정확도: 19.27%\n", "13\t검증 세트 손실: 1.619233\t최선의 손실: 0.109578\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.677331\t최선의 손실: 0.109578\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.642921\t최선의 손실: 0.109578\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.663656\t최선의 손실: 0.109578\t정확도: 19.27%\n", "17\t검증 세트 손실: 1.725934\t최선의 손실: 0.109578\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.684647\t최선의 손실: 0.109578\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.631547\t최선의 손실: 0.109578\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.675130\t최선의 손실: 0.109578\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.631392\t최선의 손실: 0.109578\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=, total= 10.3s\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.177972\t최선의 손실: 0.177972\t정확도: 96.99%\n", "1\t검증 세트 손실: 0.171112\t최선의 손실: 0.171112\t정확도: 96.60%\n", "2\t검증 세트 손실: 1.830882\t최선의 손실: 0.171112\t정확도: 63.10%\n", "3\t검증 세트 손실: 1.436730\t최선의 손실: 0.171112\t정확도: 30.84%\n", "4\t검증 세트 손실: 1.649388\t최선의 손실: 0.171112\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.660385\t최선의 손실: 0.171112\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.713613\t최선의 손실: 0.171112\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.624412\t최선의 손실: 0.171112\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.653913\t최선의 손실: 0.171112\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.666126\t최선의 손실: 0.171112\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.639940\t최선의 손실: 0.171112\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.658648\t최선의 손실: 0.171112\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.626172\t최선의 손실: 0.171112\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.648625\t최선의 손실: 0.171112\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.659790\t최선의 손실: 0.171112\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.629048\t최선의 손실: 0.171112\t정확도: 20.91%\n", "16\t검증 세트 손실: 1.689126\t최선의 손실: 0.171112\t정확도: 19.27%\n", "17\t검증 세트 손실: 1.659083\t최선의 손실: 0.171112\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.679037\t최선의 손실: 0.171112\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.666294\t최선의 손실: 0.171112\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.645135\t최선의 손실: 0.171112\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.651052\t최선의 손실: 0.171112\t정확도: 18.73%\n", "22\t검증 세트 손실: 1.658760\t최선의 손실: 0.171112\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.2, batch_size=100, activation=, total= 10.8s\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.865099\t최선의 손실: 1.865099\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.660313\t최선의 손실: 1.660313\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.616919\t최선의 손실: 1.616919\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.645893\t최선의 손실: 1.616919\t정확도: 20.91%\n", "4\t검증 세트 손실: 1.931572\t최선의 손실: 1.616919\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.778994\t최선의 손실: 1.616919\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.896741\t최선의 손실: 1.616919\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.680382\t최선의 손실: 1.616919\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.719547\t최선의 손실: 1.616919\t정확도: 20.91%\n", "9\t검증 세트 손실: 1.665380\t최선의 손실: 1.616919\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.653249\t최선의 손실: 1.616919\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.670080\t최선의 손실: 1.616919\t정확도: 19.08%\n", "12\t검증 세트 손실: 1.854004\t최선의 손실: 1.616919\t정확도: 18.73%\n", "13\t검증 세트 손실: 1.856432\t최선의 손실: 1.616919\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.801293\t최선의 손실: 1.616919\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.789495\t최선의 손실: 1.616919\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.734476\t최선의 손실: 1.616919\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.658652\t최선의 손실: 1.616919\t정확도: 22.01%\n", "18\t검증 세트 손실: 1.751367\t최선의 손실: 1.616919\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.764642\t최선의 손실: 1.616919\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.642606\t최선의 손실: 1.616919\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.704285\t최선의 손실: 1.616919\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.611895\t최선의 손실: 1.611895\t정확도: 20.91%\n", "23\t검증 세트 손실: 1.879470\t최선의 손실: 1.611895\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.656120\t최선의 손실: 1.611895\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.772173\t최선의 손실: 1.611895\t정확도: 19.27%\n", "26\t검증 세트 손실: 1.718619\t최선의 손실: 1.611895\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.793210\t최선의 손실: 1.611895\t정확도: 19.27%\n", "28\t검증 세트 손실: 1.768647\t최선의 손실: 1.611895\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.673147\t최선의 손실: 1.611895\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.739072\t최선의 손실: 1.611895\t정확도: 18.73%\n", "31\t검증 세트 손실: 1.699776\t최선의 손실: 1.611895\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.809762\t최선의 손실: 1.611895\t정확도: 18.73%\n", "33\t검증 세트 손실: 1.902088\t최선의 손실: 1.611895\t정확도: 22.01%\n", "34\t검증 세트 손실: 1.686188\t최선의 손실: 1.611895\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.886989\t최선의 손실: 1.611895\t정확도: 19.08%\n", "36\t검증 세트 손실: 1.854727\t최선의 손실: 1.611895\t정확도: 18.73%\n", "37\t검증 세트 손실: 1.918147\t최선의 손실: 1.611895\t정확도: 18.73%\n", "38\t검증 세트 손실: 1.878027\t최선의 손실: 1.611895\t정확도: 18.73%\n", "39\t검증 세트 손실: 1.667329\t최선의 손실: 1.611895\t정확도: 19.08%\n", "40\t검증 세트 손실: 1.713687\t최선의 손실: 1.611895\t정확도: 19.27%\n", "41\t검증 세트 손실: 1.797632\t최선의 손실: 1.611895\t정확도: 20.91%\n", "42\t검증 세트 손실: 1.887038\t최선의 손실: 1.611895\t정확도: 18.73%\n", "43\t검증 세트 손실: 1.700333\t최선의 손실: 1.611895\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=, total= 18.5s\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.682803\t최선의 손실: 1.682803\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.768046\t최선의 손실: 1.682803\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.637231\t최선의 손실: 1.637231\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.653128\t최선의 손실: 1.637231\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.652554\t최선의 손실: 1.637231\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.723134\t최선의 손실: 1.637231\t정확도: 18.73%\n", "6\t검증 세트 손실: 1.792011\t최선의 손실: 1.637231\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.749579\t최선의 손실: 1.637231\t정확도: 19.08%\n", "8\t검증 세트 손실: 2.010732\t최선의 손실: 1.637231\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.813846\t최선의 손실: 1.637231\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.654687\t최선의 손실: 1.637231\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.714334\t최선의 손실: 1.637231\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.669636\t최선의 손실: 1.637231\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.638858\t최선의 손실: 1.637231\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.887638\t최선의 손실: 1.637231\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.753949\t최선의 손실: 1.637231\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.661238\t최선의 손실: 1.637231\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.646747\t최선의 손실: 1.637231\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.732024\t최선의 손실: 1.637231\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.686299\t최선의 손실: 1.637231\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.701739\t최선의 손실: 1.637231\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.644206\t최선의 손실: 1.637231\t정확도: 22.01%\n", "22\t검증 세트 손실: 2.086400\t최선의 손실: 1.637231\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.699455\t최선의 손실: 1.637231\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=, total= 10.4s\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.744854\t최선의 손실: 1.744854\t정확도: 19.27%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 1.657864\t최선의 손실: 1.657864\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.641618\t최선의 손실: 1.641618\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.755400\t최선의 손실: 1.641618\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.817480\t최선의 손실: 1.641618\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.792703\t최선의 손실: 1.641618\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.891527\t최선의 손실: 1.641618\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.762612\t최선의 손실: 1.641618\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.669894\t최선의 손실: 1.641618\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.675891\t최선의 손실: 1.641618\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.645706\t최선의 손실: 1.641618\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.657387\t최선의 손실: 1.641618\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.763025\t최선의 손실: 1.641618\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.684360\t최선의 손실: 1.641618\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.719132\t최선의 손실: 1.641618\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.721597\t최선의 손실: 1.641618\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.903619\t최선의 손실: 1.641618\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.647764\t최선의 손실: 1.641618\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.645608\t최선의 손실: 1.641618\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.780857\t최선의 손실: 1.641618\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.776921\t최선의 손실: 1.641618\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.948766\t최선의 손실: 1.641618\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.793597\t최선의 손실: 1.641618\t정확도: 20.91%\n", "23\t검증 세트 손실: 1.661946\t최선의 손실: 1.641618\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=, total= 10.3s\n", "[CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.141949\t최선의 손실: 0.141949\t정확도: 96.56%\n", "1\t검증 세트 손실: 0.126684\t최선의 손실: 0.126684\t정확도: 96.52%\n", "2\t검증 세트 손실: 0.130976\t최선의 손실: 0.126684\t정확도: 96.60%\n", "3\t검증 세트 손실: 0.558533\t최선의 손실: 0.126684\t정확도: 79.44%\n", "4\t검증 세트 손실: 1.728862\t최선의 손실: 0.126684\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.617120\t최선의 손실: 0.126684\t정확도: 18.73%\n", "6\t검증 세트 손실: 1.662627\t최선의 손실: 0.126684\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.643536\t최선의 손실: 0.126684\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.712054\t최선의 손실: 0.126684\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.681369\t최선의 손실: 0.126684\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.632987\t최선의 손실: 0.126684\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.628688\t최선의 손실: 0.126684\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.616813\t최선의 손실: 0.126684\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.608775\t최선의 손실: 0.126684\t정확도: 20.91%\n", "14\t검증 세트 손실: 1.646052\t최선의 손실: 0.126684\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.625076\t최선의 손실: 0.126684\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.633790\t최선의 손실: 0.126684\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.628804\t최선의 손실: 0.126684\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.687539\t최선의 손실: 0.126684\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.624918\t최선의 손실: 0.126684\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.651340\t최선의 손실: 0.126684\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.650467\t최선의 손실: 0.126684\t정확도: 19.08%\n", "22\t검증 세트 손실: 1.635323\t최선의 손실: 0.126684\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=, total= 8.3s\n", "[CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.171370\t최선의 손실: 0.171370\t정확도: 94.21%\n", "1\t검증 세트 손실: 0.131455\t최선의 손실: 0.131455\t정확도: 96.40%\n", "2\t검증 세트 손실: 0.173689\t최선의 손실: 0.131455\t정확도: 96.36%\n", "3\t검증 세트 손실: 0.226345\t최선의 손실: 0.131455\t정확도: 94.21%\n", "4\t검증 세트 손실: 1.649104\t최선의 손실: 0.131455\t정확도: 26.78%\n", "5\t검증 세트 손실: 1.554979\t최선의 손실: 0.131455\t정확도: 25.06%\n", "6\t검증 세트 손실: 1.632400\t최선의 손실: 0.131455\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.621897\t최선의 손실: 0.131455\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.638175\t최선의 손실: 0.131455\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.694768\t최선의 손실: 0.131455\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.610337\t최선의 손실: 0.131455\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.639666\t최선의 손실: 0.131455\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.628599\t최선의 손실: 0.131455\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.652869\t최선의 손실: 0.131455\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.636169\t최선의 손실: 0.131455\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.630626\t최선의 손실: 0.131455\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.617635\t최선의 손실: 0.131455\t정확도: 19.27%\n", "17\t검증 세트 손실: 1.649866\t최선의 손실: 0.131455\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.686366\t최선의 손실: 0.131455\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.631828\t최선의 손실: 0.131455\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.641173\t최선의 손실: 0.131455\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.695496\t최선의 손실: 0.131455\t정확도: 18.73%\n", "22\t검증 세트 손실: 1.622477\t최선의 손실: 0.131455\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=, total= 8.5s\n", "[CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.166116\t최선의 손실: 0.166116\t정확도: 96.05%\n", "1\t검증 세트 손실: 0.117534\t최선의 손실: 0.117534\t정확도: 97.50%\n", "2\t검증 세트 손실: 1.145071\t최선의 손실: 0.117534\t정확도: 56.25%\n", "3\t검증 세트 손실: 0.565803\t최선의 손실: 0.117534\t정확도: 90.77%\n", "4\t검증 세트 손실: 0.576492\t최선의 손실: 0.117534\t정확도: 85.07%\n", "5\t검증 세트 손실: 0.428664\t최선의 손실: 0.117534\t정확도: 84.87%\n", "6\t검증 세트 손실: 0.521473\t최선의 손실: 0.117534\t정확도: 91.79%\n", "7\t검증 세트 손실: 0.412709\t최선의 손실: 0.117534\t정확도: 83.42%\n", "8\t검증 세트 손실: 1.646892\t최선의 손실: 0.117534\t정확도: 30.41%\n", "9\t검증 세트 손실: 1.125405\t최선의 손실: 0.117534\t정확도: 53.95%\n", "10\t검증 세트 손실: 1.398233\t최선의 손실: 0.117534\t정확도: 35.22%\n", "11\t검증 세트 손실: 1.375721\t최선의 손실: 0.117534\t정확도: 32.88%\n", "12\t검증 세트 손실: 1.419793\t최선의 손실: 0.117534\t정확도: 33.89%\n", "13\t검증 세트 손실: 1.373900\t최선의 손실: 0.117534\t정확도: 33.50%\n", "14\t검증 세트 손실: 1.374898\t최선의 손실: 0.117534\t정확도: 32.60%\n", "15\t검증 세트 손실: 1.411434\t최선의 손실: 0.117534\t정확도: 35.65%\n", "16\t검증 세트 손실: 1.452308\t최선의 손실: 0.117534\t정확도: 34.60%\n", "17\t검증 세트 손실: 1.329412\t최선의 손실: 0.117534\t정확도: 36.28%\n", "18\t검증 세트 손실: 1.235046\t최선의 손실: 0.117534\t정확도: 43.55%\n", "19\t검증 세트 손실: 0.992405\t최선의 손실: 0.117534\t정확도: 54.69%\n", "20\t검증 세트 손실: 1.002814\t최선의 손실: 0.117534\t정확도: 50.59%\n", "21\t검증 세트 손실: 1.620565\t최선의 손실: 0.117534\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.625199\t최선의 손실: 0.117534\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=, total= 8.3s\n", "[CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 2244.366943\t최선의 손실: 2244.366943\t정확도: 22.01%\n", "1\t검증 세트 손실: 1166.410889\t최선의 손실: 1166.410889\t정확도: 18.73%\n", "2\t검증 세트 손실: 2054.206055\t최선의 손실: 1166.410889\t정확도: 18.73%\n", "3\t검증 세트 손실: 9255.349609\t최선의 손실: 1166.410889\t정확도: 19.39%\n", "4\t검증 세트 손실: 565.155457\t최선의 손실: 565.155457\t정확도: 19.27%\n", "5\t검증 세트 손실: 4568.393066\t최선의 손실: 565.155457\t정확도: 22.01%\n", "6\t검증 세트 손실: 17177.595703\t최선의 손실: 565.155457\t정확도: 20.91%\n", "7\t검증 세트 손실: 3098.054199\t최선의 손실: 565.155457\t정확도: 20.21%\n", "8\t검증 세트 손실: 3184.219238\t최선의 손실: 565.155457\t정확도: 19.27%\n", "9\t검증 세트 손실: 3489.875244\t최선의 손실: 565.155457\t정확도: 19.08%\n", "10\t검증 세트 손실: 1113.309082\t최선의 손실: 565.155457\t정확도: 19.12%\n", "11\t검증 세트 손실: 22417.595703\t최선의 손실: 565.155457\t정확도: 18.73%\n", "12\t검증 세트 손실: 3505.947510\t최선의 손실: 565.155457\t정확도: 18.73%\n", "13\t검증 세트 손실: 1388.206299\t최선의 손실: 565.155457\t정확도: 22.01%\n", "14\t검증 세트 손실: 649.634216\t최선의 손실: 565.155457\t정확도: 25.14%\n", "15\t검증 세트 손실: 21035.757812\t최선의 손실: 565.155457\t정확도: 22.01%\n", "16\t검증 세트 손실: 21804.646484\t최선의 손실: 565.155457\t정확도: 19.08%\n", "17\t검증 세트 손실: 1229.158569\t최선의 손실: 565.155457\t정확도: 19.27%\n", "18\t검증 세트 손실: 545.768921\t최선의 손실: 545.768921\t정확도: 34.48%\n", "19\t검증 세트 손실: 1285.673218\t최선의 손실: 545.768921\t정확도: 20.91%\n", "20\t검증 세트 손실: 20325.154297\t최선의 손실: 545.768921\t정확도: 18.73%\n", "21\t검증 세트 손실: 34865.136719\t최선의 손실: 545.768921\t정확도: 18.73%\n", "22\t검증 세트 손실: 6547.852051\t최선의 손실: 545.768921\t정확도: 18.73%\n", "23\t검증 세트 손실: 87904.875000\t최선의 손실: 545.768921\t정확도: 19.08%\n", "24\t검증 세트 손실: 10977.407227\t최선의 손실: 545.768921\t정확도: 18.73%\n", "25\t검증 세트 손실: 8387.966797\t최선의 손실: 545.768921\t정확도: 19.74%\n", "26\t검증 세트 손실: 6322.511230\t최선의 손실: 545.768921\t정확도: 19.08%\n", "27\t검증 세트 손실: 4162.924316\t최선의 손실: 545.768921\t정확도: 18.73%\n", "28\t검증 세트 손실: 2749.933350\t최선의 손실: 545.768921\t정확도: 19.08%\n", "29\t검증 세트 손실: 64814.011719\t최선의 손실: 545.768921\t정확도: 19.08%\n", "30\t검증 세트 손실: 7561.943848\t최선의 손실: 545.768921\t정확도: 22.01%\n", "31\t검증 세트 손실: 24473.794922\t최선의 손실: 545.768921\t정확도: 19.08%\n", "32\t검증 세트 손실: 1312.929077\t최선의 손실: 545.768921\t정확도: 19.23%\n", "33\t검증 세트 손실: 3162.003418\t최선의 손실: 545.768921\t정확도: 18.73%\n", "34\t검증 세트 손실: 7639.241699\t최선의 손실: 545.768921\t정확도: 19.35%\n", "35\t검증 세트 손실: 5994.944336\t최선의 손실: 545.768921\t정확도: 19.43%\n", "36\t검증 세트 손실: 5554.598145\t최선의 손실: 545.768921\t정확도: 26.66%\n", "37\t검증 세트 손실: 1063.483032\t최선의 손실: 545.768921\t정확도: 37.69%\n", "38\t검증 세트 손실: 552.741760\t최선의 손실: 545.768921\t정확도: 20.99%\n", "39\t검증 세트 손실: 262.229950\t최선의 손실: 262.229950\t정확도: 21.89%\n", "40\t검증 세트 손실: 8254.829102\t최선의 손실: 262.229950\t정확도: 22.01%\n", "41\t검증 세트 손실: 65882.398438\t최선의 손실: 262.229950\t정확도: 20.91%\n", "42\t검증 세트 손실: 2077.446533\t최선의 손실: 262.229950\t정확도: 35.26%\n", "43\t검증 세트 손실: 1612.593994\t최선의 손실: 262.229950\t정확도: 19.08%\n", "44\t검증 세트 손실: 14055.774414\t최선의 손실: 262.229950\t정확도: 20.91%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "45\t검증 세트 손실: 6291.634277\t최선의 손실: 262.229950\t정확도: 18.73%\n", "46\t검증 세트 손실: 2089.875977\t최선의 손실: 262.229950\t정확도: 37.26%\n", "47\t검증 세트 손실: 704.166687\t최선의 손실: 262.229950\t정확도: 38.70%\n", "48\t검증 세트 손실: 164.550095\t최선의 손실: 164.550095\t정확도: 40.77%\n", "49\t검증 세트 손실: 82606.757812\t최선의 손실: 164.550095\t정확도: 22.01%\n", "50\t검증 세트 손실: 131882.781250\t최선의 손실: 164.550095\t정확도: 18.73%\n", "51\t검증 세트 손실: 16279.516602\t최선의 손실: 164.550095\t정확도: 18.73%\n", "52\t검증 세트 손실: 4790.073730\t최선의 손실: 164.550095\t정확도: 30.49%\n", "53\t검증 세트 손실: 4526.384766\t최선의 손실: 164.550095\t정확도: 19.27%\n", "54\t검증 세트 손실: 5449.810059\t최선의 손실: 164.550095\t정확도: 22.01%\n", "55\t검증 세트 손실: 8246.930664\t최선의 손실: 164.550095\t정확도: 19.12%\n", "56\t검증 세트 손실: 2233.813477\t최선의 손실: 164.550095\t정확도: 20.48%\n", "57\t검증 세트 손실: 623.569153\t최선의 손실: 164.550095\t정확도: 33.23%\n", "58\t검증 세트 손실: 464.717468\t최선의 손실: 164.550095\t정확도: 32.02%\n", "59\t검증 세트 손실: 11798.859375\t최선의 손실: 164.550095\t정확도: 20.95%\n", "60\t검증 세트 손실: 13815.285156\t최선의 손실: 164.550095\t정확도: 18.73%\n", "61\t검증 세트 손실: 6550.103027\t최선의 손실: 164.550095\t정확도: 22.01%\n", "62\t검증 세트 손실: 582.241882\t최선의 손실: 164.550095\t정확도: 29.48%\n", "63\t검증 세트 손실: 2768.331543\t최선의 손실: 164.550095\t정확도: 20.91%\n", "64\t검증 세트 손실: 3529.916260\t최선의 손실: 164.550095\t정확도: 20.91%\n", "65\t검증 세트 손실: 3487.936768\t최선의 손실: 164.550095\t정확도: 30.73%\n", "66\t검증 세트 손실: 2687.539307\t최선의 손실: 164.550095\t정확도: 34.56%\n", "67\t검증 세트 손실: 55092.414062\t최선의 손실: 164.550095\t정확도: 22.01%\n", "68\t검증 세트 손실: 27680.390625\t최선의 손실: 164.550095\t정확도: 20.91%\n", "69\t검증 세트 손실: 4641.223633\t최선의 손실: 164.550095\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 1.5min\n", "[CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 497.498230\t최선의 손실: 497.498230\t정확도: 20.91%\n", "1\t검증 세트 손실: 176.522339\t최선의 손실: 176.522339\t정확도: 19.31%\n", "2\t검증 세트 손실: 25345.107422\t최선의 손실: 176.522339\t정확도: 20.91%\n", "3\t검증 세트 손실: 20897.871094\t최선의 손실: 176.522339\t정확도: 20.95%\n", "4\t검증 세트 손실: 4062.438232\t최선의 손실: 176.522339\t정확도: 20.91%\n", "5\t검증 세트 손실: 6652.385254\t최선의 손실: 176.522339\t정확도: 21.38%\n", "6\t검증 세트 손실: 15457.022461\t최선의 손실: 176.522339\t정확도: 21.81%\n", "7\t검증 세트 손실: 3074.515137\t최선의 손실: 176.522339\t정확도: 19.23%\n", "8\t검증 세트 손실: 363.516907\t최선의 손실: 176.522339\t정확도: 18.76%\n", "9\t검증 세트 손실: 5798.158203\t최선의 손실: 176.522339\t정확도: 22.01%\n", "10\t검증 세트 손실: 13790.171875\t최선의 손실: 176.522339\t정확도: 19.08%\n", "11\t검증 세트 손실: 2380.692871\t최선의 손실: 176.522339\t정확도: 20.68%\n", "12\t검증 세트 손실: 18937.101562\t최선의 손실: 176.522339\t정확도: 20.91%\n", "13\t검증 세트 손실: 5968.674805\t최선의 손실: 176.522339\t정확도: 20.91%\n", "14\t검증 세트 손실: 24916.808594\t최선의 손실: 176.522339\t정확도: 19.27%\n", "15\t검증 세트 손실: 11106.250977\t최선의 손실: 176.522339\t정확도: 19.12%\n", "16\t검증 세트 손실: 14251.086914\t최선의 손실: 176.522339\t정확도: 22.05%\n", "17\t검증 세트 손실: 27427.599609\t최선의 손실: 176.522339\t정확도: 20.91%\n", "18\t검증 세트 손실: 7653.763672\t최선의 손실: 176.522339\t정확도: 22.01%\n", "19\t검증 세트 손실: 32323.162109\t최선의 손실: 176.522339\t정확도: 20.91%\n", "20\t검증 세트 손실: 91933.156250\t최선의 손실: 176.522339\t정확도: 18.73%\n", "21\t검증 세트 손실: 6970.839844\t최선의 손실: 176.522339\t정확도: 22.05%\n", "22\t검증 세트 손실: 43651.890625\t최선의 손실: 176.522339\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 29.4s\n", "[CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 6701.937500\t최선의 손실: 6701.937500\t정확도: 18.73%\n", "1\t검증 세트 손실: 1433.635864\t최선의 손실: 1433.635864\t정확도: 19.19%\n", "2\t검증 세트 손실: 76.057518\t최선의 손실: 76.057518\t정확도: 19.86%\n", "3\t검증 세트 손실: 38.445351\t최선의 손실: 38.445351\t정확도: 31.82%\n", "4\t검증 세트 손실: 11400.890625\t최선의 손실: 38.445351\t정확도: 19.08%\n", "5\t검증 세트 손실: 12358.267578\t최선의 손실: 38.445351\t정확도: 19.27%\n", "6\t검증 세트 손실: 5403.491211\t최선의 손실: 38.445351\t정확도: 19.27%\n", "7\t검증 세트 손실: 9940.262695\t최선의 손실: 38.445351\t정확도: 19.08%\n", "8\t검증 세트 손실: 2610.953125\t최선의 손실: 38.445351\t정확도: 19.27%\n", "9\t검증 세트 손실: 400374.312500\t최선의 손실: 38.445351\t정확도: 18.73%\n", "10\t검증 세트 손실: 21818.662109\t최선의 손실: 38.445351\t정확도: 18.73%\n", "11\t검증 세트 손실: 1312.091187\t최선의 손실: 38.445351\t정확도: 22.99%\n", "12\t검증 세트 손실: 1608.504639\t최선의 손실: 38.445351\t정확도: 19.43%\n", "13\t검증 세트 손실: 2046.536011\t최선의 손실: 38.445351\t정확도: 19.08%\n", "14\t검증 세트 손실: 1461.278809\t최선의 손실: 38.445351\t정확도: 18.73%\n", "15\t검증 세트 손실: 2537.042725\t최선의 손실: 38.445351\t정확도: 18.73%\n", "16\t검증 세트 손실: 23562.437500\t최선의 손실: 38.445351\t정확도: 18.73%\n", "17\t검증 세트 손실: 24169.664062\t최선의 손실: 38.445351\t정확도: 20.91%\n", "18\t검증 세트 손실: 1344.659790\t최선의 손실: 38.445351\t정확도: 18.73%\n", "19\t검증 세트 손실: 1203.428833\t최선의 손실: 38.445351\t정확도: 18.73%\n", "20\t검증 세트 손실: 1639.103638\t최선의 손실: 38.445351\t정확도: 23.77%\n", "21\t검증 세트 손실: 22627.021484\t최선의 손실: 38.445351\t정확도: 18.73%\n", "22\t검증 세트 손실: 14227.097656\t최선의 손실: 38.445351\t정확도: 20.91%\n", "23\t검증 세트 손실: 813.329529\t최선의 손실: 38.445351\t정확도: 20.76%\n", "24\t검증 세트 손실: 25147.031250\t최선의 손실: 38.445351\t정확도: 22.05%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 32.1s\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.378505\t최선의 손실: 0.378505\t정확도: 79.01%\n", "1\t검증 세트 손실: 0.397977\t최선의 손실: 0.378505\t정확도: 79.36%\n", "2\t검증 세트 손실: 0.359068\t최선의 손실: 0.359068\t정확도: 85.50%\n", "3\t검증 세트 손실: 0.234362\t최선의 손실: 0.234362\t정확도: 94.25%\n", "4\t검증 세트 손실: 0.276820\t최선의 손실: 0.234362\t정확도: 94.88%\n", "5\t검증 세트 손실: 0.274045\t최선의 손실: 0.234362\t정확도: 94.72%\n", "6\t검증 세트 손실: 0.260528\t최선의 손실: 0.234362\t정확도: 95.19%\n", "7\t검증 세트 손실: 0.266070\t최선의 손실: 0.234362\t정확도: 95.74%\n", "8\t검증 세트 손실: 0.244648\t최선의 손실: 0.234362\t정확도: 94.64%\n", "9\t검증 세트 손실: 0.218990\t최선의 손실: 0.218990\t정확도: 95.74%\n", "10\t검증 세트 손실: 0.215926\t최선의 손실: 0.215926\t정확도: 96.09%\n", "11\t검증 세트 손실: 0.204943\t최선의 손실: 0.204943\t정확도: 95.62%\n", "12\t검증 세트 손실: 0.196352\t최선의 손실: 0.196352\t정확도: 96.17%\n", "13\t검증 세트 손실: 0.176620\t최선의 손실: 0.176620\t정확도: 95.93%\n", "14\t검증 세트 손실: 0.206286\t최선의 손실: 0.176620\t정확도: 94.49%\n", "15\t검증 세트 손실: 0.190147\t최선의 손실: 0.176620\t정확도: 96.01%\n", "16\t검증 세트 손실: 0.171768\t최선의 손실: 0.171768\t정확도: 95.93%\n", "17\t검증 세트 손실: 0.167704\t최선의 손실: 0.167704\t정확도: 96.13%\n", "18\t검증 세트 손실: 0.165286\t최선의 손실: 0.165286\t정확도: 96.29%\n", "19\t검증 세트 손실: 0.164057\t최선의 손실: 0.164057\t정확도: 95.15%\n", "20\t검증 세트 손실: 0.182673\t최선의 손실: 0.164057\t정확도: 96.05%\n", "21\t검증 세트 손실: 0.188386\t최선의 손실: 0.164057\t정확도: 96.29%\n", "22\t검증 세트 손실: 0.171687\t최선의 손실: 0.164057\t정확도: 95.86%\n", "23\t검증 세트 손실: 0.180352\t최선의 손실: 0.164057\t정확도: 95.82%\n", "24\t검증 세트 손실: 0.197026\t최선의 손실: 0.164057\t정확도: 96.13%\n", "25\t검증 세트 손실: 0.199370\t최선의 손실: 0.164057\t정확도: 95.90%\n", "26\t검증 세트 손실: 0.169776\t최선의 손실: 0.164057\t정확도: 96.29%\n", "27\t검증 세트 손실: 0.165599\t최선의 손실: 0.164057\t정확도: 96.09%\n", "28\t검증 세트 손실: 0.171008\t최선의 손실: 0.164057\t정확도: 95.47%\n", "29\t검증 세트 손실: 0.176957\t최선의 손실: 0.164057\t정확도: 95.54%\n", "30\t검증 세트 손실: 0.192464\t최선의 손실: 0.164057\t정확도: 95.82%\n", "31\t검증 세트 손실: 0.200069\t최선의 손실: 0.164057\t정확도: 95.27%\n", "32\t검증 세트 손실: 0.165137\t최선의 손실: 0.164057\t정확도: 94.96%\n", "33\t검증 세트 손실: 0.179739\t최선의 손실: 0.164057\t정확도: 95.82%\n", "34\t검증 세트 손실: 0.190253\t최선의 손실: 0.164057\t정확도: 96.13%\n", "35\t검증 세트 손실: 0.226093\t최선의 손실: 0.164057\t정확도: 95.39%\n", "36\t검증 세트 손실: 0.200396\t최선의 손실: 0.164057\t정확도: 95.27%\n", "37\t검증 세트 손실: 0.165076\t최선의 손실: 0.164057\t정확도: 96.01%\n", "38\t검증 세트 손실: 0.214629\t최선의 손실: 0.164057\t정확도: 95.23%\n", "39\t검증 세트 손실: 0.251773\t최선의 손실: 0.164057\t정확도: 95.23%\n", "40\t검증 세트 손실: 0.184222\t최선의 손실: 0.164057\t정확도: 95.47%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=, total= 11.7s\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.169709\t최선의 손실: 0.169709\t정확도: 95.66%\n", "1\t검증 세트 손실: 0.161642\t최선의 손실: 0.161642\t정확도: 95.74%\n", "2\t검증 세트 손실: 0.162375\t최선의 손실: 0.161642\t정확도: 95.58%\n", "3\t검증 세트 손실: 0.169963\t최선의 손실: 0.161642\t정확도: 95.39%\n", "4\t검증 세트 손실: 0.157588\t최선의 손실: 0.157588\t정확도: 95.35%\n", "5\t검증 세트 손실: 0.172106\t최선의 손실: 0.157588\t정확도: 95.31%\n", "6\t검증 세트 손실: 0.185939\t최선의 손실: 0.157588\t정확도: 95.23%\n", "7\t검증 세트 손실: 0.210236\t최선의 손실: 0.157588\t정확도: 94.92%\n", "8\t검증 세트 손실: 0.160056\t최선의 손실: 0.157588\t정확도: 96.05%\n", "9\t검증 세트 손실: 0.158486\t최선의 손실: 0.157588\t정확도: 96.05%\n", "10\t검증 세트 손실: 0.172258\t최선의 손실: 0.157588\t정확도: 95.54%\n", "11\t검증 세트 손실: 0.158581\t최선의 손실: 0.157588\t정확도: 95.04%\n", "12\t검증 세트 손실: 0.149956\t최선의 손실: 0.149956\t정확도: 96.09%\n", "13\t검증 세트 손실: 0.144909\t최선의 손실: 0.144909\t정확도: 96.29%\n", "14\t검증 세트 손실: 0.133541\t최선의 손실: 0.133541\t정확도: 96.68%\n", "15\t검증 세트 손실: 0.158912\t최선의 손실: 0.133541\t정확도: 95.74%\n", "16\t검증 세트 손실: 0.188781\t최선의 손실: 0.133541\t정확도: 95.54%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "17\t검증 세트 손실: 0.173417\t최선의 손실: 0.133541\t정확도: 95.86%\n", "18\t검증 세트 손실: 0.164307\t최선의 손실: 0.133541\t정확도: 95.58%\n", "19\t검증 세트 손실: 0.165615\t최선의 손실: 0.133541\t정확도: 95.62%\n", "20\t검증 세트 손실: 0.186611\t최선의 손실: 0.133541\t정확도: 95.07%\n", "21\t검증 세트 손실: 0.182687\t최선의 손실: 0.133541\t정확도: 95.07%\n", "22\t검증 세트 손실: 0.163097\t최선의 손실: 0.133541\t정확도: 95.66%\n", "23\t검증 세트 손실: 0.157391\t최선의 손실: 0.133541\t정확도: 95.93%\n", "24\t검증 세트 손실: 0.193066\t최선의 손실: 0.133541\t정확도: 95.62%\n", "25\t검증 세트 손실: 0.165805\t최선의 손실: 0.133541\t정확도: 96.21%\n", "26\t검증 세트 손실: 0.185268\t최선의 손실: 0.133541\t정확도: 95.62%\n", "27\t검증 세트 손실: 0.203362\t최선의 손실: 0.133541\t정확도: 96.01%\n", "28\t검증 세트 손실: 0.178342\t최선의 손실: 0.133541\t정확도: 95.54%\n", "29\t검증 세트 손실: 0.152247\t최선의 손실: 0.133541\t정확도: 96.36%\n", "30\t검증 세트 손실: 0.172631\t최선의 손실: 0.133541\t정확도: 95.97%\n", "31\t검증 세트 손실: 0.155928\t최선의 손실: 0.133541\t정확도: 95.70%\n", "32\t검증 세트 손실: 0.167591\t최선의 손실: 0.133541\t정확도: 96.01%\n", "33\t검증 세트 손실: 0.158421\t최선의 손실: 0.133541\t정확도: 95.82%\n", "34\t검증 세트 손실: 0.158772\t최선의 손실: 0.133541\t정확도: 95.82%\n", "35\t검증 세트 손실: 0.170053\t최선의 손실: 0.133541\t정확도: 95.50%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=, total= 10.3s\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.252271\t최선의 손실: 0.252271\t정확도: 94.61%\n", "1\t검증 세트 손실: 0.188164\t최선의 손실: 0.188164\t정확도: 95.62%\n", "2\t검증 세트 손실: 0.190711\t최선의 손실: 0.188164\t정확도: 96.05%\n", "3\t검증 세트 손실: 0.190668\t최선의 손실: 0.188164\t정확도: 95.11%\n", "4\t검증 세트 손실: 0.186524\t최선의 손실: 0.186524\t정확도: 95.66%\n", "5\t검증 세트 손실: 0.187148\t최선의 손실: 0.186524\t정확도: 95.62%\n", "6\t검증 세트 손실: 0.157382\t최선의 손실: 0.157382\t정확도: 96.33%\n", "7\t검증 세트 손실: 0.198029\t최선의 손실: 0.157382\t정확도: 95.74%\n", "8\t검증 세트 손실: 0.173710\t최선의 손실: 0.157382\t정확도: 96.56%\n", "9\t검증 세트 손실: 0.175780\t최선의 손실: 0.157382\t정확도: 96.68%\n", "10\t검증 세트 손실: 0.158069\t최선의 손실: 0.157382\t정확도: 96.52%\n", "11\t검증 세트 손실: 0.166437\t최선의 손실: 0.157382\t정확도: 96.25%\n", "12\t검증 세트 손실: 0.181593\t최선의 손실: 0.157382\t정확도: 96.44%\n", "13\t검증 세트 손실: 0.171344\t최선의 손실: 0.157382\t정확도: 96.17%\n", "14\t검증 세트 손실: 0.174306\t최선의 손실: 0.157382\t정확도: 96.52%\n", "15\t검증 세트 손실: 0.185109\t최선의 손실: 0.157382\t정확도: 96.25%\n", "16\t검증 세트 손실: 0.215537\t최선의 손실: 0.157382\t정확도: 96.64%\n", "17\t검증 세트 손실: 0.161476\t최선의 손실: 0.157382\t정확도: 96.52%\n", "18\t검증 세트 손실: 0.206435\t최선의 손실: 0.157382\t정확도: 96.25%\n", "19\t검증 세트 손실: 0.183388\t최선의 손실: 0.157382\t정확도: 95.39%\n", "20\t검증 세트 손실: 0.177885\t최선의 손실: 0.157382\t정확도: 96.52%\n", "21\t검증 세트 손실: 0.178806\t최선의 손실: 0.157382\t정확도: 96.79%\n", "22\t검증 세트 손실: 0.160159\t최선의 손실: 0.157382\t정확도: 96.79%\n", "23\t검증 세트 손실: 0.199237\t최선의 손실: 0.157382\t정확도: 96.76%\n", "24\t검증 세트 손실: 0.210128\t최선의 손실: 0.157382\t정확도: 96.29%\n", "25\t검증 세트 손실: 0.188449\t최선의 손실: 0.157382\t정확도: 96.56%\n", "26\t검증 세트 손실: 0.163255\t최선의 손실: 0.157382\t정확도: 97.03%\n", "27\t검증 세트 손실: 0.182511\t최선의 손실: 0.157382\t정확도: 95.78%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=, total= 8.2s\n", "[CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.598359\t최선의 손실: 0.598359\t정확도: 73.30%\n", "1\t검증 세트 손실: 0.462342\t최선의 손실: 0.462342\t정확도: 79.28%\n", "2\t검증 세트 손실: 0.408045\t최선의 손실: 0.408045\t정확도: 82.06%\n", "3\t검증 세트 손실: 0.375696\t최선의 손실: 0.375696\t정확도: 84.71%\n", "4\t검증 세트 손실: 0.350679\t최선의 손실: 0.350679\t정확도: 85.14%\n", "5\t검증 세트 손실: 0.330958\t최선의 손실: 0.330958\t정확도: 88.47%\n", "6\t검증 세트 손실: 0.338322\t최선의 손실: 0.330958\t정확도: 87.45%\n", "7\t검증 세트 손실: 0.351026\t최선의 손실: 0.330958\t정확도: 84.01%\n", "8\t검증 세트 손실: 0.338992\t최선의 손실: 0.330958\t정확도: 84.87%\n", "9\t검증 세트 손실: 0.275464\t최선의 손실: 0.275464\t정확도: 91.01%\n", "10\t검증 세트 손실: 0.250426\t최선의 손실: 0.250426\t정확도: 92.53%\n", "11\t검증 세트 손실: 0.210038\t최선의 손실: 0.210038\t정확도: 94.41%\n", "12\t검증 세트 손실: 0.205240\t최선의 손실: 0.205240\t정확도: 94.92%\n", "13\t검증 세트 손실: 0.201547\t최선의 손실: 0.201547\t정확도: 95.00%\n", "14\t검증 세트 손실: 0.216670\t최선의 손실: 0.201547\t정확도: 94.45%\n", "15\t검증 세트 손실: 0.215701\t최선의 손실: 0.201547\t정확도: 94.76%\n", "16\t검증 세트 손실: 0.181051\t최선의 손실: 0.181051\t정확도: 95.15%\n", "17\t검증 세트 손실: 0.201392\t최선의 손실: 0.181051\t정확도: 94.53%\n", "18\t검증 세트 손실: 0.207956\t최선의 손실: 0.181051\t정확도: 94.29%\n", "19\t검증 세트 손실: 0.193814\t최선의 손실: 0.181051\t정확도: 94.76%\n", "20\t검증 세트 손실: 0.193343\t최선의 손실: 0.181051\t정확도: 95.23%\n", "21\t검증 세트 손실: 0.189217\t최선의 손실: 0.181051\t정확도: 95.04%\n", "22\t검증 세트 손실: 0.182534\t최선의 손실: 0.181051\t정확도: 95.19%\n", "23\t검증 세트 손실: 0.183950\t최선의 손실: 0.181051\t정확도: 95.62%\n", "24\t검증 세트 손실: 0.206410\t최선의 손실: 0.181051\t정확도: 95.07%\n", "25\t검증 세트 손실: 0.175836\t최선의 손실: 0.175836\t정확도: 95.47%\n", "26\t검증 세트 손실: 0.198857\t최선의 손실: 0.175836\t정확도: 94.45%\n", "27\t검증 세트 손실: 0.189158\t최선의 손실: 0.175836\t정확도: 95.19%\n", "28\t검증 세트 손실: 0.172431\t최선의 손실: 0.172431\t정확도: 95.78%\n", "29\t검증 세트 손실: 0.170654\t최선의 손실: 0.170654\t정확도: 95.74%\n", "30\t검증 세트 손실: 0.172570\t최선의 손실: 0.170654\t정확도: 95.62%\n", "31\t검증 세트 손실: 0.177101\t최선의 손실: 0.170654\t정확도: 95.50%\n", "32\t검증 세트 손실: 0.180750\t최선의 손실: 0.170654\t정확도: 95.39%\n", "33\t검증 세트 손실: 0.173055\t최선의 손실: 0.170654\t정확도: 95.62%\n", "34\t검증 세트 손실: 0.193697\t최선의 손실: 0.170654\t정확도: 95.66%\n", "35\t검증 세트 손실: 0.190061\t최선의 손실: 0.170654\t정확도: 95.27%\n", "36\t검증 세트 손실: 0.181545\t최선의 손실: 0.170654\t정확도: 95.47%\n", "37\t검증 세트 손실: 0.177813\t최선의 손실: 0.170654\t정확도: 95.86%\n", "38\t검증 세트 손실: 0.182600\t최선의 손실: 0.170654\t정확도: 95.54%\n", "39\t검증 세트 손실: 0.179800\t최선의 손실: 0.170654\t정확도: 95.31%\n", "40\t검증 세트 손실: 0.170328\t최선의 손실: 0.170328\t정확도: 95.70%\n", "41\t검증 세트 손실: 0.169886\t최선의 손실: 0.169886\t정확도: 95.66%\n", "42\t검증 세트 손실: 0.165152\t최선의 손실: 0.165152\t정확도: 95.90%\n", "43\t검증 세트 손실: 0.169902\t최선의 손실: 0.165152\t정확도: 95.31%\n", "44\t검증 세트 손실: 0.154907\t최선의 손실: 0.154907\t정확도: 96.13%\n", "45\t검증 세트 손실: 0.168244\t최선의 손실: 0.154907\t정확도: 95.50%\n", "46\t검증 세트 손실: 0.160174\t최선의 손실: 0.154907\t정확도: 96.17%\n", "47\t검증 세트 손실: 0.150055\t최선의 손실: 0.150055\t정확도: 96.17%\n", "48\t검증 세트 손실: 0.168183\t최선의 손실: 0.150055\t정확도: 95.86%\n", "49\t검증 세트 손실: 0.159074\t최선의 손실: 0.150055\t정확도: 96.17%\n", "50\t검증 세트 손실: 0.154733\t최선의 손실: 0.150055\t정확도: 96.17%\n", "51\t검증 세트 손실: 0.164622\t최선의 손실: 0.150055\t정확도: 95.90%\n", "52\t검증 세트 손실: 0.165788\t최선의 손실: 0.150055\t정확도: 95.62%\n", "53\t검증 세트 손실: 0.163625\t최선의 손실: 0.150055\t정확도: 95.62%\n", "54\t검증 세트 손실: 0.150041\t최선의 손실: 0.150041\t정확도: 96.21%\n", "55\t검증 세트 손실: 0.144529\t최선의 손실: 0.144529\t정확도: 96.44%\n", "56\t검증 세트 손실: 0.143495\t최선의 손실: 0.143495\t정확도: 96.17%\n", "57\t검증 세트 손실: 0.149715\t최선의 손실: 0.143495\t정확도: 96.25%\n", "58\t검증 세트 손실: 0.152893\t최선의 손실: 0.143495\t정확도: 95.90%\n", "59\t검증 세트 손실: 0.159531\t최선의 손실: 0.143495\t정확도: 95.86%\n", "60\t검증 세트 손실: 0.151336\t최선의 손실: 0.143495\t정확도: 95.74%\n", "61\t검증 세트 손실: 0.140370\t최선의 손실: 0.140370\t정확도: 96.05%\n", "62\t검증 세트 손실: 0.147529\t최선의 손실: 0.140370\t정확도: 96.13%\n", "63\t검증 세트 손실: 0.143524\t최선의 손실: 0.140370\t정확도: 96.13%\n", "64\t검증 세트 손실: 0.153145\t최선의 손실: 0.140370\t정확도: 95.82%\n", "65\t검증 세트 손실: 0.149419\t최선의 손실: 0.140370\t정확도: 96.29%\n", "66\t검증 세트 손실: 0.143906\t최선의 손실: 0.140370\t정확도: 96.13%\n", "67\t검증 세트 손실: 0.142495\t최선의 손실: 0.140370\t정확도: 96.09%\n", "68\t검증 세트 손실: 0.140865\t최선의 손실: 0.140370\t정확도: 96.56%\n", "69\t검증 세트 손실: 0.150796\t최선의 손실: 0.140370\t정확도: 96.09%\n", "70\t검증 세트 손실: 0.128976\t최선의 손실: 0.128976\t정확도: 96.44%\n", "71\t검증 세트 손실: 0.140488\t최선의 손실: 0.128976\t정확도: 96.17%\n", "72\t검증 세트 손실: 0.151766\t최선의 손실: 0.128976\t정확도: 96.13%\n", "73\t검증 세트 손실: 0.137099\t최선의 손실: 0.128976\t정확도: 96.17%\n", "74\t검증 세트 손실: 0.136685\t최선의 손실: 0.128976\t정확도: 96.21%\n", "75\t검증 세트 손실: 0.149291\t최선의 손실: 0.128976\t정확도: 96.17%\n", "76\t검증 세트 손실: 0.148768\t최선의 손실: 0.128976\t정확도: 96.56%\n", "77\t검증 세트 손실: 0.138696\t최선의 손실: 0.128976\t정확도: 96.29%\n", "78\t검증 세트 손실: 0.142268\t최선의 손실: 0.128976\t정확도: 96.33%\n", "79\t검증 세트 손실: 0.146624\t최선의 손실: 0.128976\t정확도: 96.48%\n", "80\t검증 세트 손실: 0.147795\t최선의 손실: 0.128976\t정확도: 96.17%\n", "81\t검증 세트 손실: 0.153905\t최선의 손실: 0.128976\t정확도: 96.09%\n", "82\t검증 세트 손실: 0.147903\t최선의 손실: 0.128976\t정확도: 95.93%\n", "83\t검증 세트 손실: 0.146931\t최선의 손실: 0.128976\t정확도: 96.25%\n", "84\t검증 세트 손실: 0.145127\t최선의 손실: 0.128976\t정확도: 95.93%\n", "85\t검증 세트 손실: 0.149028\t최선의 손실: 0.128976\t정확도: 95.93%\n", "86\t검증 세트 손실: 0.154029\t최선의 손실: 0.128976\t정확도: 95.54%\n", "87\t검증 세트 손실: 0.145426\t최선의 손실: 0.128976\t정확도: 96.17%\n", "88\t검증 세트 손실: 0.142944\t최선의 손실: 0.128976\t정확도: 96.36%\n", "89\t검증 세트 손실: 0.153671\t최선의 손실: 0.128976\t정확도: 95.90%\n", "90\t검증 세트 손실: 0.137819\t최선의 손실: 0.128976\t정확도: 96.29%\n", "91\t검증 세트 손실: 0.145495\t최선의 손실: 0.128976\t정확도: 96.09%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 18.7s\n", "[CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.510445\t최선의 손실: 0.510445\t정확도: 85.73%\n", "1\t검증 세트 손실: 0.365506\t최선의 손실: 0.365506\t정확도: 90.46%\n", "2\t검증 세트 손실: 0.293570\t최선의 손실: 0.293570\t정확도: 91.99%\n", "3\t검증 세트 손실: 0.205106\t최선의 손실: 0.205106\t정확도: 93.35%\n", "4\t검증 세트 손실: 0.234869\t최선의 손실: 0.205106\t정확도: 91.56%\n", "5\t검증 세트 손실: 0.160045\t최선의 손실: 0.160045\t정확도: 95.47%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "6\t검증 세트 손실: 0.148276\t최선의 손실: 0.148276\t정확도: 95.90%\n", "7\t검증 세트 손실: 0.152674\t최선의 손실: 0.148276\t정확도: 95.74%\n", "8\t검증 세트 손실: 0.145286\t최선의 손실: 0.145286\t정확도: 95.90%\n", "9\t검증 세트 손실: 0.139049\t최선의 손실: 0.139049\t정확도: 95.82%\n", "10\t검증 세트 손실: 0.136509\t최선의 손실: 0.136509\t정확도: 95.35%\n", "11\t검증 세트 손실: 0.127749\t최선의 손실: 0.127749\t정확도: 96.25%\n", "12\t검증 세트 손실: 0.125797\t최선의 손실: 0.125797\t정확도: 96.29%\n", "13\t검증 세트 손실: 0.118525\t최선의 손실: 0.118525\t정확도: 96.64%\n", "14\t검증 세트 손실: 0.130955\t최선의 손실: 0.118525\t정확도: 95.62%\n", "15\t검증 세트 손실: 0.105813\t최선의 손실: 0.105813\t정확도: 96.72%\n", "16\t검증 세트 손실: 0.122095\t최선의 손실: 0.105813\t정확도: 96.60%\n", "17\t검증 세트 손실: 0.131818\t최선의 손실: 0.105813\t정확도: 96.36%\n", "18\t검증 세트 손실: 0.134482\t최선의 손실: 0.105813\t정확도: 95.82%\n", "19\t검증 세트 손실: 0.120906\t최선의 손실: 0.105813\t정확도: 96.68%\n", "20\t검증 세트 손실: 0.126169\t최선의 손실: 0.105813\t정확도: 96.40%\n", "21\t검증 세트 손실: 0.121368\t최선의 손실: 0.105813\t정확도: 96.17%\n", "22\t검증 세트 손실: 0.116456\t최선의 손실: 0.105813\t정확도: 96.48%\n", "23\t검증 세트 손실: 0.134643\t최선의 손실: 0.105813\t정확도: 96.64%\n", "24\t검증 세트 손실: 0.124387\t최선의 손실: 0.105813\t정확도: 96.48%\n", "25\t검증 세트 손실: 0.130338\t최선의 손실: 0.105813\t정확도: 96.60%\n", "26\t검증 세트 손실: 0.121358\t최선의 손실: 0.105813\t정확도: 96.64%\n", "27\t검증 세트 손실: 0.124554\t최선의 손실: 0.105813\t정확도: 96.64%\n", "28\t검증 세트 손실: 0.118494\t최선의 손실: 0.105813\t정확도: 96.68%\n", "29\t검증 세트 손실: 0.115327\t최선의 손실: 0.105813\t정확도: 96.25%\n", "30\t검증 세트 손실: 0.129324\t최선의 손실: 0.105813\t정확도: 96.91%\n", "31\t검증 세트 손실: 0.114175\t최선의 손실: 0.105813\t정확도: 96.87%\n", "32\t검증 세트 손실: 0.114836\t최선의 손실: 0.105813\t정확도: 96.91%\n", "33\t검증 세트 손실: 0.125323\t최선의 손실: 0.105813\t정확도: 96.48%\n", "34\t검증 세트 손실: 0.111895\t최선의 손실: 0.105813\t정확도: 96.72%\n", "35\t검증 세트 손실: 0.122374\t최선의 손실: 0.105813\t정확도: 96.72%\n", "36\t검증 세트 손실: 0.123281\t최선의 손실: 0.105813\t정확도: 96.25%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 7.8s\n", "[CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.406876\t최선의 손실: 0.406876\t정확도: 91.20%\n", "1\t검증 세트 손실: 0.314516\t최선의 손실: 0.314516\t정확도: 93.71%\n", "2\t검증 세트 손실: 0.236529\t최선의 손실: 0.236529\t정확도: 94.49%\n", "3\t검증 세트 손실: 0.283583\t최선의 손실: 0.236529\t정확도: 95.00%\n", "4\t검증 세트 손실: 0.213848\t최선의 손실: 0.213848\t정확도: 95.04%\n", "5\t검증 세트 손실: 0.200117\t최선의 손실: 0.200117\t정확도: 95.58%\n", "6\t검증 세트 손실: 0.212666\t최선의 손실: 0.200117\t정확도: 95.58%\n", "7\t검증 세트 손실: 0.212105\t최선의 손실: 0.200117\t정확도: 95.11%\n", "8\t검증 세트 손실: 0.192059\t최선의 손실: 0.192059\t정확도: 95.93%\n", "9\t검증 세트 손실: 0.179674\t최선의 손실: 0.179674\t정확도: 95.93%\n", "10\t검증 세트 손실: 0.187864\t최선의 손실: 0.179674\t정확도: 95.50%\n", "11\t검증 세트 손실: 0.184690\t최선의 손실: 0.179674\t정확도: 95.66%\n", "12\t검증 세트 손실: 0.163649\t최선의 손실: 0.163649\t정확도: 95.66%\n", "13\t검증 세트 손실: 0.167982\t최선의 손실: 0.163649\t정확도: 95.74%\n", "14\t검증 세트 손실: 0.174398\t최선의 손실: 0.163649\t정확도: 95.58%\n", "15\t검증 세트 손실: 0.162934\t최선의 손실: 0.162934\t정확도: 96.05%\n", "16\t검증 세트 손실: 0.164214\t최선의 손실: 0.162934\t정확도: 96.36%\n", "17\t검증 세트 손실: 0.147516\t최선의 손실: 0.147516\t정확도: 96.44%\n", "18\t검증 세트 손실: 0.162952\t최선의 손실: 0.147516\t정확도: 96.17%\n", "19\t검증 세트 손실: 0.147094\t최선의 손실: 0.147094\t정확도: 95.97%\n", "20\t검증 세트 손실: 0.150028\t최선의 손실: 0.147094\t정확도: 96.21%\n", "21\t검증 세트 손실: 0.145311\t최선의 손실: 0.145311\t정확도: 96.25%\n", "22\t검증 세트 손실: 0.144624\t최선의 손실: 0.144624\t정확도: 96.56%\n", "23\t검증 세트 손실: 0.149064\t최선의 손실: 0.144624\t정확도: 96.60%\n", "24\t검증 세트 손실: 0.147738\t최선의 손실: 0.144624\t정확도: 96.13%\n", "25\t검증 세트 손실: 0.143402\t최선의 손실: 0.143402\t정확도: 96.36%\n", "26\t검증 세트 손실: 0.132828\t최선의 손실: 0.132828\t정확도: 96.91%\n", "27\t검증 세트 손실: 0.130563\t최선의 손실: 0.130563\t정확도: 96.83%\n", "28\t검증 세트 손실: 0.143916\t최선의 손실: 0.130563\t정확도: 96.33%\n", "29\t검증 세트 손실: 0.144870\t최선의 손실: 0.130563\t정확도: 96.72%\n", "30\t검증 세트 손실: 0.166481\t최선의 손실: 0.130563\t정확도: 95.93%\n", "31\t검증 세트 손실: 0.146046\t최선의 손실: 0.130563\t정확도: 96.13%\n", "32\t검증 세트 손실: 0.148013\t최선의 손실: 0.130563\t정확도: 96.64%\n", "33\t검증 세트 손실: 0.138635\t최선의 손실: 0.130563\t정확도: 96.99%\n", "34\t검증 세트 손실: 0.133262\t최선의 손실: 0.130563\t정확도: 96.68%\n", "35\t검증 세트 손실: 0.127325\t최선의 손실: 0.127325\t정확도: 96.68%\n", "36\t검증 세트 손실: 0.120871\t최선의 손실: 0.120871\t정확도: 97.26%\n", "37\t검증 세트 손실: 0.143087\t최선의 손실: 0.120871\t정확도: 96.21%\n", "38\t검증 세트 손실: 0.115331\t최선의 손실: 0.115331\t정확도: 97.26%\n", "39\t검증 세트 손실: 0.128594\t최선의 손실: 0.115331\t정확도: 96.91%\n", "40\t검증 세트 손실: 0.128779\t최선의 손실: 0.115331\t정확도: 96.79%\n", "41\t검증 세트 손실: 0.133670\t최선의 손실: 0.115331\t정확도: 96.56%\n", "42\t검증 세트 손실: 0.133458\t최선의 손실: 0.115331\t정확도: 96.87%\n", "43\t검증 세트 손실: 0.129903\t최선의 손실: 0.115331\t정확도: 96.91%\n", "44\t검증 세트 손실: 0.122157\t최선의 손실: 0.115331\t정확도: 96.95%\n", "45\t검증 세트 손실: 0.139880\t최선의 손실: 0.115331\t정확도: 96.99%\n", "46\t검증 세트 손실: 0.130449\t최선의 손실: 0.115331\t정확도: 96.56%\n", "47\t검증 세트 손실: 0.130252\t최선의 손실: 0.115331\t정확도: 96.64%\n", "48\t검증 세트 손실: 0.144143\t최선의 손실: 0.115331\t정확도: 96.48%\n", "49\t검증 세트 손실: 0.143847\t최선의 손실: 0.115331\t정확도: 96.36%\n", "50\t검증 세트 손실: 0.132486\t최선의 손실: 0.115331\t정확도: 96.91%\n", "51\t검증 세트 손실: 0.130481\t최선의 손실: 0.115331\t정확도: 96.76%\n", "52\t검증 세트 손실: 0.129004\t최선의 손실: 0.115331\t정확도: 97.03%\n", "53\t검증 세트 손실: 0.129679\t최선의 손실: 0.115331\t정확도: 96.99%\n", "54\t검증 세트 손실: 0.126573\t최선의 손실: 0.115331\t정확도: 96.68%\n", "55\t검증 세트 손실: 0.127195\t최선의 손실: 0.115331\t정확도: 96.68%\n", "56\t검증 세트 손실: 0.118238\t최선의 손실: 0.115331\t정확도: 97.03%\n", "57\t검증 세트 손실: 0.123130\t최선의 손실: 0.115331\t정확도: 96.60%\n", "58\t검증 세트 손실: 0.124429\t최선의 손실: 0.115331\t정확도: 96.60%\n", "59\t검증 세트 손실: 0.116324\t최선의 손실: 0.115331\t정확도: 97.03%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 12.4s\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.142217\t최선의 손실: 0.142217\t정확도: 95.31%\n", "1\t검증 세트 손실: 0.113657\t최선의 손실: 0.113657\t정확도: 96.64%\n", "2\t검증 세트 손실: 0.090222\t최선의 손실: 0.090222\t정확도: 97.50%\n", "3\t검증 세트 손실: 0.090379\t최선의 손실: 0.090222\t정확도: 97.42%\n", "4\t검증 세트 손실: 0.081616\t최선의 손실: 0.081616\t정확도: 97.77%\n", "5\t검증 세트 손실: 0.078352\t최선의 손실: 0.078352\t정확도: 97.77%\n", "6\t검증 세트 손실: 0.080142\t최선의 손실: 0.078352\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.075304\t최선의 손실: 0.075304\t정확도: 97.58%\n", "8\t검증 세트 손실: 0.077158\t최선의 손실: 0.075304\t정확도: 98.20%\n", "9\t검증 세트 손실: 0.075649\t최선의 손실: 0.075304\t정확도: 97.69%\n", "10\t검증 세트 손실: 0.080423\t최선의 손실: 0.075304\t정확도: 97.97%\n", "11\t검증 세트 손실: 0.073890\t최선의 손실: 0.073890\t정확도: 98.12%\n", "12\t검증 세트 손실: 0.068166\t최선의 손실: 0.068166\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.073996\t최선의 손실: 0.068166\t정확도: 98.08%\n", "14\t검증 세트 손실: 0.074140\t최선의 손실: 0.068166\t정확도: 98.24%\n", "15\t검증 세트 손실: 0.067414\t최선의 손실: 0.067414\t정확도: 98.28%\n", "16\t검증 세트 손실: 0.068797\t최선의 손실: 0.067414\t정확도: 98.28%\n", "17\t검증 세트 손실: 0.066379\t최선의 손실: 0.066379\t정확도: 98.20%\n", "18\t검증 세트 손실: 0.065176\t최선의 손실: 0.065176\t정확도: 98.20%\n", "19\t검증 세트 손실: 0.061905\t최선의 손실: 0.061905\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.063197\t최선의 손실: 0.061905\t정확도: 98.20%\n", "21\t검증 세트 손실: 0.064045\t최선의 손실: 0.061905\t정확도: 98.20%\n", "22\t검증 세트 손실: 0.064170\t최선의 손실: 0.061905\t정확도: 98.16%\n", "23\t검증 세트 손실: 0.073653\t최선의 손실: 0.061905\t정확도: 98.16%\n", "24\t검증 세트 손실: 0.067172\t최선의 손실: 0.061905\t정확도: 98.20%\n", "25\t검증 세트 손실: 0.068148\t최선의 손실: 0.061905\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.069736\t최선의 손실: 0.061905\t정확도: 98.12%\n", "27\t검증 세트 손실: 0.061564\t최선의 손실: 0.061564\t정확도: 98.44%\n", "28\t검증 세트 손실: 0.059724\t최선의 손실: 0.059724\t정확도: 98.32%\n", "29\t검증 세트 손실: 0.065138\t최선의 손실: 0.059724\t정확도: 98.36%\n", "30\t검증 세트 손실: 0.065829\t최선의 손실: 0.059724\t정확도: 98.51%\n", "31\t검증 세트 손실: 0.062785\t최선의 손실: 0.059724\t정확도: 98.40%\n", "32\t검증 세트 손실: 0.062678\t최선의 손실: 0.059724\t정확도: 98.36%\n", "33\t검증 세트 손실: 0.063125\t최선의 손실: 0.059724\t정확도: 98.36%\n", "34\t검증 세트 손실: 0.062311\t최선의 손실: 0.059724\t정확도: 98.51%\n", "35\t검증 세트 손실: 0.068136\t최선의 손실: 0.059724\t정확도: 98.28%\n", "36\t검증 세트 손실: 0.061501\t최선의 손실: 0.059724\t정확도: 98.51%\n", "37\t검증 세트 손실: 0.059774\t최선의 손실: 0.059724\t정확도: 98.63%\n", "38\t검증 세트 손실: 0.060070\t최선의 손실: 0.059724\t정확도: 98.32%\n", "39\t검증 세트 손실: 0.059229\t최선의 손실: 0.059229\t정확도: 98.55%\n", "40\t검증 세트 손실: 0.068299\t최선의 손실: 0.059229\t정확도: 98.40%\n", "41\t검증 세트 손실: 0.061428\t최선의 손실: 0.059229\t정확도: 98.44%\n", "42\t검증 세트 손실: 0.065187\t최선의 손실: 0.059229\t정확도: 98.32%\n", "43\t검증 세트 손실: 0.062928\t최선의 손실: 0.059229\t정확도: 98.28%\n", "44\t검증 세트 손실: 0.068051\t최선의 손실: 0.059229\t정확도: 98.32%\n", "45\t검증 세트 손실: 0.062875\t최선의 손실: 0.059229\t정확도: 98.36%\n", "46\t검증 세트 손실: 0.069131\t최선의 손실: 0.059229\t정확도: 98.48%\n", "47\t검증 세트 손실: 0.059803\t최선의 손실: 0.059229\t정확도: 98.51%\n", "48\t검증 세트 손실: 0.056545\t최선의 손실: 0.056545\t정확도: 98.59%\n", "49\t검증 세트 손실: 0.059578\t최선의 손실: 0.056545\t정확도: 98.55%\n", "50\t검증 세트 손실: 0.060451\t최선의 손실: 0.056545\t정확도: 98.55%\n", "51\t검증 세트 손실: 0.066508\t최선의 손실: 0.056545\t정확도: 98.55%\n", "52\t검증 세트 손실: 0.063715\t최선의 손실: 0.056545\t정확도: 98.44%\n", "53\t검증 세트 손실: 0.074736\t최선의 손실: 0.056545\t정확도: 98.24%\n", "54\t검증 세트 손실: 0.058131\t최선의 손실: 0.056545\t정확도: 98.59%\n", "55\t검증 세트 손실: 0.061953\t최선의 손실: 0.056545\t정확도: 98.55%\n", "56\t검증 세트 손실: 0.064195\t최선의 손실: 0.056545\t정확도: 98.40%\n", "57\t검증 세트 손실: 0.058570\t최선의 손실: 0.056545\t정확도: 98.71%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "58\t검증 세트 손실: 0.062603\t최선의 손실: 0.056545\t정확도: 98.48%\n", "59\t검증 세트 손실: 0.059592\t최선의 손실: 0.056545\t정확도: 98.51%\n", "60\t검증 세트 손실: 0.062988\t최선의 손실: 0.056545\t정확도: 98.40%\n", "61\t검증 세트 손실: 0.062816\t최선의 손실: 0.056545\t정확도: 98.40%\n", "62\t검증 세트 손실: 0.063559\t최선의 손실: 0.056545\t정확도: 98.36%\n", "63\t검증 세트 손실: 0.060814\t최선의 손실: 0.056545\t정확도: 98.59%\n", "64\t검증 세트 손실: 0.069339\t최선의 손실: 0.056545\t정확도: 98.44%\n", "65\t검증 세트 손실: 0.065884\t최선의 손실: 0.056545\t정확도: 98.24%\n", "66\t검증 세트 손실: 0.062427\t최선의 손실: 0.056545\t정확도: 98.51%\n", "67\t검증 세트 손실: 0.060347\t최선의 손실: 0.056545\t정확도: 98.48%\n", "68\t검증 세트 손실: 0.062633\t최선의 손실: 0.056545\t정확도: 98.32%\n", "69\t검증 세트 손실: 0.066066\t최선의 손실: 0.056545\t정확도: 98.44%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.0s\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.149075\t최선의 손실: 0.149075\t정확도: 95.82%\n", "1\t검증 세트 손실: 0.111552\t최선의 손실: 0.111552\t정확도: 96.99%\n", "2\t검증 세트 손실: 0.114699\t최선의 손실: 0.111552\t정확도: 97.03%\n", "3\t검증 세트 손실: 0.089521\t최선의 손실: 0.089521\t정확도: 97.77%\n", "4\t검증 세트 손실: 0.089086\t최선의 손실: 0.089086\t정확도: 97.58%\n", "5\t검증 세트 손실: 0.085411\t최선의 손실: 0.085411\t정확도: 97.69%\n", "6\t검증 세트 손실: 0.086069\t최선의 손실: 0.085411\t정확도: 97.62%\n", "7\t검증 세트 손실: 0.083060\t최선의 손실: 0.083060\t정확도: 97.65%\n", "8\t검증 세트 손실: 0.072866\t최선의 손실: 0.072866\t정확도: 97.77%\n", "9\t검증 세트 손실: 0.071289\t최선의 손실: 0.071289\t정확도: 97.85%\n", "10\t검증 세트 손실: 0.079241\t최선의 손실: 0.071289\t정확도: 97.65%\n", "11\t검증 세트 손실: 0.074313\t최선의 손실: 0.071289\t정확도: 98.05%\n", "12\t검증 세트 손실: 0.070315\t최선의 손실: 0.070315\t정확도: 97.97%\n", "13\t검증 세트 손실: 0.064459\t최선의 손실: 0.064459\t정확도: 98.36%\n", "14\t검증 세트 손실: 0.070985\t최선의 손실: 0.064459\t정확도: 98.32%\n", "15\t검증 세트 손실: 0.066696\t최선의 손실: 0.064459\t정확도: 98.20%\n", "16\t검증 세트 손실: 0.069891\t최선의 손실: 0.064459\t정확도: 98.08%\n", "17\t검증 세트 손실: 0.063890\t최선의 손실: 0.063890\t정확도: 98.20%\n", "18\t검증 세트 손실: 0.065718\t최선의 손실: 0.063890\t정확도: 98.12%\n", "19\t검증 세트 손실: 0.069201\t최선의 손실: 0.063890\t정확도: 98.28%\n", "20\t검증 세트 손실: 0.068709\t최선의 손실: 0.063890\t정확도: 98.01%\n", "21\t검증 세트 손실: 0.060843\t최선의 손실: 0.060843\t정확도: 98.28%\n", "22\t검증 세트 손실: 0.064882\t최선의 손실: 0.060843\t정확도: 98.28%\n", "23\t검증 세트 손실: 0.065632\t최선의 손실: 0.060843\t정확도: 98.12%\n", "24\t검증 세트 손실: 0.065037\t최선의 손실: 0.060843\t정확도: 98.16%\n", "25\t검증 세트 손실: 0.062566\t최선의 손실: 0.060843\t정확도: 98.24%\n", "26\t검증 세트 손실: 0.066814\t최선의 손실: 0.060843\t정확도: 98.05%\n", "27\t검증 세트 손실: 0.073606\t최선의 손실: 0.060843\t정확도: 98.12%\n", "28\t검증 세트 손실: 0.062814\t최선의 손실: 0.060843\t정확도: 98.20%\n", "29\t검증 세트 손실: 0.067034\t최선의 손실: 0.060843\t정확도: 98.20%\n", "30\t검증 세트 손실: 0.066940\t최선의 손실: 0.060843\t정확도: 98.16%\n", "31\t검증 세트 손실: 0.070543\t최선의 손실: 0.060843\t정확도: 98.05%\n", "32\t검증 세트 손실: 0.063627\t최선의 손실: 0.060843\t정확도: 98.36%\n", "33\t검증 세트 손실: 0.063312\t최선의 손실: 0.060843\t정확도: 98.32%\n", "34\t검증 세트 손실: 0.064839\t최선의 손실: 0.060843\t정확도: 98.51%\n", "35\t검증 세트 손실: 0.063430\t최선의 손실: 0.060843\t정확도: 98.16%\n", "36\t검증 세트 손실: 0.064128\t최선의 손실: 0.060843\t정확도: 98.32%\n", "37\t검증 세트 손실: 0.060842\t최선의 손실: 0.060842\t정확도: 98.28%\n", "38\t검증 세트 손실: 0.065530\t최선의 손실: 0.060842\t정확도: 98.36%\n", "39\t검증 세트 손실: 0.063593\t최선의 손실: 0.060842\t정확도: 98.40%\n", "40\t검증 세트 손실: 0.067466\t최선의 손실: 0.060842\t정확도: 98.16%\n", "41\t검증 세트 손실: 0.065196\t최선의 손실: 0.060842\t정확도: 98.16%\n", "42\t검증 세트 손실: 0.058316\t최선의 손실: 0.058316\t정확도: 98.51%\n", "43\t검증 세트 손실: 0.059677\t최선의 손실: 0.058316\t정확도: 98.44%\n", "44\t검증 세트 손실: 0.056917\t최선의 손실: 0.056917\t정확도: 98.36%\n", "45\t검증 세트 손실: 0.058325\t최선의 손실: 0.056917\t정확도: 98.40%\n", "46\t검증 세트 손실: 0.061686\t최선의 손실: 0.056917\t정확도: 98.36%\n", "47\t검증 세트 손실: 0.056063\t최선의 손실: 0.056063\t정확도: 98.40%\n", "48\t검증 세트 손실: 0.056516\t최선의 손실: 0.056063\t정확도: 98.32%\n", "49\t검증 세트 손실: 0.062692\t최선의 손실: 0.056063\t정확도: 98.28%\n", "50\t검증 세트 손실: 0.054586\t최선의 손실: 0.054586\t정확도: 98.40%\n", "51\t검증 세트 손실: 0.053390\t최선의 손실: 0.053390\t정확도: 98.55%\n", "52\t검증 세트 손실: 0.057169\t최선의 손실: 0.053390\t정확도: 98.44%\n", "53\t검증 세트 손실: 0.054794\t최선의 손실: 0.053390\t정확도: 98.32%\n", "54\t검증 세트 손실: 0.053756\t최선의 손실: 0.053390\t정확도: 98.55%\n", "55\t검증 세트 손실: 0.062362\t최선의 손실: 0.053390\t정확도: 98.36%\n", "56\t검증 세트 손실: 0.060249\t최선의 손실: 0.053390\t정확도: 98.48%\n", "57\t검증 세트 손실: 0.052268\t최선의 손실: 0.052268\t정확도: 98.51%\n", "58\t검증 세트 손실: 0.061462\t최선의 손실: 0.052268\t정확도: 98.59%\n", "59\t검증 세트 손실: 0.052732\t최선의 손실: 0.052268\t정확도: 98.63%\n", "60\t검증 세트 손실: 0.063689\t최선의 손실: 0.052268\t정확도: 98.44%\n", "61\t검증 세트 손실: 0.064297\t최선의 손실: 0.052268\t정확도: 98.36%\n", "62\t검증 세트 손실: 0.067426\t최선의 손실: 0.052268\t정확도: 98.28%\n", "63\t검증 세트 손실: 0.061228\t최선의 손실: 0.052268\t정확도: 98.28%\n", "64\t검증 세트 손실: 0.063373\t최선의 손실: 0.052268\t정확도: 98.44%\n", "65\t검증 세트 손실: 0.061235\t최선의 손실: 0.052268\t정확도: 98.55%\n", "66\t검증 세트 손실: 0.062470\t최선의 손실: 0.052268\t정확도: 98.51%\n", "67\t검증 세트 손실: 0.063428\t최선의 손실: 0.052268\t정확도: 98.51%\n", "68\t검증 세트 손실: 0.064388\t최선의 손실: 0.052268\t정확도: 98.44%\n", "69\t검증 세트 손실: 0.060647\t최선의 손실: 0.052268\t정확도: 98.40%\n", "70\t검증 세트 손실: 0.059350\t최선의 손실: 0.052268\t정확도: 98.40%\n", "71\t검증 세트 손실: 0.065929\t최선의 손실: 0.052268\t정확도: 98.36%\n", "72\t검증 세트 손실: 0.069900\t최선의 손실: 0.052268\t정확도: 98.36%\n", "73\t검증 세트 손실: 0.062133\t최선의 손실: 0.052268\t정확도: 98.40%\n", "74\t검증 세트 손실: 0.075194\t최선의 손실: 0.052268\t정확도: 97.89%\n", "75\t검증 세트 손실: 0.057322\t최선의 손실: 0.052268\t정확도: 98.44%\n", "76\t검증 세트 손실: 0.065429\t최선의 손실: 0.052268\t정확도: 98.40%\n", "77\t검증 세트 손실: 0.061751\t최선의 손실: 0.052268\t정확도: 98.40%\n", "78\t검증 세트 손실: 0.062043\t최선의 손실: 0.052268\t정확도: 98.28%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.6s\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.137636\t최선의 손실: 0.137636\t정확도: 96.01%\n", "1\t검증 세트 손실: 0.114974\t최선의 손실: 0.114974\t정확도: 96.83%\n", "2\t검증 세트 손실: 0.099105\t최선의 손실: 0.099105\t정확도: 97.19%\n", "3\t검증 세트 손실: 0.090627\t최선의 손실: 0.090627\t정확도: 97.62%\n", "4\t검증 세트 손실: 0.091347\t최선의 손실: 0.090627\t정확도: 97.69%\n", "5\t검증 세트 손실: 0.083335\t최선의 손실: 0.083335\t정확도: 97.89%\n", "6\t검증 세트 손실: 0.077572\t최선의 손실: 0.077572\t정확도: 98.16%\n", "7\t검증 세트 손실: 0.080820\t최선의 손실: 0.077572\t정확도: 97.85%\n", "8\t검증 세트 손실: 0.074780\t최선의 손실: 0.074780\t정확도: 98.01%\n", "9\t검증 세트 손실: 0.070886\t최선의 손실: 0.070886\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.070880\t최선의 손실: 0.070880\t정확도: 97.97%\n", "11\t검증 세트 손실: 0.073093\t최선의 손실: 0.070880\t정확도: 98.05%\n", "12\t검증 세트 손실: 0.074750\t최선의 손실: 0.070880\t정확도: 97.81%\n", "13\t검증 세트 손실: 0.066300\t최선의 손실: 0.066300\t정확도: 98.24%\n", "14\t검증 세트 손실: 0.068915\t최선의 손실: 0.066300\t정확도: 98.01%\n", "15\t검증 세트 손실: 0.067533\t최선의 손실: 0.066300\t정확도: 98.08%\n", "16\t검증 세트 손실: 0.067286\t최선의 손실: 0.066300\t정확도: 98.24%\n", "17\t검증 세트 손실: 0.063595\t최선의 손실: 0.063595\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.062044\t최선의 손실: 0.062044\t정확도: 98.28%\n", "19\t검증 세트 손실: 0.070157\t최선의 손실: 0.062044\t정확도: 98.36%\n", "20\t검증 세트 손실: 0.069008\t최선의 손실: 0.062044\t정확도: 98.40%\n", "21\t검증 세트 손실: 0.069179\t최선의 손실: 0.062044\t정확도: 98.40%\n", "22\t검증 세트 손실: 0.063055\t최선의 손실: 0.062044\t정확도: 98.24%\n", "23\t검증 세트 손실: 0.064684\t최선의 손실: 0.062044\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.072645\t최선의 손실: 0.062044\t정확도: 98.20%\n", "25\t검증 세트 손실: 0.066539\t최선의 손실: 0.062044\t정확도: 98.32%\n", "26\t검증 세트 손실: 0.069047\t최선의 손실: 0.062044\t정확도: 98.40%\n", "27\t검증 세트 손실: 0.066939\t최선의 손실: 0.062044\t정확도: 98.40%\n", "28\t검증 세트 손실: 0.061899\t최선의 손실: 0.061899\t정확도: 98.40%\n", "29\t검증 세트 손실: 0.065258\t최선의 손실: 0.061899\t정확도: 98.55%\n", "30\t검증 세트 손실: 0.062287\t최선의 손실: 0.061899\t정확도: 98.44%\n", "31\t검증 세트 손실: 0.058559\t최선의 손실: 0.058559\t정확도: 98.44%\n", "32\t검증 세트 손실: 0.058812\t최선의 손실: 0.058559\t정확도: 98.55%\n", "33\t검증 세트 손실: 0.061717\t최선의 손실: 0.058559\t정확도: 98.48%\n", "34\t검증 세트 손실: 0.063136\t최선의 손실: 0.058559\t정확도: 98.36%\n", "35\t검증 세트 손실: 0.060914\t최선의 손실: 0.058559\t정확도: 98.44%\n", "36\t검증 세트 손실: 0.062406\t최선의 손실: 0.058559\t정확도: 98.44%\n", "37\t검증 세트 손실: 0.055786\t최선의 손실: 0.055786\t정확도: 98.55%\n", "38\t검증 세트 손실: 0.059501\t최선의 손실: 0.055786\t정확도: 98.32%\n", "39\t검증 세트 손실: 0.059399\t최선의 손실: 0.055786\t정확도: 98.40%\n", "40\t검증 세트 손실: 0.071760\t최선의 손실: 0.055786\t정확도: 98.32%\n", "41\t검증 세트 손실: 0.059040\t최선의 손실: 0.055786\t정확도: 98.24%\n", "42\t검증 세트 손실: 0.060175\t최선의 손실: 0.055786\t정확도: 98.40%\n", "43\t검증 세트 손실: 0.061024\t최선의 손실: 0.055786\t정확도: 98.40%\n", "44\t검증 세트 손실: 0.064714\t최선의 손실: 0.055786\t정확도: 98.51%\n", "45\t검증 세트 손실: 0.059726\t최선의 손실: 0.055786\t정확도: 98.59%\n", "46\t검증 세트 손실: 0.056772\t최선의 손실: 0.055786\t정확도: 98.32%\n", "47\t검증 세트 손실: 0.060617\t최선의 손실: 0.055786\t정확도: 98.32%\n", "48\t검증 세트 손실: 0.056420\t최선의 손실: 0.055786\t정확도: 98.55%\n", "49\t검증 세트 손실: 0.060016\t최선의 손실: 0.055786\t정확도: 98.44%\n", "50\t검증 세트 손실: 0.060034\t최선의 손실: 0.055786\t정확도: 98.51%\n", "51\t검증 세트 손실: 0.064099\t최선의 손실: 0.055786\t정확도: 98.40%\n", "52\t검증 세트 손실: 0.060130\t최선의 손실: 0.055786\t정확도: 98.40%\n", "53\t검증 세트 손실: 0.054751\t최선의 손실: 0.054751\t정확도: 98.59%\n", "54\t검증 세트 손실: 0.063352\t최선의 손실: 0.054751\t정확도: 98.36%\n", "55\t검증 세트 손실: 0.054811\t최선의 손실: 0.054751\t정확도: 98.63%\n", "56\t검증 세트 손실: 0.060144\t최선의 손실: 0.054751\t정확도: 98.59%\n", "57\t검증 세트 손실: 0.060580\t최선의 손실: 0.054751\t정확도: 98.48%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "58\t검증 세트 손실: 0.059976\t최선의 손실: 0.054751\t정확도: 98.51%\n", "59\t검증 세트 손실: 0.057658\t최선의 손실: 0.054751\t정확도: 98.55%\n", "60\t검증 세트 손실: 0.062643\t최선의 손실: 0.054751\t정확도: 98.32%\n", "61\t검증 세트 손실: 0.061535\t최선의 손실: 0.054751\t정확도: 98.51%\n", "62\t검증 세트 손실: 0.057562\t최선의 손실: 0.054751\t정확도: 98.59%\n", "63\t검증 세트 손실: 0.056772\t최선의 손실: 0.054751\t정확도: 98.44%\n", "64\t검증 세트 손실: 0.055549\t최선의 손실: 0.054751\t정확도: 98.55%\n", "65\t검증 세트 손실: 0.066756\t최선의 손실: 0.054751\t정확도: 98.48%\n", "66\t검증 세트 손실: 0.059483\t최선의 손실: 0.054751\t정확도: 98.44%\n", "67\t검증 세트 손실: 0.059961\t최선의 손실: 0.054751\t정확도: 98.59%\n", "68\t검증 세트 손실: 0.055412\t최선의 손실: 0.054751\t정확도: 98.44%\n", "69\t검증 세트 손실: 0.054928\t최선의 손실: 0.054751\t정확도: 98.59%\n", "70\t검증 세트 손실: 0.059427\t최선의 손실: 0.054751\t정확도: 98.59%\n", "71\t검증 세트 손실: 0.058266\t최선의 손실: 0.054751\t정확도: 98.59%\n", "72\t검증 세트 손실: 0.060038\t최선의 손실: 0.054751\t정확도: 98.44%\n", "73\t검증 세트 손실: 0.064041\t최선의 손실: 0.054751\t정확도: 98.51%\n", "74\t검증 세트 손실: 0.066428\t최선의 손실: 0.054751\t정확도: 98.32%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.4, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.9s\n", "[CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.749726\t최선의 손실: 0.749726\t정확도: 69.43%\n", "1\t검증 세트 손실: 0.358203\t최선의 손실: 0.358203\t정확도: 91.01%\n", "2\t검증 세트 손실: 0.295701\t최선의 손실: 0.295701\t정확도: 92.73%\n", "3\t검증 세트 손실: 0.244571\t최선의 손실: 0.244571\t정확도: 94.57%\n", "4\t검증 세트 손실: 0.181874\t최선의 손실: 0.181874\t정확도: 95.86%\n", "5\t검증 세트 손실: 0.186642\t최선의 손실: 0.181874\t정확도: 95.11%\n", "6\t검증 세트 손실: 0.169903\t최선의 손실: 0.169903\t정확도: 95.54%\n", "7\t검증 세트 손실: 0.183135\t최선의 손실: 0.169903\t정확도: 95.66%\n", "8\t검증 세트 손실: 0.182944\t최선의 손실: 0.169903\t정확도: 94.80%\n", "9\t검증 세트 손실: 0.256468\t최선의 손실: 0.169903\t정확도: 94.25%\n", "10\t검증 세트 손실: 0.247312\t최선의 손실: 0.169903\t정확도: 93.32%\n", "11\t검증 세트 손실: 0.308530\t최선의 손실: 0.169903\t정확도: 92.77%\n", "12\t검증 세트 손실: 0.238473\t최선의 손실: 0.169903\t정확도: 93.90%\n", "13\t검증 세트 손실: 0.220907\t최선의 손실: 0.169903\t정확도: 93.94%\n", "14\t검증 세트 손실: 0.203868\t최선의 손실: 0.169903\t정확도: 94.64%\n", "15\t검증 세트 손실: 0.210521\t최선의 손실: 0.169903\t정확도: 94.37%\n", "16\t검증 세트 손실: 0.229533\t최선의 손실: 0.169903\t정확도: 95.23%\n", "17\t검증 세트 손실: 0.221676\t최선의 손실: 0.169903\t정확도: 95.27%\n", "18\t검증 세트 손실: 0.198135\t최선의 손실: 0.169903\t정확도: 95.66%\n", "19\t검증 세트 손실: 0.215873\t최선의 손실: 0.169903\t정확도: 95.74%\n", "20\t검증 세트 손실: 0.180391\t최선의 손실: 0.169903\t정확도: 95.82%\n", "21\t검증 세트 손실: 0.152929\t최선의 손실: 0.152929\t정확도: 96.91%\n", "22\t검증 세트 손실: 0.153499\t최선의 손실: 0.152929\t정확도: 96.09%\n", "23\t검증 세트 손실: 0.158077\t최선의 손실: 0.152929\t정확도: 96.64%\n", "24\t검증 세트 손실: 0.149619\t최선의 손실: 0.149619\t정확도: 96.44%\n", "25\t검증 세트 손실: 0.153533\t최선의 손실: 0.149619\t정확도: 96.40%\n", "26\t검증 세트 손실: 0.157958\t최선의 손실: 0.149619\t정확도: 96.29%\n", "27\t검증 세트 손실: 0.177144\t최선의 손실: 0.149619\t정확도: 95.35%\n", "28\t검증 세트 손실: 0.179996\t최선의 손실: 0.149619\t정확도: 95.70%\n", "29\t검증 세트 손실: 0.185883\t최선의 손실: 0.149619\t정확도: 96.09%\n", "30\t검증 세트 손실: 0.170410\t최선의 손실: 0.149619\t정확도: 96.21%\n", "31\t검증 세트 손실: 0.149101\t최선의 손실: 0.149101\t정확도: 96.52%\n", "32\t검증 세트 손실: 0.172374\t최선의 손실: 0.149101\t정확도: 96.36%\n", "33\t검증 세트 손실: 0.179768\t최선의 손실: 0.149101\t정확도: 95.66%\n", "34\t검증 세트 손실: 0.178922\t최선의 손실: 0.149101\t정확도: 95.82%\n", "35\t검증 세트 손실: 0.145246\t최선의 손실: 0.145246\t정확도: 96.05%\n", "36\t검증 세트 손실: 0.224508\t최선의 손실: 0.145246\t정확도: 93.82%\n", "37\t검증 세트 손실: 4.417290\t최선의 손실: 0.145246\t정확도: 34.44%\n", "38\t검증 세트 손실: 1.939254\t최선의 손실: 0.145246\t정확도: 31.24%\n", "39\t검증 세트 손실: 1.513403\t최선의 손실: 0.145246\t정확도: 36.86%\n", "40\t검증 세트 손실: 1.473368\t최선의 손실: 0.145246\t정확도: 39.91%\n", "41\t검증 세트 손실: 1.461420\t최선의 손실: 0.145246\t정확도: 42.42%\n", "42\t검증 세트 손실: 1.440702\t최선의 손실: 0.145246\t정확도: 36.83%\n", "43\t검증 세트 손실: 1.351757\t최선의 손실: 0.145246\t정확도: 45.19%\n", "44\t검증 세트 손실: 1.331799\t최선의 손실: 0.145246\t정확도: 43.55%\n", "45\t검증 세트 손실: 1.291802\t최선의 손실: 0.145246\t정확도: 44.96%\n", "46\t검증 세트 손실: 1.342374\t최선의 손실: 0.145246\t정확도: 35.73%\n", "47\t검증 세트 손실: 1.254125\t최선의 손실: 0.145246\t정확도: 43.16%\n", "48\t검증 세트 손실: 1.181135\t최선의 손실: 0.145246\t정확도: 44.29%\n", "49\t검증 세트 손실: 1.321147\t최선의 손실: 0.145246\t정확도: 36.28%\n", "50\t검증 세트 손실: 1.214922\t최선의 손실: 0.145246\t정확도: 46.29%\n", "51\t검증 세트 손실: 1.211221\t최선의 손실: 0.145246\t정확도: 43.63%\n", "52\t검증 세트 손실: 1.199755\t최선의 손실: 0.145246\t정확도: 40.46%\n", "53\t검증 세트 손실: 1.128935\t최선의 손실: 0.145246\t정확도: 50.00%\n", "54\t검증 세트 손실: 1.338743\t최선의 손실: 0.145246\t정확도: 36.83%\n", "55\t검증 세트 손실: 1.172383\t최선의 손실: 0.145246\t정확도: 44.96%\n", "56\t검증 세트 손실: 2.733768\t최선의 손실: 0.145246\t정확도: 41.09%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 6.7s\n", "[CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.757813\t최선의 손실: 0.757813\t정확도: 60.05%\n", "1\t검증 세트 손실: 0.480835\t최선의 손실: 0.480835\t정확도: 77.76%\n", "2\t검증 세트 손실: 0.389910\t최선의 손실: 0.389910\t정확도: 83.03%\n", "3\t검증 세트 손실: 0.299619\t최선의 손실: 0.299619\t정확도: 91.63%\n", "4\t검증 세트 손실: 0.351507\t최선의 손실: 0.299619\t정확도: 89.13%\n", "5\t검증 세트 손실: 0.233501\t최선의 손실: 0.233501\t정확도: 93.90%\n", "6\t검증 세트 손실: 0.360513\t최선의 손실: 0.233501\t정확도: 93.59%\n", "7\t검증 세트 손실: 0.577828\t최선의 손실: 0.233501\t정확도: 90.85%\n", "8\t검증 세트 손실: 0.710351\t최선의 손실: 0.233501\t정확도: 72.56%\n", "9\t검증 세트 손실: 0.520319\t최선의 손실: 0.233501\t정확도: 87.14%\n", "10\t검증 세트 손실: 0.814547\t최선의 손실: 0.233501\t정확도: 56.88%\n", "11\t검증 세트 손실: 1.002186\t최선의 손실: 0.233501\t정확도: 52.89%\n", "12\t검증 세트 손실: 0.818664\t최선의 손실: 0.233501\t정확도: 67.75%\n", "13\t검증 세트 손실: 0.704646\t최선의 손실: 0.233501\t정확도: 79.59%\n", "14\t검증 세트 손실: 0.593516\t최선의 손실: 0.233501\t정확도: 77.44%\n", "15\t검증 세트 손실: 0.460144\t최선의 손실: 0.233501\t정확도: 87.14%\n", "16\t검증 세트 손실: 0.408166\t최선의 손실: 0.233501\t정확도: 87.65%\n", "17\t검증 세트 손실: 0.400885\t최선의 손실: 0.233501\t정확도: 88.66%\n", "18\t검증 세트 손실: 0.374646\t최선의 손실: 0.233501\t정확도: 89.05%\n", "19\t검증 세트 손실: 0.344789\t최선의 손실: 0.233501\t정확도: 89.68%\n", "20\t검증 세트 손실: 0.314172\t최선의 손실: 0.233501\t정확도: 89.41%\n", "21\t검증 세트 손실: 0.264477\t최선의 손실: 0.233501\t정확도: 92.18%\n", "22\t검증 세트 손실: 0.339237\t최선의 손실: 0.233501\t정확도: 90.07%\n", "23\t검증 세트 손실: 0.295081\t최선의 손실: 0.233501\t정확도: 93.43%\n", "24\t검증 세트 손실: 0.284453\t최선의 손실: 0.233501\t정확도: 92.81%\n", "25\t검증 세트 손실: 0.271944\t최선의 손실: 0.233501\t정확도: 93.98%\n", "26\t검증 세트 손실: 0.236837\t최선의 손실: 0.233501\t정확도: 94.18%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 3.6s\n", "[CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.620855\t최선의 손실: 0.620855\t정확도: 73.46%\n", "1\t검증 세트 손실: 0.436875\t최선의 손실: 0.436875\t정확도: 80.49%\n", "2\t검증 세트 손실: 0.255673\t최선의 손실: 0.255673\t정확도: 93.43%\n", "3\t검증 세트 손실: 0.237228\t최선의 손실: 0.237228\t정확도: 94.02%\n", "4\t검증 세트 손실: 0.209467\t최선의 손실: 0.209467\t정확도: 95.23%\n", "5\t검증 세트 손실: 0.180900\t최선의 손실: 0.180900\t정확도: 94.84%\n", "6\t검증 세트 손실: 0.208096\t최선의 손실: 0.180900\t정확도: 95.04%\n", "7\t검증 세트 손실: 0.182589\t최선의 손실: 0.180900\t정확도: 95.90%\n", "8\t검증 세트 손실: 0.186746\t최선의 손실: 0.180900\t정확도: 95.74%\n", "9\t검증 세트 손실: 0.232322\t최선의 손실: 0.180900\t정확도: 95.23%\n", "10\t검증 세트 손실: 0.596152\t최선의 손실: 0.180900\t정확도: 73.61%\n", "11\t검증 세트 손실: 0.708661\t최선의 손실: 0.180900\t정확도: 70.60%\n", "12\t검증 세트 손실: 1.070853\t최선의 손실: 0.180900\t정확도: 45.00%\n", "13\t검증 세트 손실: 0.848795\t최선의 손실: 0.180900\t정확도: 65.17%\n", "14\t검증 세트 손실: 0.814659\t최선의 손실: 0.180900\t정확도: 62.47%\n", "15\t검증 세트 손실: 0.627879\t최선의 손실: 0.180900\t정확도: 73.38%\n", "16\t검증 세트 손실: 0.588430\t최선의 손실: 0.180900\t정확도: 71.46%\n", "17\t검증 세트 손실: 0.524010\t최선의 손실: 0.180900\t정확도: 76.19%\n", "18\t검증 세트 손실: 0.517364\t최선의 손실: 0.180900\t정확도: 79.48%\n", "19\t검증 세트 손실: 0.479080\t최선의 손실: 0.180900\t정확도: 88.58%\n", "20\t검증 세트 손실: 0.452262\t최선의 손실: 0.180900\t정확도: 90.07%\n", "21\t검증 세트 손실: 0.464341\t최선의 손실: 0.180900\t정확도: 91.63%\n", "22\t검증 세트 손실: 0.520010\t최선의 손실: 0.180900\t정확도: 90.27%\n", "23\t검증 세트 손실: 0.399251\t최선의 손실: 0.180900\t정확도: 91.67%\n", "24\t검증 세트 손실: 0.494559\t최선의 손실: 0.180900\t정확도: 85.85%\n", "25\t검증 세트 손실: 0.607569\t최선의 손실: 0.180900\t정확도: 87.53%\n", "26\t검증 세트 손실: 0.590977\t최선의 손실: 0.180900\t정확도: 74.28%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.1, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 3.5s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.120675\t최선의 손실: 0.120675\t정확도: 96.79%\n", "1\t검증 세트 손실: 0.091420\t최선의 손실: 0.091420\t정확도: 97.81%\n", "2\t검증 세트 손실: 0.065458\t최선의 손실: 0.065458\t정확도: 98.16%\n", "3\t검증 세트 손실: 0.094804\t최선의 손실: 0.065458\t정확도: 97.81%\n", "4\t검증 세트 손실: 0.091897\t최선의 손실: 0.065458\t정확도: 97.89%\n", "5\t검증 세트 손실: 0.088422\t최선의 손실: 0.065458\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.090189\t최선의 손실: 0.065458\t정확도: 98.51%\n", "7\t검증 세트 손실: 0.117023\t최선의 손실: 0.065458\t정확도: 98.12%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "8\t검증 세트 손실: 0.072096\t최선의 손실: 0.065458\t정확도: 98.24%\n", "9\t검증 세트 손실: 0.085889\t최선의 손실: 0.065458\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.066740\t최선의 손실: 0.065458\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.075358\t최선의 손실: 0.065458\t정확도: 98.36%\n", "12\t검증 세트 손실: 0.132494\t최선의 손실: 0.065458\t정확도: 98.20%\n", "13\t검증 세트 손실: 0.135368\t최선의 손실: 0.065458\t정확도: 98.20%\n", "14\t검증 세트 손실: 0.073405\t최선의 손실: 0.065458\t정확도: 98.44%\n", "15\t검증 세트 손실: 0.095199\t최선의 손실: 0.065458\t정확도: 98.36%\n", "16\t검증 세트 손실: 0.113919\t최선의 손실: 0.065458\t정확도: 98.12%\n", "17\t검증 세트 손실: 0.105554\t최선의 손실: 0.065458\t정확도: 98.20%\n", "18\t검증 세트 손실: 0.067744\t최선의 손실: 0.065458\t정확도: 98.63%\n", "19\t검증 세트 손실: 0.113195\t최선의 손실: 0.065458\t정확도: 98.87%\n", "20\t검증 세트 손실: 0.108850\t최선의 손실: 0.065458\t정확도: 98.28%\n", "21\t검증 세트 손실: 0.125480\t최선의 손실: 0.065458\t정확도: 98.08%\n", "22\t검증 세트 손실: 0.068950\t최선의 손실: 0.065458\t정확도: 98.05%\n", "23\t검증 세트 손실: 0.068619\t최선의 손실: 0.065458\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=, total= 14.6s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.127859\t최선의 손실: 0.127859\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.095977\t최선의 손실: 0.095977\t정확도: 98.01%\n", "2\t검증 세트 손실: 0.083111\t최선의 손실: 0.083111\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.075066\t최선의 손실: 0.075066\t정확도: 98.01%\n", "4\t검증 세트 손실: 0.091380\t최선의 손실: 0.075066\t정확도: 97.65%\n", "5\t검증 세트 손실: 0.079104\t최선의 손실: 0.075066\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.080471\t최선의 손실: 0.075066\t정확도: 98.01%\n", "7\t검증 세트 손실: 0.071798\t최선의 손실: 0.071798\t정확도: 98.16%\n", "8\t검증 세트 손실: 0.079265\t최선의 손실: 0.071798\t정확도: 97.77%\n", "9\t검증 세트 손실: 0.079497\t최선의 손실: 0.071798\t정확도: 98.28%\n", "10\t검증 세트 손실: 0.073658\t최선의 손실: 0.071798\t정확도: 98.12%\n", "11\t검증 세트 손실: 0.097794\t최선의 손실: 0.071798\t정확도: 98.16%\n", "12\t검증 세트 손실: 0.100064\t최선의 손실: 0.071798\t정확도: 98.28%\n", "13\t검증 세트 손실: 0.079360\t최선의 손실: 0.071798\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.080816\t최선의 손실: 0.071798\t정확도: 98.55%\n", "15\t검증 세트 손실: 0.139586\t최선의 손실: 0.071798\t정확도: 98.08%\n", "16\t검증 세트 손실: 0.137970\t최선의 손실: 0.071798\t정확도: 97.15%\n", "17\t검증 세트 손실: 0.093381\t최선의 손실: 0.071798\t정확도: 97.65%\n", "18\t검증 세트 손실: 0.093273\t최선의 손실: 0.071798\t정확도: 97.93%\n", "19\t검증 세트 손실: 0.068222\t최선의 손실: 0.068222\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.070033\t최선의 손실: 0.068222\t정확도: 98.36%\n", "21\t검증 세트 손실: 0.067508\t최선의 손실: 0.067508\t정확도: 98.63%\n", "22\t검증 세트 손실: 0.064802\t최선의 손실: 0.064802\t정확도: 98.36%\n", "23\t검증 세트 손실: 0.092111\t최선의 손실: 0.064802\t정확도: 98.44%\n", "24\t검증 세트 손실: 0.068026\t최선의 손실: 0.064802\t정확도: 98.51%\n", "25\t검증 세트 손실: 0.074090\t최선의 손실: 0.064802\t정확도: 98.55%\n", "26\t검증 세트 손실: 0.057701\t최선의 손실: 0.057701\t정확도: 98.59%\n", "27\t검증 세트 손실: 0.068941\t최선의 손실: 0.057701\t정확도: 98.36%\n", "28\t검증 세트 손실: 0.100099\t최선의 손실: 0.057701\t정확도: 98.16%\n", "29\t검증 세트 손실: 0.107793\t최선의 손실: 0.057701\t정확도: 97.93%\n", "30\t검증 세트 손실: 0.080995\t최선의 손실: 0.057701\t정확도: 98.20%\n", "31\t검증 세트 손실: 0.067061\t최선의 손실: 0.057701\t정확도: 98.36%\n", "32\t검증 세트 손실: 0.077141\t최선의 손실: 0.057701\t정확도: 98.40%\n", "33\t검증 세트 손실: 0.081540\t최선의 손실: 0.057701\t정확도: 98.40%\n", "34\t검증 세트 손실: 0.120458\t최선의 손실: 0.057701\t정확도: 97.73%\n", "35\t검증 세트 손실: 0.101967\t최선의 손실: 0.057701\t정확도: 97.93%\n", "36\t검증 세트 손실: 0.090226\t최선의 손실: 0.057701\t정확도: 97.77%\n", "37\t검증 세트 손실: 0.102128\t최선의 손실: 0.057701\t정확도: 97.50%\n", "38\t검증 세트 손실: 0.092581\t최선의 손실: 0.057701\t정확도: 98.05%\n", "39\t검증 세트 손실: 0.092048\t최선의 손실: 0.057701\t정확도: 98.24%\n", "40\t검증 세트 손실: 0.125446\t최선의 손실: 0.057701\t정확도: 98.28%\n", "41\t검증 세트 손실: 0.248352\t최선의 손실: 0.057701\t정확도: 98.36%\n", "42\t검증 세트 손실: 0.111737\t최선의 손실: 0.057701\t정확도: 98.28%\n", "43\t검증 세트 손실: 0.080427\t최선의 손실: 0.057701\t정확도: 98.36%\n", "44\t검증 세트 손실: 0.075314\t최선의 손실: 0.057701\t정확도: 98.36%\n", "45\t검증 세트 손실: 0.069857\t최선의 손실: 0.057701\t정확도: 98.48%\n", "46\t검증 세트 손실: 0.070454\t최선의 손실: 0.057701\t정확도: 98.63%\n", "47\t검증 세트 손실: 0.071394\t최선의 손실: 0.057701\t정확도: 98.48%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=, total= 28.3s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation= \n", "0\t검증 세트 손실: 0.101320\t최선의 손실: 0.101320\t정확도: 97.89%\n", "1\t검증 세트 손실: 0.091872\t최선의 손실: 0.091872\t정확도: 97.73%\n", "2\t검증 세트 손실: 0.100644\t최선의 손실: 0.091872\t정확도: 98.24%\n", "3\t검증 세트 손실: 0.093952\t최선의 손실: 0.091872\t정확도: 98.05%\n", "4\t검증 세트 손실: 0.129594\t최선의 손실: 0.091872\t정확도: 97.97%\n", "5\t검증 세트 손실: 0.070477\t최선의 손실: 0.070477\t정확도: 98.12%\n", "6\t검증 세트 손실: 0.081000\t최선의 손실: 0.070477\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.072700\t최선의 손실: 0.070477\t정확도: 98.12%\n", "8\t검증 세트 손실: 0.137383\t최선의 손실: 0.070477\t정확도: 98.01%\n", "9\t검증 세트 손실: 0.057141\t최선의 손실: 0.057141\t정확도: 98.51%\n", "10\t검증 세트 손실: 0.104322\t최선의 손실: 0.057141\t정확도: 98.12%\n", "11\t검증 세트 손실: 0.115196\t최선의 손실: 0.057141\t정확도: 98.40%\n", "12\t검증 세트 손실: 0.064545\t최선의 손실: 0.057141\t정확도: 98.63%\n", "13\t검증 세트 손실: 0.073080\t최선의 손실: 0.057141\t정확도: 98.48%\n", "14\t검증 세트 손실: 0.083638\t최선의 손실: 0.057141\t정확도: 98.36%\n", "15\t검증 세트 손실: 0.102985\t최선의 손실: 0.057141\t정확도: 98.36%\n", "16\t검증 세트 손실: 0.106273\t최선의 손실: 0.057141\t정확도: 98.32%\n", "17\t검증 세트 손실: 0.078276\t최선의 손실: 0.057141\t정확도: 98.28%\n", "18\t검증 세트 손실: 0.072741\t최선의 손실: 0.057141\t정확도: 98.16%\n", "19\t검증 세트 손실: 0.065209\t최선의 손실: 0.057141\t정확도: 98.79%\n", "20\t검증 세트 손실: 0.119827\t최선의 손실: 0.057141\t정확도: 98.55%\n", "21\t검증 세트 손실: 0.056968\t최선의 손실: 0.056968\t정확도: 98.79%\n", "22\t검증 세트 손실: 0.067139\t최선의 손실: 0.056968\t정확도: 98.75%\n", "23\t검증 세트 손실: 0.075892\t최선의 손실: 0.056968\t정확도: 98.63%\n", "24\t검증 세트 손실: 0.060503\t최선의 손실: 0.056968\t정확도: 98.40%\n", "25\t검증 세트 손실: 0.051705\t최선의 손실: 0.051705\t정확도: 98.75%\n", "26\t검증 세트 손실: 0.058427\t최선의 손실: 0.051705\t정확도: 98.67%\n", "27\t검증 세트 손실: 0.077512\t최선의 손실: 0.051705\t정확도: 98.44%\n", "28\t검증 세트 손실: 0.085976\t최선의 손실: 0.051705\t정확도: 98.75%\n", "29\t검증 세트 손실: 0.057358\t최선의 손실: 0.051705\t정확도: 98.67%\n", "30\t검증 세트 손실: 0.100206\t최선의 손실: 0.051705\t정확도: 98.71%\n", "31\t검증 세트 손실: 0.113903\t최선의 손실: 0.051705\t정확도: 98.63%\n", "32\t검증 세트 손실: 0.091537\t최선의 손실: 0.051705\t정확도: 98.55%\n", "33\t검증 세트 손실: 0.066599\t최선의 손실: 0.051705\t정확도: 98.83%\n", "34\t검증 세트 손실: 0.096334\t최선의 손실: 0.051705\t정확도: 98.55%\n", "35\t검증 세트 손실: 0.063356\t최선의 손실: 0.051705\t정확도: 98.79%\n", "36\t검증 세트 손실: 0.104425\t최선의 손실: 0.051705\t정확도: 98.48%\n", "37\t검증 세트 손실: 0.139770\t최선의 손실: 0.051705\t정확도: 98.40%\n", "38\t검증 세트 손실: 0.179405\t최선의 손실: 0.051705\t정확도: 98.24%\n", "39\t검증 세트 손실: 0.159329\t최선의 손실: 0.051705\t정확도: 97.73%\n", "40\t검증 세트 손실: 0.114508\t최선의 손실: 0.051705\t정확도: 98.12%\n", "41\t검증 세트 손실: 0.125748\t최선의 손실: 0.051705\t정확도: 98.51%\n", "42\t검증 세트 손실: 0.081522\t최선의 손실: 0.051705\t정확도: 98.51%\n", "43\t검증 세트 손실: 0.094158\t최선의 손실: 0.051705\t정확도: 97.97%\n", "44\t검증 세트 손실: 0.150453\t최선의 손실: 0.051705\t정확도: 98.12%\n", "45\t검증 세트 손실: 0.079795\t최선의 손실: 0.051705\t정확도: 98.16%\n", "46\t검증 세트 손실: 0.089305\t최선의 손실: 0.051705\t정확도: 98.20%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=, total= 27.3s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 8175.326660\t최선의 손실: 8175.326660\t정확도: 22.01%\n", "1\t검증 세트 손실: 23855.142578\t최선의 손실: 8175.326660\t정확도: 18.73%\n", "2\t검증 세트 손실: 4235.122559\t최선의 손실: 4235.122559\t정확도: 19.08%\n", "3\t검증 세트 손실: 9223.282227\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "4\t검증 세트 손실: 17614.396484\t최선의 손실: 4235.122559\t정확도: 22.01%\n", "5\t검증 세트 손실: 15203.260742\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "6\t검증 세트 손실: 145968.953125\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "7\t검증 세트 손실: 9908.681641\t최선의 손실: 4235.122559\t정확도: 19.23%\n", "8\t검증 세트 손실: 26328.916016\t최선의 손실: 4235.122559\t정확도: 22.01%\n", "9\t검증 세트 손실: 32379.417969\t최선의 손실: 4235.122559\t정확도: 18.73%\n", "10\t검증 세트 손실: 12647.226562\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "11\t검증 세트 손실: 468510.531250\t최선의 손실: 4235.122559\t정확도: 19.39%\n", "12\t검증 세트 손실: 62172.109375\t최선의 손실: 4235.122559\t정확도: 18.73%\n", "13\t검증 세트 손실: 77196.015625\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "14\t검증 세트 손실: 70428.648438\t최선의 손실: 4235.122559\t정확도: 19.08%\n", "15\t검증 세트 손실: 155891.953125\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "16\t검증 세트 손실: 240353.031250\t최선의 손실: 4235.122559\t정확도: 22.01%\n", "17\t검증 세트 손실: 6847522.500000\t최선의 손실: 4235.122559\t정확도: 18.73%\n", "18\t검증 세트 손실: 2118947.750000\t최선의 손실: 4235.122559\t정확도: 20.91%\n", "19\t검증 세트 손실: 1217744.625000\t최선의 손실: 4235.122559\t정확도: 20.56%\n", "20\t검증 세트 손실: 661681.187500\t최선의 손실: 4235.122559\t정확도: 14.82%\n", "21\t검증 세트 손실: 234976.406250\t최선의 손실: 4235.122559\t정확도: 18.73%\n", "22\t검증 세트 손실: 355739.000000\t최선의 손실: 4235.122559\t정확도: 19.08%\n", "23\t검증 세트 손실: 144222.718750\t최선의 손실: 4235.122559\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.3s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 13162.800781\t최선의 손실: 13162.800781\t정확도: 18.73%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 7936.202637\t최선의 손실: 7936.202637\t정확도: 19.27%\n", "2\t검증 세트 손실: 70836.250000\t최선의 손실: 7936.202637\t정확도: 20.91%\n", "3\t검증 세트 손실: 92157.125000\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "4\t검증 세트 손실: 56576.386719\t최선의 손실: 7936.202637\t정확도: 20.88%\n", "5\t검증 세트 손실: 88374.820312\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "6\t검증 세트 손실: 180006.765625\t최선의 손실: 7936.202637\t정확도: 20.37%\n", "7\t검증 세트 손실: 113036.968750\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "8\t검증 세트 손실: 70801.593750\t최선의 손실: 7936.202637\t정확도: 19.27%\n", "9\t검증 세트 손실: 84128.265625\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "10\t검증 세트 손실: 62741.328125\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "11\t검증 세트 손실: 104245.531250\t최선의 손실: 7936.202637\t정확도: 22.01%\n", "12\t검증 세트 손실: 44961.953125\t최선의 손실: 7936.202637\t정확도: 19.08%\n", "13\t검증 세트 손실: 59932.007812\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "14\t검증 세트 손실: 108977.687500\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "15\t검증 세트 손실: 21005.718750\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "16\t검증 세트 손실: 22811.568359\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "17\t검증 세트 손실: 30216.644531\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "18\t검증 세트 손실: 19657.699219\t최선의 손실: 7936.202637\t정확도: 20.91%\n", "19\t검증 세트 손실: 11765.050781\t최선의 손실: 7936.202637\t정확도: 20.91%\n", "20\t검증 세트 손실: 23891.312500\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "21\t검증 세트 손실: 9663.801758\t최선의 손실: 7936.202637\t정확도: 20.91%\n", "22\t검증 세트 손실: 357484.406250\t최선의 손실: 7936.202637\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 13.7s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 340.736328\t최선의 손실: 340.736328\t정확도: 18.73%\n", "1\t검증 세트 손실: 96.528427\t최선의 손실: 96.528427\t정확도: 20.91%\n", "2\t검증 세트 손실: 71.825699\t최선의 손실: 71.825699\t정확도: 19.27%\n", "3\t검증 세트 손실: 3282.199707\t최선의 손실: 71.825699\t정확도: 20.91%\n", "4\t검증 세트 손실: 1915.687622\t최선의 손실: 71.825699\t정확도: 18.73%\n", "5\t검증 세트 손실: 4676.063965\t최선의 손실: 71.825699\t정확도: 22.01%\n", "6\t검증 세트 손실: 22502.056641\t최선의 손실: 71.825699\t정확도: 19.27%\n", "7\t검증 세트 손실: 5395.241699\t최선의 손실: 71.825699\t정확도: 19.27%\n", "8\t검증 세트 손실: 11339.099609\t최선의 손실: 71.825699\t정확도: 19.27%\n", "9\t검증 세트 손실: 12412.822266\t최선의 손실: 71.825699\t정확도: 19.27%\n", "10\t검증 세트 손실: 15966.200195\t최선의 손실: 71.825699\t정확도: 19.27%\n", "11\t검증 세트 손실: 12767.077148\t최선의 손실: 71.825699\t정확도: 19.08%\n", "12\t검증 세트 손실: 67616.367188\t최선의 손실: 71.825699\t정확도: 19.08%\n", "13\t검증 세트 손실: 278276.968750\t최선의 손실: 71.825699\t정확도: 19.27%\n", "14\t검증 세트 손실: 54048.457031\t최선의 손실: 71.825699\t정확도: 22.01%\n", "15\t검증 세트 손실: 67371.437500\t최선의 손실: 71.825699\t정확도: 20.91%\n", "16\t검증 세트 손실: 84392.117188\t최선의 손실: 71.825699\t정확도: 18.73%\n", "17\t검증 세트 손실: 99027.171875\t최선의 손실: 71.825699\t정확도: 18.73%\n", "18\t검증 세트 손실: 357917.250000\t최선의 손실: 71.825699\t정확도: 18.73%\n", "19\t검증 세트 손실: 320309.500000\t최선의 손실: 71.825699\t정확도: 20.91%\n", "20\t검증 세트 손실: 126660.726562\t최선의 손실: 71.825699\t정확도: 20.91%\n", "21\t검증 세트 손실: 242542.281250\t최선의 손실: 71.825699\t정확도: 18.73%\n", "22\t검증 세트 손실: 127002.210938\t최선의 손실: 71.825699\t정확도: 21.58%\n", "23\t검증 세트 손실: 287819.937500\t최선의 손실: 71.825699\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.3s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.382316\t최선의 손실: 2.382316\t정확도: 18.73%\n", "1\t검증 세트 손실: 2.206376\t최선의 손실: 2.206376\t정확도: 18.73%\n", "2\t검증 세트 손실: 2.290938\t최선의 손실: 2.206376\t정확도: 19.27%\n", "3\t검증 세트 손실: 2.160029\t최선의 손실: 2.160029\t정확도: 19.27%\n", "4\t검증 세트 손실: 2.690638\t최선의 손실: 2.160029\t정확도: 19.27%\n", "5\t검증 세트 손실: 2.150468\t최선의 손실: 2.150468\t정확도: 20.91%\n", "6\t검증 세트 손실: 2.053252\t최선의 손실: 2.053252\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.675276\t최선의 손실: 1.675276\t정확도: 19.08%\n", "8\t검증 세트 손실: 2.958127\t최선의 손실: 1.675276\t정확도: 19.08%\n", "9\t검증 세트 손실: 2.679133\t최선의 손실: 1.675276\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.804198\t최선의 손실: 1.675276\t정확도: 19.27%\n", "11\t검증 세트 손실: 2.007416\t최선의 손실: 1.675276\t정확도: 19.08%\n", "12\t검증 세트 손실: 2.219092\t최선의 손실: 1.675276\t정확도: 18.73%\n", "13\t검증 세트 손실: 2.105519\t최선의 손실: 1.675276\t정확도: 18.73%\n", "14\t검증 세트 손실: 3.369555\t최선의 손실: 1.675276\t정확도: 18.73%\n", "15\t검증 세트 손실: 2.353272\t최선의 손실: 1.675276\t정확도: 22.01%\n", "16\t검증 세트 손실: 2.418502\t최선의 손실: 1.675276\t정확도: 18.73%\n", "17\t검증 세트 손실: 2.625759\t최선의 손실: 1.675276\t정확도: 20.91%\n", "18\t검증 세트 손실: 3.012022\t최선의 손실: 1.675276\t정확도: 22.01%\n", "19\t검증 세트 손실: 3.081193\t최선의 손실: 1.675276\t정확도: 22.01%\n", "20\t검증 세트 손실: 3.493829\t최선의 손실: 1.675276\t정확도: 22.01%\n", "21\t검증 세트 손실: 2.339483\t최선의 손실: 1.675276\t정확도: 20.91%\n", "22\t검증 세트 손실: 2.191741\t최선의 손실: 1.675276\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.939168\t최선의 손실: 1.675276\t정확도: 19.08%\n", "24\t검증 세트 손실: 2.480340\t최선의 손실: 1.675276\t정확도: 20.91%\n", "25\t검증 세트 손실: 2.083501\t최선의 손실: 1.675276\t정확도: 19.27%\n", "26\t검증 세트 손실: 2.784225\t최선의 손실: 1.675276\t정확도: 20.91%\n", "27\t검증 세트 손실: 2.101436\t최선의 손실: 1.675276\t정확도: 22.01%\n", "28\t검증 세트 손실: 2.401658\t최선의 손실: 1.675276\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=, total= 54.3s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.829494\t최선의 손실: 1.829494\t정확도: 18.73%\n", "1\t검증 세트 손실: 2.283845\t최선의 손실: 1.829494\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.837418\t최선의 손실: 1.829494\t정확도: 22.01%\n", "3\t검증 세트 손실: 2.173388\t최선의 손실: 1.829494\t정확도: 22.01%\n", "4\t검증 세트 손실: 2.075506\t최선의 손실: 1.829494\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.822881\t최선의 손실: 1.822881\t정확도: 18.73%\n", "6\t검증 세트 손실: 1.924386\t최선의 손실: 1.822881\t정확도: 18.73%\n", "7\t검증 세트 손실: 2.260890\t최선의 손실: 1.822881\t정확도: 19.08%\n", "8\t검증 세트 손실: 3.207452\t최선의 손실: 1.822881\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.959716\t최선의 손실: 1.822881\t정확도: 22.01%\n", "10\t검증 세트 손실: 2.185045\t최선의 손실: 1.822881\t정확도: 19.08%\n", "11\t검증 세트 손실: 3.043437\t최선의 손실: 1.822881\t정확도: 19.08%\n", "12\t검증 세트 손실: 2.284033\t최선의 손실: 1.822881\t정확도: 20.91%\n", "13\t검증 세트 손실: 3.182060\t최선의 손실: 1.822881\t정확도: 19.08%\n", "14\t검증 세트 손실: 2.969241\t최선의 손실: 1.822881\t정확도: 19.27%\n", "15\t검증 세트 손실: 2.363989\t최선의 손실: 1.822881\t정확도: 20.91%\n", "16\t검증 세트 손실: 1.674398\t최선의 손실: 1.674398\t정확도: 20.91%\n", "17\t검증 세트 손실: 2.423646\t최선의 손실: 1.674398\t정확도: 20.91%\n", "18\t검증 세트 손실: 2.406821\t최선의 손실: 1.674398\t정확도: 19.08%\n", "19\t검증 세트 손실: 2.397741\t최선의 손실: 1.674398\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.820991\t최선의 손실: 1.674398\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.946406\t최선의 손실: 1.674398\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.695467\t최선의 손실: 1.674398\t정확도: 18.73%\n", "23\t검증 세트 손실: 2.793676\t최선의 손실: 1.674398\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.864224\t최선의 손실: 1.674398\t정확도: 18.73%\n", "25\t검증 세트 손실: 1.714681\t최선의 손실: 1.674398\t정확도: 22.01%\n", "26\t검증 세트 손실: 4.145279\t최선의 손실: 1.674398\t정확도: 19.08%\n", "27\t검증 세트 손실: 2.568909\t최선의 손실: 1.674398\t정확도: 20.91%\n", "28\t검증 세트 손실: 2.251517\t최선의 손실: 1.674398\t정확도: 18.73%\n", "29\t검증 세트 손실: 1.793252\t최선의 손실: 1.674398\t정확도: 19.08%\n", "30\t검증 세트 손실: 2.311564\t최선의 손실: 1.674398\t정확도: 19.08%\n", "31\t검증 세트 손실: 2.086653\t최선의 손실: 1.674398\t정확도: 19.08%\n", "32\t검증 세트 손실: 2.028574\t최선의 손실: 1.674398\t정확도: 18.73%\n", "33\t검증 세트 손실: 3.503552\t최선의 손실: 1.674398\t정확도: 19.08%\n", "34\t검증 세트 손실: 2.305018\t최선의 손실: 1.674398\t정확도: 20.91%\n", "35\t검증 세트 손실: 3.462137\t최선의 손실: 1.674398\t정확도: 20.91%\n", "36\t검증 세트 손실: 3.220002\t최선의 손실: 1.674398\t정확도: 19.27%\n", "37\t검증 세트 손실: 3.888195\t최선의 손실: 1.674398\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=, total= 1.2min\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.034107\t최선의 손실: 2.034107\t정확도: 22.01%\n", "1\t검증 세트 손실: 2.457525\t최선의 손실: 2.034107\t정확도: 18.73%\n", "2\t검증 세트 손실: 2.492846\t최선의 손실: 2.034107\t정확도: 19.08%\n", "3\t검증 세트 손실: 2.905555\t최선의 손실: 2.034107\t정확도: 22.01%\n", "4\t검증 세트 손실: 3.985356\t최선의 손실: 2.034107\t정확도: 20.91%\n", "5\t검증 세트 손실: 2.589513\t최선의 손실: 2.034107\t정확도: 20.91%\n", "6\t검증 세트 손실: 2.628097\t최선의 손실: 2.034107\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.718307\t최선의 손실: 1.718307\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.698855\t최선의 손실: 1.698855\t정확도: 22.01%\n", "9\t검증 세트 손실: 2.465959\t최선의 손실: 1.698855\t정확도: 18.73%\n", "10\t검증 세트 손실: 2.267466\t최선의 손실: 1.698855\t정확도: 18.73%\n", "11\t검증 세트 손실: 2.389140\t최선의 손실: 1.698855\t정확도: 18.73%\n", "12\t검증 세트 손실: 2.520547\t최선의 손실: 1.698855\t정확도: 18.73%\n", "13\t검증 세트 손실: 4.316359\t최선의 손실: 1.698855\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.996739\t최선의 손실: 1.698855\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.951640\t최선의 손실: 1.698855\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.797261\t최선의 손실: 1.698855\t정확도: 18.73%\n", "17\t검증 세트 손실: 2.206064\t최선의 손실: 1.698855\t정확도: 18.73%\n", "18\t검증 세트 손실: 2.597128\t최선의 손실: 1.698855\t정확도: 19.27%\n", "19\t검증 세트 손실: 3.312786\t최선의 손실: 1.698855\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.931499\t최선의 손실: 1.698855\t정확도: 20.91%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "21\t검증 세트 손실: 2.933721\t최선의 손실: 1.698855\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.866981\t최선의 손실: 1.698855\t정확도: 20.91%\n", "23\t검증 세트 손실: 3.612240\t최선의 손실: 1.698855\t정확도: 19.08%\n", "24\t검증 세트 손실: 2.169147\t최선의 손실: 1.698855\t정확도: 18.73%\n", "25\t검증 세트 손실: 2.241538\t최선의 손실: 1.698855\t정확도: 22.01%\n", "26\t검증 세트 손실: 2.113670\t최선의 손실: 1.698855\t정확도: 18.73%\n", "27\t검증 세트 손실: 2.399706\t최선의 손실: 1.698855\t정확도: 18.73%\n", "28\t검증 세트 손실: 2.328018\t최선의 손실: 1.698855\t정확도: 20.91%\n", "29\t검증 세트 손실: 3.573405\t최선의 손실: 1.698855\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.4, batch_size=10, activation=, total= 55.7s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.204894\t최선의 손실: 2.204894\t정확도: 18.73%\n", "1\t검증 세트 손실: 1.974034\t최선의 손실: 1.974034\t정확도: 19.08%\n", "2\t검증 세트 손실: 2.302344\t최선의 손실: 1.974034\t정확도: 19.27%\n", "3\t검증 세트 손실: 2.265583\t최선의 손실: 1.974034\t정확도: 19.27%\n", "4\t검증 세트 손실: 2.489624\t최선의 손실: 1.974034\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.615684\t최선의 손실: 1.615684\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.987898\t최선의 손실: 1.615684\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.847114\t최선의 손실: 1.615684\t정확도: 22.01%\n", "8\t검증 세트 손실: 2.600062\t최선의 손실: 1.615684\t정확도: 19.08%\n", "9\t검증 세트 손실: 2.705414\t최선의 손실: 1.615684\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.951580\t최선의 손실: 1.615684\t정확도: 19.27%\n", "11\t검증 세트 손실: 1.705972\t최선의 손실: 1.615684\t정확도: 22.01%\n", "12\t검증 세트 손실: 2.202368\t최선의 손실: 1.615684\t정확도: 19.08%\n", "13\t검증 세트 손실: 2.110447\t최선의 손실: 1.615684\t정확도: 22.01%\n", "14\t검증 세트 손실: 3.033683\t최선의 손실: 1.615684\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.870614\t최선의 손실: 1.615684\t정확도: 22.01%\n", "16\t검증 세트 손실: 2.174086\t최선의 손실: 1.615684\t정확도: 20.91%\n", "17\t검증 세트 손실: 2.771400\t최선의 손실: 1.615684\t정확도: 20.91%\n", "18\t검증 세트 손실: 3.362809\t최선의 손실: 1.615684\t정확도: 22.01%\n", "19\t검증 세트 손실: 3.045185\t최선의 손실: 1.615684\t정확도: 22.01%\n", "20\t검증 세트 손실: 3.502127\t최선의 손실: 1.615684\t정확도: 22.01%\n", "21\t검증 세트 손실: 2.183255\t최선의 손실: 1.615684\t정확도: 20.91%\n", "22\t검증 세트 손실: 2.146849\t최선의 손실: 1.615684\t정확도: 18.73%\n", "23\t검증 세트 손실: 2.085919\t최선의 손실: 1.615684\t정확도: 19.08%\n", "24\t검증 세트 손실: 2.488377\t최선의 손실: 1.615684\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.901607\t최선의 손실: 1.615684\t정확도: 20.91%\n", "26\t검증 세트 손실: 2.498298\t최선의 손실: 1.615684\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=, total= 50.4s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation= \n", "0\t검증 세트 손실: 2.124374\t최선의 손실: 2.124374\t정확도: 20.91%\n", "1\t검증 세트 손실: 2.179529\t최선의 손실: 2.124374\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.699477\t최선의 손실: 1.699477\t정확도: 22.01%\n", "3\t검증 세트 손실: 2.182966\t최선의 손실: 1.699477\t정확도: 22.01%\n", "4\t검증 세트 손실: 2.060374\t최선의 손실: 1.699477\t정확도: 19.08%\n", "5\t검증 세트 손실: 2.517671\t최선의 손실: 1.699477\t정확도: 19.27%\n", "6\t검증 세트 손실: 2.052652\t최선의 손실: 1.699477\t정확도: 19.27%\n", "7\t검증 세트 손실: 2.581685\t최선의 손실: 1.699477\t정확도: 18.73%\n", "8\t검증 세트 손실: 3.034673\t최선의 손실: 1.699477\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.964831\t최선의 손실: 1.699477\t정확도: 22.01%\n", "10\t검증 세트 손실: 2.221820\t최선의 손실: 1.699477\t정확도: 18.73%\n", "11\t검증 세트 손실: 2.671669\t최선의 손실: 1.699477\t정확도: 19.27%\n", "12\t검증 세트 손실: 2.574807\t최선의 손실: 1.699477\t정확도: 18.73%\n", "13\t검증 세트 손실: 2.953854\t최선의 손실: 1.699477\t정확도: 19.08%\n", "14\t검증 세트 손실: 2.810771\t최선의 손실: 1.699477\t정확도: 19.27%\n", "15\t검증 세트 손실: 2.183523\t최선의 손실: 1.699477\t정확도: 20.91%\n", "16\t검증 세트 손실: 1.655432\t최선의 손실: 1.655432\t정확도: 22.01%\n", "17\t검증 세트 손실: 3.192878\t최선의 손실: 1.655432\t정확도: 19.08%\n", "18\t검증 세트 손실: 2.121941\t최선의 손실: 1.655432\t정확도: 19.08%\n", "19\t검증 세트 손실: 2.089645\t최선의 손실: 1.655432\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.708139\t최선의 손실: 1.655432\t정확도: 18.73%\n", "21\t검증 세트 손실: 2.090309\t최선의 손실: 1.655432\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.716250\t최선의 손실: 1.655432\t정확도: 18.73%\n", "23\t검증 세트 손실: 2.932617\t최선의 손실: 1.655432\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.832123\t최선의 손실: 1.655432\t정확도: 18.73%\n", "25\t검증 세트 손실: 1.866726\t최선의 손실: 1.655432\t정확도: 22.01%\n", "26\t검증 세트 손실: 3.641668\t최선의 손실: 1.655432\t정확도: 19.08%\n", "27\t검증 세트 손실: 2.788854\t최선의 손실: 1.655432\t정확도: 20.91%\n", "28\t검증 세트 손실: 2.275145\t최선의 손실: 1.655432\t정확도: 20.91%\n", "29\t검증 세트 손실: 2.017048\t최선의 손실: 1.655432\t정확도: 19.08%\n", "30\t검증 세트 손실: 2.496007\t최선의 손실: 1.655432\t정확도: 22.01%\n", "31\t검증 세트 손실: 2.415754\t최선의 손실: 1.655432\t정확도: 22.01%\n", "32\t검증 세트 손실: 2.203551\t최선의 손실: 1.655432\t정확도: 18.73%\n", "33\t검증 세트 손실: 3.109013\t최선의 손실: 1.655432\t정확도: 19.08%\n", "34\t검증 세트 손실: 2.021201\t최선의 손실: 1.655432\t정확도: 20.91%\n", "35\t검증 세트 손실: 2.467942\t최선의 손실: 1.655432\t정확도: 20.91%\n", "36\t검증 세트 손실: 3.532998\t최선의 손실: 1.655432\t정확도: 19.27%\n", "37\t검증 세트 손실: 3.778607\t최선의 손실: 1.655432\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=, total= 1.2min\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.864752\t최선의 손실: 1.864752\t정확도: 22.01%\n", "1\t검증 세트 손실: 2.402757\t최선의 손실: 1.864752\t정확도: 18.73%\n", "2\t검증 세트 손실: 2.474303\t최선의 손실: 1.864752\t정확도: 19.08%\n", "3\t검증 세트 손실: 2.538339\t최선의 손실: 1.864752\t정확도: 22.01%\n", "4\t검증 세트 손실: 3.829299\t최선의 손실: 1.864752\t정확도: 20.91%\n", "5\t검증 세트 손실: 3.080746\t최선의 손실: 1.864752\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.962053\t최선의 손실: 1.864752\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.927153\t최선의 손실: 1.864752\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.788340\t최선의 손실: 1.788340\t정확도: 22.01%\n", "9\t검증 세트 손실: 2.479845\t최선의 손실: 1.788340\t정확도: 18.73%\n", "10\t검증 세트 손실: 2.462451\t최선의 손실: 1.788340\t정확도: 19.27%\n", "11\t검증 세트 손실: 2.422694\t최선의 손실: 1.788340\t정확도: 19.27%\n", "12\t검증 세트 손실: 2.262888\t최선의 손실: 1.788340\t정확도: 18.73%\n", "13\t검증 세트 손실: 4.364314\t최선의 손실: 1.788340\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.854821\t최선의 손실: 1.788340\t정확도: 22.01%\n", "15\t검증 세트 손실: 2.199028\t최선의 손실: 1.788340\t정확도: 19.27%\n", "16\t검증 세트 손실: 1.857170\t최선의 손실: 1.788340\t정확도: 18.73%\n", "17\t검증 세트 손실: 2.332803\t최선의 손실: 1.788340\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.879194\t최선의 손실: 1.788340\t정확도: 18.73%\n", "19\t검증 세트 손실: 3.455175\t최선의 손실: 1.788340\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.873585\t최선의 손실: 1.788340\t정확도: 20.91%\n", "21\t검증 세트 손실: 2.497010\t최선의 손실: 1.788340\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.891488\t최선의 손실: 1.788340\t정확도: 19.27%\n", "23\t검증 세트 손실: 3.037920\t최선의 손실: 1.788340\t정확도: 19.08%\n", "24\t검증 세트 손실: 2.421356\t최선의 손실: 1.788340\t정확도: 19.27%\n", "25\t검증 세트 손실: 2.206481\t최선의 손실: 1.788340\t정확도: 20.91%\n", "26\t검증 세트 손실: 2.522092\t최선의 손실: 1.788340\t정확도: 18.73%\n", "27\t검증 세트 손실: 2.281762\t최선의 손실: 1.788340\t정확도: 18.73%\n", "28\t검증 세트 손실: 2.880796\t최선의 손실: 1.788340\t정확도: 20.91%\n", "29\t검증 세트 손실: 3.945024\t최선의 손실: 1.788340\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=10, activation=, total= 56.0s\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.610488\t최선의 손실: 1.610488\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.612953\t최선의 손실: 1.610488\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.609340\t최선의 손실: 1.609340\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.609768\t최선의 손실: 1.609340\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.618599\t최선의 손실: 1.609340\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.612642\t최선의 손실: 1.609340\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.609927\t최선의 손실: 1.609340\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.615141\t최선의 손실: 1.609340\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.622436\t최선의 손실: 1.609340\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.610774\t최선의 손실: 1.609340\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.608214\t최선의 손실: 1.608214\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.619405\t최선의 손실: 1.608214\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.608363\t최선의 손실: 1.608214\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.618592\t최선의 손실: 1.608214\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.613605\t최선의 손실: 1.608214\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.611306\t최선의 손실: 1.608214\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.611332\t최선의 손실: 1.608214\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.610983\t최선의 손실: 1.608214\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.614782\t최선의 손실: 1.608214\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.610592\t최선의 손실: 1.608214\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.611321\t최선의 손실: 1.608214\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.614838\t최선의 손실: 1.608214\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.616512\t최선의 손실: 1.608214\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.618046\t최선의 손실: 1.608214\t정확도: 19.27%\n", "24\t검증 세트 손실: 1.614492\t최선의 손실: 1.608214\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.609587\t최선의 손실: 1.608214\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.610506\t최선의 손실: 1.608214\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.612529\t최선의 손실: 1.608214\t정확도: 19.08%\n", "28\t검증 세트 손실: 1.610707\t최선의 손실: 1.608214\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.614497\t최선의 손실: 1.608214\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.622664\t최선의 손실: 1.608214\t정확도: 19.27%\n", "31\t검증 세트 손실: 1.608788\t최선의 손실: 1.608214\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=, total= 11.0s\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.609589\t최선의 손실: 1.609589\t정확도: 22.01%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 1.610194\t최선의 손실: 1.609589\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.615184\t최선의 손실: 1.609589\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.624065\t최선의 손실: 1.609589\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.614288\t최선의 손실: 1.609589\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.614001\t최선의 손실: 1.609589\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.614709\t최선의 손실: 1.609589\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.611892\t최선의 손실: 1.609589\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.609710\t최선의 손실: 1.609589\t정확도: 20.91%\n", "9\t검증 세트 손실: 1.609552\t최선의 손실: 1.609552\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.618977\t최선의 손실: 1.609552\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.612216\t최선의 손실: 1.609552\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.609188\t최선의 손실: 1.609188\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.613469\t최선의 손실: 1.609188\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.613035\t최선의 손실: 1.609188\t정확도: 19.27%\n", "15\t검증 세트 손실: 1.612353\t최선의 손실: 1.609188\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.612086\t최선의 손실: 1.609188\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.618460\t최선의 손실: 1.609188\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.612811\t최선의 손실: 1.609188\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.610633\t최선의 손실: 1.609188\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.612247\t최선의 손실: 1.609188\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.610886\t최선의 손실: 1.609188\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.617966\t최선의 손실: 1.609188\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.616909\t최선의 손실: 1.609188\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.612185\t최선의 손실: 1.609188\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.615078\t최선의 손실: 1.609188\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.607682\t최선의 손실: 1.607682\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.611629\t최선의 손실: 1.607682\t정확도: 22.01%\n", "28\t검증 세트 손실: 1.626030\t최선의 손실: 1.607682\t정확도: 18.73%\n", "29\t검증 세트 손실: 1.609974\t최선의 손실: 1.607682\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.611094\t최선의 손실: 1.607682\t정확도: 19.08%\n", "31\t검증 세트 손실: 1.611652\t최선의 손실: 1.607682\t정확도: 19.27%\n", "32\t검증 세트 손실: 1.612802\t최선의 손실: 1.607682\t정확도: 18.73%\n", "33\t검증 세트 손실: 1.608832\t최선의 손실: 1.607682\t정확도: 20.91%\n", "34\t검증 세트 손실: 1.613910\t최선의 손실: 1.607682\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.610118\t최선의 손실: 1.607682\t정확도: 22.01%\n", "36\t검증 세트 손실: 1.613161\t최선의 손실: 1.607682\t정확도: 20.91%\n", "37\t검증 세트 손실: 1.610388\t최선의 손실: 1.607682\t정확도: 19.08%\n", "38\t검증 세트 손실: 1.620768\t최선의 손실: 1.607682\t정확도: 22.01%\n", "39\t검증 세트 손실: 1.623742\t최선의 손실: 1.607682\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.609530\t최선의 손실: 1.607682\t정확도: 22.01%\n", "41\t검증 세트 손실: 1.609139\t최선의 손실: 1.607682\t정확도: 22.01%\n", "42\t검증 세트 손실: 1.622822\t최선의 손실: 1.607682\t정확도: 19.27%\n", "43\t검증 세트 손실: 1.617258\t최선의 손실: 1.607682\t정확도: 22.01%\n", "44\t검증 세트 손실: 1.616074\t최선의 손실: 1.607682\t정확도: 19.08%\n", "45\t검증 세트 손실: 1.611641\t최선의 손실: 1.607682\t정확도: 19.08%\n", "46\t검증 세트 손실: 1.623921\t최선의 손실: 1.607682\t정확도: 18.73%\n", "47\t검증 세트 손실: 1.611057\t최선의 손실: 1.607682\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=, total= 16.2s\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.614352\t최선의 손실: 1.614352\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.609411\t최선의 손실: 1.609411\t정확도: 22.01%\n", "2\t검증 세트 손실: 1.618282\t최선의 손실: 1.609411\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.620852\t최선의 손실: 1.609411\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.609193\t최선의 손실: 1.609193\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.609910\t최선의 손실: 1.609193\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.615230\t최선의 손실: 1.609193\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.617016\t최선의 손실: 1.609193\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.611728\t최선의 손실: 1.609193\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.614968\t최선의 손실: 1.609193\t정확도: 18.73%\n", "10\t검증 세트 손실: 1.612519\t최선의 손실: 1.609193\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.623437\t최선의 손실: 1.609193\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.608311\t최선의 손실: 1.608311\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.611813\t최선의 손실: 1.608311\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.608482\t최선의 손실: 1.608311\t정확도: 20.91%\n", "15\t검증 세트 손실: 1.617305\t최선의 손실: 1.608311\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.618903\t최선의 손실: 1.608311\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.615218\t최선의 손실: 1.608311\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.608079\t최선의 손실: 1.608079\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.608635\t최선의 손실: 1.608079\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.620164\t최선의 손실: 1.608079\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.611845\t최선의 손실: 1.608079\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.613170\t최선의 손실: 1.608079\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.613917\t최선의 손실: 1.608079\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.613874\t최선의 손실: 1.608079\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.617804\t최선의 손실: 1.608079\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.613065\t최선의 손실: 1.608079\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.614672\t최선의 손실: 1.608079\t정확도: 19.27%\n", "28\t검증 세트 손실: 1.630548\t최선의 손실: 1.608079\t정확도: 18.73%\n", "29\t검증 세트 손실: 1.611472\t최선의 손실: 1.608079\t정확도: 22.01%\n", "30\t검증 세트 손실: 1.611858\t최선의 손실: 1.608079\t정확도: 19.08%\n", "31\t검증 세트 손실: 1.611836\t최선의 손실: 1.608079\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.615410\t최선의 손실: 1.608079\t정확도: 18.73%\n", "33\t검증 세트 손실: 1.608510\t최선의 손실: 1.608079\t정확도: 22.01%\n", "34\t검증 세트 손실: 1.613685\t최선의 손실: 1.608079\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.609654\t최선의 손실: 1.608079\t정확도: 19.27%\n", "36\t검증 세트 손실: 1.609916\t최선의 손실: 1.608079\t정확도: 18.73%\n", "37\t검증 세트 손실: 1.608670\t최선의 손실: 1.608079\t정확도: 22.01%\n", "38\t검증 세트 손실: 1.617389\t최선의 손실: 1.608079\t정확도: 19.27%\n", "39\t검증 세트 손실: 1.625788\t최선의 손실: 1.608079\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=, total= 13.6s\n", "[CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 1.452695\t최선의 손실: 1.452695\t정확도: 37.53%\n", "1\t검증 세트 손실: 1.586215\t최선의 손실: 1.452695\t정확도: 20.91%\n", "2\t검증 세트 손실: 1.590764\t최선의 손실: 1.452695\t정확도: 23.69%\n", "3\t검증 세트 손실: 1.608674\t최선의 손실: 1.452695\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.616227\t최선의 손실: 1.452695\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.614068\t최선의 손실: 1.452695\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.609137\t최선의 손실: 1.452695\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.614290\t최선의 손실: 1.452695\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.617229\t최선의 손실: 1.452695\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.608650\t최선의 손실: 1.452695\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.608021\t최선의 손실: 1.452695\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.613579\t최선의 손실: 1.452695\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.609031\t최선의 손실: 1.452695\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.615936\t최선의 손실: 1.452695\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.613141\t최선의 손실: 1.452695\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.611247\t최선의 손실: 1.452695\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.609468\t최선의 손실: 1.452695\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.610102\t최선의 손실: 1.452695\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.615317\t최선의 손실: 1.452695\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.608987\t최선의 손실: 1.452695\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.609123\t최선의 손실: 1.452695\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.615654\t최선의 손실: 1.452695\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=, total= 12.3s\n", "[CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 1.368392\t최선의 손실: 1.368392\t정확도: 36.24%\n", "1\t검증 세트 손실: 1.610618\t최선의 손실: 1.368392\t정확도: 19.35%\n", "2\t검증 세트 손실: 1.610241\t최선의 손실: 1.368392\t정확도: 22.09%\n", "3\t검증 세트 손실: 1.618327\t최선의 손실: 1.368392\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.612841\t최선의 손실: 1.368392\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.610861\t최선의 손실: 1.368392\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.616819\t최선의 손실: 1.368392\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.613216\t최선의 손실: 1.368392\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.609146\t최선의 손실: 1.368392\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.608314\t최선의 손실: 1.368392\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.614517\t최선의 손실: 1.368392\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.610574\t최선의 손실: 1.368392\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.609134\t최선의 손실: 1.368392\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.612337\t최선의 손실: 1.368392\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.609192\t최선의 손실: 1.368392\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.610180\t최선의 손실: 1.368392\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.613045\t최선의 손실: 1.368392\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.615457\t최선의 손실: 1.368392\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.610246\t최선의 손실: 1.368392\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.609071\t최선의 손실: 1.368392\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.610652\t최선의 손실: 1.368392\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.612862\t최선의 손실: 1.368392\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=, total= 12.2s\n", "[CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 1.622489\t최선의 손실: 1.622489\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.364841\t최선의 손실: 1.364841\t정확도: 39.21%\n", "2\t검증 세트 손실: 1.323991\t최선의 손실: 1.323991\t정확도: 39.87%\n", "3\t검증 세트 손실: 1.302426\t최선의 손실: 1.302426\t정확도: 37.29%\n", "4\t검증 세트 손실: 1.413461\t최선의 손실: 1.302426\t정확도: 37.72%\n", "5\t검증 세트 손실: 1.511344\t최선의 손실: 1.302426\t정확도: 38.90%\n", "6\t검증 세트 손실: 1.475166\t최선의 손실: 1.302426\t정확도: 38.62%\n", "7\t검증 세트 손실: 1.441830\t최선의 손실: 1.302426\t정확도: 37.84%\n", "8\t검증 세트 손실: 1.609142\t최선의 손실: 1.302426\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.611424\t최선의 손실: 1.302426\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.612134\t최선의 손실: 1.302426\t정확도: 18.73%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "11\t검증 세트 손실: 1.617385\t최선의 손실: 1.302426\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.608013\t최선의 손실: 1.302426\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.614052\t최선의 손실: 1.302426\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.609029\t최선의 손실: 1.302426\t정확도: 20.91%\n", "15\t검증 세트 손실: 1.613221\t최선의 손실: 1.302426\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.620470\t최선의 손실: 1.302426\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.614958\t최선의 손실: 1.302426\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.608519\t최선의 손실: 1.302426\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.609451\t최선의 손실: 1.302426\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.617042\t최선의 손실: 1.302426\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.612378\t최선의 손실: 1.302426\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.613459\t최선의 손실: 1.302426\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.611028\t최선의 손실: 1.302426\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.610686\t최선의 손실: 1.302426\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.05, dropout_rate=0.3, batch_size=50, activation=, total= 13.8s\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.593167\t최선의 손실: 0.593167\t정확도: 77.91%\n", "1\t검증 세트 손실: 0.633260\t최선의 손실: 0.593167\t정확도: 78.07%\n", "2\t검증 세트 손실: 0.583050\t최선의 손실: 0.583050\t정확도: 77.99%\n", "3\t검증 세트 손실: 0.628100\t최선의 손실: 0.583050\t정확도: 75.22%\n", "4\t검증 세트 손실: 0.661577\t최선의 손실: 0.583050\t정확도: 73.73%\n", "5\t검증 세트 손실: 0.618642\t최선의 손실: 0.583050\t정확도: 73.65%\n", "6\t검증 세트 손실: 0.577634\t최선의 손실: 0.577634\t정확도: 75.37%\n", "7\t검증 세트 손실: 0.735690\t최선의 손실: 0.577634\t정확도: 71.85%\n", "8\t검증 세트 손실: 0.681724\t최선의 손실: 0.577634\t정확도: 73.06%\n", "9\t검증 세트 손실: 1.004290\t최선의 손실: 0.577634\t정확도: 62.63%\n", "10\t검증 세트 손실: 0.986171\t최선의 손실: 0.577634\t정확도: 59.54%\n", "11\t검증 세트 손실: 1.038328\t최선의 손실: 0.577634\t정확도: 56.06%\n", "12\t검증 세트 손실: 1.105307\t최선의 손실: 0.577634\t정확도: 50.00%\n", "13\t검증 세트 손실: 1.071741\t최선의 손실: 0.577634\t정확도: 45.27%\n", "14\t검증 세트 손실: 1.029289\t최선의 손실: 0.577634\t정확도: 53.05%\n", "15\t검증 세트 손실: 1.162508\t최선의 손실: 0.577634\t정확도: 41.71%\n", "16\t검증 세트 손실: 1.220924\t최선의 손실: 0.577634\t정확도: 40.50%\n", "17\t검증 세트 손실: 1.198313\t최선의 손실: 0.577634\t정확도: 40.62%\n", "18\t검증 세트 손실: 1.221796\t최선의 손실: 0.577634\t정확도: 40.81%\n", "19\t검증 세트 손실: 1.180576\t최선의 손실: 0.577634\t정확도: 40.73%\n", "20\t검증 세트 손실: 1.156605\t최선의 손실: 0.577634\t정확도: 41.05%\n", "21\t검증 세트 손실: 1.239410\t최선의 손실: 0.577634\t정확도: 40.42%\n", "22\t검증 세트 손실: 1.156967\t최선의 손실: 0.577634\t정확도: 41.28%\n", "23\t검증 세트 손실: 1.187595\t최선의 손실: 0.577634\t정확도: 40.07%\n", "24\t검증 세트 손실: 1.192377\t최선의 손실: 0.577634\t정확도: 40.85%\n", "25\t검증 세트 손실: 1.181360\t최선의 손실: 0.577634\t정확도: 40.54%\n", "26\t검증 세트 손실: 1.181695\t최선의 손실: 0.577634\t정확도: 36.86%\n", "27\t검증 세트 손실: 1.170447\t최선의 손실: 0.577634\t정확도: 36.83%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=, total= 19.4s\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.649274\t최선의 손실: 0.649274\t정확도: 71.27%\n", "1\t검증 세트 손실: 0.545170\t최선의 손실: 0.545170\t정확도: 77.64%\n", "2\t검증 세트 손실: 0.649842\t최선의 손실: 0.545170\t정확도: 71.34%\n", "3\t검증 세트 손실: 0.960801\t최선의 손실: 0.545170\t정확도: 55.28%\n", "4\t검증 세트 손실: 0.959141\t최선의 손실: 0.545170\t정확도: 54.57%\n", "5\t검증 세트 손실: 0.925533\t최선의 손실: 0.545170\t정확도: 56.68%\n", "6\t검증 세트 손실: 1.231266\t최선의 손실: 0.545170\t정확도: 40.97%\n", "7\t검증 세트 손실: 1.241333\t최선의 손실: 0.545170\t정확도: 39.72%\n", "8\t검증 세트 손실: 1.170860\t최선의 손실: 0.545170\t정확도: 42.10%\n", "9\t검증 세트 손실: 1.392396\t최선의 손실: 0.545170\t정확도: 33.15%\n", "10\t검증 세트 손실: 1.381053\t최선의 손실: 0.545170\t정확도: 34.25%\n", "11\t검증 세트 손실: 1.295144\t최선의 손실: 0.545170\t정확도: 36.75%\n", "12\t검증 세트 손실: 1.236845\t최선의 손실: 0.545170\t정확도: 38.82%\n", "13\t검증 세트 손실: 1.349126\t최선의 손실: 0.545170\t정확도: 34.28%\n", "14\t검증 세트 손실: 1.225733\t최선의 손실: 0.545170\t정확도: 38.86%\n", "15\t검증 세트 손실: 1.216655\t최선의 손실: 0.545170\t정확도: 39.29%\n", "16\t검증 세트 손실: 1.196916\t최선의 손실: 0.545170\t정확도: 39.56%\n", "17\t검증 세트 손실: 1.204515\t최선의 손실: 0.545170\t정확도: 40.03%\n", "18\t검증 세트 손실: 1.232491\t최선의 손실: 0.545170\t정확도: 39.33%\n", "19\t검증 세트 손실: 1.195094\t최선의 손실: 0.545170\t정확도: 40.27%\n", "20\t검증 세트 손실: 1.186228\t최선의 손실: 0.545170\t정확도: 40.23%\n", "21\t검증 세트 손실: 1.188845\t최선의 손실: 0.545170\t정확도: 40.19%\n", "22\t검증 세트 손실: 1.188299\t최선의 손실: 0.545170\t정확도: 40.34%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=, total= 16.2s\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.565596\t최선의 손실: 0.565596\t정확도: 83.85%\n", "1\t검증 세트 손실: 0.475161\t최선의 손실: 0.475161\t정확도: 89.60%\n", "2\t검증 세트 손실: 0.546848\t최선의 손실: 0.475161\t정확도: 85.93%\n", "3\t검증 세트 손실: 0.486239\t최선의 손실: 0.475161\t정확도: 86.51%\n", "4\t검증 세트 손실: 0.579285\t최선의 손실: 0.475161\t정확도: 84.56%\n", "5\t검증 세트 손실: 0.565997\t최선의 손실: 0.475161\t정확도: 79.71%\n", "6\t검증 세트 손실: 0.731612\t최선의 손실: 0.475161\t정확도: 73.81%\n", "7\t검증 세트 손실: 0.795411\t최선의 손실: 0.475161\t정확도: 72.01%\n", "8\t검증 세트 손실: 0.826418\t최선의 손실: 0.475161\t정확도: 69.82%\n", "9\t검증 세트 손실: 0.821350\t최선의 손실: 0.475161\t정확도: 67.16%\n", "10\t검증 세트 손실: 0.784944\t최선의 손실: 0.475161\t정확도: 68.37%\n", "11\t검증 세트 손실: 0.730263\t최선의 손실: 0.475161\t정확도: 72.40%\n", "12\t검증 세트 손실: 0.917043\t최선의 손실: 0.475161\t정확도: 57.78%\n", "13\t검증 세트 손실: 0.944254\t최선의 손실: 0.475161\t정확도: 55.55%\n", "14\t검증 세트 손실: 0.869353\t최선의 손실: 0.475161\t정확도: 67.01%\n", "15\t검증 세트 손실: 1.155893\t최선의 손실: 0.475161\t정확도: 40.66%\n", "16\t검증 세트 손실: 1.207222\t최선의 손실: 0.475161\t정확도: 40.23%\n", "17\t검증 세트 손실: 1.172581\t최선의 손실: 0.475161\t정확도: 36.47%\n", "18\t검증 세트 손실: 1.231909\t최선의 손실: 0.475161\t정확도: 41.20%\n", "19\t검증 세트 손실: 1.195241\t최선의 손실: 0.475161\t정확도: 36.86%\n", "20\t검증 세트 손실: 1.269289\t최선의 손실: 0.475161\t정확도: 40.58%\n", "21\t검증 세트 손실: 1.223462\t최선의 손실: 0.475161\t정확도: 40.50%\n", "22\t검증 세트 손실: 1.235681\t최선의 손실: 0.475161\t정확도: 40.30%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.6, batch_size=50, activation=, total= 16.1s\n", "[CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.662464\t최선의 손실: 1.662464\t정확도: 20.91%\n", "1\t검증 세트 손실: 2.339012\t최선의 손실: 1.662464\t정확도: 22.01%\n", "2\t검증 세트 손실: 1.648069\t최선의 손실: 1.648069\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.804156\t최선의 손실: 1.648069\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.651565\t최선의 손실: 1.648069\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.609831\t최선의 손실: 1.609831\t정확도: 19.27%\n", "6\t검증 세트 손실: 1.660921\t최선의 손실: 1.609831\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.696527\t최선의 손실: 1.609831\t정확도: 20.91%\n", "8\t검증 세트 손실: 1.755143\t최선의 손실: 1.609831\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.654944\t최선의 손실: 1.609831\t정확도: 18.73%\n", "10\t검증 세트 손실: 1.647097\t최선의 손실: 1.609831\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.672187\t최선의 손실: 1.609831\t정확도: 18.73%\n", "12\t검증 세트 손실: 2.372150\t최선의 손실: 1.609831\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.686239\t최선의 손실: 1.609831\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.621791\t최선의 손실: 1.609831\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.627670\t최선의 손실: 1.609831\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.687387\t최선의 손실: 1.609831\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.634876\t최선의 손실: 1.609831\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.701378\t최선의 손실: 1.609831\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.731642\t최선의 손실: 1.609831\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.619222\t최선의 손실: 1.609831\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.675883\t최선의 손실: 1.609831\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.726357\t최선의 손실: 1.609831\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.751924\t최선의 손실: 1.609831\t정확도: 19.08%\n", "24\t검증 세트 손실: 1.657833\t최선의 손실: 1.609831\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.765498\t최선의 손실: 1.609831\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.666600\t최선의 손실: 1.609831\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=, total= 28.3s\n", "[CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.682377\t최선의 손실: 1.682377\t정확도: 18.73%\n", "1\t검증 세트 손실: 1.697050\t최선의 손실: 1.682377\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.660046\t최선의 손실: 1.660046\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.658201\t최선의 손실: 1.658201\t정확도: 19.08%\n", "4\t검증 세트 손실: 1.624794\t최선의 손실: 1.624794\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.663086\t최선의 손실: 1.624794\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.666860\t최선의 손실: 1.624794\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.760271\t최선의 손실: 1.624794\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.694466\t최선의 손실: 1.624794\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.608710\t최선의 손실: 1.608710\t정확도: 22.01%\n", "10\t검증 세트 손실: 6.956006\t최선의 손실: 1.608710\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.625708\t최선의 손실: 1.608710\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.630891\t최선의 손실: 1.608710\t정확도: 20.91%\n", "13\t검증 세트 손실: 2.735638\t최선의 손실: 1.608710\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.726730\t최선의 손실: 1.608710\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.611302\t최선의 손실: 1.608710\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.616855\t최선의 손실: 1.608710\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.636407\t최선의 손실: 1.608710\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.653915\t최선의 손실: 1.608710\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.769197\t최선의 손실: 1.608710\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.658535\t최선의 손실: 1.608710\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.653327\t최선의 손실: 1.608710\t정확도: 22.01%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "22\t검증 세트 손실: 1.615526\t최선의 손실: 1.608710\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.663918\t최선의 손실: 1.608710\t정확도: 18.73%\n", "24\t검증 세트 손실: 1.660225\t최선의 손실: 1.608710\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.707447\t최선의 손실: 1.608710\t정확도: 18.73%\n", "26\t검증 세트 손실: 1.686171\t최선의 손실: 1.608710\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.651977\t최선의 손실: 1.608710\t정확도: 22.01%\n", "28\t검증 세트 손실: 1.719406\t최선의 손실: 1.608710\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.697209\t최선의 손실: 1.608710\t정확도: 20.91%\n", "30\t검증 세트 손실: 1.661407\t최선의 손실: 1.608710\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=, total= 32.1s\n", "[CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.609461\t최선의 손실: 1.609461\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.675398\t최선의 손실: 1.609461\t정확도: 20.91%\n", "2\t검증 세트 손실: 1.628739\t최선의 손실: 1.609461\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.646288\t최선의 손실: 1.609461\t정확도: 20.91%\n", "4\t검증 세트 손실: 1.648157\t최선의 손실: 1.609461\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.668931\t최선의 손실: 1.609461\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.663821\t최선의 손실: 1.609461\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.619214\t최선의 손실: 1.609461\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.768316\t최선의 손실: 1.609461\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.716326\t최선의 손실: 1.609461\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.635089\t최선의 손실: 1.609461\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.621903\t최선의 손실: 1.609461\t정확도: 20.91%\n", "12\t검증 세트 손실: 3.812675\t최선의 손실: 1.609461\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.655969\t최선의 손실: 1.609461\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.670996\t최선의 손실: 1.609461\t정확도: 20.91%\n", "15\t검증 세트 손실: 1.622743\t최선의 손실: 1.609461\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.728662\t최선의 손실: 1.609461\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.650111\t최선의 손실: 1.609461\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.745150\t최선의 손실: 1.609461\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.650314\t최선의 손실: 1.609461\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.652750\t최선의 손실: 1.609461\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.653791\t최선의 손실: 1.609461\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=, total= 23.1s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.152317\t최선의 손실: 0.152317\t정확도: 95.62%\n", "1\t검증 세트 손실: 1.692887\t최선의 손실: 0.152317\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.879548\t최선의 손실: 0.152317\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.752523\t최선의 손실: 0.152317\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.951967\t최선의 손실: 0.152317\t정확도: 18.73%\n", "5\t검증 세트 손실: 1.641680\t최선의 손실: 0.152317\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.730762\t최선의 손실: 0.152317\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.752371\t최선의 손실: 0.152317\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.785793\t최선의 손실: 0.152317\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.881144\t최선의 손실: 0.152317\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.715513\t최선의 손실: 0.152317\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.899553\t최선의 손실: 0.152317\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.646358\t최선의 손실: 0.152317\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.890007\t최선의 손실: 0.152317\t정확도: 20.91%\n", "14\t검증 세트 손실: 1.783345\t최선의 손실: 0.152317\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.675588\t최선의 손실: 0.152317\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.777839\t최선의 손실: 0.152317\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.643860\t최선의 손실: 0.152317\t정확도: 20.91%\n", "18\t검증 세트 손실: 1.683668\t최선의 손실: 0.152317\t정확도: 19.27%\n", "19\t검증 세트 손실: 1.690930\t최선의 손실: 0.152317\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.678302\t최선의 손실: 0.152317\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.826702\t최선의 손실: 0.152317\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=, total= 16.2s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 1.818245\t최선의 손실: 1.818245\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.660070\t최선의 손실: 1.660070\t정확도: 20.91%\n", "2\t검증 세트 손실: 1.669269\t최선의 손실: 1.660070\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.671528\t최선의 손실: 1.660070\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.686492\t최선의 손실: 1.660070\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.760343\t최선의 손실: 1.660070\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.663701\t최선의 손실: 1.660070\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.791132\t최선의 손실: 1.660070\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.840831\t최선의 손실: 1.660070\t정확도: 18.73%\n", "9\t검증 세트 손실: 1.691346\t최선의 손실: 1.660070\t정확도: 18.73%\n", "10\t검증 세트 손실: 1.673620\t최선의 손실: 1.660070\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.685681\t최선의 손실: 1.660070\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.875441\t최선의 손실: 1.660070\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.672138\t최선의 손실: 1.660070\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.637048\t최선의 손실: 1.637048\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.836878\t최선의 손실: 1.637048\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.667000\t최선의 손실: 1.637048\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.670072\t최선의 손실: 1.637048\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.648957\t최선의 손실: 1.637048\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.694438\t최선의 손실: 1.637048\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.696843\t최선의 손실: 1.637048\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.754404\t최선의 손실: 1.637048\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.869493\t최선의 손실: 1.637048\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.764030\t최선의 손실: 1.637048\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.865970\t최선의 손실: 1.637048\t정확도: 18.73%\n", "25\t검증 세트 손실: 1.745172\t최선의 손실: 1.637048\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.795903\t최선의 손실: 1.637048\t정확도: 20.91%\n", "27\t검증 세트 손실: 1.732280\t최선의 손실: 1.637048\t정확도: 18.73%\n", "28\t검증 세트 손실: 1.641727\t최선의 손실: 1.637048\t정확도: 22.01%\n", "29\t검증 세트 손실: 1.868749\t최선의 손실: 1.637048\t정확도: 19.08%\n", "30\t검증 세트 손실: 1.638194\t최선의 손실: 1.637048\t정확도: 20.91%\n", "31\t검증 세트 손실: 1.940825\t최선의 손실: 1.637048\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.775869\t최선의 손실: 1.637048\t정확도: 22.01%\n", "33\t검증 세트 손실: 1.845135\t최선의 손실: 1.637048\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.682109\t최선의 손실: 1.637048\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.795764\t최선의 손실: 1.637048\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=, total= 26.0s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.335515\t최선의 손실: 0.335515\t정확도: 90.97%\n", "1\t검증 세트 손실: 1.680212\t최선의 손실: 0.335515\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.783708\t최선의 손실: 0.335515\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.680227\t최선의 손실: 0.335515\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.779376\t최선의 손실: 0.335515\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.807458\t최선의 손실: 0.335515\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.626307\t최선의 손실: 0.335515\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.632293\t최선의 손실: 0.335515\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.707365\t최선의 손실: 0.335515\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.921750\t최선의 손실: 0.335515\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.616640\t최선의 손실: 0.335515\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.757117\t최선의 손실: 0.335515\t정확도: 18.73%\n", "12\t검증 세트 손실: 1.990332\t최선의 손실: 0.335515\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.631295\t최선의 손실: 0.335515\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.743413\t최선의 손실: 0.335515\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.651299\t최선의 손실: 0.335515\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.624927\t최선의 손실: 0.335515\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.676385\t최선의 손실: 0.335515\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.641906\t최선의 손실: 0.335515\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.720818\t최선의 손실: 0.335515\t정확도: 19.27%\n", "20\t검증 세트 손실: 1.719836\t최선의 손실: 0.335515\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.814305\t최선의 손실: 0.335515\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.3, batch_size=50, activation=, total= 16.2s\n", "[CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.647194\t최선의 손실: 1.647194\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.628903\t최선의 손실: 1.628903\t정확도: 20.91%\n", "2\t검증 세트 손실: 1.769358\t최선의 손실: 1.628903\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.653013\t최선의 손실: 1.628903\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.693160\t최선의 손실: 1.628903\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.629143\t최선의 손실: 1.628903\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.674425\t최선의 손실: 1.628903\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.809671\t최선의 손실: 1.628903\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.790104\t최선의 손실: 1.628903\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.925354\t최선의 손실: 1.628903\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.748351\t최선의 손실: 1.628903\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.772785\t최선의 손실: 1.628903\t정확도: 20.91%\n", "12\t검증 세트 손실: 1.940909\t최선의 손실: 1.628903\t정확도: 18.73%\n", "13\t검증 세트 손실: 1.704610\t최선의 손실: 1.628903\t정확도: 20.91%\n", "14\t검증 세트 손실: 1.848346\t최선의 손실: 1.628903\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.714073\t최선의 손실: 1.628903\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.757887\t최선의 손실: 1.628903\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.782447\t최선의 손실: 1.628903\t정확도: 22.01%\n", "18\t검증 세트 손실: 2.044712\t최선의 손실: 1.628903\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.698108\t최선의 손실: 1.628903\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.761083\t최선의 손실: 1.628903\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.688547\t최선의 손실: 1.628903\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.768443\t최선의 손실: 1.628903\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=, total= 12.4s\n", "[CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 1.668180\t최선의 손실: 1.668180\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.860445\t최선의 손실: 1.668180\t정확도: 18.73%\n", "2\t검증 세트 손실: 1.772652\t최선의 손실: 1.668180\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.849342\t최선의 손실: 1.668180\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.713295\t최선의 손실: 1.668180\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.638731\t최선의 손실: 1.638731\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.709750\t최선의 손실: 1.638731\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.875914\t최선의 손실: 1.638731\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.759984\t최선의 손실: 1.638731\t정확도: 18.73%\n", "9\t검증 세트 손실: 2.229576\t최선의 손실: 1.638731\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.734279\t최선의 손실: 1.638731\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.765375\t최선의 손실: 1.638731\t정확도: 19.08%\n", "12\t검증 세트 손실: 2.121526\t최선의 손실: 1.638731\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.689171\t최선의 손실: 1.638731\t정확도: 19.27%\n", "14\t검증 세트 손실: 2.112412\t최선의 손실: 1.638731\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.780253\t최선의 손실: 1.638731\t정확도: 19.27%\n", "16\t검증 세트 손실: 1.984774\t최선의 손실: 1.638731\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.699173\t최선의 손실: 1.638731\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.776468\t최선의 손실: 1.638731\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.807921\t최선의 손실: 1.638731\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.893692\t최선의 손실: 1.638731\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.865568\t최선의 손실: 1.638731\t정확도: 22.01%\n", "22\t검증 세트 손실: 2.381745\t최선의 손실: 1.638731\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.840901\t최선의 손실: 1.638731\t정확도: 22.01%\n", "24\t검증 세트 손실: 2.173730\t최선의 손실: 1.638731\t정확도: 19.27%\n", "25\t검증 세트 손실: 2.273038\t최선의 손실: 1.638731\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.719446\t최선의 손실: 1.638731\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=, total= 14.5s\n", "[CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.709840\t최선의 손실: 1.709840\t정확도: 19.08%\n", "1\t검증 세트 손실: 1.831218\t최선의 손실: 1.709840\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.610797\t최선의 손실: 1.610797\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.771163\t최선의 손실: 1.610797\t정확도: 19.08%\n", "4\t검증 세트 손실: 2.133313\t최선의 손실: 1.610797\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.815151\t최선의 손실: 1.610797\t정확도: 20.91%\n", "6\t검증 세트 손실: 2.242651\t최선의 손실: 1.610797\t정확도: 20.91%\n", "7\t검증 세트 손실: 2.094480\t최선의 손실: 1.610797\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.906644\t최선의 손실: 1.610797\t정확도: 22.01%\n", "9\t검증 세트 손실: 2.197050\t최선의 손실: 1.610797\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.942253\t최선의 손실: 1.610797\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.846089\t최선의 손실: 1.610797\t정확도: 19.08%\n", "12\t검증 세트 손실: 1.834179\t최선의 손실: 1.610797\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.746020\t최선의 손실: 1.610797\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.930596\t최선의 손실: 1.610797\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.622954\t최선의 손실: 1.610797\t정확도: 19.27%\n", "16\t검증 세트 손실: 1.869717\t최선의 손실: 1.610797\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.877299\t최선의 손실: 1.610797\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.873666\t최선의 손실: 1.610797\t정확도: 22.01%\n", "19\t검증 세트 손실: 2.299901\t최선의 손실: 1.610797\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.659589\t최선의 손실: 1.610797\t정확도: 22.01%\n", "21\t검증 세트 손실: 2.108963\t최선의 손실: 1.610797\t정확도: 22.01%\n", "22\t검증 세트 손실: 2.001684\t최선의 손실: 1.610797\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.788042\t최선의 손실: 1.610797\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.1, dropout_rate=0.5, batch_size=100, activation=, total= 12.8s\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.375407\t최선의 손실: 0.375407\t정확도: 90.38%\n", "1\t검증 세트 손실: 0.176794\t최선의 손실: 0.176794\t정확도: 95.82%\n", "2\t검증 세트 손실: 0.142329\t최선의 손실: 0.142329\t정확도: 95.78%\n", "3\t검증 세트 손실: 0.130835\t최선의 손실: 0.130835\t정확도: 96.21%\n", "4\t검증 세트 손실: 0.107841\t최선의 손실: 0.107841\t정확도: 96.68%\n", "5\t검증 세트 손실: 0.100907\t최선의 손실: 0.100907\t정확도: 97.50%\n", "6\t검증 세트 손실: 0.105500\t최선의 손실: 0.100907\t정확도: 96.99%\n", "7\t검증 세트 손실: 0.100753\t최선의 손실: 0.100753\t정확도: 97.38%\n", "8\t검증 세트 손실: 0.094380\t최선의 손실: 0.094380\t정확도: 97.46%\n", "9\t검증 세트 손실: 0.105097\t최선의 손실: 0.094380\t정확도: 97.26%\n", "10\t검증 세트 손실: 0.109562\t최선의 손실: 0.094380\t정확도: 97.11%\n", "11\t검증 세트 손실: 0.104091\t최선의 손실: 0.094380\t정확도: 97.42%\n", "12\t검증 세트 손실: 0.095924\t최선의 손실: 0.094380\t정확도: 97.42%\n", "13\t검증 세트 손실: 0.095676\t최선의 손실: 0.094380\t정확도: 97.58%\n", "14\t검증 세트 손실: 0.101626\t최선의 손실: 0.094380\t정확도: 97.38%\n", "15\t검증 세트 손실: 0.110662\t최선의 손실: 0.094380\t정확도: 97.22%\n", "16\t검증 세트 손실: 0.108961\t최선의 손실: 0.094380\t정확도: 97.38%\n", "17\t검증 세트 손실: 0.127509\t최선의 손실: 0.094380\t정확도: 97.26%\n", "18\t검증 세트 손실: 0.102918\t최선의 손실: 0.094380\t정확도: 97.30%\n", "19\t검증 세트 손실: 0.107745\t최선의 손실: 0.094380\t정확도: 97.58%\n", "20\t검증 세트 손실: 0.106405\t최선의 손실: 0.094380\t정확도: 97.62%\n", "21\t검증 세트 손실: 0.101149\t최선의 손실: 0.094380\t정확도: 97.15%\n", "22\t검증 세트 손실: 0.094374\t최선의 손실: 0.094374\t정확도: 97.58%\n", "23\t검증 세트 손실: 0.110483\t최선의 손실: 0.094374\t정확도: 97.38%\n", "24\t검증 세트 손실: 0.109675\t최선의 손실: 0.094374\t정확도: 96.79%\n", "25\t검증 세트 손실: 0.109346\t최선의 손실: 0.094374\t정확도: 97.07%\n", "26\t검증 세트 손실: 0.120075\t최선의 손실: 0.094374\t정확도: 97.19%\n", "27\t검증 세트 손실: 0.113608\t최선의 손실: 0.094374\t정확도: 97.19%\n", "28\t검증 세트 손실: 0.105664\t최선의 손실: 0.094374\t정확도: 97.26%\n", "29\t검증 세트 손실: 0.097608\t최선의 손실: 0.094374\t정확도: 97.46%\n", "30\t검증 세트 손실: 0.106792\t최선의 손실: 0.094374\t정확도: 97.38%\n", "31\t검증 세트 손실: 0.112170\t최선의 손실: 0.094374\t정확도: 97.15%\n", "32\t검증 세트 손실: 0.105559\t최선의 손실: 0.094374\t정확도: 97.30%\n", "33\t검증 세트 손실: 0.102498\t최선의 손실: 0.094374\t정확도: 97.50%\n", "34\t검증 세트 손실: 0.114171\t최선의 손실: 0.094374\t정확도: 97.26%\n", "35\t검증 세트 손실: 0.107286\t최선의 손실: 0.094374\t정확도: 97.54%\n", "36\t검증 세트 손실: 0.103727\t최선의 손실: 0.094374\t정확도: 97.73%\n", "37\t검증 세트 손실: 0.121327\t최선의 손실: 0.094374\t정확도: 96.44%\n", "38\t검증 세트 손실: 0.116294\t최선의 손실: 0.094374\t정확도: 97.30%\n", "39\t검증 세트 손실: 0.113838\t최선의 손실: 0.094374\t정확도: 97.22%\n", "40\t검증 세트 손실: 0.123886\t최선의 손실: 0.094374\t정확도: 97.19%\n", "41\t검증 세트 손실: 0.108289\t최선의 손실: 0.094374\t정확도: 97.19%\n", "42\t검증 세트 손실: 0.114094\t최선의 손실: 0.094374\t정확도: 97.26%\n", "43\t검증 세트 손실: 0.100964\t최선의 손실: 0.094374\t정확도: 97.50%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=, total= 5.2s\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.320861\t최선의 손실: 0.320861\t정확도: 90.15%\n", "1\t검증 세트 손실: 0.198930\t최선의 손실: 0.198930\t정확도: 94.72%\n", "2\t검증 세트 손실: 0.163497\t최선의 손실: 0.163497\t정확도: 95.78%\n", "3\t검증 세트 손실: 0.145915\t최선의 손실: 0.145915\t정확도: 96.05%\n", "4\t검증 세트 손실: 0.138515\t최선의 손실: 0.138515\t정확도: 96.60%\n", "5\t검증 세트 손실: 0.138908\t최선의 손실: 0.138515\t정확도: 96.21%\n", "6\t검증 세트 손실: 0.139792\t최선의 손실: 0.138515\t정확도: 96.17%\n", "7\t검증 세트 손실: 0.139517\t최선의 손실: 0.138515\t정확도: 96.40%\n", "8\t검증 세트 손실: 0.143247\t최선의 손실: 0.138515\t정확도: 96.33%\n", "9\t검증 세트 손실: 0.132914\t최선의 손실: 0.132914\t정확도: 96.72%\n", "10\t검증 세트 손실: 0.121862\t최선의 손실: 0.121862\t정확도: 96.91%\n", "11\t검증 세트 손실: 0.121265\t최선의 손실: 0.121265\t정확도: 96.87%\n", "12\t검증 세트 손실: 0.108321\t최선의 손실: 0.108321\t정확도: 97.07%\n", "13\t검증 세트 손실: 0.112329\t최선의 손실: 0.108321\t정확도: 97.15%\n", "14\t검증 세트 손실: 0.114054\t최선의 손실: 0.108321\t정확도: 97.15%\n", "15\t검증 세트 손실: 0.122191\t최선의 손실: 0.108321\t정확도: 97.11%\n", "16\t검증 세트 손실: 0.125373\t최선의 손실: 0.108321\t정확도: 96.99%\n", "17\t검증 세트 손실: 0.126315\t최선의 손실: 0.108321\t정확도: 96.79%\n", "18\t검증 세트 손실: 0.096333\t최선의 손실: 0.096333\t정확도: 97.46%\n", "19\t검증 세트 손실: 0.106316\t최선의 손실: 0.096333\t정확도: 97.54%\n", "20\t검증 세트 손실: 0.104059\t최선의 손실: 0.096333\t정확도: 97.42%\n", "21\t검증 세트 손실: 0.115488\t최선의 손실: 0.096333\t정확도: 97.19%\n", "22\t검증 세트 손실: 0.105749\t최선의 손실: 0.096333\t정확도: 97.50%\n", "23\t검증 세트 손실: 0.118408\t최선의 손실: 0.096333\t정확도: 96.83%\n", "24\t검증 세트 손실: 0.105763\t최선의 손실: 0.096333\t정확도: 97.65%\n", "25\t검증 세트 손실: 0.103434\t최선의 손실: 0.096333\t정확도: 97.42%\n", "26\t검증 세트 손실: 0.113903\t최선의 손실: 0.096333\t정확도: 96.95%\n", "27\t검증 세트 손실: 0.108184\t최선의 손실: 0.096333\t정확도: 97.42%\n", "28\t검증 세트 손실: 0.107931\t최선의 손실: 0.096333\t정확도: 97.50%\n", "29\t검증 세트 손실: 0.116595\t최선의 손실: 0.096333\t정확도: 97.22%\n", "30\t검증 세트 손실: 0.107307\t최선의 손실: 0.096333\t정확도: 97.26%\n", "31\t검증 세트 손실: 0.116683\t최선의 손실: 0.096333\t정확도: 97.42%\n", "32\t검증 세트 손실: 0.113955\t최선의 손실: 0.096333\t정확도: 97.42%\n", "33\t검증 세트 손실: 0.110340\t최선의 손실: 0.096333\t정확도: 97.42%\n", "34\t검증 세트 손실: 0.114053\t최선의 손실: 0.096333\t정확도: 97.54%\n", "35\t검증 세트 손실: 0.116622\t최선의 손실: 0.096333\t정확도: 97.50%\n", "36\t검증 세트 손실: 0.112925\t최선의 손실: 0.096333\t정확도: 97.38%\n", "37\t검증 세트 손실: 0.106129\t최선의 손실: 0.096333\t정확도: 97.34%\n", "38\t검증 세트 손실: 0.115859\t최선의 손실: 0.096333\t정확도: 97.11%\n", "39\t검증 세트 손실: 0.104289\t최선의 손실: 0.096333\t정확도: 97.38%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=, total= 4.7s\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.160661\t최선의 손실: 0.160661\t정확도: 95.39%\n", "1\t검증 세트 손실: 0.130162\t최선의 손실: 0.130162\t정확도: 96.44%\n", "2\t검증 세트 손실: 0.117935\t최선의 손실: 0.117935\t정확도: 96.79%\n", "3\t검증 세트 손실: 0.136089\t최선의 손실: 0.117935\t정확도: 96.17%\n", "4\t검증 세트 손실: 0.127926\t최선의 손실: 0.117935\t정확도: 96.79%\n", "5\t검증 세트 손실: 0.120879\t최선의 손실: 0.117935\t정확도: 96.72%\n", "6\t검증 세트 손실: 0.111524\t최선의 손실: 0.111524\t정확도: 97.03%\n", "7\t검증 세트 손실: 0.108469\t최선의 손실: 0.108469\t정확도: 97.15%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "8\t검증 세트 손실: 0.115489\t최선의 손실: 0.108469\t정확도: 97.07%\n", "9\t검증 세트 손실: 0.120703\t최선의 손실: 0.108469\t정확도: 96.83%\n", "10\t검증 세트 손실: 0.120725\t최선의 손실: 0.108469\t정확도: 96.87%\n", "11\t검증 세트 손실: 0.120852\t최선의 손실: 0.108469\t정확도: 96.95%\n", "12\t검증 세트 손실: 0.112113\t최선의 손실: 0.108469\t정확도: 97.30%\n", "13\t검증 세트 손실: 0.102956\t최선의 손실: 0.102956\t정확도: 97.15%\n", "14\t검증 세트 손실: 0.115896\t최선의 손실: 0.102956\t정확도: 97.26%\n", "15\t검증 세트 손실: 0.117326\t최선의 손실: 0.102956\t정확도: 96.91%\n", "16\t검증 세트 손실: 0.110988\t최선의 손실: 0.102956\t정확도: 97.15%\n", "17\t검증 세트 손실: 0.105192\t최선의 손실: 0.102956\t정확도: 97.03%\n", "18\t검증 세트 손실: 0.105835\t최선의 손실: 0.102956\t정확도: 97.30%\n", "19\t검증 세트 손실: 0.110439\t최선의 손실: 0.102956\t정확도: 97.11%\n", "20\t검증 세트 손실: 0.109827\t최선의 손실: 0.102956\t정확도: 97.03%\n", "21\t검증 세트 손실: 0.107909\t최선의 손실: 0.102956\t정확도: 97.11%\n", "22\t검증 세트 손실: 0.104306\t최선의 손실: 0.102956\t정확도: 97.07%\n", "23\t검증 세트 손실: 0.108366\t최선의 손실: 0.102956\t정확도: 97.07%\n", "24\t검증 세트 손실: 0.114682\t최선의 손실: 0.102956\t정확도: 97.15%\n", "25\t검증 세트 손실: 0.107426\t최선의 손실: 0.102956\t정확도: 97.38%\n", "26\t검증 세트 손실: 0.108061\t최선의 손실: 0.102956\t정확도: 97.22%\n", "27\t검증 세트 손실: 0.110127\t최선의 손실: 0.102956\t정확도: 97.30%\n", "28\t검증 세트 손실: 0.101496\t최선의 손실: 0.101496\t정확도: 97.22%\n", "29\t검증 세트 손실: 0.127481\t최선의 손실: 0.101496\t정확도: 97.03%\n", "30\t검증 세트 손실: 0.119957\t최선의 손실: 0.101496\t정확도: 96.99%\n", "31\t검증 세트 손실: 0.104324\t최선의 손실: 0.101496\t정확도: 97.30%\n", "32\t검증 세트 손실: 0.109377\t최선의 손실: 0.101496\t정확도: 97.50%\n", "33\t검증 세트 손실: 0.119150\t최선의 손실: 0.101496\t정확도: 97.11%\n", "34\t검증 세트 손실: 0.107451\t최선의 손실: 0.101496\t정확도: 97.30%\n", "35\t검증 세트 손실: 0.102617\t최선의 손실: 0.101496\t정확도: 97.19%\n", "36\t검증 세트 손실: 0.113823\t최선의 손실: 0.101496\t정확도: 97.15%\n", "37\t검증 세트 손실: 0.111319\t최선의 손실: 0.101496\t정확도: 97.07%\n", "38\t검증 세트 손실: 0.115569\t최선의 손실: 0.101496\t정확도: 97.19%\n", "39\t검증 세트 손실: 0.111614\t최선의 손실: 0.101496\t정확도: 97.19%\n", "40\t검증 세트 손실: 0.123525\t최선의 손실: 0.101496\t정확도: 96.91%\n", "41\t검증 세트 손실: 0.113303\t최선의 손실: 0.101496\t정확도: 97.15%\n", "42\t검증 세트 손실: 0.102629\t최선의 손실: 0.101496\t정확도: 97.22%\n", "43\t검증 세트 손실: 0.104627\t최선의 손실: 0.101496\t정확도: 97.34%\n", "44\t검증 세트 손실: 0.103734\t최선의 손실: 0.101496\t정확도: 97.42%\n", "45\t검증 세트 손실: 0.108855\t최선의 손실: 0.101496\t정확도: 97.19%\n", "46\t검증 세트 손실: 0.109388\t최선의 손실: 0.101496\t정확도: 97.19%\n", "47\t검증 세트 손실: 0.100560\t최선의 손실: 0.100560\t정확도: 97.42%\n", "48\t검증 세트 손실: 0.105130\t최선의 손실: 0.100560\t정확도: 97.30%\n", "49\t검증 세트 손실: 0.112443\t최선의 손실: 0.100560\t정확도: 97.30%\n", "50\t검증 세트 손실: 0.108455\t최선의 손실: 0.100560\t정확도: 97.46%\n", "51\t검증 세트 손실: 0.114560\t최선의 손실: 0.100560\t정확도: 97.15%\n", "52\t검증 세트 손실: 0.108041\t최선의 손실: 0.100560\t정확도: 97.19%\n", "53\t검증 세트 손실: 0.120554\t최선의 손실: 0.100560\t정확도: 97.07%\n", "54\t검증 세트 손실: 0.113689\t최선의 손실: 0.100560\t정확도: 97.07%\n", "55\t검증 세트 손실: 0.115244\t최선의 손실: 0.100560\t정확도: 97.11%\n", "56\t검증 세트 손실: 0.112394\t최선의 손실: 0.100560\t정확도: 97.11%\n", "57\t검증 세트 손실: 0.117260\t최선의 손실: 0.100560\t정확도: 97.15%\n", "58\t검증 세트 손실: 0.118602\t최선의 손실: 0.100560\t정확도: 96.95%\n", "59\t검증 세트 손실: 0.119709\t최선의 손실: 0.100560\t정확도: 96.79%\n", "60\t검증 세트 손실: 0.105899\t최선의 손실: 0.100560\t정확도: 97.42%\n", "61\t검증 세트 손실: 0.123167\t최선의 손실: 0.100560\t정확도: 97.30%\n", "62\t검증 세트 손실: 0.097566\t최선의 손실: 0.097566\t정확도: 97.42%\n", "63\t검증 세트 손실: 0.115009\t최선의 손실: 0.097566\t정확도: 97.46%\n", "64\t검증 세트 손실: 0.111300\t최선의 손실: 0.097566\t정확도: 97.26%\n", "65\t검증 세트 손실: 0.108933\t최선의 손실: 0.097566\t정확도: 97.34%\n", "66\t검증 세트 손실: 0.110458\t최선의 손실: 0.097566\t정확도: 97.34%\n", "67\t검증 세트 손실: 0.116015\t최선의 손실: 0.097566\t정확도: 97.07%\n", "68\t검증 세트 손실: 0.107909\t최선의 손실: 0.097566\t정확도: 97.38%\n", "69\t검증 세트 손실: 0.105376\t최선의 손실: 0.097566\t정확도: 97.50%\n", "70\t검증 세트 손실: 0.102533\t최선의 손실: 0.097566\t정확도: 97.38%\n", "71\t검증 세트 손실: 0.116030\t최선의 손실: 0.097566\t정확도: 97.22%\n", "72\t검증 세트 손실: 0.107118\t최선의 손실: 0.097566\t정확도: 97.38%\n", "73\t검증 세트 손실: 0.110088\t최선의 손실: 0.097566\t정확도: 97.22%\n", "74\t검증 세트 손실: 0.120818\t최선의 손실: 0.097566\t정확도: 96.91%\n", "75\t검증 세트 손실: 0.109643\t최선의 손실: 0.097566\t정확도: 97.07%\n", "76\t검증 세트 손실: 0.118529\t최선의 손실: 0.097566\t정확도: 97.22%\n", "77\t검증 세트 손실: 0.116283\t최선의 손실: 0.097566\t정확도: 97.22%\n", "78\t검증 세트 손실: 0.130523\t최선의 손실: 0.097566\t정확도: 97.07%\n", "79\t검증 세트 손실: 0.119469\t최선의 손실: 0.097566\t정확도: 97.22%\n", "80\t검증 세트 손실: 0.114148\t최선의 손실: 0.097566\t정확도: 97.07%\n", "81\t검증 세트 손실: 0.103068\t최선의 손실: 0.097566\t정확도: 97.42%\n", "82\t검증 세트 손실: 0.109643\t최선의 손실: 0.097566\t정확도: 97.26%\n", "83\t검증 세트 손실: 0.111353\t최선의 손실: 0.097566\t정확도: 97.07%\n", "조기 종료!\n", "[CV] n_neurons=10, learning_rate=0.02, dropout_rate=0.2, batch_size=500, activation=, total= 9.2s\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 53669.328125\t최선의 손실: 53669.328125\t정확도: 78.11%\n", "1\t검증 세트 손실: 21963.400391\t최선의 손실: 21963.400391\t정확도: 77.95%\n", "2\t검증 세트 손실: 6321.294922\t최선의 손실: 6321.294922\t정확도: 86.20%\n", "3\t검증 세트 손실: 3712.019043\t최선의 손실: 3712.019043\t정확도: 93.90%\n", "4\t검증 세트 손실: 3042.168945\t최선의 손실: 3042.168945\t정확도: 93.39%\n", "5\t검증 세트 손실: 22078696.000000\t최선의 손실: 3042.168945\t정확도: 80.14%\n", "6\t검증 세트 손실: 1463911.500000\t최선의 손실: 3042.168945\t정확도: 93.35%\n", "7\t검증 세트 손실: 554450.937500\t최선의 손실: 3042.168945\t정확도: 94.41%\n", "8\t검증 세트 손실: 313945.125000\t최선의 손실: 3042.168945\t정확도: 95.15%\n", "9\t검증 세트 손실: 264973.250000\t최선의 손실: 3042.168945\t정확도: 95.04%\n", "10\t검증 세트 손실: 425199.375000\t최선의 손실: 3042.168945\t정확도: 92.77%\n", "11\t검증 세트 손실: 934622.187500\t최선의 손실: 3042.168945\t정확도: 96.09%\n", "12\t검증 세트 손실: 968266.062500\t최선의 손실: 3042.168945\t정확도: 93.39%\n", "13\t검증 세트 손실: 315908.406250\t최선의 손실: 3042.168945\t정확도: 95.97%\n", "14\t검증 세트 손실: 232283.296875\t최선의 손실: 3042.168945\t정확도: 95.86%\n", "15\t검증 세트 손실: 381929.531250\t최선의 손실: 3042.168945\t정확도: 94.76%\n", "16\t검증 세트 손실: 351489.531250\t최선의 손실: 3042.168945\t정확도: 94.06%\n", "17\t검증 세트 손실: 21956062.000000\t최선의 손실: 3042.168945\t정확도: 95.43%\n", "18\t검증 세트 손실: 8525880.000000\t최선의 손실: 3042.168945\t정확도: 95.86%\n", "19\t검증 세트 손실: 5767532.500000\t최선의 손실: 3042.168945\t정확도: 95.04%\n", "20\t검증 세트 손실: 2991270.750000\t최선의 손실: 3042.168945\t정확도: 96.05%\n", "21\t검증 세트 손실: 1662948.625000\t최선의 손실: 3042.168945\t정확도: 96.87%\n", "22\t검증 세트 손실: 20052870.000000\t최선의 손실: 3042.168945\t정확도: 96.33%\n", "23\t검증 세트 손실: 6176994.000000\t최선의 손실: 3042.168945\t정확도: 96.64%\n", "24\t검증 세트 손실: 6155834.000000\t최선의 손실: 3042.168945\t정확도: 95.82%\n", "25\t검증 세트 손실: 3180759.250000\t최선의 손실: 3042.168945\t정확도: 97.07%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 21.1s\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 28622.513672\t최선의 손실: 28622.513672\t정확도: 69.39%\n", "1\t검증 세트 손실: 3920.200928\t최선의 손실: 3920.200928\t정확도: 80.26%\n", "2\t검증 세트 손실: 3195.761475\t최선의 손실: 3195.761475\t정확도: 75.29%\n", "3\t검증 세트 손실: 4160.816895\t최선의 손실: 3195.761475\t정확도: 76.58%\n", "4\t검증 세트 손실: 4291.297852\t최선의 손실: 3195.761475\t정확도: 65.91%\n", "5\t검증 세트 손실: 2970.414062\t최선의 손실: 2970.414062\t정확도: 77.87%\n", "6\t검증 세트 손실: 1327.264160\t최선의 손실: 1327.264160\t정확도: 82.37%\n", "7\t검증 세트 손실: 962.010742\t최선의 손실: 962.010742\t정확도: 92.89%\n", "8\t검증 세트 손실: 665.557739\t최선의 손실: 665.557739\t정확도: 94.02%\n", "9\t검증 세트 손실: 2530.622070\t최선의 손실: 665.557739\t정확도: 93.08%\n", "10\t검증 세트 손실: 3004292.750000\t최선의 손실: 665.557739\t정확도: 72.13%\n", "11\t검증 세트 손실: 884380.500000\t최선의 손실: 665.557739\t정확도: 74.24%\n", "12\t검증 세트 손실: 353326.218750\t최선의 손실: 665.557739\t정확도: 87.49%\n", "13\t검증 세트 손실: 242284.187500\t최선의 손실: 665.557739\t정확도: 92.57%\n", "14\t검증 세트 손실: 344148.562500\t최선의 손실: 665.557739\t정확도: 86.12%\n", "15\t검증 세트 손실: 176231.890625\t최선의 손실: 665.557739\t정확도: 92.69%\n", "16\t검증 세트 손실: 150599.078125\t최선의 손실: 665.557739\t정확도: 90.11%\n", "17\t검증 세트 손실: 183748.359375\t최선의 손실: 665.557739\t정확도: 94.10%\n", "18\t검증 세트 손실: 136375.375000\t최선의 손실: 665.557739\t정확도: 91.99%\n", "19\t검증 세트 손실: 121446.765625\t최선의 손실: 665.557739\t정확도: 93.98%\n", "20\t검증 세트 손실: 154896.578125\t최선의 손실: 665.557739\t정확도: 89.91%\n", "21\t검증 세트 손실: 96038.281250\t최선의 손실: 665.557739\t정확도: 96.21%\n", "22\t검증 세트 손실: 92677.640625\t최선의 손실: 665.557739\t정확도: 93.12%\n", "23\t검증 세트 손실: 260463.859375\t최선의 손실: 665.557739\t정확도: 92.53%\n", "24\t검증 세트 손실: 158625.359375\t최선의 손실: 665.557739\t정확도: 93.71%\n", "25\t검증 세트 손실: 162379.843750\t최선의 손실: 665.557739\t정확도: 89.72%\n", "26\t검증 세트 손실: 78769.835938\t최선의 손실: 665.557739\t정확도: 95.74%\n", "27\t검증 세트 손실: 96394208.000000\t최선의 손실: 665.557739\t정확도: 63.88%\n", "28\t검증 세트 손실: 3067148.500000\t최선의 손실: 665.557739\t정확도: 91.44%\n", "29\t검증 세트 손실: 2431251.500000\t최선의 손실: 665.557739\t정확도: 92.65%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 24.5s\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 33749612.000000\t최선의 손실: 33749612.000000\t정확도: 37.29%\n", "1\t검증 세트 손실: 71129.414062\t최선의 손실: 71129.414062\t정확도: 86.08%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "2\t검증 세트 손실: 42355.914062\t최선의 손실: 42355.914062\t정확도: 89.84%\n", "3\t검증 세트 손실: 27266.304688\t최선의 손실: 27266.304688\t정확도: 93.90%\n", "4\t검증 세트 손실: 12466.732422\t최선의 손실: 12466.732422\t정확도: 94.10%\n", "5\t검증 세트 손실: 11156.530273\t최선의 손실: 11156.530273\t정확도: 94.68%\n", "6\t검증 세트 손실: 12760.334961\t최선의 손실: 11156.530273\t정확도: 94.53%\n", "7\t검증 세트 손실: 8030.697266\t최선의 손실: 8030.697266\t정확도: 94.02%\n", "8\t검증 세트 손실: 9744.321289\t최선의 손실: 8030.697266\t정확도: 95.78%\n", "9\t검증 세트 손실: 8747.013672\t최선의 손실: 8030.697266\t정확도: 96.52%\n", "10\t검증 세트 손실: 24499.437500\t최선의 손실: 8030.697266\t정확도: 93.82%\n", "11\t검증 세트 손실: 10963.889648\t최선의 손실: 8030.697266\t정확도: 95.70%\n", "12\t검증 세트 손실: 5927.707520\t최선의 손실: 5927.707520\t정확도: 94.29%\n", "13\t검증 세트 손실: 2091023232.000000\t최선의 손실: 5927.707520\t정확도: 92.89%\n", "14\t검증 세트 손실: 282636128.000000\t최선의 손실: 5927.707520\t정확도: 90.62%\n", "15\t검증 세트 손실: 79357520.000000\t최선의 손실: 5927.707520\t정확도: 95.43%\n", "16\t검증 세트 손실: 13630159.000000\t최선의 손실: 5927.707520\t정확도: 96.64%\n", "17\t검증 세트 손실: 5715321.000000\t최선의 손실: 5927.707520\t정확도: 97.38%\n", "18\t검증 세트 손실: 3608803.000000\t최선의 손실: 5927.707520\t정확도: 97.69%\n", "19\t검증 세트 손실: 3968761.500000\t최선의 손실: 5927.707520\t정확도: 97.22%\n", "20\t검증 세트 손실: 3312905.000000\t최선의 손실: 5927.707520\t정확도: 96.79%\n", "21\t검증 세트 손실: 1731607.250000\t최선의 손실: 5927.707520\t정확도: 97.38%\n", "22\t검증 세트 손실: 1356600.250000\t최선의 손실: 5927.707520\t정확도: 97.89%\n", "23\t검증 세트 손실: 1978047.125000\t최선의 손실: 5927.707520\t정확도: 97.73%\n", "24\t검증 세트 손실: 2027563.000000\t최선의 손실: 5927.707520\t정확도: 97.46%\n", "25\t검증 세트 손실: 1438392.500000\t최선의 손실: 5927.707520\t정확도: 97.69%\n", "26\t검증 세트 손실: 1007589.187500\t최선의 손실: 5927.707520\t정확도: 98.08%\n", "27\t검증 세트 손실: 1468239.000000\t최선의 손실: 5927.707520\t정확도: 96.99%\n", "28\t검증 세트 손실: 1040841.875000\t최선의 손실: 5927.707520\t정확도: 97.46%\n", "29\t검증 세트 손실: 1036560.437500\t최선의 손실: 5927.707520\t정확도: 97.34%\n", "30\t검증 세트 손실: 728704.812500\t최선의 손실: 5927.707520\t정확도: 97.93%\n", "31\t검증 세트 손실: 61419364.000000\t최선의 손실: 5927.707520\t정확도: 80.22%\n", "32\t검증 세트 손실: 29181880.000000\t최선의 손실: 5927.707520\t정확도: 93.86%\n", "33\t검증 세트 손실: 7980402.000000\t최선의 손실: 5927.707520\t정확도: 96.79%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 27.5s\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.308010\t최선의 손실: 1.308010\t정확도: 30.53%\n", "1\t검증 세트 손실: 1.179756\t최선의 손실: 1.179756\t정확도: 40.89%\n", "2\t검증 세트 손실: 1.091852\t최선의 손실: 1.091852\t정확도: 46.56%\n", "3\t검증 세트 손실: 1.551771\t최선의 손실: 1.091852\t정확도: 37.80%\n", "4\t검증 세트 손실: 1.420105\t최선의 손실: 1.091852\t정확도: 29.01%\n", "5\t검증 세트 손실: 1.577884\t최선의 손실: 1.091852\t정확도: 27.29%\n", "6\t검증 세트 손실: 1.935865\t최선의 손실: 1.091852\t정확도: 38.35%\n", "7\t검증 세트 손실: 11.954627\t최선의 손실: 1.091852\t정확도: 18.80%\n", "8\t검증 세트 손실: 8.881997\t최선의 손실: 1.091852\t정확도: 19.74%\n", "9\t검증 세트 손실: 13.330901\t최선의 손실: 1.091852\t정확도: 19.39%\n", "10\t검증 세트 손실: 15.114645\t최선의 손실: 1.091852\t정확도: 19.08%\n", "11\t검증 세트 손실: 6.495666\t최선의 손실: 1.091852\t정확도: 22.75%\n", "12\t검증 세트 손실: 24.670233\t최선의 손실: 1.091852\t정확도: 19.27%\n", "13\t검증 세트 손실: 14.914108\t최선의 손실: 1.091852\t정확도: 35.26%\n", "14\t검증 세트 손실: 176.820496\t최선의 손실: 1.091852\t정확도: 19.27%\n", "15\t검증 세트 손실: 55.398529\t최선의 손실: 1.091852\t정확도: 22.01%\n", "16\t검증 세트 손실: 38.954800\t최선의 손실: 1.091852\t정확도: 19.08%\n", "17\t검증 세트 손실: 30.709673\t최선의 손실: 1.091852\t정확도: 19.08%\n", "18\t검증 세트 손실: 96.912796\t최선의 손실: 1.091852\t정확도: 18.73%\n", "19\t검증 세트 손실: 19.134203\t최선의 손실: 1.091852\t정확도: 18.73%\n", "20\t검증 세트 손실: 17.888094\t최선의 손실: 1.091852\t정확도: 20.91%\n", "21\t검증 세트 손실: 210.537094\t최선의 손실: 1.091852\t정확도: 19.08%\n", "22\t검증 세트 손실: 11.637074\t최선의 손실: 1.091852\t정확도: 20.02%\n", "23\t검증 세트 손실: 21.281076\t최선의 손실: 1.091852\t정확도: 22.20%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.4s\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.365046\t최선의 손실: 1.365046\t정확도: 29.95%\n", "1\t검증 세트 손실: 1.037731\t최선의 손실: 1.037731\t정확도: 53.60%\n", "2\t검증 세트 손실: 1.445612\t최선의 손실: 1.037731\t정확도: 39.68%\n", "3\t검증 세트 손실: 1.473797\t최선의 손실: 1.037731\t정확도: 46.09%\n", "4\t검증 세트 손실: 1.773176\t최선의 손실: 1.037731\t정확도: 38.15%\n", "5\t검증 세트 손실: 1.511427\t최선의 손실: 1.037731\t정확도: 31.08%\n", "6\t검증 세트 손실: 1.754992\t최선의 손실: 1.037731\t정확도: 34.36%\n", "7\t검증 세트 손실: 1.820629\t최선의 손실: 1.037731\t정확도: 25.57%\n", "8\t검증 세트 손실: 1.660336\t최선의 손실: 1.037731\t정확도: 36.98%\n", "9\t검증 세트 손실: 1.644313\t최선의 손실: 1.037731\t정확도: 22.05%\n", "10\t검증 세트 손실: 1.615515\t최선의 손실: 1.037731\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.566361\t최선의 손실: 1.037731\t정확도: 24.08%\n", "12\t검증 세트 손실: 1.566578\t최선의 손실: 1.037731\t정확도: 27.68%\n", "13\t검증 세트 손실: 1.528872\t최선의 손실: 1.037731\t정확도: 44.25%\n", "14\t검증 세트 손실: 1.547115\t최선의 손실: 1.037731\t정확도: 27.33%\n", "15\t검증 세트 손실: 1.541132\t최선의 손실: 1.037731\t정확도: 31.86%\n", "16\t검증 세트 손실: 1.536931\t최선의 손실: 1.037731\t정확도: 34.21%\n", "17\t검증 세트 손실: 1.825158\t최선의 손실: 1.037731\t정확도: 32.10%\n", "18\t검증 세트 손실: 1.577917\t최선의 손실: 1.037731\t정확도: 28.15%\n", "19\t검증 세트 손실: 1.883966\t최선의 손실: 1.037731\t정확도: 35.26%\n", "20\t검증 세트 손실: 2.708138\t최선의 손실: 1.037731\t정확도: 35.18%\n", "21\t검증 세트 손실: 3.983085\t최선의 손실: 1.037731\t정확도: 27.60%\n", "22\t검증 세트 손실: 1.756545\t최선의 손실: 1.037731\t정확도: 38.00%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 13.8s\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1.317816\t최선의 손실: 1.317816\t정확도: 35.22%\n", "1\t검증 세트 손실: 1.319882\t최선의 손실: 1.317816\t정확도: 40.19%\n", "2\t검증 세트 손실: 1.624315\t최선의 손실: 1.317816\t정확도: 26.08%\n", "3\t검증 세트 손실: 1.468617\t최선의 손실: 1.317816\t정확도: 26.04%\n", "4\t검증 세트 손실: 1.624909\t최선의 손실: 1.317816\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.486864\t최선의 손실: 1.317816\t정확도: 32.06%\n", "6\t검증 세트 손실: 1.634058\t최선의 손실: 1.317816\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.622596\t최선의 손실: 1.317816\t정확도: 22.20%\n", "8\t검증 세트 손실: 1.565351\t최선의 손실: 1.317816\t정확도: 30.14%\n", "9\t검증 세트 손실: 1.701479\t최선의 손실: 1.317816\t정확도: 30.10%\n", "10\t검증 세트 손실: 2.485559\t최선의 손실: 1.317816\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.760811\t최선의 손실: 1.317816\t정확도: 34.64%\n", "12\t검증 세트 손실: 1.882464\t최선의 손실: 1.317816\t정확도: 19.27%\n", "13\t검증 세트 손실: 1.519161\t최선의 손실: 1.317816\t정확도: 32.76%\n", "14\t검증 세트 손실: 1.784736\t최선의 손실: 1.317816\t정확도: 22.52%\n", "15\t검증 세트 손실: 1.471751\t최선의 손실: 1.317816\t정확도: 34.60%\n", "16\t검증 세트 손실: 2.269793\t최선의 손실: 1.317816\t정확도: 34.75%\n", "17\t검증 세트 손실: 2.739334\t최선의 손실: 1.317816\t정확도: 27.87%\n", "18\t검증 세트 손실: 16.210217\t최선의 손실: 1.317816\t정확도: 28.19%\n", "19\t검증 세트 손실: 12.152327\t최선의 손실: 1.317816\t정확도: 18.76%\n", "20\t검증 세트 손실: 16.727533\t최선의 손실: 1.317816\t정확도: 22.91%\n", "21\t검증 세트 손실: 10.187823\t최선의 손실: 1.317816\t정확도: 22.44%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.02, dropout_rate=0.6, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 13.1s\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.415100\t최선의 손실: 0.415100\t정확도: 86.47%\n", "1\t검증 세트 손실: 0.432410\t최선의 손실: 0.415100\t정확도: 81.63%\n", "2\t검증 세트 손실: 1.522781\t최선의 손실: 0.415100\t정확도: 63.80%\n", "3\t검증 세트 손실: 0.595219\t최선의 손실: 0.415100\t정확도: 80.49%\n", "4\t검증 세트 손실: 0.391672\t최선의 손실: 0.391672\t정확도: 84.13%\n", "5\t검증 세트 손실: 0.497474\t최선의 손실: 0.391672\t정확도: 85.46%\n", "6\t검증 세트 손실: 0.665048\t최선의 손실: 0.391672\t정확도: 66.34%\n", "7\t검증 세트 손실: 0.708792\t최선의 손실: 0.391672\t정확도: 72.63%\n", "8\t검증 세트 손실: 1.012648\t최선의 손실: 0.391672\t정확도: 57.86%\n", "9\t검증 세트 손실: 3.576060\t최선의 손실: 0.391672\t정확도: 24.82%\n", "10\t검증 세트 손실: 3.983428\t최선의 손실: 0.391672\t정확도: 43.12%\n", "11\t검증 세트 손실: 11.217504\t최선의 손실: 0.391672\t정확도: 31.12%\n", "12\t검증 세트 손실: 2.027821\t최선의 손실: 0.391672\t정확도: 30.69%\n", "13\t검증 세트 손실: 1.171283\t최선의 손실: 0.391672\t정확도: 52.74%\n", "14\t검증 세트 손실: 3.184039\t최선의 손실: 0.391672\t정확도: 35.73%\n", "15\t검증 세트 손실: 1.567214\t최선의 손실: 0.391672\t정확도: 47.81%\n", "16\t검증 세트 손실: 1.542271\t최선의 손실: 0.391672\t정확도: 35.22%\n", "17\t검증 세트 손실: 2.327530\t최선의 손실: 0.391672\t정확도: 38.15%\n", "18\t검증 세트 손실: 2.161514\t최선의 손실: 0.391672\t정확도: 35.77%\n", "19\t검증 세트 손실: 6.644725\t최선의 손실: 0.391672\t정확도: 23.34%\n", "20\t검증 세트 손실: 8.420689\t최선의 손실: 0.391672\t정확도: 34.44%\n", "21\t검증 세트 손실: 2.406080\t최선의 손실: 0.391672\t정확도: 37.65%\n", "22\t검증 세트 손실: 3.176773\t최선의 손실: 0.391672\t정확도: 41.99%\n", "23\t검증 세트 손실: 19.618168\t최선의 손실: 0.391672\t정확도: 33.39%\n", "24\t검증 세트 손실: 2.782402\t최선의 손실: 0.391672\t정확도: 44.10%\n", "25\t검증 세트 손실: 3.464935\t최선의 손실: 0.391672\t정확도: 29.24%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 42.1s\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.402737\t최선의 손실: 0.402737\t정확도: 83.70%\n", "1\t검증 세트 손실: 0.512661\t최선의 손실: 0.402737\t정확도: 75.25%\n", "2\t검증 세트 손실: 1.002314\t최선의 손실: 0.402737\t정확도: 60.13%\n", "3\t검증 세트 손실: 0.595843\t최선의 손실: 0.402737\t정확도: 73.06%\n", "4\t검증 세트 손실: 0.957469\t최선의 손실: 0.402737\t정확도: 63.49%\n", "5\t검증 세트 손실: 0.815986\t최선의 손실: 0.402737\t정확도: 60.59%\n", "6\t검증 세트 손실: 0.933285\t최선의 손실: 0.402737\t정확도: 56.61%\n", "7\t검증 세트 손실: 0.784635\t최선의 손실: 0.402737\t정확도: 65.05%\n", "8\t검증 세트 손실: 1.069729\t최선의 손실: 0.402737\t정확도: 53.09%\n", "9\t검증 세트 손실: 0.992436\t최선의 손실: 0.402737\t정확도: 57.15%\n", "10\t검증 세트 손실: 1.102982\t최선의 손실: 0.402737\t정확도: 53.87%\n", "11\t검증 세트 손실: 1.127778\t최선의 손실: 0.402737\t정확도: 46.83%\n", "12\t검증 세트 손실: 0.979051\t최선의 손실: 0.402737\t정확도: 56.37%\n", "13\t검증 세트 손실: 0.855280\t최선의 손실: 0.402737\t정확도: 67.16%\n", "14\t검증 세트 손실: 0.966649\t최선의 손실: 0.402737\t정확도: 59.11%\n", "15\t검증 세트 손실: 1.600002\t최선의 손실: 0.402737\t정확도: 41.67%\n", "16\t검증 세트 손실: 1.190368\t최선의 손실: 0.402737\t정확도: 49.77%\n", "17\t검증 세트 손실: 1.096116\t최선의 손실: 0.402737\t정확도: 50.20%\n", "18\t검증 세트 손실: 1.087971\t최선의 손실: 0.402737\t정확도: 54.61%\n", "19\t검증 세트 손실: 1.108818\t최선의 손실: 0.402737\t정확도: 54.61%\n", "20\t검증 세트 손실: 1.296616\t최선의 손실: 0.402737\t정확도: 51.72%\n", "21\t검증 세트 손실: 2.067127\t최선의 손실: 0.402737\t정확도: 30.88%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 35.8s\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.481286\t최선의 손실: 0.481286\t정확도: 92.38%\n", "1\t검증 세트 손실: 0.584180\t최선의 손실: 0.481286\t정확도: 83.89%\n", "2\t검증 세트 손실: 0.461756\t최선의 손실: 0.461756\t정확도: 86.71%\n", "3\t검증 세트 손실: 0.448564\t최선의 손실: 0.448564\t정확도: 88.58%\n", "4\t검증 세트 손실: 0.949463\t최선의 손실: 0.448564\t정확도: 53.79%\n", "5\t검증 세트 손실: 0.928660\t최선의 손실: 0.448564\t정확도: 57.39%\n", "6\t검증 세트 손실: 1.325550\t최선의 손실: 0.448564\t정확도: 44.18%\n", "7\t검증 세트 손실: 0.830097\t최선의 손실: 0.448564\t정확도: 63.14%\n", "8\t검증 세트 손실: 0.959474\t최선의 손실: 0.448564\t정확도: 57.08%\n", "9\t검증 세트 손실: 0.923042\t최선의 손실: 0.448564\t정확도: 56.25%\n", "10\t검증 세트 손실: 0.996331\t최선의 손실: 0.448564\t정확도: 59.73%\n", "11\t검증 세트 손실: 1.236023\t최선의 손실: 0.448564\t정확도: 43.39%\n", "12\t검증 세트 손실: 1.057520\t최선의 손실: 0.448564\t정확도: 54.07%\n", "13\t검증 세트 손실: 1.006588\t최선의 손실: 0.448564\t정확도: 52.54%\n", "14\t검증 세트 손실: 1.368605\t최선의 손실: 0.448564\t정확도: 48.55%\n", "15\t검증 세트 손실: 1.389521\t최선의 손실: 0.448564\t정확도: 35.42%\n", "16\t검증 세트 손실: 1.268487\t최선의 손실: 0.448564\t정확도: 44.06%\n", "17\t검증 세트 손실: 1.066942\t최선의 손실: 0.448564\t정확도: 55.08%\n", "18\t검증 세트 손실: 0.937816\t최선의 손실: 0.448564\t정확도: 61.57%\n", "19\t검증 세트 손실: 1.769673\t최선의 손실: 0.448564\t정확도: 30.61%\n", "20\t검증 세트 손실: 1.471575\t최선의 손실: 0.448564\t정확도: 48.63%\n", "21\t검증 세트 손실: 1.754831\t최선의 손실: 0.448564\t정확도: 39.41%\n", "22\t검증 세트 손실: 1.522655\t최선의 손실: 0.448564\t정확도: 46.48%\n", "23\t검증 세트 손실: 2.414987\t최선의 손실: 0.448564\t정확도: 34.25%\n", "24\t검증 세트 손실: 2.883688\t최선의 손실: 0.448564\t정확도: 24.20%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.4, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 40.4s\n", "[CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.425576\t최선의 손실: 0.425576\t정확도: 88.78%\n", "1\t검증 세트 손실: 0.255404\t최선의 손실: 0.255404\t정확도: 93.82%\n", "2\t검증 세트 손실: 0.263556\t최선의 손실: 0.255404\t정확도: 92.18%\n", "3\t검증 세트 손실: 0.181103\t최선의 손실: 0.181103\t정확도: 94.57%\n", "4\t검증 세트 손실: 0.175353\t최선의 손실: 0.175353\t정확도: 94.92%\n", "5\t검증 세트 손실: 0.422139\t최선의 손실: 0.175353\t정확도: 88.98%\n", "6\t검증 세트 손실: 0.530130\t최선의 손실: 0.175353\t정확도: 85.89%\n", "7\t검증 세트 손실: 0.364472\t최선의 손실: 0.175353\t정확도: 91.59%\n", "8\t검증 세트 손실: 0.260711\t최선의 손실: 0.175353\t정확도: 92.03%\n", "9\t검증 세트 손실: 0.446369\t최선의 손실: 0.175353\t정확도: 93.51%\n", "10\t검증 세트 손실: 0.261530\t최선의 손실: 0.175353\t정확도: 91.20%\n", "11\t검증 세트 손실: 0.206498\t최선의 손실: 0.175353\t정확도: 94.41%\n", "12\t검증 세트 손실: 0.246605\t최선의 손실: 0.175353\t정확도: 92.18%\n", "13\t검증 세트 손실: 0.222391\t최선의 손실: 0.175353\t정확도: 94.18%\n", "14\t검증 세트 손실: 0.430145\t최선의 손실: 0.175353\t정확도: 87.22%\n", "15\t검증 세트 손실: 0.646025\t최선의 손실: 0.175353\t정확도: 81.78%\n", "16\t검증 세트 손실: 0.434414\t최선의 손실: 0.175353\t정확도: 89.09%\n", "17\t검증 세트 손실: 268.727142\t최선의 손실: 0.175353\t정확도: 32.37%\n", "18\t검증 세트 손실: 18.386860\t최선의 손실: 0.175353\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.893313\t최선의 손실: 0.175353\t정확도: 29.55%\n", "20\t검증 세트 손실: 2.640017\t최선의 손실: 0.175353\t정확도: 21.81%\n", "21\t검증 세트 손실: 1.280984\t최선의 손실: 0.175353\t정확도: 43.28%\n", "22\t검증 세트 손실: 1.230501\t최선의 손실: 0.175353\t정확도: 44.88%\n", "23\t검증 세트 손실: 1.224947\t최선의 손실: 0.175353\t정확도: 47.81%\n", "24\t검증 세트 손실: 1.725380\t최선의 손실: 0.175353\t정확도: 32.10%\n", "25\t검증 세트 손실: 1.246502\t최선의 손실: 0.175353\t정확도: 44.57%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 7.1s\n", "[CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.370125\t최선의 손실: 0.370125\t정확도: 87.33%\n", "1\t검증 세트 손실: 0.186910\t최선의 손실: 0.186910\t정확도: 94.57%\n", "2\t검증 세트 손실: 0.125593\t최선의 손실: 0.125593\t정확도: 96.17%\n", "3\t검증 세트 손실: 0.250169\t최선의 손실: 0.125593\t정확도: 94.02%\n", "4\t검증 세트 손실: 0.301855\t최선의 손실: 0.125593\t정확도: 91.87%\n", "5\t검증 세트 손실: 0.322210\t최선의 손실: 0.125593\t정확도: 91.24%\n", "6\t검증 세트 손실: 0.283647\t최선의 손실: 0.125593\t정확도: 92.34%\n", "7\t검증 세트 손실: 0.353438\t최선의 손실: 0.125593\t정확도: 89.41%\n", "8\t검증 세트 손실: 0.177833\t최선의 손실: 0.125593\t정확도: 94.53%\n", "9\t검증 세트 손실: 0.210499\t최선의 손실: 0.125593\t정확도: 94.14%\n", "10\t검증 세트 손실: 70.530098\t최선의 손실: 0.125593\t정확도: 19.27%\n", "11\t검증 세트 손실: 17.259832\t최선의 손실: 0.125593\t정확도: 22.01%\n", "12\t검증 세트 손실: 3.458333\t최선의 손실: 0.125593\t정확도: 26.08%\n", "13\t검증 세트 손실: 1.658917\t최선의 손실: 0.125593\t정확도: 18.37%\n", "14\t검증 세트 손실: 1.431745\t최선의 손실: 0.125593\t정확도: 43.51%\n", "15\t검증 세트 손실: 2.151597\t최선의 손실: 0.125593\t정확도: 22.40%\n", "16\t검증 세트 손실: 1.485477\t최선의 손실: 0.125593\t정확도: 34.68%\n", "17\t검증 세트 손실: 2.184128\t최선의 손실: 0.125593\t정확도: 21.15%\n", "18\t검증 세트 손실: 1.275701\t최선의 손실: 0.125593\t정확도: 39.80%\n", "19\t검증 세트 손실: 1.241560\t최선의 손실: 0.125593\t정확도: 51.13%\n", "20\t검증 세트 손실: 1.271052\t최선의 손실: 0.125593\t정확도: 49.65%\n", "21\t검증 세트 손실: 1.334854\t최선의 손실: 0.125593\t정확도: 38.19%\n", "22\t검증 세트 손실: 1.692701\t최선의 손실: 0.125593\t정확도: 44.80%\n", "23\t검증 세트 손실: 1.346148\t최선의 손실: 0.125593\t정확도: 37.41%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 6.7s\n", "[CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.639881\t최선의 손실: 0.639881\t정확도: 71.54%\n", "1\t검증 세트 손실: 0.244770\t최선의 손실: 0.244770\t정확도: 94.25%\n", "2\t검증 세트 손실: 0.171645\t최선의 손실: 0.171645\t정확도: 95.04%\n", "3\t검증 세트 손실: 0.143509\t최선의 손실: 0.143509\t정확도: 95.74%\n", "4\t검증 세트 손실: 0.137540\t최선의 손실: 0.137540\t정확도: 96.13%\n", "5\t검증 세트 손실: 0.117172\t최선의 손실: 0.117172\t정확도: 96.56%\n", "6\t검증 세트 손실: 0.206850\t최선의 손실: 0.117172\t정확도: 95.35%\n", "7\t검증 세트 손실: 0.164366\t최선의 손실: 0.117172\t정확도: 95.35%\n", "8\t검증 세트 손실: 1.305399\t최선의 손실: 0.117172\t정확도: 33.93%\n", "9\t검증 세트 손실: 0.851915\t최선의 손실: 0.117172\t정확도: 75.02%\n", "10\t검증 세트 손실: 0.537611\t최선의 손실: 0.117172\t정확도: 84.01%\n", "11\t검증 세트 손실: 0.431146\t최선의 손실: 0.117172\t정확도: 89.80%\n", "12\t검증 세트 손실: 0.493657\t최선의 손실: 0.117172\t정확도: 86.63%\n", "13\t검증 세트 손실: 0.367109\t최선의 손실: 0.117172\t정확도: 90.34%\n", "14\t검증 세트 손실: 0.332342\t최선의 손실: 0.117172\t정확도: 90.19%\n", "15\t검증 세트 손실: 0.415317\t최선의 손실: 0.117172\t정확도: 85.46%\n", "16\t검증 세트 손실: 56.028042\t최선의 손실: 0.117172\t정확도: 27.17%\n", "17\t검증 세트 손실: 17.899343\t최선의 손실: 0.117172\t정확도: 19.94%\n", "18\t검증 세트 손실: 9.953026\t최선의 손실: 0.117172\t정확도: 30.45%\n", "19\t검증 세트 손실: 7.109529\t최선의 손실: 0.117172\t정확도: 30.73%\n", "20\t검증 세트 손실: 5.573217\t최선의 손실: 0.117172\t정확도: 39.01%\n", "21\t검증 세트 손실: 3.802188\t최선의 손실: 0.117172\t정확도: 35.93%\n", "22\t검증 세트 손실: 2.191246\t최선의 손실: 0.117172\t정확도: 40.34%\n", "23\t검증 세트 손실: 2.122179\t최선의 손실: 0.117172\t정확도: 40.30%\n", "24\t검증 세트 손실: 3.621294\t최선의 손실: 0.117172\t정확도: 37.96%\n", "25\t검증 세트 손실: 3.362790\t최선의 손실: 0.117172\t정확도: 36.94%\n", "26\t검증 세트 손실: 2.287177\t최선의 손실: 0.117172\t정확도: 36.24%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.05, dropout_rate=0.2, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 7.3s\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.134191\t최선의 손실: 0.134191\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.158926\t최선의 손실: 0.134191\t정확도: 96.09%\n", "2\t검증 세트 손실: 0.138399\t최선의 손실: 0.134191\t정확도: 96.21%\n", "3\t검증 세트 손실: 0.132162\t최선의 손실: 0.132162\t정확도: 96.52%\n", "4\t검증 세트 손실: 0.141284\t최선의 손실: 0.132162\t정확도: 96.29%\n", "5\t검증 세트 손실: 0.124524\t최선의 손실: 0.124524\t정확도: 96.56%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "6\t검증 세트 손실: 0.147099\t최선의 손실: 0.124524\t정확도: 96.68%\n", "7\t검증 세트 손실: 0.136204\t최선의 손실: 0.124524\t정확도: 96.56%\n", "8\t검증 세트 손실: 0.112659\t최선의 손실: 0.112659\t정확도: 96.79%\n", "9\t검증 세트 손실: 0.117301\t최선의 손실: 0.112659\t정확도: 97.19%\n", "10\t검증 세트 손실: 0.126039\t최선의 손실: 0.112659\t정확도: 97.07%\n", "11\t검증 세트 손실: 0.131578\t최선의 손실: 0.112659\t정확도: 97.03%\n", "12\t검증 세트 손실: 0.142002\t최선의 손실: 0.112659\t정확도: 96.95%\n", "13\t검증 세트 손실: 0.134888\t최선의 손실: 0.112659\t정확도: 96.91%\n", "14\t검증 세트 손실: 0.179101\t최선의 손실: 0.112659\t정확도: 96.64%\n", "15\t검증 세트 손실: 0.109069\t최선의 손실: 0.109069\t정확도: 97.11%\n", "16\t검증 세트 손실: 0.156460\t최선의 손실: 0.109069\t정확도: 95.35%\n", "17\t검증 세트 손실: 0.133208\t최선의 손실: 0.109069\t정확도: 96.33%\n", "18\t검증 세트 손실: 0.124319\t최선의 손실: 0.109069\t정확도: 96.64%\n", "19\t검증 세트 손실: 0.183705\t최선의 손실: 0.109069\t정확도: 95.97%\n", "20\t검증 세트 손실: 0.216830\t최선의 손실: 0.109069\t정확도: 95.39%\n", "21\t검증 세트 손실: 0.157074\t최선의 손실: 0.109069\t정확도: 96.83%\n", "22\t검증 세트 손실: 0.189725\t최선의 손실: 0.109069\t정확도: 95.66%\n", "23\t검증 세트 손실: 0.339676\t최선의 손실: 0.109069\t정확도: 91.56%\n", "24\t검증 세트 손실: 0.301199\t최선의 손실: 0.109069\t정확도: 78.38%\n", "25\t검증 세트 손실: 0.433009\t최선의 손실: 0.109069\t정확도: 77.76%\n", "26\t검증 세트 손실: 0.255478\t최선의 손실: 0.109069\t정확도: 88.04%\n", "27\t검증 세트 손실: 0.205704\t최선의 손실: 0.109069\t정확도: 96.33%\n", "28\t검증 세트 손실: 0.212656\t최선의 손실: 0.109069\t정확도: 95.82%\n", "29\t검증 세트 손실: 0.248659\t최선의 손실: 0.109069\t정확도: 96.33%\n", "30\t검증 세트 손실: 0.259759\t최선의 손실: 0.109069\t정확도: 95.50%\n", "31\t검증 세트 손실: 0.277993\t최선의 손실: 0.109069\t정확도: 95.54%\n", "32\t검증 세트 손실: 0.276353\t최선의 손실: 0.109069\t정확도: 95.93%\n", "33\t검증 세트 손실: 0.237232\t최선의 손실: 0.109069\t정확도: 95.11%\n", "34\t검증 세트 손실: 0.223646\t최선의 손실: 0.109069\t정확도: 94.84%\n", "35\t검증 세트 손실: 0.277160\t최선의 손실: 0.109069\t정확도: 94.45%\n", "36\t검증 세트 손실: 0.420007\t최선의 손실: 0.109069\t정확도: 75.25%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=, total= 14.4s\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.191888\t최선의 손실: 0.191888\t정확도: 95.58%\n", "1\t검증 세트 손실: 0.145729\t최선의 손실: 0.145729\t정확도: 96.29%\n", "2\t검증 세트 손실: 0.125701\t최선의 손실: 0.125701\t정확도: 96.68%\n", "3\t검증 세트 손실: 0.133343\t최선의 손실: 0.125701\t정확도: 96.29%\n", "4\t검증 세트 손실: 0.160496\t최선의 손실: 0.125701\t정확도: 96.91%\n", "5\t검증 세트 손실: 0.143995\t최선의 손실: 0.125701\t정확도: 96.40%\n", "6\t검증 세트 손실: 0.135721\t최선의 손실: 0.125701\t정확도: 96.99%\n", "7\t검증 세트 손실: 0.115242\t최선의 손실: 0.115242\t정확도: 97.38%\n", "8\t검증 세트 손실: 0.133266\t최선의 손실: 0.115242\t정확도: 96.91%\n", "9\t검증 세트 손실: 0.169012\t최선의 손실: 0.115242\t정확도: 96.91%\n", "10\t검증 세트 손실: 0.145847\t최선의 손실: 0.115242\t정확도: 97.22%\n", "11\t검증 세트 손실: 0.256939\t최선의 손실: 0.115242\t정확도: 91.59%\n", "12\t검증 세트 손실: 0.169243\t최선의 손실: 0.115242\t정확도: 95.47%\n", "13\t검증 세트 손실: 0.160212\t최선의 손실: 0.115242\t정확도: 96.56%\n", "14\t검증 세트 손실: 0.185220\t최선의 손실: 0.115242\t정확도: 96.72%\n", "15\t검증 세트 손실: 0.190046\t최선의 손실: 0.115242\t정확도: 96.52%\n", "16\t검증 세트 손실: 0.171847\t최선의 손실: 0.115242\t정확도: 96.83%\n", "17\t검증 세트 손실: 0.159151\t최선의 손실: 0.115242\t정확도: 96.29%\n", "18\t검증 세트 손실: 0.172038\t최선의 손실: 0.115242\t정확도: 96.52%\n", "19\t검증 세트 손실: 0.220636\t최선의 손실: 0.115242\t정확도: 96.60%\n", "20\t검증 세트 손실: 0.206142\t최선의 손실: 0.115242\t정확도: 96.44%\n", "21\t검증 세트 손실: 0.235740\t최선의 손실: 0.115242\t정확도: 95.50%\n", "22\t검증 세트 손실: 0.197302\t최선의 손실: 0.115242\t정확도: 95.19%\n", "23\t검증 세트 손실: 0.230338\t최선의 손실: 0.115242\t정확도: 96.09%\n", "24\t검증 세트 손실: 0.131820\t최선의 손실: 0.115242\t정확도: 96.99%\n", "25\t검증 세트 손실: 0.197238\t최선의 손실: 0.115242\t정확도: 96.01%\n", "26\t검증 세트 손실: 0.177945\t최선의 손실: 0.115242\t정확도: 96.52%\n", "27\t검증 세트 손실: 0.182251\t최선의 손실: 0.115242\t정확도: 96.76%\n", "28\t검증 세트 손실: 0.194445\t최선의 손실: 0.115242\t정확도: 96.29%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=, total= 11.3s\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.176430\t최선의 손실: 0.176430\t정확도: 95.86%\n", "1\t검증 세트 손실: 0.138540\t최선의 손실: 0.138540\t정확도: 96.48%\n", "2\t검증 세트 손실: 0.177150\t최선의 손실: 0.138540\t정확도: 96.05%\n", "3\t검증 세트 손실: 0.199146\t최선의 손실: 0.138540\t정확도: 95.82%\n", "4\t검증 세트 손실: 0.143115\t최선의 손실: 0.138540\t정확도: 96.68%\n", "5\t검증 세트 손실: 0.118804\t최선의 손실: 0.118804\t정확도: 97.03%\n", "6\t검증 세트 손실: 0.115001\t최선의 손실: 0.115001\t정확도: 97.07%\n", "7\t검증 세트 손실: 0.122230\t최선의 손실: 0.115001\t정확도: 96.60%\n", "8\t검증 세트 손실: 0.154121\t최선의 손실: 0.115001\t정확도: 96.01%\n", "9\t검증 세트 손실: 0.144144\t최선의 손실: 0.115001\t정확도: 96.17%\n", "10\t검증 세트 손실: 0.123160\t최선의 손실: 0.115001\t정확도: 96.99%\n", "11\t검증 세트 손실: 0.111769\t최선의 손실: 0.111769\t정확도: 97.19%\n", "12\t검증 세트 손실: 0.166705\t최선의 손실: 0.111769\t정확도: 96.52%\n", "13\t검증 세트 손실: 0.125677\t최선의 손실: 0.111769\t정확도: 96.87%\n", "14\t검증 세트 손실: 0.119917\t최선의 손실: 0.111769\t정확도: 97.19%\n", "15\t검증 세트 손실: 0.190614\t최선의 손실: 0.111769\t정확도: 96.72%\n", "16\t검증 세트 손실: 0.168166\t최선의 손실: 0.111769\t정확도: 96.56%\n", "17\t검증 세트 손실: 0.207634\t최선의 손실: 0.111769\t정확도: 95.35%\n", "18\t검증 세트 손실: 0.197077\t최선의 손실: 0.111769\t정확도: 95.82%\n", "19\t검증 세트 손실: 0.169672\t최선의 손실: 0.111769\t정확도: 96.76%\n", "20\t검증 세트 손실: 0.161411\t최선의 손실: 0.111769\t정확도: 96.76%\n", "21\t검증 세트 손실: 0.154228\t최선의 손실: 0.111769\t정확도: 97.15%\n", "22\t검증 세트 손실: 0.137966\t최선의 손실: 0.111769\t정확도: 97.30%\n", "23\t검증 세트 손실: 0.202591\t최선의 손실: 0.111769\t정확도: 96.44%\n", "24\t검증 세트 손실: 0.181716\t최선의 손실: 0.111769\t정확도: 97.30%\n", "25\t검증 세트 손실: 0.179963\t최선의 손실: 0.111769\t정확도: 97.03%\n", "26\t검증 세트 손실: 0.171092\t최선의 손실: 0.111769\t정확도: 96.48%\n", "27\t검증 세트 손실: 0.153848\t최선의 손실: 0.111769\t정확도: 96.25%\n", "28\t검증 세트 손실: 0.183805\t최선의 손실: 0.111769\t정확도: 94.84%\n", "29\t검증 세트 손실: 0.166447\t최선의 손실: 0.111769\t정확도: 95.66%\n", "30\t검증 세트 손실: 0.171976\t최선의 손실: 0.111769\t정확도: 95.93%\n", "31\t검증 세트 손실: 0.344872\t최선의 손실: 0.111769\t정확도: 88.43%\n", "32\t검증 세트 손실: 0.192664\t최선의 손실: 0.111769\t정확도: 96.13%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=, total= 12.8s\n", "[CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 74.116989\t최선의 손실: 74.116989\t정확도: 20.91%\n", "1\t검증 세트 손실: 928.926514\t최선의 손실: 74.116989\t정확도: 19.27%\n", "2\t검증 세트 손실: 607.288513\t최선의 손실: 74.116989\t정확도: 19.27%\n", "3\t검증 세트 손실: 537.279358\t최선의 손실: 74.116989\t정확도: 19.27%\n", "4\t검증 세트 손실: 771.943298\t최선의 손실: 74.116989\t정확도: 19.27%\n", "5\t검증 세트 손실: 1468.793457\t최선의 손실: 74.116989\t정확도: 18.73%\n", "6\t검증 세트 손실: 382.416046\t최선의 손실: 74.116989\t정확도: 19.27%\n", "7\t검증 세트 손실: 357.036896\t최선의 손실: 74.116989\t정확도: 19.27%\n", "8\t검증 세트 손실: 21404.996094\t최선의 손실: 74.116989\t정확도: 18.73%\n", "9\t검증 세트 손실: 1732.785156\t최선의 손실: 74.116989\t정확도: 19.08%\n", "10\t검증 세트 손실: 336.174438\t최선의 손실: 74.116989\t정확도: 21.38%\n", "11\t검증 세트 손실: 2022.686646\t최선의 손실: 74.116989\t정확도: 18.73%\n", "12\t검증 세트 손실: 207.666565\t최선의 손실: 74.116989\t정확도: 24.63%\n", "13\t검증 세트 손실: 946.984192\t최선의 손실: 74.116989\t정확도: 19.27%\n", "14\t검증 세트 손실: 376.782410\t최선의 손실: 74.116989\t정확도: 22.83%\n", "15\t검증 세트 손실: 580.164612\t최선의 손실: 74.116989\t정확도: 26.86%\n", "16\t검증 세트 손실: 202.742218\t최선의 손실: 74.116989\t정확도: 30.81%\n", "17\t검증 세트 손실: 31902.158203\t최선의 손실: 74.116989\t정확도: 18.73%\n", "18\t검증 세트 손실: 1740.212036\t최선의 손실: 74.116989\t정확도: 18.73%\n", "19\t검증 세트 손실: 6254.324707\t최선의 손실: 74.116989\t정확도: 19.08%\n", "20\t검증 세트 손실: 327.544434\t최선의 손실: 74.116989\t정확도: 22.01%\n", "21\t검증 세트 손실: 246.508011\t최선의 손실: 74.116989\t정확도: 19.39%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.9s\n", "[CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 8.915527\t최선의 손실: 8.915527\t정확도: 22.01%\n", "1\t검증 세트 손실: 29.104839\t최선의 손실: 8.915527\t정확도: 19.08%\n", "2\t검증 세트 손실: 249.166153\t최선의 손실: 8.915527\t정확도: 19.08%\n", "3\t검증 세트 손실: 2981.145020\t최선의 손실: 8.915527\t정확도: 19.27%\n", "4\t검증 세트 손실: 11680.500000\t최선의 손실: 8.915527\t정확도: 19.08%\n", "5\t검증 세트 손실: 4143.680176\t최선의 손실: 8.915527\t정확도: 20.91%\n", "6\t검증 세트 손실: 1960.168457\t최선의 손실: 8.915527\t정확도: 19.27%\n", "7\t검증 세트 손실: 6878.092285\t최선의 손실: 8.915527\t정확도: 19.08%\n", "8\t검증 세트 손실: 7813.053711\t최선의 손실: 8.915527\t정확도: 22.01%\n", "9\t검증 세트 손실: 4877.544434\t최선의 손실: 8.915527\t정확도: 18.73%\n", "10\t검증 세트 손실: 13779.365234\t최선의 손실: 8.915527\t정확도: 18.73%\n", "11\t검증 세트 손실: 8046.458984\t최선의 손실: 8.915527\t정확도: 19.27%\n", "12\t검증 세트 손실: 5680.346191\t최선의 손실: 8.915527\t정확도: 18.73%\n", "13\t검증 세트 손실: 8095.447266\t최선의 손실: 8.915527\t정확도: 22.01%\n", "14\t검증 세트 손실: 5030.202637\t최선의 손실: 8.915527\t정확도: 19.08%\n", "15\t검증 세트 손실: 4464.393066\t최선의 손실: 8.915527\t정확도: 19.08%\n", "16\t검증 세트 손실: 13722.078125\t최선의 손실: 8.915527\t정확도: 19.08%\n", "17\t검증 세트 손실: 7767.518555\t최선의 손실: 8.915527\t정확도: 19.27%\n", "18\t검증 세트 손실: 7153.557617\t최선의 손실: 8.915527\t정확도: 20.91%\n", "19\t검증 세트 손실: 2660.439941\t최선의 손실: 8.915527\t정확도: 19.27%\n", "20\t검증 세트 손실: 4410.192383\t최선의 손실: 8.915527\t정확도: 19.27%\n", "21\t검증 세트 손실: 3027.824951\t최선의 손실: 8.915527\t정확도: 22.01%\n", "조기 종료!\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "[CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 14.7s\n", "[CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 334.250092\t최선의 손실: 334.250092\t정확도: 19.08%\n", "1\t검증 세트 손실: 163.730789\t최선의 손실: 163.730789\t정확도: 20.91%\n", "2\t검증 세트 손실: 1977.848877\t최선의 손실: 163.730789\t정확도: 18.73%\n", "3\t검증 세트 손실: 10687.094727\t최선의 손실: 163.730789\t정확도: 19.08%\n", "4\t검증 세트 손실: 7290.352051\t최선의 손실: 163.730789\t정확도: 19.08%\n", "5\t검증 세트 손실: 2096.482910\t최선의 손실: 163.730789\t정확도: 18.73%\n", "6\t검증 세트 손실: 1152.358154\t최선의 손실: 163.730789\t정확도: 19.27%\n", "7\t검증 세트 손실: 4289.198730\t최선의 손실: 163.730789\t정확도: 18.73%\n", "8\t검증 세트 손실: 4526.510742\t최선의 손실: 163.730789\t정확도: 19.08%\n", "9\t검증 세트 손실: 3408.061279\t최선의 손실: 163.730789\t정확도: 22.01%\n", "10\t검증 세트 손실: 1660.109253\t최선의 손실: 163.730789\t정확도: 19.08%\n", "11\t검증 세트 손실: 990.069702\t최선의 손실: 163.730789\t정확도: 18.73%\n", "12\t검증 세트 손실: 762.664856\t최선의 손실: 163.730789\t정확도: 26.19%\n", "13\t검증 세트 손실: 3654.166992\t최선의 손실: 163.730789\t정확도: 22.01%\n", "14\t검증 세트 손실: 7991.088379\t최선의 손실: 163.730789\t정확도: 19.27%\n", "15\t검증 세트 손실: 2592.787842\t최선의 손실: 163.730789\t정확도: 19.08%\n", "16\t검증 세트 손실: 826.353333\t최선의 손실: 163.730789\t정확도: 19.08%\n", "17\t검증 세트 손실: 2256.534912\t최선의 손실: 163.730789\t정확도: 19.27%\n", "18\t검증 세트 손실: 3769.209229\t최선의 손실: 163.730789\t정확도: 19.08%\n", "19\t검증 세트 손실: 857.066162\t최선의 손실: 163.730789\t정확도: 20.91%\n", "20\t검증 세트 손실: 1709.661255\t최선의 손실: 163.730789\t정확도: 20.91%\n", "21\t검증 세트 손실: 3491.406250\t최선의 손실: 163.730789\t정확도: 18.76%\n", "22\t검증 세트 손실: 25613.798828\t최선의 손실: 163.730789\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.05, dropout_rate=0.5, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 15.4s\n", "[CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.159917\t최선의 손실: 0.159917\t정확도: 96.21%\n", "1\t검증 세트 손실: 0.140694\t최선의 손실: 0.140694\t정확도: 96.79%\n", "2\t검증 세트 손실: 0.108854\t최선의 손실: 0.108854\t정확도: 97.34%\n", "3\t검증 세트 손실: 0.124195\t최선의 손실: 0.108854\t정확도: 97.58%\n", "4\t검증 세트 손실: 0.137887\t최선의 손실: 0.108854\t정확도: 97.19%\n", "5\t검증 세트 손실: 0.106886\t최선의 손실: 0.106886\t정확도: 96.72%\n", "6\t검증 세트 손실: 0.136049\t최선의 손실: 0.106886\t정확도: 96.13%\n", "7\t검증 세트 손실: 0.136822\t최선의 손실: 0.106886\t정확도: 97.07%\n", "8\t검증 세트 손실: 0.141918\t최선의 손실: 0.106886\t정확도: 96.76%\n", "9\t검증 세트 손실: 0.147263\t최선의 손실: 0.106886\t정확도: 96.76%\n", "10\t검증 세트 손실: 0.114195\t최선의 손실: 0.106886\t정확도: 97.34%\n", "11\t검증 세트 손실: 0.116813\t최선의 손실: 0.106886\t정확도: 96.36%\n", "12\t검증 세트 손실: 0.130928\t최선의 손실: 0.106886\t정확도: 96.79%\n", "13\t검증 세트 손실: 0.124681\t최선의 손실: 0.106886\t정확도: 96.95%\n", "14\t검증 세트 손실: 0.110362\t최선의 손실: 0.106886\t정확도: 97.22%\n", "15\t검증 세트 손실: 0.129792\t최선의 손실: 0.106886\t정확도: 96.56%\n", "16\t검증 세트 손실: 0.144357\t최선의 손실: 0.106886\t정확도: 95.70%\n", "17\t검증 세트 손실: 0.102317\t최선의 손실: 0.102317\t정확도: 97.30%\n", "18\t검증 세트 손실: 0.133110\t최선의 손실: 0.102317\t정확도: 97.22%\n", "19\t검증 세트 손실: 0.116905\t최선의 손실: 0.102317\t정확도: 96.52%\n", "20\t검증 세트 손실: 0.105862\t최선의 손실: 0.102317\t정확도: 96.60%\n", "21\t검증 세트 손실: 0.112404\t최선의 손실: 0.102317\t정확도: 96.76%\n", "22\t검증 세트 손실: 0.105866\t최선의 손실: 0.102317\t정확도: 96.83%\n", "23\t검증 세트 손실: 0.121966\t최선의 손실: 0.102317\t정확도: 96.68%\n", "24\t검증 세트 손실: 0.135247\t최선의 손실: 0.102317\t정확도: 96.48%\n", "25\t검증 세트 손실: 0.119760\t최선의 손실: 0.102317\t정확도: 95.54%\n", "26\t검증 세트 손실: 0.131029\t최선의 손실: 0.102317\t정확도: 96.40%\n", "27\t검증 세트 손실: 0.115507\t최선의 손실: 0.102317\t정확도: 96.60%\n", "28\t검증 세트 손실: 0.163028\t최선의 손실: 0.102317\t정확도: 95.23%\n", "29\t검증 세트 손실: 0.146273\t최선의 손실: 0.102317\t정확도: 96.13%\n", "30\t검증 세트 손실: 0.142522\t최선의 손실: 0.102317\t정확도: 96.52%\n", "31\t검증 세트 손실: 0.114932\t최선의 손실: 0.102317\t정확도: 96.91%\n", "32\t검증 세트 손실: 0.177934\t최선의 손실: 0.102317\t정확도: 94.92%\n", "33\t검증 세트 손실: 0.141859\t최선의 손실: 0.102317\t정확도: 95.82%\n", "34\t검증 세트 손실: 0.165214\t최선의 손실: 0.102317\t정확도: 94.53%\n", "35\t검증 세트 손실: 0.135312\t최선의 손실: 0.102317\t정확도: 95.47%\n", "36\t검증 세트 손실: 0.128328\t최선의 손실: 0.102317\t정확도: 97.03%\n", "37\t검증 세트 손실: 0.130452\t최선의 손실: 0.102317\t정확도: 96.52%\n", "38\t검증 세트 손실: 0.131767\t최선의 손실: 0.102317\t정확도: 96.29%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 20.4s\n", "[CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.210064\t최선의 손실: 0.210064\t정확도: 94.33%\n", "1\t검증 세트 손실: 0.156832\t최선의 손실: 0.156832\t정확도: 96.05%\n", "2\t검증 세트 손실: 0.129625\t최선의 손실: 0.129625\t정확도: 96.48%\n", "3\t검증 세트 손실: 0.134996\t최선의 손실: 0.129625\t정확도: 97.30%\n", "4\t검증 세트 손실: 0.138802\t최선의 손실: 0.129625\t정확도: 96.60%\n", "5\t검증 세트 손실: 0.116441\t최선의 손실: 0.116441\t정확도: 96.79%\n", "6\t검증 세트 손실: 0.128576\t최선의 손실: 0.116441\t정확도: 97.26%\n", "7\t검증 세트 손실: 0.115787\t최선의 손실: 0.115787\t정확도: 96.40%\n", "8\t검증 세트 손실: 0.125870\t최선의 손실: 0.115787\t정확도: 96.76%\n", "9\t검증 세트 손실: 0.126752\t최선의 손실: 0.115787\t정확도: 97.34%\n", "10\t검증 세트 손실: 0.139319\t최선의 손실: 0.115787\t정확도: 95.93%\n", "11\t검증 세트 손실: 0.129768\t최선의 손실: 0.115787\t정확도: 96.64%\n", "12\t검증 세트 손실: 0.129010\t최선의 손실: 0.115787\t정확도: 96.25%\n", "13\t검증 세트 손실: 0.131340\t최선의 손실: 0.115787\t정확도: 95.90%\n", "14\t검증 세트 손실: 0.121559\t최선의 손실: 0.115787\t정확도: 96.68%\n", "15\t검증 세트 손실: 0.131838\t최선의 손실: 0.115787\t정확도: 96.17%\n", "16\t검증 세트 손실: 0.118769\t최선의 손실: 0.115787\t정확도: 96.29%\n", "17\t검증 세트 손실: 0.110770\t최선의 손실: 0.110770\t정확도: 96.68%\n", "18\t검증 세트 손실: 0.126810\t최선의 손실: 0.110770\t정확도: 96.44%\n", "19\t검증 세트 손실: 0.162632\t최선의 손실: 0.110770\t정확도: 95.19%\n", "20\t검증 세트 손실: 0.125346\t최선의 손실: 0.110770\t정확도: 96.64%\n", "21\t검증 세트 손실: 0.111870\t최선의 손실: 0.110770\t정확도: 96.87%\n", "22\t검증 세트 손실: 0.151657\t최선의 손실: 0.110770\t정확도: 96.13%\n", "23\t검증 세트 손실: 0.124340\t최선의 손실: 0.110770\t정확도: 96.48%\n", "24\t검증 세트 손실: 0.124055\t최선의 손실: 0.110770\t정확도: 96.64%\n", "25\t검증 세트 손실: 0.151982\t최선의 손실: 0.110770\t정확도: 96.91%\n", "26\t검증 세트 손실: 0.132765\t최선의 손실: 0.110770\t정확도: 96.33%\n", "27\t검증 세트 손실: 0.112845\t최선의 손실: 0.110770\t정확도: 96.99%\n", "28\t검증 세트 손실: 0.120689\t최선의 손실: 0.110770\t정확도: 96.48%\n", "29\t검증 세트 손실: 0.112174\t최선의 손실: 0.110770\t정확도: 96.44%\n", "30\t검증 세트 손실: 0.125762\t최선의 손실: 0.110770\t정확도: 96.13%\n", "31\t검증 세트 손실: 0.131358\t최선의 손실: 0.110770\t정확도: 96.33%\n", "32\t검증 세트 손실: 0.144130\t최선의 손실: 0.110770\t정확도: 96.95%\n", "33\t검증 세트 손실: 0.182194\t최선의 손실: 0.110770\t정확도: 94.61%\n", "34\t검증 세트 손실: 0.213693\t최선의 손실: 0.110770\t정확도: 92.81%\n", "35\t검증 세트 손실: 0.156839\t최선의 손실: 0.110770\t정확도: 95.78%\n", "36\t검증 세트 손실: 0.163910\t최선의 손실: 0.110770\t정확도: 96.17%\n", "37\t검증 세트 손실: 0.168017\t최선의 손실: 0.110770\t정확도: 95.58%\n", "38\t검증 세트 손실: 0.146244\t최선의 손실: 0.110770\t정확도: 96.17%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 20.5s\n", "[CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.155489\t최선의 손실: 0.155489\t정확도: 95.86%\n", "1\t검증 세트 손실: 0.186846\t최선의 손실: 0.155489\t정확도: 95.74%\n", "2\t검증 세트 손실: 0.143665\t최선의 손실: 0.143665\t정확도: 96.52%\n", "3\t검증 세트 손실: 0.125229\t최선의 손실: 0.125229\t정확도: 96.40%\n", "4\t검증 세트 손실: 0.128000\t최선의 손실: 0.125229\t정확도: 96.99%\n", "5\t검증 세트 손실: 0.134395\t최선의 손실: 0.125229\t정확도: 96.79%\n", "6\t검증 세트 손실: 0.121801\t최선의 손실: 0.121801\t정확도: 96.60%\n", "7\t검증 세트 손실: 0.135816\t최선의 손실: 0.121801\t정확도: 96.76%\n", "8\t검증 세트 손실: 0.128345\t최선의 손실: 0.121801\t정확도: 96.25%\n", "9\t검증 세트 손실: 0.112118\t최선의 손실: 0.112118\t정확도: 96.52%\n", "10\t검증 세트 손실: 0.122509\t최선의 손실: 0.112118\t정확도: 97.38%\n", "11\t검증 세트 손실: 0.122488\t최선의 손실: 0.112118\t정확도: 96.56%\n", "12\t검증 세트 손실: 0.112751\t최선의 손실: 0.112118\t정확도: 96.76%\n", "13\t검증 세트 손실: 0.136922\t최선의 손실: 0.112118\t정확도: 96.68%\n", "14\t검증 세트 손실: 0.117605\t최선의 손실: 0.112118\t정확도: 96.95%\n", "15\t검증 세트 손실: 0.125880\t최선의 손실: 0.112118\t정확도: 96.99%\n", "16\t검증 세트 손실: 0.145840\t최선의 손실: 0.112118\t정확도: 96.44%\n", "17\t검증 세트 손실: 0.130880\t최선의 손실: 0.112118\t정확도: 96.25%\n", "18\t검증 세트 손실: 0.163275\t최선의 손실: 0.112118\t정확도: 95.82%\n", "19\t검증 세트 손실: 0.112554\t최선의 손실: 0.112118\t정확도: 96.25%\n", "20\t검증 세트 손실: 0.184212\t최선의 손실: 0.112118\t정확도: 95.35%\n", "21\t검증 세트 손실: 0.161433\t최선의 손실: 0.112118\t정확도: 95.97%\n", "22\t검증 세트 손실: 0.143900\t최선의 손실: 0.112118\t정확도: 95.07%\n", "23\t검증 세트 손실: 0.137720\t최선의 손실: 0.112118\t정확도: 95.97%\n", "24\t검증 세트 손실: 0.142300\t최선의 손실: 0.112118\t정확도: 96.72%\n", "25\t검증 세트 손실: 0.135932\t최선의 손실: 0.112118\t정확도: 96.83%\n", "26\t검증 세트 손실: 0.134475\t최선의 손실: 0.112118\t정확도: 95.90%\n", "27\t검증 세트 손실: 0.137682\t최선의 손실: 0.112118\t정확도: 96.40%\n", "28\t검증 세트 손실: 0.121326\t최선의 손실: 0.112118\t정확도: 96.60%\n", "29\t검증 세트 손실: 0.122162\t최선의 손실: 0.112118\t정확도: 96.91%\n", "30\t검증 세트 손실: 0.131576\t최선의 손실: 0.112118\t정확도: 96.44%\n", "조기 종료!\n", "[CV] n_neurons=120, learning_rate=0.01, dropout_rate=0.5, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 16.4s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation= \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 1.615878\t최선의 손실: 1.615878\t정확도: 20.91%\n", "1\t검증 세트 손실: 1.632833\t최선의 손실: 1.615878\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.627567\t최선의 손실: 1.615878\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.627117\t최선의 손실: 1.615878\t정확도: 19.08%\n", "4\t검증 세트 손실: 1.687067\t최선의 손실: 1.615878\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.642645\t최선의 손실: 1.615878\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.704677\t최선의 손실: 1.615878\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.623888\t최선의 손실: 1.615878\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.616508\t최선의 손실: 1.615878\t정확도: 19.08%\n", "9\t검증 세트 손실: 1.795829\t최선의 손실: 1.615878\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.649240\t최선의 손실: 1.615878\t정확도: 19.27%\n", "11\t검증 세트 손실: 1.666036\t최선의 손실: 1.615878\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.713245\t최선의 손실: 1.615878\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.651699\t최선의 손실: 1.615878\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.671992\t최선의 손실: 1.615878\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.641881\t최선의 손실: 1.615878\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.665507\t최선의 손실: 1.615878\t정확도: 19.08%\n", "17\t검증 세트 손실: 1.640146\t최선의 손실: 1.615878\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.801615\t최선의 손실: 1.615878\t정확도: 18.73%\n", "19\t검증 세트 손실: 1.711989\t최선의 손실: 1.615878\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.645933\t최선의 손실: 1.615878\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.632843\t최선의 손실: 1.615878\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=, total= 7.5s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation= \n", "0\t검증 세트 손실: 1.637076\t최선의 손실: 1.637076\t정확도: 18.73%\n", "1\t검증 세트 손실: 1.644296\t최선의 손실: 1.637076\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.651915\t최선의 손실: 1.637076\t정확도: 20.91%\n", "3\t검증 세트 손실: 1.623742\t최선의 손실: 1.623742\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.625105\t최선의 손실: 1.623742\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.646055\t최선의 손실: 1.623742\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.657392\t최선의 손실: 1.623742\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.701019\t최선의 손실: 1.623742\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.804644\t최선의 손실: 1.623742\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.784762\t최선의 손실: 1.623742\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.632325\t최선의 손실: 1.623742\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.639301\t최선의 손실: 1.623742\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.690687\t최선의 손실: 1.623742\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.717754\t최선의 손실: 1.623742\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.720344\t최선의 손실: 1.623742\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.778218\t최선의 손실: 1.623742\t정확도: 18.73%\n", "16\t검증 세트 손실: 1.654193\t최선의 손실: 1.623742\t정확도: 19.27%\n", "17\t검증 세트 손실: 1.659322\t최선의 손실: 1.623742\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.622970\t최선의 손실: 1.622970\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.653939\t최선의 손실: 1.622970\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.655941\t최선의 손실: 1.622970\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.809740\t최선의 손실: 1.622970\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.687189\t최선의 손실: 1.622970\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.662299\t최선의 손실: 1.622970\t정확도: 19.27%\n", "24\t검증 세트 손실: 1.711746\t최선의 손실: 1.622970\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.667062\t최선의 손실: 1.622970\t정확도: 18.73%\n", "26\t검증 세트 손실: 1.793517\t최선의 손실: 1.622970\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.684893\t최선의 손실: 1.622970\t정확도: 18.73%\n", "28\t검증 세트 손실: 1.692768\t최선의 손실: 1.622970\t정확도: 18.73%\n", "29\t검증 세트 손실: 1.632809\t최선의 손실: 1.622970\t정확도: 22.01%\n", "30\t검증 세트 손실: 1.707781\t최선의 손실: 1.622970\t정확도: 18.73%\n", "31\t검증 세트 손실: 1.676919\t최선의 손실: 1.622970\t정확도: 19.27%\n", "32\t검증 세트 손실: 1.631448\t최선의 손실: 1.622970\t정확도: 18.73%\n", "33\t검증 세트 손실: 1.647403\t최선의 손실: 1.622970\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.651200\t최선의 손실: 1.622970\t정확도: 20.91%\n", "35\t검증 세트 손실: 1.648608\t최선의 손실: 1.622970\t정확도: 22.01%\n", "36\t검증 세트 손실: 1.614530\t최선의 손실: 1.614530\t정확도: 19.08%\n", "37\t검증 세트 손실: 1.650271\t최선의 손실: 1.614530\t정확도: 22.01%\n", "38\t검증 세트 손실: 1.647923\t최선의 손실: 1.614530\t정확도: 20.91%\n", "39\t검증 세트 손실: 1.621948\t최선의 손실: 1.614530\t정확도: 22.01%\n", "40\t검증 세트 손실: 1.648743\t최선의 손실: 1.614530\t정확도: 19.27%\n", "41\t검증 세트 손실: 1.679184\t최선의 손실: 1.614530\t정확도: 19.08%\n", "42\t검증 세트 손실: 1.671494\t최선의 손실: 1.614530\t정확도: 18.73%\n", "43\t검증 세트 손실: 1.775234\t최선의 손실: 1.614530\t정확도: 19.08%\n", "44\t검증 세트 손실: 1.626756\t최선의 손실: 1.614530\t정확도: 22.01%\n", "45\t검증 세트 손실: 1.812948\t최선의 손실: 1.614530\t정확도: 22.01%\n", "46\t검증 세트 손실: 1.743366\t최선의 손실: 1.614530\t정확도: 22.01%\n", "47\t검증 세트 손실: 1.651321\t최선의 손실: 1.614530\t정확도: 20.91%\n", "48\t검증 세트 손실: 1.675970\t최선의 손실: 1.614530\t정확도: 20.91%\n", "49\t검증 세트 손실: 1.780809\t최선의 손실: 1.614530\t정확도: 19.27%\n", "50\t검증 세트 손실: 1.797544\t최선의 손실: 1.614530\t정확도: 19.08%\n", "51\t검증 세트 손실: 1.705992\t최선의 손실: 1.614530\t정확도: 19.27%\n", "52\t검증 세트 손실: 1.709852\t최선의 손실: 1.614530\t정확도: 19.27%\n", "53\t검증 세트 손실: 1.618105\t최선의 손실: 1.614530\t정확도: 22.01%\n", "54\t검증 세트 손실: 1.693599\t최선의 손실: 1.614530\t정확도: 18.73%\n", "55\t검증 세트 손실: 1.661767\t최선의 손실: 1.614530\t정확도: 18.73%\n", "56\t검증 세트 손실: 1.614608\t최선의 손실: 1.614530\t정확도: 22.01%\n", "57\t검증 세트 손실: 1.668162\t최선의 손실: 1.614530\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=, total= 18.8s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation= \n", "0\t검증 세트 손실: 1.659825\t최선의 손실: 1.659825\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.653689\t최선의 손실: 1.653689\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.661774\t최선의 손실: 1.653689\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.696853\t최선의 손실: 1.653689\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.635786\t최선의 손실: 1.635786\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.626195\t최선의 손실: 1.626195\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.684925\t최선의 손실: 1.626195\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.649322\t최선의 손실: 1.626195\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.721135\t최선의 손실: 1.626195\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.661213\t최선의 손실: 1.626195\t정확도: 19.27%\n", "10\t검증 세트 손실: 1.629883\t최선의 손실: 1.626195\t정확도: 18.73%\n", "11\t검증 세트 손실: 1.636276\t최선의 손실: 1.626195\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.613701\t최선의 손실: 1.613701\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.814884\t최선의 손실: 1.613701\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.670439\t최선의 손실: 1.613701\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.730761\t최선의 손실: 1.613701\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.652551\t최선의 손실: 1.613701\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.637708\t최선의 손실: 1.613701\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.639870\t최선의 손실: 1.613701\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.655863\t최선의 손실: 1.613701\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.685730\t최선의 손실: 1.613701\t정확도: 19.08%\n", "21\t검증 세트 손실: 1.752361\t최선의 손실: 1.613701\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.616115\t최선의 손실: 1.613701\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.668919\t최선의 손실: 1.613701\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.698569\t최선의 손실: 1.613701\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.677695\t최선의 손실: 1.613701\t정확도: 20.91%\n", "26\t검증 세트 손실: 1.693692\t최선의 손실: 1.613701\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.656024\t최선의 손실: 1.613701\t정확도: 20.91%\n", "28\t검증 세트 손실: 1.668682\t최선의 손실: 1.613701\t정확도: 18.73%\n", "29\t검증 세트 손실: 1.895707\t최선의 손실: 1.613701\t정확도: 19.27%\n", "30\t검증 세트 손실: 1.704747\t최선의 손실: 1.613701\t정확도: 19.08%\n", "31\t검증 세트 손실: 1.647337\t최선의 손실: 1.613701\t정확도: 19.27%\n", "32\t검증 세트 손실: 1.648772\t최선의 손실: 1.613701\t정확도: 20.91%\n", "33\t검증 세트 손실: 1.716183\t최선의 손실: 1.613701\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.6, batch_size=500, activation=, total= 11.4s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 18.709419\t최선의 손실: 18.709419\t정확도: 18.96%\n", "1\t검증 세트 손실: 2.510482\t최선의 손실: 2.510482\t정확도: 32.41%\n", "2\t검증 세트 손실: 3.320437\t최선의 손실: 2.510482\t정확도: 34.87%\n", "3\t검증 세트 손실: 35.755047\t최선의 손실: 2.510482\t정확도: 15.17%\n", "4\t검증 세트 손실: 65.901009\t최선의 손실: 2.510482\t정확도: 22.01%\n", "5\t검증 세트 손실: 42.833721\t최선의 손실: 2.510482\t정확도: 36.12%\n", "6\t검증 세트 손실: 163.169601\t최선의 손실: 2.510482\t정확도: 22.01%\n", "7\t검증 세트 손실: 150.528671\t최선의 손실: 2.510482\t정확도: 19.08%\n", "8\t검증 세트 손실: 221.364304\t최선의 손실: 2.510482\t정확도: 22.01%\n", "9\t검증 세트 손실: 303.820923\t최선의 손실: 2.510482\t정확도: 19.08%\n", "10\t검증 세트 손실: 62.088600\t최선의 손실: 2.510482\t정확도: 35.22%\n", "11\t검증 세트 손실: 26.053549\t최선의 손실: 2.510482\t정확도: 33.11%\n", "12\t검증 세트 손실: 74.964111\t최선의 손실: 2.510482\t정확도: 25.06%\n", "13\t검증 세트 손실: 35.851559\t최선의 손실: 2.510482\t정확도: 27.37%\n", "14\t검증 세트 손실: 355.946442\t최선의 손실: 2.510482\t정확도: 18.73%\n", "15\t검증 세트 손실: 723.956238\t최선의 손실: 2.510482\t정확도: 22.01%\n", "16\t검증 세트 손실: 3005.510498\t최선의 손실: 2.510482\t정확도: 19.08%\n", "17\t검증 세트 손실: 296.419128\t최선의 손실: 2.510482\t정확도: 19.08%\n", "18\t검증 세트 손실: 428.740906\t최선의 손실: 2.510482\t정확도: 20.91%\n", "19\t검증 세트 손실: 155915.218750\t최선의 손실: 2.510482\t정확도: 21.07%\n", "20\t검증 세트 손실: 2122.296631\t최선의 손실: 2.510482\t정확도: 18.69%\n", "21\t검증 세트 손실: 4518.900879\t최선의 손실: 2.510482\t정확도: 19.27%\n", "22\t검증 세트 손실: 1253.230103\t최선의 손실: 2.510482\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 46.5s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 21.734877\t최선의 손실: 21.734877\t정확도: 19.66%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 1707.610474\t최선의 손실: 21.734877\t정확도: 19.27%\n", "2\t검증 세트 손실: 211.483826\t최선의 손실: 21.734877\t정확도: 19.08%\n", "3\t검증 세트 손실: 165.695145\t최선의 손실: 21.734877\t정확도: 24.86%\n", "4\t검증 세트 손실: 780.473450\t최선의 손실: 21.734877\t정확도: 19.35%\n", "5\t검증 세트 손실: 317.258362\t최선의 손실: 21.734877\t정확도: 19.59%\n", "6\t검증 세트 손실: 1292.827271\t최선의 손실: 21.734877\t정확도: 18.73%\n", "7\t검증 세트 손실: 405.571716\t최선의 손실: 21.734877\t정확도: 19.27%\n", "8\t검증 세트 손실: 419.058044\t최선의 손실: 21.734877\t정확도: 19.27%\n", "9\t검증 세트 손실: 270.173706\t최선의 손실: 21.734877\t정확도: 19.35%\n", "10\t검증 세트 손실: 2429.144043\t최선의 손실: 21.734877\t정확도: 19.08%\n", "11\t검증 세트 손실: 361.284485\t최선의 손실: 21.734877\t정확도: 24.55%\n", "12\t검증 세트 손실: 506.039246\t최선의 손실: 21.734877\t정확도: 20.91%\n", "13\t검증 세트 손실: 444.350769\t최선의 손실: 21.734877\t정확도: 19.08%\n", "14\t검증 세트 손실: 1672.800415\t최선의 손실: 21.734877\t정확도: 22.01%\n", "15\t검증 세트 손실: 982.853394\t최선의 손실: 21.734877\t정확도: 19.08%\n", "16\t검증 세트 손실: 677.167786\t최선의 손실: 21.734877\t정확도: 19.27%\n", "17\t검증 세트 손실: 1592.156128\t최선의 손실: 21.734877\t정확도: 19.08%\n", "18\t검증 세트 손실: 767.313049\t최선의 손실: 21.734877\t정확도: 20.91%\n", "19\t검증 세트 손실: 2806.438721\t최선의 손실: 21.734877\t정확도: 20.91%\n", "20\t검증 세트 손실: 1140.978882\t최선의 손실: 21.734877\t정확도: 19.27%\n", "21\t검증 세트 손실: 2054.690918\t최선의 손실: 21.734877\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 44.7s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 7.273756\t최선의 손실: 7.273756\t정확도: 21.11%\n", "1\t검증 세트 손실: 60.604500\t최선의 손실: 7.273756\t정확도: 19.08%\n", "2\t검증 세트 손실: 82.535309\t최선의 손실: 7.273756\t정확도: 22.01%\n", "3\t검증 세트 손실: 1921.725342\t최선의 손실: 7.273756\t정확도: 19.08%\n", "4\t검증 세트 손실: 350.398132\t최선의 손실: 7.273756\t정확도: 20.91%\n", "5\t검증 세트 손실: 3014.024902\t최선의 손실: 7.273756\t정확도: 20.91%\n", "6\t검증 세트 손실: 192.068634\t최선의 손실: 7.273756\t정확도: 20.91%\n", "7\t검증 세트 손실: 177.408813\t최선의 손실: 7.273756\t정확도: 30.41%\n", "8\t검증 세트 손실: 103.710457\t최선의 손실: 7.273756\t정확도: 32.88%\n", "9\t검증 세트 손실: 1754.006104\t최선의 손실: 7.273756\t정확도: 19.27%\n", "10\t검증 세트 손실: 204.453094\t최선의 손실: 7.273756\t정확도: 19.27%\n", "11\t검증 세트 손실: 162.700974\t최선의 손실: 7.273756\t정확도: 22.67%\n", "12\t검증 세트 손실: 179.850952\t최선의 손실: 7.273756\t정확도: 20.91%\n", "13\t검증 세트 손실: 387.002502\t최선의 손실: 7.273756\t정확도: 19.19%\n", "14\t검증 세트 손실: 310.252472\t최선의 손실: 7.273756\t정확도: 28.89%\n", "15\t검증 세트 손실: 315.045410\t최선의 손실: 7.273756\t정확도: 19.27%\n", "16\t검증 세트 손실: 499.073975\t최선의 손실: 7.273756\t정확도: 20.76%\n", "17\t검증 세트 손실: 1210.001953\t최선의 손실: 7.273756\t정확도: 18.73%\n", "18\t검증 세트 손실: 188.955734\t최선의 손실: 7.273756\t정확도: 22.01%\n", "19\t검증 세트 손실: 350.346344\t최선의 손실: 7.273756\t정확도: 19.08%\n", "20\t검증 세트 손실: 2138.311035\t최선의 손실: 7.273756\t정확도: 19.27%\n", "21\t검증 세트 손실: 550.355042\t최선의 손실: 7.273756\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 44.9s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 613.892273\t최선의 손실: 613.892273\t정확도: 59.62%\n", "1\t검증 세트 손실: 4251277.500000\t최선의 손실: 613.892273\t정확도: 40.30%\n", "2\t검증 세트 손실: 42525.007812\t최선의 손실: 613.892273\t정확도: 61.42%\n", "3\t검증 세트 손실: 21738.746094\t최선의 손실: 613.892273\t정확도: 68.73%\n", "4\t검증 세트 손실: 8768.076172\t최선의 손실: 613.892273\t정확도: 62.31%\n", "5\t검증 세트 손실: 18185.880859\t최선의 손실: 613.892273\t정확도: 53.40%\n", "6\t검증 세트 손실: 12320.271484\t최선의 손실: 613.892273\t정확도: 52.07%\n", "7\t검증 세트 손실: 2798.386719\t최선의 손실: 613.892273\t정확도: 65.25%\n", "8\t검증 세트 손실: 9725.602539\t최선의 손실: 613.892273\t정확도: 54.53%\n", "9\t검증 세트 손실: 6648.012695\t최선의 손실: 613.892273\t정확도: 56.92%\n", "10\t검증 세트 손실: 3197.328125\t최선의 손실: 613.892273\t정확도: 86.08%\n", "11\t검증 세트 손실: 16673.455078\t최선의 손실: 613.892273\t정확도: 75.45%\n", "12\t검증 세트 손실: 2593.808105\t최선의 손실: 613.892273\t정확도: 73.34%\n", "13\t검증 세트 손실: 10653.910156\t최선의 손실: 613.892273\t정확도: 81.55%\n", "14\t검증 세트 손실: 3813.350586\t최선의 손실: 613.892273\t정확도: 85.34%\n", "15\t검증 세트 손실: 1859.507080\t최선의 손실: 613.892273\t정확도: 91.91%\n", "16\t검증 세트 손실: 2920.032959\t최선의 손실: 613.892273\t정확도: 83.70%\n", "17\t검증 세트 손실: 1218.163330\t최선의 손실: 613.892273\t정확도: 93.98%\n", "18\t검증 세트 손실: 859.359070\t최선의 손실: 613.892273\t정확도: 91.44%\n", "19\t검증 세트 손실: 643.205750\t최선의 손실: 613.892273\t정확도: 78.42%\n", "20\t검증 세트 손실: 2239.448975\t최선의 손실: 613.892273\t정확도: 93.08%\n", "21\t검증 세트 손실: 3141101.750000\t최선의 손실: 613.892273\t정확도: 63.45%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.2s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 3.002900\t최선의 손실: 3.002900\t정확도: 71.23%\n", "1\t검증 세트 손실: 11.777847\t최선의 손실: 3.002900\t정확도: 77.44%\n", "2\t검증 세트 손실: 2903.676758\t최선의 손실: 3.002900\t정확도: 75.92%\n", "3\t검증 세트 손실: 2475.201172\t최선의 손실: 3.002900\t정확도: 77.44%\n", "4\t검증 세트 손실: 1051.248779\t최선의 손실: 3.002900\t정확도: 90.58%\n", "5\t검증 세트 손실: 2612.798340\t최선의 손실: 3.002900\t정확도: 76.35%\n", "6\t검증 세트 손실: 579.021606\t최선의 손실: 3.002900\t정확도: 89.52%\n", "7\t검증 세트 손실: 1155.305176\t최선의 손실: 3.002900\t정확도: 89.37%\n", "8\t검증 세트 손실: 5390.408691\t최선의 손실: 3.002900\t정확도: 55.39%\n", "9\t검증 세트 손실: 696.533997\t최선의 손실: 3.002900\t정확도: 79.09%\n", "10\t검증 세트 손실: 1375.270142\t최선의 손실: 3.002900\t정확도: 83.85%\n", "11\t검증 세트 손실: 484.270538\t최선의 손실: 3.002900\t정확도: 89.99%\n", "12\t검증 세트 손실: 8413.699219\t최선의 손실: 3.002900\t정확도: 74.86%\n", "13\t검증 세트 손실: 428489.500000\t최선의 손실: 3.002900\t정확도: 60.36%\n", "14\t검증 세트 손실: 61993.703125\t최선의 손실: 3.002900\t정확도: 75.92%\n", "15\t검증 세트 손실: 106343.007812\t최선의 손실: 3.002900\t정확도: 57.35%\n", "16\t검증 세트 손실: 22411.478516\t최선의 손실: 3.002900\t정확도: 78.23%\n", "17\t검증 세트 손실: 39254.218750\t최선의 손실: 3.002900\t정확도: 71.89%\n", "18\t검증 세트 손실: 24931.021484\t최선의 손실: 3.002900\t정확도: 74.59%\n", "19\t검증 세트 손실: 7055.448730\t최선의 손실: 3.002900\t정확도: 88.58%\n", "20\t검증 세트 손실: 14822.220703\t최선의 손실: 3.002900\t정확도: 77.87%\n", "21\t검증 세트 손실: 7655.899902\t최선의 손실: 3.002900\t정확도: 82.17%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.1s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.676291\t최선의 손실: 0.676291\t정확도: 88.04%\n", "1\t검증 세트 손실: 38475.792969\t최선의 손실: 0.676291\t정확도: 63.72%\n", "2\t검증 세트 손실: 7359.746094\t최선의 손실: 0.676291\t정확도: 70.37%\n", "3\t검증 세트 손실: 11598.466797\t최선의 손실: 0.676291\t정확도: 73.65%\n", "4\t검증 세트 손실: 2961.063477\t최선의 손실: 0.676291\t정확도: 73.61%\n", "5\t검증 세트 손실: 3707.655518\t최선의 손실: 0.676291\t정확도: 66.61%\n", "6\t검증 세트 손실: 5944.784180\t최선의 손실: 0.676291\t정확도: 75.22%\n", "7\t검증 세트 손실: 497758.531250\t최선의 손실: 0.676291\t정확도: 55.90%\n", "8\t검증 세트 손실: 902793.625000\t최선의 손실: 0.676291\t정확도: 92.81%\n", "9\t검증 세트 손실: 715837.875000\t최선의 손실: 0.676291\t정확도: 92.42%\n", "10\t검증 세트 손실: 237169.281250\t최선의 손실: 0.676291\t정확도: 93.43%\n", "11\t검증 세트 손실: 131993.171875\t최선의 손실: 0.676291\t정확도: 90.85%\n", "12\t검증 세트 손실: 75222.570312\t최선의 손실: 0.676291\t정확도: 94.92%\n", "13\t검증 세트 손실: 110320.312500\t최선의 손실: 0.676291\t정확도: 94.88%\n", "14\t검증 세트 손실: 112729.429688\t최선의 손실: 0.676291\t정확도: 87.92%\n", "15\t검증 세트 손실: 60699.898438\t최선의 손실: 0.676291\t정확도: 94.18%\n", "16\t검증 세트 손실: 997783.625000\t최선의 손실: 0.676291\t정확도: 85.11%\n", "17\t검증 세트 손실: 104788.812500\t최선의 손실: 0.676291\t정확도: 95.27%\n", "18\t검증 세트 손실: 140362.218750\t최선의 손실: 0.676291\t정확도: 93.28%\n", "19\t검증 세트 손실: 50494.460938\t최선의 손실: 0.676291\t정확도: 94.41%\n", "20\t검증 세트 손실: 54897.578125\t최선의 손실: 0.676291\t정확도: 93.47%\n", "21\t검증 세트 손실: 32245.658203\t최선의 손실: 0.676291\t정확도: 95.90%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 13.2s\n", "[CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.136847\t최선의 손실: 0.136847\t정확도: 96.79%\n", "1\t검증 세트 손실: 0.178262\t최선의 손실: 0.136847\t정확도: 95.00%\n", "2\t검증 세트 손실: 0.222340\t최선의 손실: 0.136847\t정확도: 95.31%\n", "3\t검증 세트 손실: 0.457406\t최선의 손실: 0.136847\t정확도: 82.84%\n", "4\t검증 세트 손실: 0.727542\t최선의 손실: 0.136847\t정확도: 81.90%\n", "5\t검증 세트 손실: 0.349998\t최선의 손실: 0.136847\t정확도: 89.64%\n", "6\t검증 세트 손실: 1.137004\t최선의 손실: 0.136847\t정확도: 81.98%\n", "7\t검증 세트 손실: 2.670352\t최선의 손실: 0.136847\t정확도: 63.17%\n", "8\t검증 세트 손실: 1.917094\t최선의 손실: 0.136847\t정확도: 62.90%\n", "9\t검증 세트 손실: 0.708824\t최선의 손실: 0.136847\t정확도: 82.80%\n", "10\t검증 세트 손실: 0.556673\t최선의 손실: 0.136847\t정확도: 85.77%\n", "11\t검증 세트 손실: 0.394734\t최선의 손실: 0.136847\t정확도: 86.43%\n", "12\t검증 세트 손실: 0.435778\t최선의 손실: 0.136847\t정확도: 86.16%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "13\t검증 세트 손실: 0.367906\t최선의 손실: 0.136847\t정확도: 89.33%\n", "14\t검증 세트 손실: 0.305472\t최선의 손실: 0.136847\t정확도: 86.43%\n", "15\t검증 세트 손실: 0.289780\t최선의 손실: 0.136847\t정확도: 91.63%\n", "16\t검증 세트 손실: 0.249523\t최선의 손실: 0.136847\t정확도: 91.36%\n", "17\t검증 세트 손실: 0.344191\t최선의 손실: 0.136847\t정확도: 91.13%\n", "18\t검증 세트 손실: 0.242694\t최선의 손실: 0.136847\t정확도: 90.81%\n", "19\t검증 세트 손실: 0.968250\t최선의 손실: 0.136847\t정확도: 80.02%\n", "20\t검증 세트 손실: 1.195564\t최선의 손실: 0.136847\t정확도: 82.60%\n", "21\t검증 세트 손실: 0.259820\t최선의 손실: 0.136847\t정확도: 91.28%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 7.0s\n", "[CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.156952\t최선의 손실: 0.156952\t정확도: 95.86%\n", "1\t검증 세트 손실: 0.180302\t최선의 손실: 0.156952\t정확도: 95.82%\n", "2\t검증 세트 손실: 0.219206\t최선의 손실: 0.156952\t정확도: 93.51%\n", "3\t검증 세트 손실: 0.234939\t최선의 손실: 0.156952\t정확도: 92.10%\n", "4\t검증 세트 손실: 0.227237\t최선의 손실: 0.156952\t정확도: 94.96%\n", "5\t검증 세트 손실: 0.456274\t최선의 손실: 0.156952\t정확도: 86.51%\n", "6\t검증 세트 손실: 0.682895\t최선의 손실: 0.156952\t정확도: 75.61%\n", "7\t검증 세트 손실: 1.441049\t최선의 손실: 0.156952\t정확도: 61.61%\n", "8\t검증 세트 손실: 0.756821\t최선의 손실: 0.156952\t정확도: 73.81%\n", "9\t검증 세트 손실: 0.708607\t최선의 손실: 0.156952\t정확도: 73.61%\n", "10\t검증 세트 손실: 0.482402\t최선의 손실: 0.156952\t정확도: 80.69%\n", "11\t검증 세트 손실: 1.339701\t최선의 손실: 0.156952\t정확도: 70.45%\n", "12\t검증 세트 손실: 3.466042\t최선의 손실: 0.156952\t정확도: 50.08%\n", "13\t검증 세트 손실: 0.364754\t최선의 손실: 0.156952\t정확도: 88.70%\n", "14\t검증 세트 손실: 0.378676\t최선의 손실: 0.156952\t정확도: 86.79%\n", "15\t검증 세트 손실: 0.366351\t최선의 손실: 0.156952\t정확도: 85.81%\n", "16\t검증 세트 손실: 0.422691\t최선의 손실: 0.156952\t정확도: 82.96%\n", "17\t검증 세트 손실: 0.353164\t최선의 손실: 0.156952\t정확도: 85.61%\n", "18\t검증 세트 손실: 0.269615\t최선의 손실: 0.156952\t정확도: 91.67%\n", "19\t검증 세트 손실: 0.251911\t최선의 손실: 0.156952\t정확도: 92.26%\n", "20\t검증 세트 손실: 0.210991\t최선의 손실: 0.156952\t정확도: 94.29%\n", "21\t검증 세트 손실: 0.258844\t최선의 손실: 0.156952\t정확도: 91.24%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 7.0s\n", "[CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.159404\t최선의 손실: 0.159404\t정확도: 96.29%\n", "1\t검증 세트 손실: 0.183212\t최선의 손실: 0.159404\t정확도: 95.54%\n", "2\t검증 세트 손실: 0.201575\t최선의 손실: 0.159404\t정확도: 94.49%\n", "3\t검증 세트 손실: 0.167751\t최선의 손실: 0.159404\t정확도: 95.19%\n", "4\t검증 세트 손실: 0.159384\t최선의 손실: 0.159384\t정확도: 95.86%\n", "5\t검증 세트 손실: 0.151372\t최선의 손실: 0.151372\t정확도: 95.35%\n", "6\t검증 세트 손실: 0.208053\t최선의 손실: 0.151372\t정확도: 94.02%\n", "7\t검증 세트 손실: 0.195331\t최선의 손실: 0.151372\t정확도: 94.10%\n", "8\t검증 세트 손실: 0.567260\t최선의 손실: 0.151372\t정확도: 81.70%\n", "9\t검증 세트 손실: 0.657006\t최선의 손실: 0.151372\t정확도: 76.23%\n", "10\t검증 세트 손실: 0.344772\t최선의 손실: 0.151372\t정확도: 87.06%\n", "11\t검증 세트 손실: 0.349230\t최선의 손실: 0.151372\t정확도: 90.46%\n", "12\t검증 세트 손실: 4.564974\t최선의 손실: 0.151372\t정확도: 67.44%\n", "13\t검증 세트 손실: 1.626671\t최선의 손실: 0.151372\t정확도: 53.75%\n", "14\t검증 세트 손실: 0.927127\t최선의 손실: 0.151372\t정확도: 59.38%\n", "15\t검증 세트 손실: 0.891157\t최선의 손실: 0.151372\t정확도: 57.94%\n", "16\t검증 세트 손실: 0.807972\t최선의 손실: 0.151372\t정확도: 68.37%\n", "17\t검증 세트 손실: 0.861056\t최선의 손실: 0.151372\t정확도: 73.42%\n", "18\t검증 세트 손실: 0.820394\t최선의 손실: 0.151372\t정확도: 70.13%\n", "19\t검증 세트 손실: 0.578184\t최선의 손실: 0.151372\t정확도: 76.43%\n", "20\t검증 세트 손실: 1.183200\t최선의 손실: 0.151372\t정확도: 61.18%\n", "21\t검증 세트 손실: 0.502852\t최선의 손실: 0.151372\t정확도: 80.65%\n", "22\t검증 세트 손실: 0.539835\t최선의 손실: 0.151372\t정확도: 80.18%\n", "23\t검증 세트 손실: 0.333909\t최선의 손실: 0.151372\t정확도: 89.33%\n", "24\t검증 세트 손실: 0.303149\t최선의 손실: 0.151372\t정확도: 90.81%\n", "25\t검증 세트 손실: 0.290197\t최선의 손실: 0.151372\t정확도: 90.42%\n", "26\t검증 세트 손실: 0.291040\t최선의 손실: 0.151372\t정확도: 90.03%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.02, dropout_rate=0.3, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 8.5s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.198411\t최선의 손실: 0.198411\t정확도: 94.61%\n", "1\t검증 세트 손실: 0.203392\t최선의 손실: 0.198411\t정확도: 93.86%\n", "2\t검증 세트 손실: 0.178288\t최선의 손실: 0.178288\t정확도: 95.00%\n", "3\t검증 세트 손실: 0.244551\t최선의 손실: 0.178288\t정확도: 95.04%\n", "4\t검증 세트 손실: 0.234934\t최선의 손실: 0.178288\t정확도: 93.82%\n", "5\t검증 세트 손실: 0.245814\t최선의 손실: 0.178288\t정확도: 91.83%\n", "6\t검증 세트 손실: 0.228437\t최선의 손실: 0.178288\t정확도: 93.43%\n", "7\t검증 세트 손실: 0.227736\t최선의 손실: 0.178288\t정확도: 93.82%\n", "8\t검증 세트 손실: 0.276279\t최선의 손실: 0.178288\t정확도: 91.44%\n", "9\t검증 세트 손실: 0.288885\t최선의 손실: 0.178288\t정확도: 91.01%\n", "10\t검증 세트 손실: 0.272658\t최선의 손실: 0.178288\t정확도: 89.68%\n", "11\t검증 세트 손실: 0.313378\t최선의 손실: 0.178288\t정확도: 90.66%\n", "12\t검증 세트 손실: 0.252032\t최선의 손실: 0.178288\t정확도: 92.42%\n", "13\t검증 세트 손실: 0.248250\t최선의 손실: 0.178288\t정확도: 93.16%\n", "14\t검증 세트 손실: 0.280286\t최선의 손실: 0.178288\t정확도: 92.73%\n", "15\t검증 세트 손실: 0.270538\t최선의 손실: 0.178288\t정확도: 93.39%\n", "16\t검증 세트 손실: 0.230775\t최선의 손실: 0.178288\t정확도: 92.30%\n", "17\t검증 세트 손실: 0.270335\t최선의 손실: 0.178288\t정확도: 91.67%\n", "18\t검증 세트 손실: 0.288555\t최선의 손실: 0.178288\t정확도: 91.05%\n", "19\t검증 세트 손실: 0.288102\t최선의 손실: 0.178288\t정확도: 92.34%\n", "20\t검증 세트 손실: 0.280432\t최선의 손실: 0.178288\t정확도: 90.66%\n", "21\t검증 세트 손실: 0.382808\t최선의 손실: 0.178288\t정확도: 87.18%\n", "22\t검증 세트 손실: 0.296986\t최선의 손실: 0.178288\t정확도: 90.38%\n", "23\t검증 세트 손실: 0.396323\t최선의 손실: 0.178288\t정확도: 84.79%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 15.4s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.217894\t최선의 손실: 0.217894\t정확도: 94.80%\n", "1\t검증 세트 손실: 0.256179\t최선의 손실: 0.217894\t정확도: 94.68%\n", "2\t검증 세트 손실: 0.205521\t최선의 손실: 0.205521\t정확도: 94.64%\n", "3\t검증 세트 손실: 0.200525\t최선의 손실: 0.200525\t정확도: 94.37%\n", "4\t검증 세트 손실: 0.202063\t최선의 손실: 0.200525\t정확도: 94.64%\n", "5\t검증 세트 손실: 0.177250\t최선의 손실: 0.177250\t정확도: 94.37%\n", "6\t검증 세트 손실: 0.203512\t최선의 손실: 0.177250\t정확도: 94.53%\n", "7\t검증 세트 손실: 0.247743\t최선의 손실: 0.177250\t정확도: 94.14%\n", "8\t검증 세트 손실: 0.205405\t최선의 손실: 0.177250\t정확도: 94.61%\n", "9\t검증 세트 손실: 0.206236\t최선의 손실: 0.177250\t정확도: 94.21%\n", "10\t검증 세트 손실: 0.241724\t최선의 손실: 0.177250\t정확도: 93.24%\n", "11\t검증 세트 손실: 0.245587\t최선의 손실: 0.177250\t정확도: 92.26%\n", "12\t검증 세트 손실: 0.191869\t최선의 손실: 0.177250\t정확도: 94.29%\n", "13\t검증 세트 손실: 0.210674\t최선의 손실: 0.177250\t정확도: 95.23%\n", "14\t검증 세트 손실: 0.249250\t최선의 손실: 0.177250\t정확도: 93.16%\n", "15\t검증 세트 손실: 0.217179\t최선의 손실: 0.177250\t정확도: 93.86%\n", "16\t검증 세트 손실: 0.284822\t최선의 손실: 0.177250\t정확도: 93.75%\n", "17\t검증 세트 손실: 0.336046\t최선의 손실: 0.177250\t정확도: 85.54%\n", "18\t검증 세트 손실: 0.335966\t최선의 손실: 0.177250\t정확도: 87.61%\n", "19\t검증 세트 손실: 0.425394\t최선의 손실: 0.177250\t정확도: 84.52%\n", "20\t검증 세트 손실: 0.385510\t최선의 손실: 0.177250\t정확도: 89.01%\n", "21\t검증 세트 손실: 0.375376\t최선의 손실: 0.177250\t정확도: 88.39%\n", "22\t검증 세트 손실: 0.370911\t최선의 손실: 0.177250\t정확도: 90.54%\n", "23\t검증 세트 손실: 0.412713\t최선의 손실: 0.177250\t정확도: 92.53%\n", "24\t검증 세트 손실: 0.412745\t최선의 손실: 0.177250\t정확도: 90.89%\n", "25\t검증 세트 손실: 0.591183\t최선의 손실: 0.177250\t정확도: 89.13%\n", "26\t검증 세트 손실: 0.505915\t최선의 손실: 0.177250\t정확도: 90.03%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 17.0s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.228729\t최선의 손실: 0.228729\t정확도: 93.94%\n", "1\t검증 세트 손실: 0.301103\t최선의 손실: 0.228729\t정확도: 93.59%\n", "2\t검증 세트 손실: 0.198141\t최선의 손실: 0.198141\t정확도: 94.14%\n", "3\t검증 세트 손실: 0.217889\t최선의 손실: 0.198141\t정확도: 92.81%\n", "4\t검증 세트 손실: 0.239775\t최선의 손실: 0.198141\t정확도: 92.92%\n", "5\t검증 세트 손실: 0.241374\t최선의 손실: 0.198141\t정확도: 92.49%\n", "6\t검증 세트 손실: 0.242594\t최선의 손실: 0.198141\t정확도: 92.30%\n", "7\t검증 세트 손실: 0.203264\t최선의 손실: 0.198141\t정확도: 93.51%\n", "8\t검증 세트 손실: 0.249972\t최선의 손실: 0.198141\t정확도: 91.56%\n", "9\t검증 세트 손실: 0.330074\t최선의 손실: 0.198141\t정확도: 88.27%\n", "10\t검증 세트 손실: 0.407854\t최선의 손실: 0.198141\t정확도: 84.79%\n", "11\t검증 세트 손실: 0.287873\t최선의 손실: 0.198141\t정확도: 90.23%\n", "12\t검증 세트 손실: 0.338383\t최선의 손실: 0.198141\t정확도: 87.10%\n", "13\t검증 세트 손실: 0.360020\t최선의 손실: 0.198141\t정확도: 87.69%\n", "14\t검증 세트 손실: 0.266822\t최선의 손실: 0.198141\t정확도: 92.10%\n", "15\t검증 세트 손실: 0.279835\t최선의 손실: 0.198141\t정확도: 93.08%\n", "16\t검증 세트 손실: 0.262230\t최선의 손실: 0.198141\t정확도: 92.57%\n", "17\t검증 세트 손실: 0.255377\t최선의 손실: 0.198141\t정확도: 90.54%\n", "18\t검증 세트 손실: 0.280262\t최선의 손실: 0.198141\t정확도: 91.91%\n", "19\t검증 세트 손실: 0.262914\t최선의 손실: 0.198141\t정확도: 90.73%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "20\t검증 세트 손실: 0.334393\t최선의 손실: 0.198141\t정확도: 89.41%\n", "21\t검증 세트 손실: 0.414227\t최선의 손실: 0.198141\t정확도: 89.17%\n", "22\t검증 세트 손실: 0.382230\t최선의 손실: 0.198141\t정확도: 89.29%\n", "23\t검증 세트 손실: 0.299204\t최선의 손실: 0.198141\t정확도: 90.70%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 15.1s\n", "[CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.664315\t최선의 손실: 1.664315\t정확도: 19.08%\n", "1\t검증 세트 손실: 1.660742\t최선의 손실: 1.660742\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.806029\t최선의 손실: 1.660742\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.692594\t최선의 손실: 1.660742\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.631812\t최선의 손실: 1.631812\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.940642\t최선의 손실: 1.631812\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.954628\t최선의 손실: 1.631812\t정확도: 22.01%\n", "7\t검증 세트 손실: 1.854005\t최선의 손실: 1.631812\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.720676\t최선의 손실: 1.631812\t정확도: 20.91%\n", "9\t검증 세트 손실: 1.643992\t최선의 손실: 1.631812\t정확도: 22.01%\n", "10\t검증 세트 손실: 2.076087\t최선의 손실: 1.631812\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.810045\t최선의 손실: 1.631812\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.873923\t최선의 손실: 1.631812\t정확도: 18.73%\n", "13\t검증 세트 손실: 1.998625\t최선의 손실: 1.631812\t정확도: 19.27%\n", "14\t검증 세트 손실: 2.567833\t최선의 손실: 1.631812\t정확도: 18.73%\n", "15\t검증 세트 손실: 2.007449\t최선의 손실: 1.631812\t정확도: 22.01%\n", "16\t검증 세트 손실: 2.144001\t최선의 손실: 1.631812\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.707895\t최선의 손실: 1.631812\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.805304\t최선의 손실: 1.631812\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.709136\t최선의 손실: 1.631812\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.661549\t최선의 손실: 1.631812\t정확도: 18.73%\n", "21\t검증 세트 손실: 1.775702\t최선의 손실: 1.631812\t정확도: 20.91%\n", "22\t검증 세트 손실: 1.707156\t최선의 손실: 1.631812\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.850949\t최선의 손실: 1.631812\t정확도: 19.08%\n", "24\t검증 세트 손실: 1.887437\t최선의 손실: 1.631812\t정확도: 19.08%\n", "25\t검증 세트 손실: 1.626464\t최선의 손실: 1.626464\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.716115\t최선의 손실: 1.626464\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.708765\t최선의 손실: 1.626464\t정확도: 18.73%\n", "28\t검증 세트 손실: 1.823378\t최선의 손실: 1.626464\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.698896\t최선의 손실: 1.626464\t정확도: 20.91%\n", "30\t검증 세트 손실: 1.812045\t최선의 손실: 1.626464\t정확도: 22.01%\n", "31\t검증 세트 손실: 1.660022\t최선의 손실: 1.626464\t정확도: 20.91%\n", "32\t검증 세트 손실: 1.696212\t최선의 손실: 1.626464\t정확도: 22.01%\n", "33\t검증 세트 손실: 1.693992\t최선의 손실: 1.626464\t정확도: 22.01%\n", "34\t검증 세트 손실: 1.698796\t최선의 손실: 1.626464\t정확도: 19.08%\n", "35\t검증 세트 손실: 2.030176\t최선의 손실: 1.626464\t정확도: 19.27%\n", "36\t검증 세트 손실: 1.765037\t최선의 손실: 1.626464\t정확도: 18.73%\n", "37\t검증 세트 손실: 1.713854\t최선의 손실: 1.626464\t정확도: 19.08%\n", "38\t검증 세트 손실: 1.764620\t최선의 손실: 1.626464\t정확도: 19.08%\n", "39\t검증 세트 손실: 2.204689\t최선의 손실: 1.626464\t정확도: 18.73%\n", "40\t검증 세트 손실: 1.888975\t최선의 손실: 1.626464\t정확도: 22.01%\n", "41\t검증 세트 손실: 1.848501\t최선의 손실: 1.626464\t정확도: 19.08%\n", "42\t검증 세트 손실: 2.006040\t최선의 손실: 1.626464\t정확도: 19.27%\n", "43\t검증 세트 손실: 1.767573\t최선의 손실: 1.626464\t정확도: 19.08%\n", "44\t검증 세트 손실: 1.748501\t최선의 손실: 1.626464\t정확도: 19.08%\n", "45\t검증 세트 손실: 1.652138\t최선의 손실: 1.626464\t정확도: 19.27%\n", "46\t검증 세트 손실: 1.773356\t최선의 손실: 1.626464\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=, total= 52.9s\n", "[CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.775287\t최선의 손실: 1.775287\t정확도: 18.73%\n", "1\t검증 세트 손실: 1.649342\t최선의 손실: 1.649342\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.758523\t최선의 손실: 1.649342\t정확도: 18.73%\n", "3\t검증 세트 손실: 1.738402\t최선의 손실: 1.649342\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.975238\t최선의 손실: 1.649342\t정확도: 19.08%\n", "5\t검증 세트 손실: 1.650192\t최선의 손실: 1.649342\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.805537\t최선의 손실: 1.649342\t정확도: 20.91%\n", "7\t검증 세트 손실: 1.764849\t최선의 손실: 1.649342\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.895023\t최선의 손실: 1.649342\t정확도: 20.91%\n", "9\t검증 세트 손실: 1.646983\t최선의 손실: 1.646983\t정확도: 20.91%\n", "10\t검증 세트 손실: 1.903186\t최선의 손실: 1.646983\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.890604\t최선의 손실: 1.646983\t정확도: 19.08%\n", "12\t검증 세트 손실: 1.959038\t최선의 손실: 1.646983\t정확도: 20.91%\n", "13\t검증 세트 손실: 2.025031\t최선의 손실: 1.646983\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.750845\t최선의 손실: 1.646983\t정확도: 19.27%\n", "15\t검증 세트 손실: 2.078740\t최선의 손실: 1.646983\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.846105\t최선의 손실: 1.646983\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.800942\t최선의 손실: 1.646983\t정확도: 19.08%\n", "18\t검증 세트 손실: 2.045797\t최선의 손실: 1.646983\t정확도: 19.08%\n", "19\t검증 세트 손실: 1.778603\t최선의 손실: 1.646983\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.988417\t최선의 손실: 1.646983\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.917126\t최선의 손실: 1.646983\t정확도: 22.01%\n", "22\t검증 세트 손실: 2.018214\t최선의 손실: 1.646983\t정확도: 19.08%\n", "23\t검증 세트 손실: 2.037745\t최선의 손실: 1.646983\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.834110\t최선의 손실: 1.646983\t정확도: 20.91%\n", "25\t검증 세트 손실: 2.127110\t최선의 손실: 1.646983\t정확도: 20.91%\n", "26\t검증 세트 손실: 2.262456\t최선의 손실: 1.646983\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.912975\t최선의 손실: 1.646983\t정확도: 19.27%\n", "28\t검증 세트 손실: 2.119708\t최선의 손실: 1.646983\t정확도: 18.73%\n", "29\t검증 세트 손실: 2.329928\t최선의 손실: 1.646983\t정확도: 20.91%\n", "30\t검증 세트 손실: 1.830719\t최선의 손실: 1.646983\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=, total= 35.1s\n", "[CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.639577\t최선의 손실: 1.639577\t정확도: 18.73%\n", "1\t검증 세트 손실: 1.752255\t최선의 손실: 1.639577\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.942101\t최선의 손실: 1.639577\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.965490\t최선의 손실: 1.639577\t정확도: 19.27%\n", "4\t검증 세트 손실: 2.281526\t최선의 손실: 1.639577\t정확도: 20.91%\n", "5\t검증 세트 손실: 2.001093\t최선의 손실: 1.639577\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.843318\t최선의 손실: 1.639577\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.834621\t최선의 손실: 1.639577\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.820184\t최선의 손실: 1.639577\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.965782\t최선의 손실: 1.639577\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.845823\t최선의 손실: 1.639577\t정확도: 18.73%\n", "11\t검증 세트 손실: 2.142612\t최선의 손실: 1.639577\t정확도: 19.27%\n", "12\t검증 세트 손실: 1.891989\t최선의 손실: 1.639577\t정확도: 20.91%\n", "13\t검증 세트 손실: 3.229067\t최선의 손실: 1.639577\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.895574\t최선의 손실: 1.639577\t정확도: 19.08%\n", "15\t검증 세트 손실: 1.825037\t최선의 손실: 1.639577\t정확도: 19.27%\n", "16\t검증 세트 손실: 2.237275\t최선의 손실: 1.639577\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.936627\t최선의 손실: 1.639577\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.818772\t최선의 손실: 1.639577\t정확도: 19.27%\n", "19\t검증 세트 손실: 2.228271\t최선의 손실: 1.639577\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.907686\t최선의 손실: 1.639577\t정확도: 19.27%\n", "21\t검증 세트 손실: 2.093562\t최선의 손실: 1.639577\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=50, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=, total= 25.2s\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 229199.593750\t최선의 손실: 229199.593750\t정확도: 18.73%\n", "1\t검증 세트 손실: 37381.734375\t최선의 손실: 37381.734375\t정확도: 19.27%\n", "2\t검증 세트 손실: 15045844.000000\t최선의 손실: 37381.734375\t정확도: 22.01%\n", "3\t검증 세트 손실: 15830502.000000\t최선의 손실: 37381.734375\t정확도: 19.27%\n", "4\t검증 세트 손실: 1458647.500000\t최선의 손실: 37381.734375\t정확도: 19.08%\n", "5\t검증 세트 손실: 1261573.250000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "6\t검증 세트 손실: 57758928.000000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "7\t검증 세트 손실: 7926937.000000\t최선의 손실: 37381.734375\t정확도: 19.27%\n", "8\t검증 세트 손실: 2471295.750000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "9\t검증 세트 손실: 14799192.000000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "10\t검증 세트 손실: 15786388.000000\t최선의 손실: 37381.734375\t정확도: 22.01%\n", "11\t검증 세트 손실: 18096114.000000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "12\t검증 세트 손실: 7938405.000000\t최선의 손실: 37381.734375\t정확도: 19.27%\n", "13\t검증 세트 손실: 17345496.000000\t최선의 손실: 37381.734375\t정확도: 19.27%\n", "14\t검증 세트 손실: 13818413.000000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "15\t검증 세트 손실: 77489160.000000\t최선의 손실: 37381.734375\t정확도: 21.85%\n", "16\t검증 세트 손실: 5907903.500000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "17\t검증 세트 손실: 2150976.750000\t최선의 손실: 37381.734375\t정확도: 19.27%\n", "18\t검증 세트 손실: 29106574.000000\t최선의 손실: 37381.734375\t정확도: 22.01%\n", "19\t검증 세트 손실: 14748783.000000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "20\t검증 세트 손실: 19850416.000000\t최선의 손실: 37381.734375\t정확도: 18.73%\n", "21\t검증 세트 손실: 42580676.000000\t최선의 손실: 37381.734375\t정확도: 20.91%\n", "22\t검증 세트 손실: 61722340.000000\t최선의 손실: 37381.734375\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 35.3s\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 1264747.750000\t최선의 손실: 1264747.750000\t정확도: 18.73%\n", "1\t검증 세트 손실: 11657374.000000\t최선의 손실: 1264747.750000\t정확도: 19.27%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "2\t검증 세트 손실: 8616488.000000\t최선의 손실: 1264747.750000\t정확도: 19.08%\n", "3\t검증 세트 손실: 6977158.000000\t최선의 손실: 1264747.750000\t정확도: 19.27%\n", "4\t검증 세트 손실: 23013328.000000\t최선의 손실: 1264747.750000\t정확도: 22.01%\n", "5\t검증 세트 손실: 21869072.000000\t최선의 손실: 1264747.750000\t정확도: 18.73%\n", "6\t검증 세트 손실: 1113902.375000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "7\t검증 세트 손실: 30393536.000000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "8\t검증 세트 손실: 3884965.500000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "9\t검증 세트 손실: 3738185.750000\t최선의 손실: 1113902.375000\t정확도: 19.35%\n", "10\t검증 세트 손실: 1135107.500000\t최선의 손실: 1113902.375000\t정확도: 19.08%\n", "11\t검증 세트 손실: 3963533.250000\t최선의 손실: 1113902.375000\t정확도: 19.27%\n", "12\t검증 세트 손실: 3867427.750000\t최선의 손실: 1113902.375000\t정확도: 19.08%\n", "13\t검증 세트 손실: 8878260.000000\t최선의 손실: 1113902.375000\t정확도: 19.35%\n", "14\t검증 세트 손실: 3122708.000000\t최선의 손실: 1113902.375000\t정확도: 22.01%\n", "15\t검증 세트 손실: 8241788.500000\t최선의 손실: 1113902.375000\t정확도: 19.08%\n", "16\t검증 세트 손실: 5367601.000000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "17\t검증 세트 손실: 139309936.000000\t최선의 손실: 1113902.375000\t정확도: 19.08%\n", "18\t검증 세트 손실: 25707302.000000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "19\t검증 세트 손실: 7323026.500000\t최선의 손실: 1113902.375000\t정확도: 19.27%\n", "20\t검증 세트 손실: 33124708.000000\t최선의 손실: 1113902.375000\t정확도: 20.91%\n", "21\t검증 세트 손실: 24358434.000000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "22\t검증 세트 손실: 35499828.000000\t최선의 손실: 1113902.375000\t정확도: 19.27%\n", "23\t검증 세트 손실: 10390318.000000\t최선의 손실: 1113902.375000\t정확도: 19.27%\n", "24\t검증 세트 손실: 41601224.000000\t최선의 손실: 1113902.375000\t정확도: 20.91%\n", "25\t검증 세트 손실: 3116478.250000\t최선의 손실: 1113902.375000\t정확도: 18.73%\n", "26\t검증 세트 손실: 1472278.000000\t최선의 손실: 1113902.375000\t정확도: 19.23%\n", "27\t검증 세트 손실: 146808864.000000\t최선의 손실: 1113902.375000\t정확도: 20.09%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 42.6s\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 2074283.125000\t최선의 손실: 2074283.125000\t정확도: 22.01%\n", "1\t검증 세트 손실: 1249913.625000\t최선의 손실: 1249913.625000\t정확도: 18.73%\n", "2\t검증 세트 손실: 14640592.000000\t최선의 손실: 1249913.625000\t정확도: 20.91%\n", "3\t검증 세트 손실: 91404072.000000\t최선의 손실: 1249913.625000\t정확도: 19.08%\n", "4\t검증 세트 손실: 2994971.250000\t최선의 손실: 1249913.625000\t정확도: 19.08%\n", "5\t검증 세트 손실: 18042182.000000\t최선의 손실: 1249913.625000\t정확도: 19.27%\n", "6\t검증 세트 손실: 7486913.000000\t최선의 손실: 1249913.625000\t정확도: 19.08%\n", "7\t검증 세트 손실: 12077222.000000\t최선의 손실: 1249913.625000\t정확도: 18.73%\n", "8\t검증 세트 손실: 6348370.000000\t최선의 손실: 1249913.625000\t정확도: 19.27%\n", "9\t검증 세트 손실: 19677542.000000\t최선의 손실: 1249913.625000\t정확도: 26.15%\n", "10\t검증 세트 손실: 4477335.500000\t최선의 손실: 1249913.625000\t정확도: 19.27%\n", "11\t검증 세트 손실: 6624295.000000\t최선의 손실: 1249913.625000\t정확도: 19.08%\n", "12\t검증 세트 손실: 9193289.000000\t최선의 손실: 1249913.625000\t정확도: 20.91%\n", "13\t검증 세트 손실: 7373495.000000\t최선의 손실: 1249913.625000\t정확도: 19.27%\n", "14\t검증 세트 손실: 24394778.000000\t최선의 손실: 1249913.625000\t정확도: 22.01%\n", "15\t검증 세트 손실: 17882308.000000\t최선의 손실: 1249913.625000\t정확도: 22.01%\n", "16\t검증 세트 손실: 15219889.000000\t최선의 손실: 1249913.625000\t정확도: 19.08%\n", "17\t검증 세트 손실: 28630932.000000\t최선의 손실: 1249913.625000\t정확도: 18.73%\n", "18\t검증 세트 손실: 9500147.000000\t최선의 손실: 1249913.625000\t정확도: 22.01%\n", "19\t검증 세트 손실: 2984698.000000\t최선의 손실: 1249913.625000\t정확도: 22.01%\n", "20\t검증 세트 손실: 9826526.000000\t최선의 손실: 1249913.625000\t정확도: 19.27%\n", "21\t검증 세트 손실: 6460473.000000\t최선의 손실: 1249913.625000\t정확도: 22.01%\n", "22\t검증 세트 손실: 3509208.750000\t최선의 손실: 1249913.625000\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.1, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 35.4s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.610384\t최선의 손실: 1.610384\t정확도: 18.88%\n", "1\t검증 세트 손실: 1.613585\t최선의 손실: 1.610384\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.609824\t최선의 손실: 1.609824\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.607976\t최선의 손실: 1.607976\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.619217\t최선의 손실: 1.607976\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.616276\t최선의 손실: 1.607976\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.613028\t최선의 손실: 1.607976\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.615297\t최선의 손실: 1.607976\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.621617\t최선의 손실: 1.607976\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.611588\t최선의 손실: 1.607976\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.608245\t최선의 손실: 1.607976\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.609518\t최선의 손실: 1.607976\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.608591\t최선의 손실: 1.607976\t정확도: 22.01%\n", "13\t검증 세트 손실: 1.612133\t최선의 손실: 1.607976\t정확도: 18.73%\n", "14\t검증 세트 손실: 1.610414\t최선의 손실: 1.607976\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.609287\t최선의 손실: 1.607976\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.608218\t최선의 손실: 1.607976\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.611065\t최선의 손실: 1.607976\t정확도: 19.27%\n", "18\t검증 세트 손실: 1.614789\t최선의 손실: 1.607976\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.610237\t최선의 손실: 1.607976\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.610643\t최선의 손실: 1.607976\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.617283\t최선의 손실: 1.607976\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.612231\t최선의 손실: 1.607976\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.611049\t최선의 손실: 1.607976\t정확도: 19.27%\n", "24\t검증 세트 손실: 1.614576\t최선의 손실: 1.607976\t정확도: 22.01%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=, total= 45.9s\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.613265\t최선의 손실: 1.613265\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.615556\t최선의 손실: 1.613265\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.609231\t최선의 손실: 1.609231\t정확도: 22.01%\n", "3\t검증 세트 손실: 1.614140\t최선의 손실: 1.609231\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.612053\t최선의 손실: 1.609231\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.610142\t최선의 손실: 1.609231\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.621742\t최선의 손실: 1.609231\t정확도: 19.08%\n", "7\t검증 세트 손실: 1.612060\t최선의 손실: 1.609231\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.611336\t최선의 손실: 1.609231\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.608816\t최선의 손실: 1.608816\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.610085\t최선의 손실: 1.608816\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.610640\t최선의 손실: 1.608816\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.610768\t최선의 손실: 1.608816\t정확도: 19.27%\n", "13\t검증 세트 손실: 1.611639\t최선의 손실: 1.608816\t정확도: 19.08%\n", "14\t검증 세트 손실: 1.608836\t최선의 손실: 1.608816\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.608107\t최선의 손실: 1.608107\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.613538\t최선의 손실: 1.608107\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.611920\t최선의 손실: 1.608107\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.614612\t최선의 손실: 1.608107\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.608660\t최선의 손실: 1.608107\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.609386\t최선의 손실: 1.608107\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.619948\t최선의 손실: 1.608107\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.620783\t최선의 손실: 1.608107\t정확도: 19.27%\n", "23\t검증 세트 손실: 1.618629\t최선의 손실: 1.608107\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.613190\t최선의 손실: 1.608107\t정확도: 22.01%\n", "25\t검증 세트 손실: 1.608847\t최선의 손실: 1.608107\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.608850\t최선의 손실: 1.608107\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.612869\t최선의 손실: 1.608107\t정확도: 22.01%\n", "28\t검증 세트 손실: 1.622143\t최선의 손실: 1.608107\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.609205\t최선의 손실: 1.608107\t정확도: 22.01%\n", "30\t검증 세트 손실: 1.607764\t최선의 손실: 1.607764\t정확도: 20.91%\n", "31\t검증 세트 손실: 1.613591\t최선의 손실: 1.607764\t정확도: 18.73%\n", "32\t검증 세트 손실: 1.609265\t최선의 손실: 1.607764\t정확도: 22.01%\n", "33\t검증 세트 손실: 1.609561\t최선의 손실: 1.607764\t정확도: 22.01%\n", "34\t검증 세트 손실: 1.610186\t최선의 손실: 1.607764\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.609367\t최선의 손실: 1.607764\t정확도: 22.01%\n", "36\t검증 세트 손실: 1.610132\t최선의 손실: 1.607764\t정확도: 19.27%\n", "37\t검증 세트 손실: 1.612201\t최선의 손실: 1.607764\t정확도: 22.01%\n", "38\t검증 세트 손실: 1.612036\t최선의 손실: 1.607764\t정확도: 22.01%\n", "39\t검증 세트 손실: 1.614104\t최선의 손실: 1.607764\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.608475\t최선의 손실: 1.607764\t정확도: 22.01%\n", "41\t검증 세트 손실: 1.609538\t최선의 손실: 1.607764\t정확도: 22.01%\n", "42\t검증 세트 손실: 1.610706\t최선의 손실: 1.607764\t정확도: 19.27%\n", "43\t검증 세트 손실: 1.614005\t최선의 손실: 1.607764\t정확도: 22.01%\n", "44\t검증 세트 손실: 1.616756\t최선의 손실: 1.607764\t정확도: 22.01%\n", "45\t검증 세트 손실: 1.610700\t최선의 손실: 1.607764\t정확도: 22.01%\n", "46\t검증 세트 손실: 1.612054\t최선의 손실: 1.607764\t정확도: 18.73%\n", "47\t검증 세트 손실: 1.608926\t최선의 손실: 1.607764\t정확도: 22.01%\n", "48\t검증 세트 손실: 1.608290\t최선의 손실: 1.607764\t정확도: 22.01%\n", "49\t검증 세트 손실: 1.617472\t최선의 손실: 1.607764\t정확도: 19.27%\n", "50\t검증 세트 손실: 1.612358\t최선의 손실: 1.607764\t정확도: 19.27%\n", "51\t검증 세트 손실: 1.610515\t최선의 손실: 1.607764\t정확도: 19.08%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=, total= 1.6min\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation= \n", "0\t검증 세트 손실: 1.615125\t최선의 손실: 1.615125\t정확도: 22.01%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "1\t검증 세트 손실: 1.613456\t최선의 손실: 1.613456\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.613232\t최선의 손실: 1.613232\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.618686\t최선의 손실: 1.613232\t정확도: 18.73%\n", "4\t검증 세트 손실: 1.608310\t최선의 손실: 1.608310\t정확도: 22.01%\n", "5\t검증 세트 손실: 1.612530\t최선의 손실: 1.608310\t정확도: 22.01%\n", "6\t검증 세트 손실: 1.613828\t최선의 손실: 1.608310\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.612980\t최선의 손실: 1.608310\t정확도: 22.01%\n", "8\t검증 세트 손실: 1.611470\t최선의 손실: 1.608310\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.610539\t최선의 손실: 1.608310\t정확도: 22.01%\n", "10\t검증 세트 손실: 1.610117\t최선의 손실: 1.608310\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.615078\t최선의 손실: 1.608310\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.609145\t최선의 손실: 1.608310\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.612663\t최선의 손실: 1.608310\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.610132\t최선의 손실: 1.608310\t정확도: 20.91%\n", "15\t검증 세트 손실: 1.611329\t최선의 손실: 1.608310\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.620622\t최선의 손실: 1.608310\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.614158\t최선의 손실: 1.608310\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.607982\t최선의 손실: 1.607982\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.610185\t최선의 손실: 1.607982\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.612524\t최선의 손실: 1.607982\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.620056\t최선의 손실: 1.607982\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.611554\t최선의 손실: 1.607982\t정확도: 22.01%\n", "23\t검증 세트 손실: 1.614215\t최선의 손실: 1.607982\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.612510\t최선의 손실: 1.607982\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.609961\t최선의 손실: 1.607982\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.607881\t최선의 손실: 1.607881\t정확도: 22.01%\n", "27\t검증 세트 손실: 1.610301\t최선의 손실: 1.607881\t정확도: 22.01%\n", "28\t검증 세트 손실: 1.617166\t최선의 손실: 1.607881\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.610957\t최선의 손실: 1.607881\t정확도: 22.01%\n", "30\t검증 세트 손실: 1.609473\t최선의 손실: 1.607881\t정확도: 19.08%\n", "31\t검증 세트 손실: 1.609235\t최선의 손실: 1.607881\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.609477\t최선의 손실: 1.607881\t정확도: 22.01%\n", "33\t검증 세트 손실: 1.609797\t최선의 손실: 1.607881\t정확도: 22.01%\n", "34\t검증 세트 손실: 1.609310\t최선의 손실: 1.607881\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.611004\t최선의 손실: 1.607881\t정확도: 22.01%\n", "36\t검증 세트 손실: 1.610505\t최선의 손실: 1.607881\t정확도: 19.27%\n", "37\t검증 세트 손실: 1.608507\t최선의 손실: 1.607881\t정확도: 22.01%\n", "38\t검증 세트 손실: 1.612430\t최선의 손실: 1.607881\t정확도: 22.01%\n", "39\t검증 세트 손실: 1.616540\t최선의 손실: 1.607881\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.610357\t최선의 손실: 1.607881\t정확도: 19.08%\n", "41\t검증 세트 손실: 1.613422\t최선의 손실: 1.607881\t정확도: 19.08%\n", "42\t검증 세트 손실: 1.610968\t최선의 손실: 1.607881\t정확도: 22.01%\n", "43\t검증 세트 손실: 1.609562\t최선의 손실: 1.607881\t정확도: 20.91%\n", "44\t검증 세트 손실: 1.612208\t최선의 손실: 1.607881\t정확도: 22.01%\n", "45\t검증 세트 손실: 1.609154\t최선의 손실: 1.607881\t정확도: 22.01%\n", "46\t검증 세트 손실: 1.608852\t최선의 손실: 1.607881\t정확도: 22.01%\n", "47\t검증 세트 손실: 1.625010\t최선의 손실: 1.607881\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.02, dropout_rate=0.5, batch_size=10, activation=, total= 1.5min\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 78.960007\t최선의 손실: 78.960007\t정확도: 23.42%\n", "1\t검증 세트 손실: 21.598507\t최선의 손실: 21.598507\t정확도: 20.68%\n", "2\t검증 세트 손실: 124.781883\t최선의 손실: 21.598507\t정확도: 22.83%\n", "3\t검증 세트 손실: 24.455202\t최선의 손실: 21.598507\t정확도: 24.78%\n", "4\t검증 세트 손실: 13.114280\t최선의 손실: 13.114280\t정확도: 36.67%\n", "5\t검증 세트 손실: 4.867156\t최선의 손실: 4.867156\t정확도: 53.28%\n", "6\t검증 세트 손실: 102.778969\t최선의 손실: 4.867156\t정확도: 34.56%\n", "7\t검증 세트 손실: 19.788538\t최선의 손실: 4.867156\t정확도: 36.24%\n", "8\t검증 세트 손실: 24.454552\t최선의 손실: 4.867156\t정확도: 36.79%\n", "9\t검증 세트 손실: 56.023628\t최선의 손실: 4.867156\t정확도: 42.18%\n", "10\t검증 세트 손실: 392.701416\t최선의 손실: 4.867156\t정확도: 28.42%\n", "11\t검증 세트 손실: 168.429276\t최선의 손실: 4.867156\t정확도: 32.21%\n", "12\t검증 세트 손실: 139.171600\t최선의 손실: 4.867156\t정확도: 32.68%\n", "13\t검증 세트 손실: 70.341095\t최선의 손실: 4.867156\t정확도: 51.72%\n", "14\t검증 세트 손실: 50.543041\t최선의 손실: 4.867156\t정확도: 52.50%\n", "15\t검증 세트 손실: 130.736481\t최선의 손실: 4.867156\t정확도: 38.39%\n", "16\t검증 세트 손실: 384.234497\t최선의 손실: 4.867156\t정확도: 32.37%\n", "17\t검증 세트 손실: 59.932430\t최선의 손실: 4.867156\t정확도: 42.14%\n", "18\t검증 세트 손실: 1129.558960\t최선의 손실: 4.867156\t정확도: 53.21%\n", "19\t검증 세트 손실: 413.285248\t최선의 손실: 4.867156\t정확도: 46.29%\n", "20\t검증 세트 손실: 536.869141\t최선의 손실: 4.867156\t정확도: 53.71%\n", "21\t검증 세트 손실: 312.391479\t최선의 손실: 4.867156\t정확도: 51.76%\n", "22\t검증 세트 손실: 1404.895752\t최선의 손실: 4.867156\t정확도: 54.50%\n", "23\t검증 세트 손실: 217.390900\t최선의 손실: 4.867156\t정확도: 46.44%\n", "24\t검증 세트 손실: 384.545837\t최선의 손실: 4.867156\t정확도: 53.75%\n", "25\t검증 세트 손실: 895.439514\t최선의 손실: 4.867156\t정확도: 54.69%\n", "26\t검증 세트 손실: 490.541718\t최선의 손실: 4.867156\t정확도: 52.54%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 54.9s\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 5.040626\t최선의 손실: 5.040626\t정확도: 43.75%\n", "1\t검증 세트 손실: 4.141007\t최선의 손실: 4.141007\t정확도: 43.00%\n", "2\t검증 세트 손실: 223.491394\t최선의 손실: 4.141007\t정확도: 37.53%\n", "3\t검증 세트 손실: 62.410378\t최선의 손실: 4.141007\t정확도: 29.75%\n", "4\t검증 세트 손실: 35.047886\t최선의 손실: 4.141007\t정확도: 35.89%\n", "5\t검증 세트 손실: 54.352474\t최선의 손실: 4.141007\t정확도: 33.31%\n", "6\t검증 세트 손실: 1043.851807\t최선의 손실: 4.141007\t정확도: 18.73%\n", "7\t검증 세트 손실: 55.529881\t최선의 손실: 4.141007\t정확도: 31.47%\n", "8\t검증 세트 손실: 336.816711\t최선의 손실: 4.141007\t정확도: 40.27%\n", "9\t검증 세트 손실: 172.142593\t최선의 손실: 4.141007\t정확도: 34.44%\n", "10\t검증 세트 손실: 328.165466\t최선의 손실: 4.141007\t정확도: 34.44%\n", "11\t검증 세트 손실: 133.586121\t최선의 손실: 4.141007\t정확도: 39.60%\n", "12\t검증 세트 손실: 39.786461\t최선의 손실: 4.141007\t정확도: 32.72%\n", "13\t검증 세트 손실: 22.513945\t최선의 손실: 4.141007\t정확도: 48.75%\n", "14\t검증 세트 손실: 61.217457\t최선의 손실: 4.141007\t정확도: 45.27%\n", "15\t검증 세트 손실: 1055.141479\t최선의 손실: 4.141007\t정확도: 26.47%\n", "16\t검증 세트 손실: 70.068779\t최선의 손실: 4.141007\t정확도: 47.54%\n", "17\t검증 세트 손실: 143.699280\t최선의 손실: 4.141007\t정확도: 36.59%\n", "18\t검증 세트 손실: 28.528818\t최선의 손실: 4.141007\t정확도: 45.35%\n", "19\t검증 세트 손실: 95.590668\t최선의 손실: 4.141007\t정확도: 32.25%\n", "20\t검증 세트 손실: 257.295654\t최선의 손실: 4.141007\t정확도: 35.57%\n", "21\t검증 세트 손실: 54.704304\t최선의 손실: 4.141007\t정확도: 49.88%\n", "22\t검증 세트 손실: 4027.338623\t최선의 손실: 4.141007\t정확도: 29.01%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 46.4s\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 12.413447\t최선의 손실: 12.413447\t정확도: 32.45%\n", "1\t검증 세트 손실: 24.833651\t최선의 손실: 12.413447\t정확도: 37.88%\n", "2\t검증 세트 손실: 2.208988\t최선의 손실: 2.208988\t정확도: 57.00%\n", "3\t검증 세트 손실: 172.881897\t최선의 손실: 2.208988\t정확도: 41.36%\n", "4\t검증 세트 손실: 587.494019\t최선의 손실: 2.208988\t정확도: 22.83%\n", "5\t검증 세트 손실: 35.223217\t최선의 손실: 2.208988\t정확도: 48.20%\n", "6\t검증 세트 손실: 290.983185\t최선의 손실: 2.208988\t정확도: 31.51%\n", "7\t검증 세트 손실: 111.135803\t최선의 손실: 2.208988\t정확도: 39.95%\n", "8\t검증 세트 손실: 483.522827\t최선의 손실: 2.208988\t정확도: 52.23%\n", "9\t검증 세트 손실: 299.665222\t최선의 손실: 2.208988\t정확도: 51.02%\n", "10\t검증 세트 손실: 512.156006\t최선의 손실: 2.208988\t정확도: 53.48%\n", "11\t검증 세트 손실: 91.919212\t최선의 손실: 2.208988\t정확도: 54.34%\n", "12\t검증 세트 손실: 81.578056\t최선의 손실: 2.208988\t정확도: 53.71%\n", "13\t검증 세트 손실: 1602.812378\t최선의 손실: 2.208988\t정확도: 45.78%\n", "14\t검증 세트 손실: 153.184555\t최선의 손실: 2.208988\t정확도: 62.20%\n", "15\t검증 세트 손실: 276.777710\t최선의 손실: 2.208988\t정확도: 57.51%\n", "16\t검증 세트 손실: 319.703217\t최선의 손실: 2.208988\t정확도: 54.73%\n", "17\t검증 세트 손실: 98.647057\t최선의 손실: 2.208988\t정확도: 58.17%\n", "18\t검증 세트 손실: 165.418472\t최선의 손실: 2.208988\t정확도: 63.17%\n", "19\t검증 세트 손실: 830.216858\t최선의 손실: 2.208988\t정확도: 56.76%\n", "20\t검증 세트 손실: 559.423218\t최선의 손실: 2.208988\t정확도: 56.14%\n", "21\t검증 세트 손실: 1237.011475\t최선의 손실: 2.208988\t정확도: 54.50%\n", "22\t검증 세트 손실: 193.015991\t최선의 손실: 2.208988\t정확도: 60.87%\n", "23\t검증 세트 손실: 1274.969116\t최선의 손실: 2.208988\t정확도: 68.61%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.01, dropout_rate=0.5, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 48.8s\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 168.827332\t최선의 손실: 168.827332\t정확도: 61.42%\n", "1\t검증 세트 손실: 7.969217\t최선의 손실: 7.969217\t정확도: 79.01%\n", "2\t검증 세트 손실: 4.197665\t최선의 손실: 4.197665\t정확도: 67.71%\n", "3\t검증 세트 손실: 10.309675\t최선의 손실: 4.197665\t정확도: 76.54%\n", "4\t검증 세트 손실: 1.208538\t최선의 손실: 1.208538\t정확도: 93.20%\n", "5\t검증 세트 손실: 3.265026\t최선의 손실: 1.208538\t정확도: 81.39%\n", "6\t검증 세트 손실: 3.381829\t최선의 손실: 1.208538\t정확도: 81.04%\n", "7\t검증 세트 손실: 1.877873\t최선의 손실: 1.208538\t정확도: 89.84%\n", "8\t검증 세트 손실: 0.970512\t최선의 손실: 0.970512\t정확도: 95.23%\n", "9\t검증 세트 손실: 1.292903\t최선의 손실: 0.970512\t정확도: 90.19%\n", "10\t검증 세트 손실: 0.731051\t최선의 손실: 0.731051\t정확도: 93.82%\n", "11\t검증 세트 손실: 0.466651\t최선의 손실: 0.466651\t정확도: 95.39%\n", "12\t검증 세트 손실: 1.467848\t최선의 손실: 0.466651\t정확도: 93.43%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "13\t검증 세트 손실: 0.732738\t최선의 손실: 0.466651\t정확도: 95.78%\n", "14\t검증 세트 손실: 0.518489\t최선의 손실: 0.466651\t정확도: 94.80%\n", "15\t검증 세트 손실: 0.695994\t최선의 손실: 0.466651\t정확도: 95.82%\n", "16\t검증 세트 손실: 0.717163\t최선의 손실: 0.466651\t정확도: 95.39%\n", "17\t검증 세트 손실: 0.628717\t최선의 손실: 0.466651\t정확도: 93.90%\n", "18\t검증 세트 손실: 1.958207\t최선의 손실: 0.466651\t정확도: 95.54%\n", "19\t검증 세트 손실: 0.878771\t최선의 손실: 0.466651\t정확도: 94.80%\n", "20\t검증 세트 손실: 0.619974\t최선의 손실: 0.466651\t정확도: 96.40%\n", "21\t검증 세트 손실: 1.108284\t최선의 손실: 0.466651\t정확도: 95.70%\n", "22\t검증 세트 손실: 0.974401\t최선의 손실: 0.466651\t정확도: 91.71%\n", "23\t검증 세트 손실: 0.844248\t최선의 손실: 0.466651\t정확도: 94.53%\n", "24\t검증 세트 손실: 0.745664\t최선의 손실: 0.466651\t정확도: 96.36%\n", "25\t검증 세트 손실: 0.583982\t최선의 손실: 0.466651\t정확도: 95.90%\n", "26\t검증 세트 손실: 0.679882\t최선의 손실: 0.466651\t정확도: 93.75%\n", "27\t검증 세트 손실: 0.475247\t최선의 손실: 0.466651\t정확도: 95.78%\n", "28\t검증 세트 손실: 0.430635\t최선의 손실: 0.430635\t정확도: 94.18%\n", "29\t검증 세트 손실: 1.057023\t최선의 손실: 0.430635\t정확도: 91.36%\n", "30\t검증 세트 손실: 0.414541\t최선의 손실: 0.414541\t정확도: 96.01%\n", "31\t검증 세트 손실: 0.310103\t최선의 손실: 0.310103\t정확도: 95.74%\n", "32\t검증 세트 손실: 0.241195\t최선의 손실: 0.241195\t정확도: 96.13%\n", "33\t검증 세트 손실: 0.379859\t최선의 손실: 0.241195\t정확도: 95.78%\n", "34\t검증 세트 손실: 0.410523\t최선의 손실: 0.241195\t정확도: 94.25%\n", "35\t검증 세트 손실: 0.337930\t최선의 손실: 0.241195\t정확도: 95.00%\n", "36\t검증 세트 손실: 0.277200\t최선의 손실: 0.241195\t정확도: 95.50%\n", "37\t검증 세트 손실: 0.347576\t최선의 손실: 0.241195\t정확도: 95.70%\n", "38\t검증 세트 손실: 2.440866\t최선의 손실: 0.241195\t정확도: 95.00%\n", "39\t검증 세트 손실: 2.236583\t최선의 손실: 0.241195\t정확도: 95.47%\n", "40\t검증 세트 손실: 0.674097\t최선의 손실: 0.241195\t정확도: 95.27%\n", "41\t검증 세트 손실: 1.074480\t최선의 손실: 0.241195\t정확도: 94.84%\n", "42\t검증 세트 손실: 0.776741\t최선의 손실: 0.241195\t정확도: 94.33%\n", "43\t검증 세트 손실: 0.418393\t최선의 손실: 0.241195\t정확도: 95.35%\n", "44\t검증 세트 손실: 0.654349\t최선의 손실: 0.241195\t정확도: 95.04%\n", "45\t검증 세트 손실: 0.282071\t최선의 손실: 0.241195\t정확도: 95.58%\n", "46\t검증 세트 손실: 0.458909\t최선의 손실: 0.241195\t정확도: 94.45%\n", "47\t검증 세트 손실: 0.438597\t최선의 손실: 0.241195\t정확도: 95.93%\n", "48\t검증 세트 손실: 0.334876\t최선의 손실: 0.241195\t정확도: 96.44%\n", "49\t검증 세트 손실: 0.382962\t최선의 손실: 0.241195\t정확도: 95.47%\n", "50\t검증 세트 손실: 0.464610\t최선의 손실: 0.241195\t정확도: 96.44%\n", "51\t검증 세트 손실: 0.864524\t최선의 손실: 0.241195\t정확도: 93.28%\n", "52\t검증 세트 손실: 0.572644\t최선의 손실: 0.241195\t정확도: 96.05%\n", "53\t검증 세트 손실: 0.405693\t최선의 손실: 0.241195\t정확도: 96.60%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 21.0s\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 434.642487\t최선의 손실: 434.642487\t정확도: 19.08%\n", "1\t검증 세트 손실: 38.101330\t최선의 손실: 38.101330\t정확도: 59.81%\n", "2\t검증 세트 손실: 16.583626\t최선의 손실: 16.583626\t정확도: 72.40%\n", "3\t검증 세트 손실: 12.611691\t최선의 손실: 12.611691\t정확도: 75.14%\n", "4\t검증 세트 손실: 13.554172\t최선의 손실: 12.611691\t정확도: 77.09%\n", "5\t검증 세트 손실: 7.153340\t최선의 손실: 7.153340\t정확도: 74.78%\n", "6\t검증 세트 손실: 2.456010\t최선의 손실: 2.456010\t정확도: 86.12%\n", "7\t검증 세트 손실: 5.903856\t최선의 손실: 2.456010\t정확도: 72.91%\n", "8\t검증 세트 손실: 1.998327\t최선의 손실: 1.998327\t정확도: 78.89%\n", "9\t검증 세트 손실: 1.708022\t최선의 손실: 1.708022\t정확도: 89.41%\n", "10\t검증 세트 손실: 2.197999\t최선의 손실: 1.708022\t정확도: 82.41%\n", "11\t검증 세트 손실: 1.141306\t최선의 손실: 1.141306\t정확도: 84.21%\n", "12\t검증 세트 손실: 1.444003\t최선의 손실: 1.141306\t정확도: 85.85%\n", "13\t검증 세트 손실: 1.346271\t최선의 손실: 1.141306\t정확도: 91.71%\n", "14\t검증 세트 손실: 0.909658\t최선의 손실: 0.909658\t정확도: 91.91%\n", "15\t검증 세트 손실: 1.267744\t최선의 손실: 0.909658\t정확도: 86.90%\n", "16\t검증 세트 손실: 1.368207\t최선의 손실: 0.909658\t정확도: 84.21%\n", "17\t검증 세트 손실: 1.466163\t최선의 손실: 0.909658\t정확도: 84.60%\n", "18\t검증 세트 손실: 0.588473\t최선의 손실: 0.588473\t정확도: 93.16%\n", "19\t검증 세트 손실: 3.887474\t최선의 손실: 0.588473\t정확도: 83.50%\n", "20\t검증 세트 손실: 1.076082\t최선의 손실: 0.588473\t정확도: 92.57%\n", "21\t검증 세트 손실: 0.737298\t최선의 손실: 0.588473\t정확도: 92.26%\n", "22\t검증 세트 손실: 0.854669\t최선의 손실: 0.588473\t정확도: 90.23%\n", "23\t검증 세트 손실: 0.644078\t최선의 손실: 0.588473\t정확도: 89.64%\n", "24\t검증 세트 손실: 0.576112\t최선의 손실: 0.576112\t정확도: 91.32%\n", "25\t검증 세트 손실: 1.224174\t최선의 손실: 0.576112\t정확도: 90.89%\n", "26\t검증 세트 손실: 0.647504\t최선의 손실: 0.576112\t정확도: 93.20%\n", "27\t검증 세트 손실: 0.529961\t최선의 손실: 0.529961\t정확도: 88.94%\n", "28\t검증 세트 손실: 0.468816\t최선의 손실: 0.468816\t정확도: 92.73%\n", "29\t검증 세트 손실: 0.432662\t최선의 손실: 0.432662\t정확도: 93.04%\n", "30\t검증 세트 손실: 0.435786\t최선의 손실: 0.432662\t정확도: 93.39%\n", "31\t검증 세트 손실: 0.574624\t최선의 손실: 0.432662\t정확도: 94.57%\n", "32\t검증 세트 손실: 0.346141\t최선의 손실: 0.346141\t정확도: 94.61%\n", "33\t검증 세트 손실: 0.304044\t최선의 손실: 0.304044\t정확도: 94.53%\n", "34\t검증 세트 손실: 0.346747\t최선의 손실: 0.304044\t정확도: 94.84%\n", "35\t검증 세트 손실: 0.327677\t최선의 손실: 0.304044\t정확도: 94.76%\n", "36\t검증 세트 손실: 0.353498\t최선의 손실: 0.304044\t정확도: 94.92%\n", "37\t검증 세트 손실: 1.093397\t최선의 손실: 0.304044\t정확도: 79.52%\n", "38\t검증 세트 손실: 0.300875\t최선의 손실: 0.300875\t정확도: 95.04%\n", "39\t검증 세트 손실: 0.413075\t최선의 손실: 0.300875\t정확도: 95.15%\n", "40\t검증 세트 손실: 0.298380\t최선의 손실: 0.298380\t정확도: 95.35%\n", "41\t검증 세트 손실: 0.521076\t최선의 손실: 0.298380\t정확도: 92.69%\n", "42\t검증 세트 손실: 0.543821\t최선의 손실: 0.298380\t정확도: 94.72%\n", "43\t검증 세트 손실: 0.282261\t최선의 손실: 0.282261\t정확도: 95.74%\n", "44\t검증 세트 손실: 0.235593\t최선의 손실: 0.235593\t정확도: 95.54%\n", "45\t검증 세트 손실: 0.266750\t최선의 손실: 0.235593\t정확도: 94.21%\n", "46\t검증 세트 손실: 0.280154\t최선의 손실: 0.235593\t정확도: 94.88%\n", "47\t검증 세트 손실: 0.247638\t최선의 손실: 0.235593\t정확도: 94.57%\n", "48\t검증 세트 손실: 0.314826\t최선의 손실: 0.235593\t정확도: 95.23%\n", "49\t검증 세트 손실: 0.803272\t최선의 손실: 0.235593\t정확도: 90.42%\n", "50\t검증 세트 손실: 0.293245\t최선의 손실: 0.235593\t정확도: 94.72%\n", "51\t검증 세트 손실: 2.982495\t최선의 손실: 0.235593\t정확도: 92.06%\n", "52\t검증 세트 손실: 2.559872\t최선의 손실: 0.235593\t정확도: 94.88%\n", "53\t검증 세트 손실: 1.631148\t최선의 손실: 0.235593\t정확도: 93.78%\n", "54\t검증 세트 손실: 0.915675\t최선의 손실: 0.235593\t정확도: 94.61%\n", "55\t검증 세트 손실: 0.857176\t최선의 손실: 0.235593\t정확도: 95.47%\n", "56\t검증 세트 손실: 0.798173\t최선의 손실: 0.235593\t정확도: 94.21%\n", "57\t검증 세트 손실: 65173776.000000\t최선의 손실: 0.235593\t정확도: 22.01%\n", "58\t검증 세트 손실: 6202766.500000\t최선의 손실: 0.235593\t정확도: 48.48%\n", "59\t검증 세트 손실: 862911.562500\t최선의 손실: 0.235593\t정확도: 56.80%\n", "60\t검증 세트 손실: 961439.000000\t최선의 손실: 0.235593\t정확도: 56.84%\n", "61\t검증 세트 손실: 136231.531250\t최선의 손실: 0.235593\t정확도: 68.02%\n", "62\t검증 세트 손실: 464963.437500\t최선의 손실: 0.235593\t정확도: 75.57%\n", "63\t검증 세트 손실: 456198.500000\t최선의 손실: 0.235593\t정확도: 72.24%\n", "64\t검증 세트 손실: 80366.898438\t최선의 손실: 0.235593\t정확도: 73.85%\n", "65\t검증 세트 손실: 303684.343750\t최선의 손실: 0.235593\t정확도: 63.64%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 25.5s\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 571.390747\t최선의 손실: 571.390747\t정확도: 35.61%\n", "1\t검증 세트 손실: 33.236008\t최선의 손실: 33.236008\t정확도: 48.75%\n", "2\t검증 세트 손실: 9.116143\t최선의 손실: 9.116143\t정확도: 73.34%\n", "3\t검증 세트 손실: 14.391430\t최선의 손실: 9.116143\t정확도: 71.03%\n", "4\t검증 세트 손실: 6.219333\t최선의 손실: 6.219333\t정확도: 81.47%\n", "5\t검증 세트 손실: 4.499974\t최선의 손실: 4.499974\t정확도: 73.53%\n", "6\t검증 세트 손실: 4.933107\t최선의 손실: 4.499974\t정확도: 74.90%\n", "7\t검증 세트 손실: 4.860347\t최선의 손실: 4.499974\t정확도: 74.63%\n", "8\t검증 세트 손실: 5.695943\t최선의 손실: 4.499974\t정확도: 69.55%\n", "9\t검증 세트 손실: 3.595468\t최선의 손실: 3.595468\t정확도: 84.48%\n", "10\t검증 세트 손실: 2.439559\t최선의 손실: 2.439559\t정확도: 87.41%\n", "11\t검증 세트 손실: 3.076233\t최선의 손실: 2.439559\t정확도: 78.38%\n", "12\t검증 세트 손실: 2.068874\t최선의 손실: 2.068874\t정확도: 82.13%\n", "13\t검증 세트 손실: 4.662313\t최선의 손실: 2.068874\t정확도: 65.21%\n", "14\t검증 세트 손실: 8.834759\t최선의 손실: 2.068874\t정확도: 70.88%\n", "15\t검증 세트 손실: 2.754349\t최선의 손실: 2.068874\t정확도: 76.00%\n", "16\t검증 세트 손실: 2.218123\t최선의 손실: 2.068874\t정확도: 79.75%\n", "17\t검증 세트 손실: 2.454530\t최선의 손실: 2.068874\t정확도: 83.11%\n", "18\t검증 세트 손실: 1.607353\t최선의 손실: 1.607353\t정확도: 87.53%\n", "19\t검증 세트 손실: 2.706369\t최선의 손실: 1.607353\t정확도: 79.32%\n", "20\t검증 세트 손실: 1.120811\t최선의 손실: 1.120811\t정확도: 89.09%\n", "21\t검증 세트 손실: 1.909421\t최선의 손실: 1.120811\t정확도: 85.97%\n", "22\t검증 세트 손실: 3.436462\t최선의 손실: 1.120811\t정확도: 68.88%\n", "23\t검증 세트 손실: 1.233253\t최선의 손실: 1.120811\t정확도: 87.18%\n", "24\t검증 세트 손실: 1.925986\t최선의 손실: 1.120811\t정확도: 88.15%\n", "25\t검증 세트 손실: 3.322699\t최선의 손실: 1.120811\t정확도: 75.14%\n", "26\t검증 세트 손실: 0.703055\t최선의 손실: 0.703055\t정확도: 91.44%\n", "27\t검증 세트 손실: 0.944551\t최선의 손실: 0.703055\t정확도: 86.79%\n", "28\t검증 세트 손실: 1.402285\t최선의 손실: 0.703055\t정확도: 81.20%\n", "29\t검증 세트 손실: 1.502074\t최선의 손실: 0.703055\t정확도: 81.59%\n", "30\t검증 세트 손실: 0.917306\t최선의 손실: 0.703055\t정확도: 89.99%\n", "31\t검증 세트 손실: 2.617666\t최선의 손실: 0.703055\t정확도: 76.86%\n", "32\t검증 세트 손실: 2.345800\t최선의 손실: 0.703055\t정확도: 89.76%\n", "33\t검증 세트 손실: 0.921815\t최선의 손실: 0.703055\t정확도: 92.73%\n", "34\t검증 세트 손실: 0.780257\t최선의 손실: 0.703055\t정확도: 90.19%\n", "35\t검증 세트 손실: 0.651341\t최선의 손실: 0.651341\t정확도: 91.16%\n", "36\t검증 세트 손실: 0.670793\t최선의 손실: 0.651341\t정확도: 92.34%\n", "37\t검증 세트 손실: 1.131969\t최선의 손실: 0.651341\t정확도: 91.91%\n", "38\t검증 세트 손실: 28.528376\t최선의 손실: 0.651341\t정확도: 76.90%\n", "39\t검증 세트 손실: 24200970.000000\t최선의 손실: 0.651341\t정확도: 21.74%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "40\t검증 세트 손실: 2769529.500000\t최선의 손실: 0.651341\t정확도: 36.47%\n", "41\t검증 세트 손실: 91897.273438\t최선의 손실: 0.651341\t정확도: 87.02%\n", "42\t검증 세트 손실: 49976.386719\t최선의 손실: 0.651341\t정확도: 87.61%\n", "43\t검증 세트 손실: 52454.281250\t최선의 손실: 0.651341\t정확도: 88.51%\n", "44\t검증 세트 손실: 21045.078125\t최선의 손실: 0.651341\t정확도: 92.57%\n", "45\t검증 세트 손실: 41838.519531\t최선의 손실: 0.651341\t정확도: 84.95%\n", "46\t검증 세트 손실: 29479.974609\t최선의 손실: 0.651341\t정확도: 89.87%\n", "47\t검증 세트 손실: 17236.435547\t최선의 손실: 0.651341\t정확도: 92.42%\n", "48\t검증 세트 손실: 32847.218750\t최선의 손실: 0.651341\t정확도: 78.54%\n", "49\t검증 세트 손실: 34130.488281\t최선의 손실: 0.651341\t정확도: 85.57%\n", "50\t검증 세트 손실: 16928.179688\t최선의 손실: 0.651341\t정확도: 82.72%\n", "51\t검증 세트 손실: 19109.712891\t최선의 손실: 0.651341\t정확도: 90.66%\n", "52\t검증 세트 손실: 11107.844727\t최선의 손실: 0.651341\t정확도: 94.21%\n", "53\t검증 세트 손실: 10148.400391\t최선의 손실: 0.651341\t정확도: 93.82%\n", "54\t검증 세트 손실: 14547.638672\t최선의 손실: 0.651341\t정확도: 90.27%\n", "55\t검증 세트 손실: 15549.433594\t최선의 손실: 0.651341\t정확도: 81.39%\n", "56\t검증 세트 손실: 16327.757812\t최선의 손실: 0.651341\t정확도: 86.55%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.1, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 22.1s\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.178418\t최선의 손실: 0.178418\t정확도: 95.23%\n", "1\t검증 세트 손실: 0.231089\t최선의 손실: 0.178418\t정확도: 93.24%\n", "2\t검증 세트 손실: 0.169432\t최선의 손실: 0.169432\t정확도: 95.93%\n", "3\t검증 세트 손실: 0.221312\t최선의 손실: 0.169432\t정확도: 94.64%\n", "4\t검증 세트 손실: 0.255454\t최선의 손실: 0.169432\t정확도: 92.49%\n", "5\t검증 세트 손실: 0.275529\t최선의 손실: 0.169432\t정확도: 90.30%\n", "6\t검증 세트 손실: 0.409744\t최선의 손실: 0.169432\t정확도: 79.12%\n", "7\t검증 세트 손실: 0.786895\t최선의 손실: 0.169432\t정확도: 71.19%\n", "8\t검증 세트 손실: 0.691863\t최선의 손실: 0.169432\t정확도: 75.57%\n", "9\t검증 세트 손실: 0.337885\t최선의 손실: 0.169432\t정확도: 91.05%\n", "10\t검증 세트 손실: 0.394645\t최선의 손실: 0.169432\t정확도: 84.36%\n", "11\t검증 세트 손실: 0.440088\t최선의 손실: 0.169432\t정확도: 86.08%\n", "12\t검증 세트 손실: 0.321776\t최선의 손실: 0.169432\t정확도: 88.82%\n", "13\t검증 세트 손실: 0.408675\t최선의 손실: 0.169432\t정확도: 86.04%\n", "14\t검증 세트 손실: 0.484306\t최선의 손실: 0.169432\t정확도: 82.72%\n", "15\t검증 세트 손실: 0.859476\t최선의 손실: 0.169432\t정확도: 63.37%\n", "16\t검증 세트 손실: 0.575498\t최선의 손실: 0.169432\t정확도: 77.56%\n", "17\t검증 세트 손실: 8.660468\t최선의 손실: 0.169432\t정확도: 19.86%\n", "18\t검증 세트 손실: 11.335740\t최선의 손실: 0.169432\t정확도: 24.28%\n", "19\t검증 세트 손실: 2.943572\t최선의 손실: 0.169432\t정확도: 23.26%\n", "20\t검증 세트 손실: 1.480494\t최선의 손실: 0.169432\t정확도: 41.87%\n", "21\t검증 세트 손실: 1.831659\t최선의 손실: 0.169432\t정확도: 23.77%\n", "22\t검증 세트 손실: 1.515743\t최선의 손실: 0.169432\t정확도: 32.49%\n", "23\t검증 세트 손실: 1.470568\t최선의 손실: 0.169432\t정확도: 31.55%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.5s\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.174086\t최선의 손실: 0.174086\t정확도: 95.11%\n", "1\t검증 세트 손실: 0.176076\t최선의 손실: 0.174086\t정확도: 95.04%\n", "2\t검증 세트 손실: 0.173145\t최선의 손실: 0.173145\t정확도: 94.49%\n", "3\t검증 세트 손실: 0.189237\t최선의 손실: 0.173145\t정확도: 93.55%\n", "4\t검증 세트 손실: 0.335795\t최선의 손실: 0.173145\t정확도: 89.87%\n", "5\t검증 세트 손실: 0.540451\t최선의 손실: 0.173145\t정확도: 78.50%\n", "6\t검증 세트 손실: 0.296131\t최선의 손실: 0.173145\t정확도: 88.55%\n", "7\t검증 세트 손실: 0.600553\t최선의 손실: 0.173145\t정확도: 83.58%\n", "8\t검증 세트 손실: 0.527607\t최선의 손실: 0.173145\t정확도: 78.50%\n", "9\t검증 세트 손실: 0.542704\t최선의 손실: 0.173145\t정확도: 81.20%\n", "10\t검증 세트 손실: 0.390662\t최선의 손실: 0.173145\t정확도: 88.08%\n", "11\t검증 세트 손실: 0.579364\t최선의 손실: 0.173145\t정확도: 73.77%\n", "12\t검증 세트 손실: 1.212667\t최선의 손실: 0.173145\t정확도: 55.90%\n", "13\t검증 세트 손실: 0.731419\t최선의 손실: 0.173145\t정확도: 72.13%\n", "14\t검증 세트 손실: 0.673892\t최선의 손실: 0.173145\t정확도: 69.31%\n", "15\t검증 세트 손실: 0.426414\t최선의 손실: 0.173145\t정확도: 85.50%\n", "16\t검증 세트 손실: 0.402231\t최선의 손실: 0.173145\t정확도: 84.99%\n", "17\t검증 세트 손실: 0.401333\t최선의 손실: 0.173145\t정확도: 86.43%\n", "18\t검증 세트 손실: 0.321564\t최선의 손실: 0.173145\t정확도: 89.99%\n", "19\t검증 세트 손실: 0.485713\t최선의 손실: 0.173145\t정확도: 79.52%\n", "20\t검증 세트 손실: 0.440348\t최선의 손실: 0.173145\t정확도: 81.59%\n", "21\t검증 세트 손실: 0.497370\t최선의 손실: 0.173145\t정확도: 76.90%\n", "22\t검증 세트 손실: 0.541571\t최선의 손실: 0.173145\t정확도: 85.30%\n", "23\t검증 세트 손실: 0.713152\t최선의 손실: 0.173145\t정확도: 70.52%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.7s\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 0.236574\t최선의 손실: 0.236574\t정확도: 94.06%\n", "1\t검증 세트 손실: 0.180157\t최선의 손실: 0.180157\t정확도: 94.80%\n", "2\t검증 세트 손실: 0.203163\t최선의 손실: 0.180157\t정확도: 95.23%\n", "3\t검증 세트 손실: 0.203406\t최선의 손실: 0.180157\t정확도: 93.59%\n", "4\t검증 세트 손실: 0.328884\t최선의 손실: 0.180157\t정확도: 89.09%\n", "5\t검증 세트 손실: 0.490119\t최선의 손실: 0.180157\t정확도: 86.75%\n", "6\t검증 세트 손실: 0.683010\t최선의 손실: 0.180157\t정확도: 73.46%\n", "7\t검증 세트 손실: 0.517376\t최선의 손실: 0.180157\t정확도: 80.14%\n", "8\t검증 세트 손실: 0.702947\t최선의 손실: 0.180157\t정확도: 69.31%\n", "9\t검증 세트 손실: 0.600407\t최선의 손실: 0.180157\t정확도: 67.32%\n", "10\t검증 세트 손실: 0.787123\t최선의 손실: 0.180157\t정확도: 62.08%\n", "11\t검증 세트 손실: 0.638264\t최선의 손실: 0.180157\t정확도: 75.61%\n", "12\t검증 세트 손실: 0.992331\t최선의 손실: 0.180157\t정확도: 59.27%\n", "13\t검증 세트 손실: 1.589361\t최선의 손실: 0.180157\t정확도: 35.11%\n", "14\t검증 세트 손실: 1.184615\t최선의 손실: 0.180157\t정확도: 44.33%\n", "15\t검증 세트 손실: 2.036622\t최선의 손실: 0.180157\t정확도: 43.51%\n", "16\t검증 세트 손실: 1.328998\t최선의 손실: 0.180157\t정확도: 36.90%\n", "17\t검증 세트 손실: 1.183199\t최선의 손실: 0.180157\t정확도: 42.38%\n", "18\t검증 세트 손실: 1.058578\t최선의 손실: 0.180157\t정확도: 54.07%\n", "19\t검증 세트 손실: 1.509433\t최선의 손실: 0.180157\t정확도: 41.13%\n", "20\t검증 세트 손실: 1.228007\t최선의 손실: 0.180157\t정확도: 48.71%\n", "21\t검증 세트 손실: 1.252328\t최선의 손실: 0.180157\t정확도: 38.78%\n", "22\t검증 세트 손실: 1.166667\t최선의 손실: 0.180157\t정확도: 39.84%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.01, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.0s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 12654.071289\t최선의 손실: 12654.071289\t정확도: 18.73%\n", "1\t검증 세트 손실: 50342.425781\t최선의 손실: 12654.071289\t정확도: 19.27%\n", "2\t검증 세트 손실: 75226.093750\t최선의 손실: 12654.071289\t정확도: 19.27%\n", "3\t검증 세트 손실: 38820.289062\t최선의 손실: 12654.071289\t정확도: 18.73%\n", "4\t검증 세트 손실: 8123.330078\t최선의 손실: 8123.330078\t정확도: 20.91%\n", "5\t검증 세트 손실: 212135.625000\t최선의 손실: 8123.330078\t정확도: 19.08%\n", "6\t검증 세트 손실: 279788.218750\t최선의 손실: 8123.330078\t정확도: 28.62%\n", "7\t검증 세트 손실: 922905.625000\t최선의 손실: 8123.330078\t정확도: 29.24%\n", "8\t검증 세트 손실: 3069877.250000\t최선의 손실: 8123.330078\t정확도: 27.83%\n", "9\t검증 세트 손실: 1564331.625000\t최선의 손실: 8123.330078\t정확도: 28.03%\n", "10\t검증 세트 손실: 262232.406250\t최선의 손실: 8123.330078\t정확도: 36.51%\n", "11\t검증 세트 손실: 628358.000000\t최선의 손실: 8123.330078\t정확도: 34.25%\n", "12\t검증 세트 손실: 8183182.500000\t최선의 손실: 8123.330078\t정확도: 18.73%\n", "13\t검증 세트 손실: 661792.875000\t최선의 손실: 8123.330078\t정확도: 28.66%\n", "14\t검증 세트 손실: 1983746.375000\t최선의 손실: 8123.330078\t정확도: 19.08%\n", "15\t검증 세트 손실: 1028172.437500\t최선의 손실: 8123.330078\t정확도: 22.01%\n", "16\t검증 세트 손실: 384806.437500\t최선의 손실: 8123.330078\t정확도: 19.27%\n", "17\t검증 세트 손실: 165369.328125\t최선의 손실: 8123.330078\t정확도: 19.31%\n", "18\t검증 세트 손실: 153467.484375\t최선의 손실: 8123.330078\t정확도: 22.20%\n", "19\t검증 세트 손실: 898960.125000\t최선의 손실: 8123.330078\t정확도: 19.08%\n", "20\t검증 세트 손실: 118094.664062\t최선의 손실: 8123.330078\t정확도: 22.01%\n", "21\t검증 세트 손실: 17494.484375\t최선의 손실: 8123.330078\t정확도: 26.47%\n", "22\t검증 세트 손실: 260351.906250\t최선의 손실: 8123.330078\t정확도: 18.73%\n", "23\t검증 세트 손실: 75970.070312\t최선의 손실: 8123.330078\t정확도: 19.08%\n", "24\t검증 세트 손실: 368370.656250\t최선의 손실: 8123.330078\t정확도: 20.91%\n", "25\t검증 세트 손실: 29099282.000000\t최선의 손실: 8123.330078\t정확도: 18.69%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 42.2s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 218703.312500\t최선의 손실: 218703.312500\t정확도: 23.10%\n", "1\t검증 세트 손실: 125224.453125\t최선의 손실: 125224.453125\t정확도: 21.66%\n", "2\t검증 세트 손실: 38587.238281\t최선의 손실: 38587.238281\t정확도: 19.27%\n", "3\t검증 세트 손실: 385074.625000\t최선의 손실: 38587.238281\t정확도: 22.75%\n", "4\t검증 세트 손실: 107868.734375\t최선의 손실: 38587.238281\t정확도: 29.75%\n", "5\t검증 세트 손실: 412280.031250\t최선의 손실: 38587.238281\t정확도: 37.18%\n", "6\t검증 세트 손실: 877083.937500\t최선의 손실: 38587.238281\t정확도: 19.08%\n", "7\t검증 세트 손실: 1145290.000000\t최선의 손실: 38587.238281\t정확도: 19.08%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "8\t검증 세트 손실: 1554339.375000\t최선의 손실: 38587.238281\t정확도: 18.76%\n", "9\t검증 세트 손실: 335545.093750\t최선의 손실: 38587.238281\t정확도: 19.98%\n", "10\t검증 세트 손실: 1084976.875000\t최선의 손실: 38587.238281\t정확도: 18.73%\n", "11\t검증 세트 손실: 325173.656250\t최선의 손실: 38587.238281\t정확도: 32.33%\n", "12\t검증 세트 손실: 853312.625000\t최선의 손실: 38587.238281\t정확도: 19.27%\n", "13\t검증 세트 손실: 430105.281250\t최선의 손실: 38587.238281\t정확도: 25.22%\n", "14\t검증 세트 손실: 283264.531250\t최선의 손실: 38587.238281\t정확도: 21.81%\n", "15\t검증 세트 손실: 447765.218750\t최선의 손실: 38587.238281\t정확도: 20.91%\n", "16\t검증 세트 손실: 395710.687500\t최선의 손실: 38587.238281\t정확도: 18.96%\n", "17\t검증 세트 손실: 39158.992188\t최선의 손실: 38587.238281\t정확도: 21.97%\n", "18\t검증 세트 손실: 424753.250000\t최선의 손실: 38587.238281\t정확도: 20.91%\n", "19\t검증 세트 손실: 272170.687500\t최선의 손실: 38587.238281\t정확도: 22.01%\n", "20\t검증 세트 손실: 99583.093750\t최선의 손실: 38587.238281\t정확도: 19.12%\n", "21\t검증 세트 손실: 359629.562500\t최선의 손실: 38587.238281\t정확도: 16.93%\n", "22\t검증 세트 손실: 152573.765625\t최선의 손실: 38587.238281\t정확도: 20.72%\n", "23\t검증 세트 손실: 408027.250000\t최선의 손실: 38587.238281\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 38.7s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 1027.897949\t최선의 손실: 1027.897949\t정확도: 20.91%\n", "1\t검증 세트 손실: 11421843.000000\t최선의 손실: 1027.897949\t정확도: 18.73%\n", "2\t검증 세트 손실: 1013101.062500\t최선의 손실: 1027.897949\t정확도: 22.05%\n", "3\t검증 세트 손실: 4819892.500000\t최선의 손실: 1027.897949\t정확도: 19.27%\n", "4\t검증 세트 손실: 2388498.500000\t최선의 손실: 1027.897949\t정확도: 22.01%\n", "5\t검증 세트 손실: 1984431.500000\t최선의 손실: 1027.897949\t정확도: 26.62%\n", "6\t검증 세트 손실: 1182215.875000\t최선의 손실: 1027.897949\t정확도: 18.73%\n", "7\t검증 세트 손실: 6911641.500000\t최선의 손실: 1027.897949\t정확도: 18.53%\n", "8\t검증 세트 손실: 991287.312500\t최선의 손실: 1027.897949\t정확도: 20.95%\n", "9\t검증 세트 손실: 513290.250000\t최선의 손실: 1027.897949\t정확도: 39.01%\n", "10\t검증 세트 손실: 192179.515625\t최선의 손실: 1027.897949\t정확도: 52.35%\n", "11\t검증 세트 손실: 474136.968750\t최선의 손실: 1027.897949\t정확도: 40.81%\n", "12\t검증 세트 손실: 136527.359375\t최선의 손실: 1027.897949\t정확도: 40.38%\n", "13\t검증 세트 손실: 3291582.750000\t최선의 손실: 1027.897949\t정확도: 30.73%\n", "14\t검증 세트 손실: 5590374.000000\t최선의 손실: 1027.897949\t정확도: 28.46%\n", "15\t검증 세트 손실: 956230.125000\t최선의 손실: 1027.897949\t정확도: 58.29%\n", "16\t검증 세트 손실: 11698576.000000\t최선의 손실: 1027.897949\t정확도: 39.13%\n", "17\t검증 세트 손실: 811071.687500\t최선의 손실: 1027.897949\t정확도: 44.37%\n", "18\t검증 세트 손실: 392593.218750\t최선의 손실: 1027.897949\t정확도: 47.62%\n", "19\t검증 세트 손실: 1049739.000000\t최선의 손실: 1027.897949\t정확도: 46.25%\n", "20\t검증 세트 손실: 239507.437500\t최선의 손실: 1027.897949\t정확도: 57.39%\n", "21\t검증 세트 손실: 381186.718750\t최선의 손실: 1027.897949\t정확도: 56.45%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.2, batch_size=10, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 36.0s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation= \n", "0\t검증 세트 손실: 1.377097\t최선의 손실: 1.377097\t정확도: 39.33%\n", "1\t검증 세트 손실: 1.252896\t최선의 손실: 1.252896\t정확도: 41.09%\n", "2\t검증 세트 손실: 0.990105\t최선의 손실: 0.990105\t정확도: 55.16%\n", "3\t검증 세트 손실: 0.816837\t최선의 손실: 0.816837\t정확도: 53.83%\n", "4\t검증 세트 손실: 0.743762\t최선의 손실: 0.743762\t정확도: 58.48%\n", "5\t검증 세트 손실: 0.658976\t최선의 손실: 0.658976\t정확도: 60.63%\n", "6\t검증 세트 손실: 0.667871\t최선의 손실: 0.658976\t정확도: 60.83%\n", "7\t검증 세트 손실: 0.639808\t최선의 손실: 0.639808\t정확도: 68.88%\n", "8\t검증 세트 손실: 0.601831\t최선의 손실: 0.601831\t정확도: 72.87%\n", "9\t검증 세트 손실: 0.572245\t최선의 손실: 0.572245\t정확도: 73.81%\n", "10\t검증 세트 손실: 0.668465\t최선의 손실: 0.572245\t정확도: 61.10%\n", "11\t검증 세트 손실: 0.658141\t최선의 손실: 0.572245\t정확도: 59.42%\n", "12\t검증 세트 손실: 0.654213\t최선의 손실: 0.572245\t정확도: 59.70%\n", "13\t검증 세트 손실: 0.576029\t최선의 손실: 0.572245\t정확도: 73.89%\n", "14\t검증 세트 손실: 0.635343\t최선의 손실: 0.572245\t정확도: 66.22%\n", "15\t검증 세트 손실: 0.610451\t최선의 손실: 0.572245\t정확도: 75.49%\n", "16\t검증 세트 손실: 1.339392\t최선의 손실: 0.572245\t정확도: 42.30%\n", "17\t검증 세트 손실: 1.383942\t최선의 손실: 0.572245\t정확도: 41.91%\n", "18\t검증 세트 손실: 1.608375\t최선의 손실: 0.572245\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.620561\t최선의 손실: 0.572245\t정확도: 18.73%\n", "20\t검증 세트 손실: 1.627714\t최선의 손실: 0.572245\t정확도: 20.91%\n", "21\t검증 세트 손실: 1.626826\t최선의 손실: 0.572245\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.692891\t최선의 손실: 0.572245\t정확도: 18.73%\n", "23\t검증 세트 손실: 1.651805\t최선의 손실: 0.572245\t정확도: 19.27%\n", "24\t검증 세트 손실: 1.629087\t최선의 손실: 0.572245\t정확도: 18.73%\n", "25\t검증 세트 손실: 1.632946\t최선의 손실: 0.572245\t정확도: 19.08%\n", "26\t검증 세트 손실: 1.622044\t최선의 손실: 0.572245\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.680285\t최선의 손실: 0.572245\t정확도: 19.27%\n", "28\t검증 세트 손실: 1.617918\t최선의 손실: 0.572245\t정확도: 22.01%\n", "29\t검증 세트 손실: 1.681672\t최선의 손실: 0.572245\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.638528\t최선의 손실: 0.572245\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=, total= 10.3s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation= \n", "0\t검증 세트 손실: 1.043162\t최선의 손실: 1.043162\t정확도: 49.37%\n", "1\t검증 세트 손실: 0.842310\t최선의 손실: 0.842310\t정확도: 61.06%\n", "2\t검증 세트 손실: 0.801131\t최선의 손실: 0.801131\t정확도: 56.45%\n", "3\t검증 세트 손실: 0.746389\t최선의 손실: 0.746389\t정확도: 66.07%\n", "4\t검증 세트 손실: 0.704912\t최선의 손실: 0.704912\t정확도: 62.78%\n", "5\t검증 세트 손실: 0.517672\t최선의 손실: 0.517672\t정확도: 81.90%\n", "6\t검증 세트 손실: 0.436516\t최선의 손실: 0.436516\t정확도: 86.20%\n", "7\t검증 세트 손실: 0.407125\t최선의 손실: 0.407125\t정확도: 82.06%\n", "8\t검증 세트 손실: 0.391476\t최선의 손실: 0.391476\t정확도: 83.66%\n", "9\t검증 세트 손실: 0.364149\t최선의 손실: 0.364149\t정확도: 90.54%\n", "10\t검증 세트 손실: 0.325205\t최선의 손실: 0.325205\t정확도: 93.39%\n", "11\t검증 세트 손실: 0.221441\t최선의 손실: 0.221441\t정확도: 94.80%\n", "12\t검증 세트 손실: 0.210168\t최선의 손실: 0.210168\t정확도: 95.27%\n", "13\t검증 세트 손실: 0.196487\t최선의 손실: 0.196487\t정확도: 96.09%\n", "14\t검증 세트 손실: 0.156948\t최선의 손실: 0.156948\t정확도: 96.56%\n", "15\t검증 세트 손실: 0.171982\t최선의 손실: 0.156948\t정확도: 96.40%\n", "16\t검증 세트 손실: 0.153788\t최선의 손실: 0.153788\t정확도: 96.99%\n", "17\t검증 세트 손실: 0.158097\t최선의 손실: 0.153788\t정확도: 96.99%\n", "18\t검증 세트 손실: 0.115712\t최선의 손실: 0.115712\t정확도: 97.11%\n", "19\t검증 세트 손실: 0.115250\t최선의 손실: 0.115250\t정확도: 97.42%\n", "20\t검증 세트 손실: 0.112620\t최선의 손실: 0.112620\t정확도: 97.34%\n", "21\t검증 세트 손실: 0.104491\t최선의 손실: 0.104491\t정확도: 97.73%\n", "22\t검증 세트 손실: 0.113586\t최선의 손실: 0.104491\t정확도: 97.58%\n", "23\t검증 세트 손실: 0.109639\t최선의 손실: 0.104491\t정확도: 97.65%\n", "24\t검증 세트 손실: 0.105747\t최선의 손실: 0.104491\t정확도: 97.77%\n", "25\t검증 세트 손실: 0.107507\t최선의 손실: 0.104491\t정확도: 97.58%\n", "26\t검증 세트 손실: 0.104697\t최선의 손실: 0.104491\t정확도: 97.58%\n", "27\t검증 세트 손실: 0.099045\t최선의 손실: 0.099045\t정확도: 97.85%\n", "28\t검증 세트 손실: 0.084649\t최선의 손실: 0.084649\t정확도: 97.97%\n", "29\t검증 세트 손실: 0.091394\t최선의 손실: 0.084649\t정확도: 97.58%\n", "30\t검증 세트 손실: 0.093903\t최선의 손실: 0.084649\t정확도: 97.89%\n", "31\t검증 세트 손실: 0.173133\t최선의 손실: 0.084649\t정확도: 97.62%\n", "32\t검증 세트 손실: 0.154331\t최선의 손실: 0.084649\t정확도: 95.58%\n", "33\t검증 세트 손실: 0.142578\t최선의 손실: 0.084649\t정확도: 95.62%\n", "34\t검증 세트 손실: 0.129717\t최선의 손실: 0.084649\t정확도: 97.07%\n", "35\t검증 세트 손실: 0.129918\t최선의 손실: 0.084649\t정확도: 97.34%\n", "36\t검증 세트 손실: 0.123614\t최선의 손실: 0.084649\t정확도: 97.30%\n", "37\t검증 세트 손실: 0.484027\t최선의 손실: 0.084649\t정확도: 89.25%\n", "38\t검증 세트 손실: 1.664039\t최선의 손실: 0.084649\t정확도: 22.01%\n", "39\t검증 세트 손실: 1.701860\t최선의 손실: 0.084649\t정확도: 19.27%\n", "40\t검증 세트 손실: 1.624717\t최선의 손실: 0.084649\t정확도: 19.27%\n", "41\t검증 세트 손실: 1.627295\t최선의 손실: 0.084649\t정확도: 19.27%\n", "42\t검증 세트 손실: 1.658181\t최선의 손실: 0.084649\t정확도: 19.08%\n", "43\t검증 세트 손실: 1.633000\t최선의 손실: 0.084649\t정확도: 20.91%\n", "44\t검증 세트 손실: 1.638484\t최선의 손실: 0.084649\t정확도: 22.01%\n", "45\t검증 세트 손실: 1.611101\t최선의 손실: 0.084649\t정확도: 22.01%\n", "46\t검증 세트 손실: 1.668069\t최선의 손실: 0.084649\t정확도: 22.01%\n", "47\t검증 세트 손실: 1.649506\t최선의 손실: 0.084649\t정확도: 19.08%\n", "48\t검증 세트 손실: 1.675376\t최선의 손실: 0.084649\t정확도: 19.27%\n", "49\t검증 세트 손실: 1.664859\t최선의 손실: 0.084649\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=, total= 16.2s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation= \n", "0\t검증 세트 손실: 3.448484\t최선의 손실: 3.448484\t정확도: 26.94%\n", "1\t검증 세트 손실: 1.566730\t최선의 손실: 1.566730\t정확도: 20.25%\n", "2\t검증 세트 손실: 1.437543\t최선의 손실: 1.437543\t정확도: 38.23%\n", "3\t검증 세트 손실: 0.982117\t최선의 손실: 0.982117\t정확도: 70.56%\n", "4\t검증 세트 손실: 0.698232\t최선의 손실: 0.698232\t정확도: 74.12%\n", "5\t검증 세트 손실: 0.586597\t최선의 손실: 0.586597\t정확도: 81.08%\n", "6\t검증 세트 손실: 0.505409\t최선의 손실: 0.505409\t정확도: 81.86%\n", "7\t검증 세트 손실: 0.418621\t최선의 손실: 0.418621\t정확도: 89.21%\n", "8\t검증 세트 손실: 0.369421\t최선의 손실: 0.369421\t정확도: 89.01%\n", "9\t검증 세트 손실: 0.337036\t최선의 손실: 0.337036\t정확도: 90.03%\n", "10\t검증 세트 손실: 0.326750\t최선의 손실: 0.326750\t정확도: 88.39%\n", "11\t검증 세트 손실: 0.327780\t최선의 손실: 0.326750\t정확도: 81.16%\n", "12\t검증 세트 손실: 0.256217\t최선의 손실: 0.256217\t정확도: 93.94%\n", "13\t검증 세트 손실: 0.211297\t최선의 손실: 0.211297\t정확도: 95.39%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "14\t검증 세트 손실: 0.204696\t최선의 손실: 0.204696\t정확도: 95.74%\n", "15\t검증 세트 손실: 0.188774\t최선의 손실: 0.188774\t정확도: 95.97%\n", "16\t검증 세트 손실: 0.205855\t최선의 손실: 0.188774\t정확도: 96.21%\n", "17\t검증 세트 손실: 0.169580\t최선의 손실: 0.169580\t정확도: 96.17%\n", "18\t검증 세트 손실: 0.179205\t최선의 손실: 0.169580\t정확도: 96.64%\n", "19\t검증 세트 손실: 0.165182\t최선의 손실: 0.165182\t정확도: 96.17%\n", "20\t검증 세트 손실: 0.182244\t최선의 손실: 0.165182\t정확도: 96.64%\n", "21\t검증 세트 손실: 0.163856\t최선의 손실: 0.163856\t정확도: 96.48%\n", "22\t검증 세트 손실: 0.155367\t최선의 손실: 0.155367\t정확도: 96.44%\n", "23\t검증 세트 손실: 0.170213\t최선의 손실: 0.155367\t정확도: 96.52%\n", "24\t검증 세트 손실: 0.173042\t최선의 손실: 0.155367\t정확도: 96.95%\n", "25\t검증 세트 손실: 0.167215\t최선의 손실: 0.155367\t정확도: 96.52%\n", "26\t검증 세트 손실: 0.149521\t최선의 손실: 0.149521\t정확도: 96.99%\n", "27\t검증 세트 손실: 0.153030\t최선의 손실: 0.149521\t정확도: 96.79%\n", "28\t검증 세트 손실: 0.150248\t최선의 손실: 0.149521\t정확도: 96.91%\n", "29\t검증 세트 손실: 0.145720\t최선의 손실: 0.145720\t정확도: 97.07%\n", "30\t검증 세트 손실: 0.150758\t최선의 손실: 0.145720\t정확도: 96.95%\n", "31\t검증 세트 손실: 0.147826\t최선의 손실: 0.145720\t정확도: 96.76%\n", "32\t검증 세트 손실: 0.156537\t최선의 손실: 0.145720\t정확도: 96.87%\n", "33\t검증 세트 손실: 3.985513\t최선의 손실: 0.145720\t정확도: 75.61%\n", "34\t검증 세트 손실: 1.071740\t최선의 손실: 0.145720\t정확도: 40.97%\n", "35\t검증 세트 손실: 1.023188\t최선의 손실: 0.145720\t정확도: 37.80%\n", "36\t검증 세트 손실: 0.770324\t최선의 손실: 0.145720\t정확도: 57.86%\n", "37\t검증 세트 손실: 0.495286\t최선의 손실: 0.145720\t정확도: 85.14%\n", "38\t검증 세트 손실: 0.577000\t최선의 손실: 0.145720\t정확도: 75.96%\n", "39\t검증 세트 손실: 0.949893\t최선의 손실: 0.145720\t정확도: 66.58%\n", "40\t검증 세트 손실: 0.949130\t최선의 손실: 0.145720\t정확도: 46.25%\n", "41\t검증 세트 손실: 0.968522\t최선의 손실: 0.145720\t정확도: 58.99%\n", "42\t검증 세트 손실: 0.841538\t최선의 손실: 0.145720\t정확도: 59.77%\n", "43\t검증 세트 손실: 1.340090\t최선의 손실: 0.145720\t정확도: 39.80%\n", "44\t검증 세트 손실: 1.512308\t최선의 손실: 0.145720\t정확도: 25.76%\n", "45\t검증 세트 손실: 0.911602\t최선의 손실: 0.145720\t정확도: 53.95%\n", "46\t검증 세트 손실: 0.951872\t최선의 손실: 0.145720\t정확도: 53.09%\n", "47\t검증 세트 손실: 1.572861\t최선의 손실: 0.145720\t정확도: 31.35%\n", "48\t검증 세트 손실: 1.655372\t최선의 손실: 0.145720\t정확도: 20.91%\n", "49\t검증 세트 손실: 1.614288\t최선의 손실: 0.145720\t정확도: 22.01%\n", "50\t검증 세트 손실: 1.387306\t최선의 손실: 0.145720\t정확도: 37.06%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.3, batch_size=500, activation=, total= 16.5s\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 8728.394531\t최선의 손실: 8728.394531\t정확도: 45.43%\n", "1\t검증 세트 손실: 184.029831\t최선의 손실: 184.029831\t정확도: 53.95%\n", "2\t검증 세트 손실: 53.423168\t최선의 손실: 53.423168\t정확도: 56.41%\n", "3\t검증 세트 손실: 136.472519\t최선의 손실: 53.423168\t정확도: 54.89%\n", "4\t검증 세트 손실: 136.899261\t최선의 손실: 53.423168\t정확도: 55.12%\n", "5\t검증 세트 손실: 129.307877\t최선의 손실: 53.423168\t정확도: 56.22%\n", "6\t검증 세트 손실: 73.581406\t최선의 손실: 53.423168\t정확도: 57.19%\n", "7\t검증 세트 손실: 511.059814\t최선의 손실: 53.423168\t정확도: 55.98%\n", "8\t검증 세트 손실: 39974.105469\t최선의 손실: 53.423168\t정확도: 38.27%\n", "9\t검증 세트 손실: 41564.054688\t최선의 손실: 53.423168\t정확도: 36.94%\n", "10\t검증 세트 손실: 38036.351562\t최선의 손실: 53.423168\t정확도: 41.13%\n", "11\t검증 세트 손실: 48121.042969\t최선의 손실: 53.423168\t정확도: 41.52%\n", "12\t검증 세트 손실: 10736.564453\t최선의 손실: 53.423168\t정확도: 49.10%\n", "13\t검증 세트 손실: 22650.785156\t최선의 손실: 53.423168\t정확도: 41.71%\n", "14\t검증 세트 손실: 213670.156250\t최선의 손실: 53.423168\t정확도: 40.23%\n", "15\t검증 세트 손실: 20725.101562\t최선의 손실: 53.423168\t정확도: 60.59%\n", "16\t검증 세트 손실: 452775.531250\t최선의 손실: 53.423168\t정확도: 62.04%\n", "17\t검증 세트 손실: 175445.859375\t최선의 손실: 53.423168\t정확도: 68.49%\n", "18\t검증 세트 손실: 62137.468750\t최선의 손실: 53.423168\t정확도: 76.66%\n", "19\t검증 세트 손실: 28962.824219\t최선의 손실: 53.423168\t정확도: 82.49%\n", "20\t검증 세트 손실: 15234.949219\t최선의 손실: 53.423168\t정확도: 88.74%\n", "21\t검증 세트 손실: 104121.835938\t최선의 손실: 53.423168\t정확도: 74.75%\n", "22\t검증 세트 손실: 19873.642578\t최선의 손실: 53.423168\t정확도: 80.41%\n", "23\t검증 세트 손실: 21770.929688\t최선의 손실: 53.423168\t정확도: 77.56%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.8s\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 6183.137695\t최선의 손실: 6183.137695\t정확도: 16.22%\n", "1\t검증 세트 손실: 551.565369\t최선의 손실: 551.565369\t정확도: 45.86%\n", "2\t검증 세트 손실: 546.830017\t최선의 손실: 546.830017\t정확도: 36.32%\n", "3\t검증 세트 손실: 323.269043\t최선의 손실: 323.269043\t정확도: 46.76%\n", "4\t검증 세트 손실: 337.142700\t최선의 손실: 323.269043\t정확도: 39.80%\n", "5\t검증 세트 손실: 189.236374\t최선의 손실: 189.236374\t정확도: 47.38%\n", "6\t검증 세트 손실: 153.003555\t최선의 손실: 153.003555\t정확도: 51.09%\n", "7\t검증 세트 손실: 52.011421\t최선의 손실: 52.011421\t정확도: 57.97%\n", "8\t검증 세트 손실: 193.705246\t최선의 손실: 52.011421\t정확도: 41.44%\n", "9\t검증 세트 손실: 600.690796\t최선의 손실: 52.011421\t정확도: 43.16%\n", "10\t검증 세트 손실: 59526.937500\t최선의 손실: 52.011421\t정확도: 40.66%\n", "11\t검증 세트 손실: 53744.933594\t최선의 손실: 52.011421\t정확도: 54.22%\n", "12\t검증 세트 손실: 13224.711914\t최선의 손실: 52.011421\t정확도: 56.33%\n", "13\t검증 세트 손실: 12311.538086\t최선의 손실: 52.011421\t정확도: 58.64%\n", "14\t검증 세트 손실: 6899.470703\t최선의 손실: 52.011421\t정확도: 60.13%\n", "15\t검증 세트 손실: 5210.732422\t최선의 손실: 52.011421\t정확도: 58.84%\n", "16\t검증 세트 손실: 4157.232910\t최선의 손실: 52.011421\t정확도: 59.54%\n", "17\t검증 세트 손실: 4461.207520\t최선의 손실: 52.011421\t정확도: 60.05%\n", "18\t검증 세트 손실: 1882.590332\t최선의 손실: 52.011421\t정확도: 60.16%\n", "19\t검증 세트 손실: 583.577576\t최선의 손실: 52.011421\t정확도: 76.70%\n", "20\t검증 세트 손실: 1613.437500\t최선의 손실: 52.011421\t정확도: 59.11%\n", "21\t검증 세트 손실: 2149.352539\t최선의 손실: 52.011421\t정확도: 61.34%\n", "22\t검증 세트 손실: 2282.892090\t최선의 손실: 52.011421\t정확도: 58.84%\n", "23\t검증 세트 손실: 8363.290039\t최선의 손실: 52.011421\t정확도: 59.66%\n", "24\t검증 세트 손실: 1770.310547\t최선의 손실: 52.011421\t정확도: 62.67%\n", "25\t검증 세트 손실: 1760.766968\t최선의 손실: 52.011421\t정확도: 75.02%\n", "26\t검증 세트 손실: 569.625732\t최선의 손실: 52.011421\t정확도: 61.69%\n", "27\t검증 세트 손실: 554947.437500\t최선의 손실: 52.011421\t정확도: 49.69%\n", "28\t검증 세트 손실: 174816.140625\t최선의 손실: 52.011421\t정확도: 55.39%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.2s\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 281.732178\t최선의 손실: 281.732178\t정확도: 58.13%\n", "1\t검증 세트 손실: 31.944778\t최선의 손실: 31.944778\t정확도: 67.16%\n", "2\t검증 세트 손실: 39.834328\t최선의 손실: 31.944778\t정확도: 71.50%\n", "3\t검증 세트 손실: 125.216957\t최선의 손실: 31.944778\t정확도: 69.31%\n", "4\t검증 세트 손실: 151693.640625\t최선의 손실: 31.944778\t정확도: 53.17%\n", "5\t검증 세트 손실: 15597.918945\t최선의 손실: 31.944778\t정확도: 67.98%\n", "6\t검증 세트 손실: 22338.560547\t최선의 손실: 31.944778\t정확도: 68.14%\n", "7\t검증 세트 손실: 2765.679443\t최선의 손실: 31.944778\t정확도: 69.82%\n", "8\t검증 세트 손실: 3329.133301\t최선의 손실: 31.944778\t정확도: 74.67%\n", "9\t검증 세트 손실: 5105.714844\t최선의 손실: 31.944778\t정확도: 64.23%\n", "10\t검증 세트 손실: 1909.718872\t최선의 손실: 31.944778\t정확도: 70.13%\n", "11\t검증 세트 손실: 979122.937500\t최선의 손실: 31.944778\t정확도: 68.76%\n", "12\t검증 세트 손실: 112991.140625\t최선의 손실: 31.944778\t정확도: 80.81%\n", "13\t검증 세트 손실: 28789.003906\t최선의 손실: 31.944778\t정확도: 86.59%\n", "14\t검증 세트 손실: 16072.192383\t최선의 손실: 31.944778\t정확도: 88.98%\n", "15\t검증 세트 손실: 11735.633789\t최선의 손실: 31.944778\t정확도: 90.03%\n", "16\t검증 세트 손실: 17471.048828\t최선의 손실: 31.944778\t정확도: 91.28%\n", "17\t검증 세트 손실: 19937.259766\t최선의 손실: 31.944778\t정확도: 89.05%\n", "18\t검증 세트 손실: 6196.311035\t최선의 손실: 31.944778\t정확도: 92.30%\n", "19\t검증 세트 손실: 34752.808594\t최선의 손실: 31.944778\t정확도: 75.68%\n", "20\t검증 세트 손실: 19108.234375\t최선의 손실: 31.944778\t정확도: 92.18%\n", "21\t검증 세트 손실: 6476.728027\t최선의 손실: 31.944778\t정확도: 92.61%\n", "22\t검증 세트 손실: 4960.193359\t최선의 손실: 31.944778\t정확도: 92.96%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.1, dropout_rate=0.2, batch_size=50, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 11.5s\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.707822\t최선의 손실: 0.707822\t정확도: 69.62%\n", "1\t검증 세트 손실: 0.225011\t최선의 손실: 0.225011\t정확도: 94.02%\n", "2\t검증 세트 손실: 0.154352\t최선의 손실: 0.154352\t정확도: 95.50%\n", "3\t검증 세트 손실: 0.156150\t최선의 손실: 0.154352\t정확도: 95.58%\n", "4\t검증 세트 손실: 0.143919\t최선의 손실: 0.143919\t정확도: 96.09%\n", "5\t검증 세트 손실: 0.147129\t최선의 손실: 0.143919\t정확도: 95.90%\n", "6\t검증 세트 손실: 0.145192\t최선의 손실: 0.143919\t정확도: 95.93%\n", "7\t검증 세트 손실: 0.141036\t최선의 손실: 0.141036\t정확도: 96.01%\n", "8\t검증 세트 손실: 0.134568\t최선의 손실: 0.134568\t정확도: 96.64%\n", "9\t검증 세트 손실: 0.137759\t최선의 손실: 0.134568\t정확도: 96.64%\n", "10\t검증 세트 손실: 0.128549\t최선의 손실: 0.128549\t정확도: 96.52%\n", "11\t검증 세트 손실: 0.140335\t최선의 손실: 0.128549\t정확도: 96.01%\n", "12\t검증 세트 손실: 0.139165\t최선의 손실: 0.128549\t정확도: 96.52%\n", "13\t검증 세트 손실: 0.128214\t최선의 손실: 0.128214\t정확도: 96.76%\n", "14\t검증 세트 손실: 0.132995\t최선의 손실: 0.128214\t정확도: 96.56%\n", "15\t검증 세트 손실: 0.125238\t최선의 손실: 0.125238\t정확도: 96.56%\n", "16\t검증 세트 손실: 0.134313\t최선의 손실: 0.125238\t정확도: 96.56%\n", "17\t검증 세트 손실: 0.134113\t최선의 손실: 0.125238\t정확도: 96.72%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "18\t검증 세트 손실: 0.128451\t최선의 손실: 0.125238\t정확도: 96.95%\n", "19\t검증 세트 손실: 0.124392\t최선의 손실: 0.124392\t정확도: 97.03%\n", "20\t검증 세트 손실: 0.140733\t최선의 손실: 0.124392\t정확도: 96.36%\n", "21\t검증 세트 손실: 0.129252\t최선의 손실: 0.124392\t정확도: 96.72%\n", "22\t검증 세트 손실: 0.123502\t최선의 손실: 0.123502\t정확도: 96.95%\n", "23\t검증 세트 손실: 0.137403\t최선의 손실: 0.123502\t정확도: 96.68%\n", "24\t검증 세트 손실: 0.128824\t최선의 손실: 0.123502\t정확도: 96.60%\n", "25\t검증 세트 손실: 0.134055\t최선의 손실: 0.123502\t정확도: 96.64%\n", "26\t검증 세트 손실: 0.130376\t최선의 손실: 0.123502\t정확도: 96.48%\n", "27\t검증 세트 손실: 0.141600\t최선의 손실: 0.123502\t정확도: 96.87%\n", "28\t검증 세트 손실: 0.121242\t최선의 손실: 0.121242\t정확도: 97.03%\n", "29\t검증 세트 손실: 0.123445\t최선의 손실: 0.121242\t정확도: 97.03%\n", "30\t검증 세트 손실: 0.128194\t최선의 손실: 0.121242\t정확도: 96.91%\n", "31\t검증 세트 손실: 0.136329\t최선의 손실: 0.121242\t정확도: 96.91%\n", "32\t검증 세트 손실: 0.121575\t최선의 손실: 0.121242\t정확도: 96.99%\n", "33\t검증 세트 손실: 0.119355\t최선의 손실: 0.119355\t정확도: 97.07%\n", "34\t검증 세트 손실: 0.124905\t최선의 손실: 0.119355\t정확도: 96.68%\n", "35\t검증 세트 손실: 0.137048\t최선의 손실: 0.119355\t정확도: 96.68%\n", "36\t검증 세트 손실: 0.128747\t최선의 손실: 0.119355\t정확도: 96.76%\n", "37\t검증 세트 손실: 0.130586\t최선의 손실: 0.119355\t정확도: 96.44%\n", "38\t검증 세트 손실: 0.134392\t최선의 손실: 0.119355\t정확도: 96.83%\n", "39\t검증 세트 손실: 0.131755\t최선의 손실: 0.119355\t정확도: 96.72%\n", "40\t검증 세트 손실: 0.134385\t최선의 손실: 0.119355\t정확도: 96.72%\n", "41\t검증 세트 손실: 0.133998\t최선의 손실: 0.119355\t정확도: 96.68%\n", "42\t검증 세트 손실: 0.131564\t최선의 손실: 0.119355\t정확도: 96.87%\n", "43\t검증 세트 손실: 0.135267\t최선의 손실: 0.119355\t정확도: 96.48%\n", "44\t검증 세트 손실: 0.123320\t최선의 손실: 0.119355\t정확도: 96.76%\n", "45\t검증 세트 손실: 0.122131\t최선의 손실: 0.119355\t정확도: 97.19%\n", "46\t검증 세트 손실: 0.140427\t최선의 손실: 0.119355\t정확도: 96.60%\n", "47\t검증 세트 손실: 0.128714\t최선의 손실: 0.119355\t정확도: 96.60%\n", "48\t검증 세트 손실: 0.131914\t최선의 손실: 0.119355\t정확도: 96.56%\n", "49\t검증 세트 손실: 0.121127\t최선의 손실: 0.119355\t정확도: 96.72%\n", "50\t검증 세트 손실: 0.121472\t최선의 손실: 0.119355\t정확도: 96.91%\n", "51\t검증 세트 손실: 0.123742\t최선의 손실: 0.119355\t정확도: 96.83%\n", "52\t검증 세트 손실: 0.131106\t최선의 손실: 0.119355\t정확도: 96.68%\n", "53\t검증 세트 손실: 0.136465\t최선의 손실: 0.119355\t정확도: 96.44%\n", "54\t검증 세트 손실: 0.122683\t최선의 손실: 0.119355\t정확도: 97.03%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=, total= 8.5s\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.730977\t최선의 손실: 0.730977\t정확도: 70.21%\n", "1\t검증 세트 손실: 0.568810\t최선의 손실: 0.568810\t정확도: 72.91%\n", "2\t검증 세트 손실: 0.421092\t최선의 손실: 0.421092\t정확도: 78.30%\n", "3\t검증 세트 손실: 0.375803\t최선의 손실: 0.375803\t정확도: 84.40%\n", "4\t검증 세트 손실: 0.371161\t최선의 손실: 0.371161\t정확도: 78.54%\n", "5\t검증 세트 손실: 0.363138\t최선의 손실: 0.363138\t정확도: 79.59%\n", "6\t검증 세트 손실: 0.370171\t최선의 손실: 0.363138\t정확도: 79.32%\n", "7\t검증 세트 손실: 0.366481\t최선의 손실: 0.363138\t정확도: 79.44%\n", "8\t검증 세트 손실: 0.360940\t최선의 손실: 0.360940\t정확도: 79.59%\n", "9\t검증 세트 손실: 0.363840\t최선의 손실: 0.360940\t정확도: 78.58%\n", "10\t검증 세트 손실: 0.353126\t최선의 손실: 0.353126\t정확도: 80.49%\n", "11\t검증 세트 손실: 0.359592\t최선의 손실: 0.353126\t정확도: 79.55%\n", "12\t검증 세트 손실: 0.360355\t최선의 손실: 0.353126\t정확도: 79.79%\n", "13\t검증 세트 손실: 0.363518\t최선의 손실: 0.353126\t정확도: 79.48%\n", "14\t검증 세트 손실: 0.350343\t최선의 손실: 0.350343\t정확도: 80.18%\n", "15\t검증 세트 손실: 0.337248\t최선의 손실: 0.337248\t정확도: 80.77%\n", "16\t검증 세트 손실: 0.322666\t최선의 손실: 0.322666\t정확도: 89.44%\n", "17\t검증 세트 손실: 0.342645\t최선의 손실: 0.322666\t정확도: 82.17%\n", "18\t검증 세트 손실: 0.302683\t최선의 손실: 0.302683\t정확도: 88.15%\n", "19\t검증 세트 손실: 0.290421\t최선의 손실: 0.290421\t정확도: 89.52%\n", "20\t검증 세트 손실: 0.255896\t최선의 손실: 0.255896\t정확도: 92.26%\n", "21\t검증 세트 손실: 0.274335\t최선의 손실: 0.255896\t정확도: 93.55%\n", "22\t검증 세트 손실: 0.255262\t최선의 손실: 0.255262\t정확도: 92.30%\n", "23\t검증 세트 손실: 0.234100\t최선의 손실: 0.234100\t정확도: 94.02%\n", "24\t검증 세트 손실: 0.252419\t최선의 손실: 0.234100\t정확도: 92.22%\n", "25\t검증 세트 손실: 0.199468\t최선의 손실: 0.199468\t정확도: 95.19%\n", "26\t검증 세트 손실: 0.218354\t최선의 손실: 0.199468\t정확도: 94.80%\n", "27\t검증 세트 손실: 0.201667\t최선의 손실: 0.199468\t정확도: 95.04%\n", "28\t검증 세트 손실: 0.206149\t최선의 손실: 0.199468\t정확도: 95.39%\n", "29\t검증 세트 손실: 0.190581\t최선의 손실: 0.190581\t정확도: 95.54%\n", "30\t검증 세트 손실: 0.186750\t최선의 손실: 0.186750\t정확도: 95.39%\n", "31\t검증 세트 손실: 0.178211\t최선의 손실: 0.178211\t정확도: 95.39%\n", "32\t검증 세트 손실: 0.231519\t최선의 손실: 0.178211\t정확도: 94.76%\n", "33\t검증 세트 손실: 0.191891\t최선의 손실: 0.178211\t정확도: 95.35%\n", "34\t검증 세트 손실: 0.167423\t최선의 손실: 0.167423\t정확도: 95.74%\n", "35\t검증 세트 손실: 0.190514\t최선의 손실: 0.167423\t정확도: 95.58%\n", "36\t검증 세트 손실: 0.173533\t최선의 손실: 0.167423\t정확도: 95.93%\n", "37\t검증 세트 손실: 0.177079\t최선의 손실: 0.167423\t정확도: 95.82%\n", "38\t검증 세트 손실: 0.184991\t최선의 손실: 0.167423\t정확도: 95.78%\n", "39\t검증 세트 손실: 0.192024\t최선의 손실: 0.167423\t정확도: 95.90%\n", "40\t검증 세트 손실: 0.200306\t최선의 손실: 0.167423\t정확도: 95.62%\n", "41\t검증 세트 손실: 0.210506\t최선의 손실: 0.167423\t정확도: 95.58%\n", "42\t검증 세트 손실: 0.184790\t최선의 손실: 0.167423\t정확도: 95.47%\n", "43\t검증 세트 손실: 0.175734\t최선의 손실: 0.167423\t정확도: 95.66%\n", "44\t검증 세트 손실: 0.162909\t최선의 손실: 0.162909\t정확도: 96.13%\n", "45\t검증 세트 손실: 0.172543\t최선의 손실: 0.162909\t정확도: 96.21%\n", "46\t검증 세트 손실: 0.163302\t최선의 손실: 0.162909\t정확도: 96.17%\n", "47\t검증 세트 손실: 0.174783\t최선의 손실: 0.162909\t정확도: 95.90%\n", "48\t검증 세트 손실: 0.169007\t최선의 손실: 0.162909\t정확도: 95.82%\n", "49\t검증 세트 손실: 0.182004\t최선의 손실: 0.162909\t정확도: 96.01%\n", "50\t검증 세트 손실: 0.159246\t최선의 손실: 0.159246\t정확도: 96.01%\n", "51\t검증 세트 손실: 0.165982\t최선의 손실: 0.159246\t정확도: 95.93%\n", "52\t검증 세트 손실: 0.145431\t최선의 손실: 0.145431\t정확도: 96.05%\n", "53\t검증 세트 손실: 0.157755\t최선의 손실: 0.145431\t정확도: 95.97%\n", "54\t검증 세트 손실: 0.161486\t최선의 손실: 0.145431\t정확도: 95.93%\n", "55\t검증 세트 손실: 0.182435\t최선의 손실: 0.145431\t정확도: 95.62%\n", "56\t검증 세트 손실: 0.169711\t최선의 손실: 0.145431\t정확도: 95.90%\n", "57\t검증 세트 손실: 0.174599\t최선의 손실: 0.145431\t정확도: 96.09%\n", "58\t검증 세트 손실: 0.170873\t최선의 손실: 0.145431\t정확도: 96.01%\n", "59\t검증 세트 손실: 0.170819\t최선의 손실: 0.145431\t정확도: 95.82%\n", "60\t검증 세트 손실: 0.165728\t최선의 손실: 0.145431\t정확도: 95.93%\n", "61\t검증 세트 손실: 0.164970\t최선의 손실: 0.145431\t정확도: 96.09%\n", "62\t검증 세트 손실: 0.169929\t최선의 손실: 0.145431\t정확도: 96.17%\n", "63\t검증 세트 손실: 0.161471\t최선의 손실: 0.145431\t정확도: 96.01%\n", "64\t검증 세트 손실: 0.162565\t최선의 손실: 0.145431\t정확도: 96.09%\n", "65\t검증 세트 손실: 0.165931\t최선의 손실: 0.145431\t정확도: 96.05%\n", "66\t검증 세트 손실: 0.169143\t최선의 손실: 0.145431\t정확도: 96.25%\n", "67\t검증 세트 손실: 0.171962\t최선의 손실: 0.145431\t정확도: 96.13%\n", "68\t검증 세트 손실: 0.173022\t최선의 손실: 0.145431\t정확도: 95.90%\n", "69\t검증 세트 손실: 0.171573\t최선의 손실: 0.145431\t정확도: 95.86%\n", "70\t검증 세트 손실: 0.166113\t최선의 손실: 0.145431\t정확도: 96.09%\n", "71\t검증 세트 손실: 0.159490\t최선의 손실: 0.145431\t정확도: 96.44%\n", "72\t검증 세트 손실: 0.167629\t최선의 손실: 0.145431\t정확도: 96.01%\n", "73\t검증 세트 손실: 0.162238\t최선의 손실: 0.145431\t정확도: 96.33%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=, total= 11.3s\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation= \n", "0\t검증 세트 손실: 0.669317\t최선의 손실: 0.669317\t정확도: 75.57%\n", "1\t검증 세트 손실: 0.431681\t최선의 손실: 0.431681\t정확도: 79.24%\n", "2\t검증 세트 손실: 0.384220\t최선의 손실: 0.384220\t정확도: 79.24%\n", "3\t검증 세트 손실: 0.381841\t최선의 손실: 0.381841\t정확도: 79.59%\n", "4\t검증 세트 손실: 0.376140\t최선의 손실: 0.376140\t정확도: 78.54%\n", "5\t검증 세트 손실: 0.366436\t최선의 손실: 0.366436\t정확도: 79.71%\n", "6\t검증 세트 손실: 0.363819\t최선의 손실: 0.363819\t정확도: 78.30%\n", "7\t검증 세트 손실: 0.356222\t최선의 손실: 0.356222\t정확도: 79.71%\n", "8\t검증 세트 손실: 0.379739\t최선의 손실: 0.356222\t정확도: 79.59%\n", "9\t검증 세트 손실: 0.354180\t최선의 손실: 0.354180\t정확도: 78.81%\n", "10\t검증 세트 손실: 0.358930\t최선의 손실: 0.354180\t정확도: 79.67%\n", "11\t검증 세트 손실: 0.365103\t최선의 손실: 0.354180\t정확도: 79.75%\n", "12\t검증 세트 손실: 0.366336\t최선의 손실: 0.354180\t정확도: 79.87%\n", "13\t검증 세트 손실: 0.362160\t최선의 손실: 0.354180\t정확도: 79.71%\n", "14\t검증 세트 손실: 0.360736\t최선의 손실: 0.354180\t정확도: 78.62%\n", "15\t검증 세트 손실: 0.365011\t최선의 손실: 0.354180\t정확도: 79.79%\n", "16\t검증 세트 손실: 0.364666\t최선의 손실: 0.354180\t정확도: 79.91%\n", "17\t검증 세트 손실: 0.353274\t최선의 손실: 0.353274\t정확도: 80.06%\n", "18\t검증 세트 손실: 0.359812\t최선의 손실: 0.353274\t정확도: 80.06%\n", "19\t검증 세트 손실: 0.370195\t최선의 손실: 0.353274\t정확도: 79.44%\n", "20\t검증 세트 손실: 0.357341\t최선의 손실: 0.353274\t정확도: 78.66%\n", "21\t검증 세트 손실: 0.356608\t최선의 손실: 0.353274\t정확도: 78.62%\n", "22\t검증 세트 손실: 0.353998\t최선의 손실: 0.353274\t정확도: 79.98%\n", "23\t검증 세트 손실: 0.355960\t최선의 손실: 0.353274\t정확도: 78.73%\n", "24\t검증 세트 손실: 0.357175\t최선의 손실: 0.353274\t정확도: 77.64%\n", "25\t검증 세트 손실: 0.355861\t최선의 손실: 0.353274\t정확도: 79.71%\n", "26\t검증 세트 손실: 0.355380\t최선의 손실: 0.353274\t정확도: 78.81%\n", "27\t검증 세트 손실: 0.356374\t최선의 손실: 0.353274\t정확도: 78.93%\n", "28\t검증 세트 손실: 0.352907\t최선의 손실: 0.352907\t정확도: 79.98%\n", "29\t검증 세트 손실: 0.359581\t최선의 손실: 0.352907\t정확도: 79.79%\n", "30\t검증 세트 손실: 0.347053\t최선의 손실: 0.347053\t정확도: 79.98%\n", "31\t검증 세트 손실: 0.357916\t최선의 손실: 0.347053\t정확도: 78.73%\n", "32\t검증 세트 손실: 0.352730\t최선의 손실: 0.347053\t정확도: 79.87%\n", "33\t검증 세트 손실: 0.346774\t최선의 손실: 0.346774\t정확도: 80.06%\n", "34\t검증 세트 손실: 0.354774\t최선의 손실: 0.346774\t정확도: 79.09%\n", "35\t검증 세트 손실: 0.350065\t최선의 손실: 0.346774\t정확도: 79.05%\n", "36\t검증 세트 손실: 0.346416\t최선의 손실: 0.346416\t정확도: 79.75%\n", "37\t검증 세트 손실: 0.353870\t최선의 손실: 0.346416\t정확도: 78.97%\n", "38\t검증 세트 손실: 0.359865\t최선의 손실: 0.346416\t정확도: 79.98%\n", "39\t검증 세트 손실: 0.356780\t최선의 손실: 0.346416\t정확도: 79.95%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "40\t검증 세트 손실: 0.344450\t최선의 손실: 0.344450\t정확도: 79.09%\n", "41\t검증 세트 손실: 0.352250\t최선의 손실: 0.344450\t정확도: 78.93%\n", "42\t검증 세트 손실: 0.348689\t최선의 손실: 0.344450\t정확도: 79.05%\n", "43\t검증 세트 손실: 0.345105\t최선의 손실: 0.344450\t정확도: 82.25%\n", "44\t검증 세트 손실: 0.360644\t최선의 손실: 0.344450\t정확도: 79.83%\n", "45\t검증 세트 손실: 0.348491\t최선의 손실: 0.344450\t정확도: 81.86%\n", "46\t검증 세트 손실: 0.347191\t최선의 손실: 0.344450\t정확도: 78.89%\n", "47\t검증 세트 손실: 0.346310\t최선의 손실: 0.344450\t정확도: 79.87%\n", "48\t검증 세트 손실: 0.353666\t최선의 손실: 0.344450\t정확도: 78.77%\n", "49\t검증 세트 손실: 0.348429\t최선의 손실: 0.344450\t정확도: 80.06%\n", "50\t검증 세트 손실: 0.344841\t최선의 손실: 0.344450\t정확도: 79.05%\n", "51\t검증 세트 손실: 0.345465\t최선의 손실: 0.344450\t정확도: 79.87%\n", "52\t검증 세트 손실: 0.337181\t최선의 손실: 0.337181\t정확도: 80.02%\n", "53\t검증 세트 손실: 0.340668\t최선의 손실: 0.337181\t정확도: 79.71%\n", "54\t검증 세트 손실: 0.346811\t최선의 손실: 0.337181\t정확도: 79.09%\n", "55\t검증 세트 손실: 0.338672\t최선의 손실: 0.337181\t정확도: 79.12%\n", "56\t검증 세트 손실: 0.348988\t최선의 손실: 0.337181\t정확도: 79.05%\n", "57\t검증 세트 손실: 0.356916\t최선의 손실: 0.337181\t정확도: 79.20%\n", "58\t검증 세트 손실: 0.337334\t최선의 손실: 0.337181\t정확도: 80.06%\n", "59\t검증 세트 손실: 0.339265\t최선의 손실: 0.337181\t정확도: 80.06%\n", "60\t검증 세트 손실: 0.338588\t최선의 손실: 0.337181\t정확도: 80.18%\n", "61\t검증 세트 손실: 0.347769\t최선의 손실: 0.337181\t정확도: 80.10%\n", "62\t검증 세트 손실: 0.357171\t최선의 손실: 0.337181\t정확도: 79.83%\n", "63\t검증 세트 손실: 0.351318\t최선의 손실: 0.337181\t정확도: 79.79%\n", "64\t검증 세트 손실: 0.348386\t최선의 손실: 0.337181\t정확도: 78.69%\n", "65\t검증 세트 손실: 0.345092\t최선의 손실: 0.337181\t정확도: 78.85%\n", "66\t검증 세트 손실: 0.349479\t최선의 손실: 0.337181\t정확도: 79.75%\n", "67\t검증 세트 손실: 0.344314\t최선의 손실: 0.337181\t정확도: 79.09%\n", "68\t검증 세트 손실: 0.351042\t최선의 손실: 0.337181\t정확도: 79.79%\n", "69\t검증 세트 손실: 0.350461\t최선의 손실: 0.337181\t정확도: 79.12%\n", "70\t검증 세트 손실: 0.344703\t최선의 손실: 0.337181\t정확도: 79.87%\n", "71\t검증 세트 손실: 0.341310\t최선의 손실: 0.337181\t정확도: 79.28%\n", "72\t검증 세트 손실: 0.347210\t최선의 손실: 0.337181\t정확도: 79.91%\n", "73\t검증 세트 손실: 0.350678\t최선의 손실: 0.337181\t정확도: 79.95%\n", "조기 종료!\n", "[CV] n_neurons=30, learning_rate=0.01, dropout_rate=0.6, batch_size=500, activation=, total= 11.4s\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.148215\t최선의 손실: 0.148215\t정확도: 95.78%\n", "1\t검증 세트 손실: 0.128056\t최선의 손실: 0.128056\t정확도: 96.91%\n", "2\t검증 세트 손실: 0.111893\t최선의 손실: 0.111893\t정확도: 96.99%\n", "3\t검증 세트 손실: 0.117305\t최선의 손실: 0.111893\t정확도: 97.34%\n", "4\t검증 세트 손실: 0.086251\t최선의 손실: 0.086251\t정확도: 97.93%\n", "5\t검증 세트 손실: 0.083823\t최선의 손실: 0.083823\t정확도: 98.08%\n", "6\t검증 세트 손실: 0.086900\t최선의 손실: 0.083823\t정확도: 97.50%\n", "7\t검증 세트 손실: 0.097267\t최선의 손실: 0.083823\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.085572\t최선의 손실: 0.083823\t정확도: 98.12%\n", "9\t검증 세트 손실: 0.074145\t최선의 손실: 0.074145\t정확도: 98.12%\n", "10\t검증 세트 손실: 0.079903\t최선의 손실: 0.074145\t정확도: 98.16%\n", "11\t검증 세트 손실: 0.076328\t최선의 손실: 0.074145\t정확도: 98.08%\n", "12\t검증 세트 손실: 0.072680\t최선의 손실: 0.072680\t정확도: 98.24%\n", "13\t검증 세트 손실: 0.071747\t최선의 손실: 0.071747\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.076690\t최선의 손실: 0.071747\t정확도: 98.20%\n", "15\t검증 세트 손실: 0.072434\t최선의 손실: 0.071747\t정확도: 98.24%\n", "16\t검증 세트 손실: 0.093815\t최선의 손실: 0.071747\t정확도: 97.77%\n", "17\t검증 세트 손실: 0.080831\t최선의 손실: 0.071747\t정확도: 98.12%\n", "18\t검증 세트 손실: 0.122571\t최선의 손실: 0.071747\t정확도: 97.38%\n", "19\t검증 세트 손실: 0.084765\t최선의 손실: 0.071747\t정확도: 98.05%\n", "20\t검증 세트 손실: 0.084669\t최선의 손실: 0.071747\t정확도: 98.44%\n", "21\t검증 세트 손실: 0.076279\t최선의 손실: 0.071747\t정확도: 97.93%\n", "22\t검증 세트 손실: 0.074877\t최선의 손실: 0.071747\t정확도: 98.08%\n", "23\t검증 세트 손실: 0.088077\t최선의 손실: 0.071747\t정확도: 97.77%\n", "24\t검증 세트 손실: 0.076319\t최선의 손실: 0.071747\t정확도: 98.36%\n", "25\t검증 세트 손실: 0.079699\t최선의 손실: 0.071747\t정확도: 98.01%\n", "26\t검증 세트 손실: 0.101306\t최선의 손실: 0.071747\t정확도: 97.65%\n", "27\t검증 세트 손실: 0.121353\t최선의 손실: 0.071747\t정확도: 97.85%\n", "28\t검증 세트 손실: 0.166306\t최선의 손실: 0.071747\t정확도: 97.15%\n", "29\t검증 세트 손실: 0.126848\t최선의 손실: 0.071747\t정확도: 97.73%\n", "30\t검증 세트 손실: 0.097507\t최선의 손실: 0.071747\t정확도: 97.42%\n", "31\t검증 세트 손실: 0.093404\t최선의 손실: 0.071747\t정확도: 98.05%\n", "32\t검증 세트 손실: 0.102126\t최선의 손실: 0.071747\t정확도: 97.38%\n", "33\t검증 세트 손실: 0.112822\t최선의 손실: 0.071747\t정확도: 97.22%\n", "34\t검증 세트 손실: 0.122280\t최선의 손실: 0.071747\t정확도: 97.22%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.3s\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.152651\t최선의 손실: 0.152651\t정확도: 96.01%\n", "1\t검증 세트 손실: 0.119504\t최선의 손실: 0.119504\t정확도: 96.79%\n", "2\t검증 세트 손실: 0.093812\t최선의 손실: 0.093812\t정확도: 97.62%\n", "3\t검증 세트 손실: 0.099749\t최선의 손실: 0.093812\t정확도: 97.62%\n", "4\t검증 세트 손실: 0.109278\t최선의 손실: 0.093812\t정확도: 97.22%\n", "5\t검증 세트 손실: 0.088082\t최선의 손실: 0.088082\t정확도: 97.85%\n", "6\t검증 세트 손실: 0.090052\t최선의 손실: 0.088082\t정확도: 97.65%\n", "7\t검증 세트 손실: 0.083313\t최선의 손실: 0.083313\t정확도: 97.77%\n", "8\t검증 세트 손실: 0.081645\t최선의 손실: 0.081645\t정확도: 97.58%\n", "9\t검증 세트 손실: 0.074220\t최선의 손실: 0.074220\t정확도: 97.93%\n", "10\t검증 세트 손실: 0.085726\t최선의 손실: 0.074220\t정확도: 97.97%\n", "11\t검증 세트 손실: 0.079684\t최선의 손실: 0.074220\t정확도: 98.28%\n", "12\t검증 세트 손실: 0.073687\t최선의 손실: 0.073687\t정확도: 98.01%\n", "13\t검증 세트 손실: 0.117345\t최선의 손실: 0.073687\t정확도: 97.38%\n", "14\t검증 세트 손실: 0.107104\t최선의 손실: 0.073687\t정확도: 97.93%\n", "15\t검증 세트 손실: 0.089019\t최선의 손실: 0.073687\t정확도: 97.77%\n", "16\t검증 세트 손실: 0.115728\t최선의 손실: 0.073687\t정확도: 97.30%\n", "17\t검증 세트 손실: 0.106902\t최선의 손실: 0.073687\t정확도: 97.46%\n", "18\t검증 세트 손실: 0.088986\t최선의 손실: 0.073687\t정확도: 97.73%\n", "19\t검증 세트 손실: 0.165287\t최선의 손실: 0.073687\t정확도: 95.54%\n", "20\t검증 세트 손실: 0.119965\t최선의 손실: 0.073687\t정확도: 96.52%\n", "21\t검증 세트 손실: 0.254764\t최선의 손실: 0.073687\t정확도: 90.19%\n", "22\t검증 세트 손실: 0.249217\t최선의 손실: 0.073687\t정확도: 92.89%\n", "23\t검증 세트 손실: 0.165857\t최선의 손실: 0.073687\t정확도: 96.05%\n", "24\t검증 세트 손실: 0.182425\t최선의 손실: 0.073687\t정확도: 95.31%\n", "25\t검증 세트 손실: 0.186657\t최선의 손실: 0.073687\t정확도: 95.43%\n", "26\t검증 세트 손실: 0.187733\t최선의 손실: 0.073687\t정확도: 95.82%\n", "27\t검증 세트 손실: 0.183112\t최선의 손실: 0.073687\t정확도: 94.80%\n", "28\t검증 세트 손실: 0.161452\t최선의 손실: 0.073687\t정확도: 95.58%\n", "29\t검증 세트 손실: 0.148176\t최선의 손실: 0.073687\t정확도: 95.66%\n", "30\t검증 세트 손실: 0.142657\t최선의 손실: 0.073687\t정확도: 96.36%\n", "31\t검증 세트 손실: 0.150911\t최선의 손실: 0.073687\t정확도: 94.88%\n", "32\t검증 세트 손실: 0.214169\t최선의 손실: 0.073687\t정확도: 94.14%\n", "33\t검증 세트 손실: 0.165087\t최선의 손실: 0.073687\t정확도: 94.18%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.1s\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.126526\t최선의 손실: 0.126526\t정확도: 96.44%\n", "1\t검증 세트 손실: 0.117187\t최선의 손실: 0.117187\t정확도: 97.03%\n", "2\t검증 세트 손실: 0.087989\t최선의 손실: 0.087989\t정확도: 97.69%\n", "3\t검증 세트 손실: 0.088555\t최선의 손실: 0.087989\t정확도: 97.54%\n", "4\t검증 세트 손실: 0.080882\t최선의 손실: 0.080882\t정확도: 97.81%\n", "5\t검증 세트 손실: 0.085643\t최선의 손실: 0.080882\t정확도: 97.46%\n", "6\t검증 세트 손실: 0.077383\t최선의 손실: 0.077383\t정확도: 98.01%\n", "7\t검증 세트 손실: 0.089044\t최선의 손실: 0.077383\t정확도: 97.93%\n", "8\t검증 세트 손실: 0.084079\t최선의 손실: 0.077383\t정확도: 98.16%\n", "9\t검증 세트 손실: 0.097144\t최선의 손실: 0.077383\t정확도: 97.89%\n", "10\t검증 세트 손실: 0.106681\t최선의 손실: 0.077383\t정확도: 97.89%\n", "11\t검증 세트 손실: 0.078828\t최선의 손실: 0.077383\t정확도: 98.20%\n", "12\t검증 세트 손실: 0.098254\t최선의 손실: 0.077383\t정확도: 98.08%\n", "13\t검증 세트 손실: 0.078912\t최선의 손실: 0.077383\t정확도: 97.97%\n", "14\t검증 세트 손실: 0.070450\t최선의 손실: 0.070450\t정확도: 98.48%\n", "15\t검증 세트 손실: 0.092068\t최선의 손실: 0.070450\t정확도: 97.97%\n", "16\t검증 세트 손실: 0.113740\t최선의 손실: 0.070450\t정확도: 97.81%\n", "17\t검증 세트 손실: 0.110273\t최선의 손실: 0.070450\t정확도: 97.50%\n", "18\t검증 세트 손실: 0.150974\t최선의 손실: 0.070450\t정확도: 97.50%\n", "19\t검증 세트 손실: 0.140674\t최선의 손실: 0.070450\t정확도: 97.69%\n", "20\t검증 세트 손실: 0.132409\t최선의 손실: 0.070450\t정확도: 97.58%\n", "21\t검증 세트 손실: 0.195970\t최선의 손실: 0.070450\t정확도: 97.73%\n", "22\t검증 세트 손실: 0.179845\t최선의 손실: 0.070450\t정확도: 97.07%\n", "23\t검증 세트 손실: 0.109350\t최선의 손실: 0.070450\t정확도: 97.54%\n", "24\t검증 세트 손실: 0.107011\t최선의 손실: 0.070450\t정확도: 97.46%\n", "25\t검증 세트 손실: 0.168155\t최선의 손실: 0.070450\t정확도: 95.93%\n", "26\t검증 세트 손실: 0.129466\t최선의 손실: 0.070450\t정확도: 96.87%\n", "27\t검증 세트 손실: 0.106540\t최선의 손실: 0.070450\t정확도: 97.54%\n", "28\t검증 세트 손실: 0.106077\t최선의 손실: 0.070450\t정확도: 97.03%\n", "29\t검증 세트 손실: 0.339686\t최선의 손실: 0.070450\t정확도: 94.14%\n", "30\t검증 세트 손실: 0.242235\t최선의 손실: 0.070450\t정확도: 92.92%\n", "31\t검증 세트 손실: 0.225933\t최선의 손실: 0.070450\t정확도: 94.21%\n", "32\t검증 세트 손실: 0.317518\t최선의 손실: 0.070450\t정확도: 95.82%\n", "33\t검증 세트 손실: 0.197781\t최선의 손실: 0.070450\t정확도: 94.61%\n", "34\t검증 세트 손실: 0.197854\t최선의 손실: 0.070450\t정확도: 96.01%\n", "35\t검증 세트 손실: 0.158253\t최선의 손실: 0.070450\t정확도: 96.95%\n", "조기 종료!\n", "[CV] n_neurons=90, learning_rate=0.02, dropout_rate=0.3, batch_size=500, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.5s\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.097567\t최선의 손실: 0.097567\t정확도: 97.42%\n", "1\t검증 세트 손실: 0.083665\t최선의 손실: 0.083665\t정확도: 97.58%\n", "2\t검증 세트 손실: 0.076499\t최선의 손실: 0.076499\t정확도: 97.97%\n", "3\t검증 세트 손실: 0.059789\t최선의 손실: 0.059789\t정확도: 98.67%\n", "4\t검증 세트 손실: 0.068968\t최선의 손실: 0.059789\t정확도: 98.12%\n", "5\t검증 세트 손실: 0.115135\t최선의 손실: 0.059789\t정확도: 97.77%\n", "6\t검증 세트 손실: 0.086134\t최선의 손실: 0.059789\t정확도: 98.24%\n", "7\t검증 세트 손실: 0.070107\t최선의 손실: 0.059789\t정확도: 98.36%\n", "8\t검증 세트 손실: 0.068993\t최선의 손실: 0.059789\t정확도: 98.36%\n", "9\t검증 세트 손실: 0.076811\t최선의 손실: 0.059789\t정확도: 97.97%\n", "10\t검증 세트 손실: 0.071646\t최선의 손실: 0.059789\t정확도: 98.44%\n", "11\t검증 세트 손실: 0.063924\t최선의 손실: 0.059789\t정확도: 98.44%\n", "12\t검증 세트 손실: 0.069174\t최선의 손실: 0.059789\t정확도: 98.12%\n", "13\t검증 세트 손실: 0.057746\t최선의 손실: 0.057746\t정확도: 98.51%\n", "14\t검증 세트 손실: 0.078100\t최선의 손실: 0.057746\t정확도: 98.20%\n", "15\t검증 세트 손실: 0.058465\t최선의 손실: 0.057746\t정확도: 98.16%\n", "16\t검증 세트 손실: 0.096372\t최선의 손실: 0.057746\t정확도: 98.36%\n", "17\t검증 세트 손실: 0.067281\t최선의 손실: 0.057746\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.095468\t최선의 손실: 0.057746\t정확도: 97.46%\n", "19\t검증 세트 손실: 0.112692\t최선의 손실: 0.057746\t정확도: 98.24%\n", "20\t검증 세트 손실: 0.090470\t최선의 손실: 0.057746\t정확도: 97.93%\n", "21\t검증 세트 손실: 0.071979\t최선의 손실: 0.057746\t정확도: 98.28%\n", "22\t검증 세트 손실: 0.059466\t최선의 손실: 0.057746\t정확도: 98.59%\n", "23\t검증 세트 손실: 0.058353\t최선의 손실: 0.057746\t정확도: 98.59%\n", "24\t검증 세트 손실: 0.069288\t최선의 손실: 0.057746\t정확도: 98.48%\n", "25\t검증 세트 손실: 0.056584\t최선의 손실: 0.056584\t정확도: 98.48%\n", "26\t검증 세트 손실: 0.053215\t최선의 손실: 0.053215\t정확도: 98.63%\n", "27\t검증 세트 손실: 0.083792\t최선의 손실: 0.053215\t정확도: 98.40%\n", "28\t검증 세트 손실: 0.103232\t최선의 손실: 0.053215\t정확도: 98.44%\n", "29\t검증 세트 손실: 0.075203\t최선의 손실: 0.053215\t정확도: 98.16%\n", "30\t검증 세트 손실: 0.100808\t최선의 손실: 0.053215\t정확도: 97.97%\n", "31\t검증 세트 손실: 0.072533\t최선의 손실: 0.053215\t정확도: 98.28%\n", "32\t검증 세트 손실: 0.076866\t최선의 손실: 0.053215\t정확도: 98.59%\n", "33\t검증 세트 손실: 0.091245\t최선의 손실: 0.053215\t정확도: 98.51%\n", "34\t검증 세트 손실: 0.109959\t최선의 손실: 0.053215\t정확도: 98.44%\n", "35\t검증 세트 손실: 0.093728\t최선의 손실: 0.053215\t정확도: 98.44%\n", "36\t검증 세트 손실: 0.107257\t최선의 손실: 0.053215\t정확도: 98.48%\n", "37\t검증 세트 손실: 0.083795\t최선의 손실: 0.053215\t정확도: 98.55%\n", "38\t검증 세트 손실: 0.073659\t최선의 손실: 0.053215\t정확도: 98.63%\n", "39\t검증 세트 손실: 0.104720\t최선의 손실: 0.053215\t정확도: 98.40%\n", "40\t검증 세트 손실: 0.080669\t최선의 손실: 0.053215\t정확도: 98.91%\n", "41\t검증 세트 손실: 0.099474\t최선의 손실: 0.053215\t정확도: 98.59%\n", "42\t검증 세트 손실: 0.076251\t최선의 손실: 0.053215\t정확도: 98.51%\n", "43\t검증 세트 손실: 0.157728\t최선의 손실: 0.053215\t정확도: 98.44%\n", "44\t검증 세트 손실: 0.071636\t최선의 손실: 0.053215\t정확도: 98.63%\n", "45\t검증 세트 손실: 0.086378\t최선의 손실: 0.053215\t정확도: 98.71%\n", "46\t검증 세트 손실: 0.075006\t최선의 손실: 0.053215\t정확도: 98.59%\n", "47\t검증 세트 손실: 0.069429\t최선의 손실: 0.053215\t정확도: 98.55%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 17.1s\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.092474\t최선의 손실: 0.092474\t정확도: 97.34%\n", "1\t검증 세트 손실: 0.090500\t최선의 손실: 0.090500\t정확도: 97.54%\n", "2\t검증 세트 손실: 0.079864\t최선의 손실: 0.079864\t정확도: 98.12%\n", "3\t검증 세트 손실: 0.061683\t최선의 손실: 0.061683\t정확도: 98.20%\n", "4\t검증 세트 손실: 0.069553\t최선의 손실: 0.061683\t정확도: 98.32%\n", "5\t검증 세트 손실: 0.070756\t최선의 손실: 0.061683\t정확도: 97.93%\n", "6\t검증 세트 손실: 0.073924\t최선의 손실: 0.061683\t정확도: 98.20%\n", "7\t검증 세트 손실: 0.070878\t최선의 손실: 0.061683\t정확도: 98.12%\n", "8\t검증 세트 손실: 0.102100\t최선의 손실: 0.061683\t정확도: 98.32%\n", "9\t검증 세트 손실: 0.064179\t최선의 손실: 0.061683\t정확도: 98.79%\n", "10\t검증 세트 손실: 0.086993\t최선의 손실: 0.061683\t정확도: 98.01%\n", "11\t검증 세트 손실: 0.097581\t최선의 손실: 0.061683\t정확도: 97.62%\n", "12\t검증 세트 손실: 0.074603\t최선의 손실: 0.061683\t정확도: 98.05%\n", "13\t검증 세트 손실: 0.070069\t최선의 손실: 0.061683\t정확도: 98.28%\n", "14\t검증 세트 손실: 0.074277\t최선의 손실: 0.061683\t정확도: 98.16%\n", "15\t검증 세트 손실: 0.067083\t최선의 손실: 0.061683\t정확도: 98.40%\n", "16\t검증 세트 손실: 0.090014\t최선의 손실: 0.061683\t정확도: 98.48%\n", "17\t검증 세트 손실: 0.079569\t최선의 손실: 0.061683\t정확도: 98.16%\n", "18\t검증 세트 손실: 0.076806\t최선의 손실: 0.061683\t정확도: 98.24%\n", "19\t검증 세트 손실: 0.068528\t최선의 손실: 0.061683\t정확도: 98.01%\n", "20\t검증 세트 손실: 0.069049\t최선의 손실: 0.061683\t정확도: 98.05%\n", "21\t검증 세트 손실: 0.111941\t최선의 손실: 0.061683\t정확도: 97.93%\n", "22\t검증 세트 손실: 0.079736\t최선의 손실: 0.061683\t정확도: 98.32%\n", "23\t검증 세트 손실: 0.067509\t최선의 손실: 0.061683\t정확도: 98.48%\n", "24\t검증 세트 손실: 0.074588\t최선의 손실: 0.061683\t정확도: 98.28%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.3s\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8> \n", "0\t검증 세트 손실: 0.091386\t최선의 손실: 0.091386\t정확도: 97.69%\n", "1\t검증 세트 손실: 0.092817\t최선의 손실: 0.091386\t정확도: 97.77%\n", "2\t검증 세트 손실: 0.089641\t최선의 손실: 0.089641\t정확도: 97.77%\n", "3\t검증 세트 손실: 0.060595\t최선의 손실: 0.060595\t정확도: 98.48%\n", "4\t검증 세트 손실: 0.069433\t최선의 손실: 0.060595\t정확도: 98.63%\n", "5\t검증 세트 손실: 0.071262\t최선의 손실: 0.060595\t정확도: 98.48%\n", "6\t검증 세트 손실: 0.071292\t최선의 손실: 0.060595\t정확도: 98.32%\n", "7\t검증 세트 손실: 0.064910\t최선의 손실: 0.060595\t정확도: 98.28%\n", "8\t검증 세트 손실: 0.066381\t최선의 손실: 0.060595\t정확도: 98.75%\n", "9\t검증 세트 손실: 0.064322\t최선의 손실: 0.060595\t정확도: 98.20%\n", "10\t검증 세트 손실: 0.069584\t최선의 손실: 0.060595\t정확도: 98.36%\n", "11\t검증 세트 손실: 0.078042\t최선의 손실: 0.060595\t정확도: 98.48%\n", "12\t검증 세트 손실: 0.081452\t최선의 손실: 0.060595\t정확도: 98.28%\n", "13\t검증 세트 손실: 0.065726\t최선의 손실: 0.060595\t정확도: 98.40%\n", "14\t검증 세트 손실: 0.067917\t최선의 손실: 0.060595\t정확도: 98.40%\n", "15\t검증 세트 손실: 0.065413\t최선의 손실: 0.060595\t정확도: 98.48%\n", "16\t검증 세트 손실: 0.071876\t최선의 손실: 0.060595\t정확도: 98.08%\n", "17\t검증 세트 손실: 0.066022\t최선의 손실: 0.060595\t정확도: 98.24%\n", "18\t검증 세트 손실: 0.087951\t최선의 손실: 0.060595\t정확도: 98.20%\n", "19\t검증 세트 손실: 0.075076\t최선의 손실: 0.060595\t정확도: 98.40%\n", "20\t검증 세트 손실: 0.106118\t최선의 손실: 0.060595\t정확도: 97.97%\n", "21\t검증 세트 손실: 0.076745\t최선의 손실: 0.060595\t정확도: 98.16%\n", "22\t검증 세트 손실: 0.090893\t최선의 손실: 0.060595\t정확도: 98.28%\n", "23\t검증 세트 손실: 0.081706\t최선의 손실: 0.060595\t정확도: 98.16%\n", "24\t검증 세트 손실: 0.104826\t최선의 손실: 0.060595\t정확도: 98.08%\n", "조기 종료!\n", "[CV] n_neurons=70, learning_rate=0.01, dropout_rate=0.2, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d6ae8>, total= 9.3s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.225262\t최선의 손실: 0.225262\t정확도: 94.92%\n", "1\t검증 세트 손실: 0.200857\t최선의 손실: 0.200857\t정확도: 95.11%\n", "2\t검증 세트 손실: 0.228207\t최선의 손실: 0.200857\t정확도: 95.11%\n", "3\t검증 세트 손실: 0.180059\t최선의 손실: 0.180059\t정확도: 94.72%\n", "4\t검증 세트 손실: 0.214953\t최선의 손실: 0.180059\t정확도: 94.29%\n", "5\t검증 세트 손실: 0.175284\t최선의 손실: 0.175284\t정확도: 94.96%\n", "6\t검증 세트 손실: 0.208777\t최선의 손실: 0.175284\t정확도: 94.33%\n", "7\t검증 세트 손실: 0.301230\t최선의 손실: 0.175284\t정확도: 91.99%\n", "8\t검증 세트 손실: 0.435575\t최선의 손실: 0.175284\t정확도: 92.18%\n", "9\t검증 세트 손실: 0.257656\t최선의 손실: 0.175284\t정확도: 92.96%\n", "10\t검증 세트 손실: 0.253792\t최선의 손실: 0.175284\t정확도: 92.77%\n", "11\t검증 세트 손실: 0.353973\t최선의 손실: 0.175284\t정확도: 91.13%\n", "12\t검증 세트 손실: 0.322172\t최선의 손실: 0.175284\t정확도: 92.03%\n", "13\t검증 세트 손실: 0.295252\t최선의 손실: 0.175284\t정확도: 91.44%\n", "14\t검증 세트 손실: 0.272172\t최선의 손실: 0.175284\t정확도: 93.20%\n", "15\t검증 세트 손실: 0.294796\t최선의 손실: 0.175284\t정확도: 92.92%\n", "16\t검증 세트 손실: 0.279213\t최선의 손실: 0.175284\t정확도: 92.65%\n", "17\t검증 세트 손실: 0.408396\t최선의 손실: 0.175284\t정확도: 88.35%\n", "18\t검증 세트 손실: 0.372767\t최선의 손실: 0.175284\t정확도: 91.56%\n", "19\t검증 세트 손실: 0.292114\t최선의 손실: 0.175284\t정확도: 94.37%\n", "20\t검증 세트 손실: 0.296955\t최선의 손실: 0.175284\t정확도: 92.89%\n", "21\t검증 세트 손실: 0.397245\t최선의 손실: 0.175284\t정확도: 88.86%\n", "22\t검증 세트 손실: 0.419079\t최선의 손실: 0.175284\t정확도: 88.39%\n", "23\t검증 세트 손실: 0.409681\t최선의 손실: 0.175284\t정확도: 87.57%\n", "24\t검증 세트 손실: 0.380631\t최선의 손실: 0.175284\t정확도: 89.80%\n", "25\t검증 세트 손실: 0.395619\t최선의 손실: 0.175284\t정확도: 87.88%\n", "26\t검증 세트 손실: 0.399087\t최선의 손실: 0.175284\t정확도: 87.02%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=, total= 20.2s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.194135\t최선의 손실: 0.194135\t정확도: 95.07%\n", "1\t검증 세트 손실: 0.189781\t최선의 손실: 0.189781\t정확도: 95.43%\n", "2\t검증 세트 손실: 0.170270\t최선의 손실: 0.170270\t정확도: 95.39%\n", "3\t검증 세트 손실: 0.153995\t최선의 손실: 0.153995\t정확도: 96.05%\n", "4\t검증 세트 손실: 0.196015\t최선의 손실: 0.153995\t정확도: 94.68%\n", "5\t검증 세트 손실: 0.209975\t최선의 손실: 0.153995\t정확도: 93.90%\n", "6\t검증 세트 손실: 0.308548\t최선의 손실: 0.153995\t정확도: 92.89%\n", "7\t검증 세트 손실: 0.246837\t최선의 손실: 0.153995\t정확도: 92.89%\n", "8\t검증 세트 손실: 0.253123\t최선의 손실: 0.153995\t정확도: 92.89%\n", "9\t검증 세트 손실: 0.369646\t최선의 손실: 0.153995\t정확도: 89.05%\n", "10\t검증 세트 손실: 0.250795\t최선의 손실: 0.153995\t정확도: 93.04%\n", "11\t검증 세트 손실: 0.260301\t최선의 손실: 0.153995\t정확도: 92.38%\n", "12\t검증 세트 손실: 0.250002\t최선의 손실: 0.153995\t정확도: 92.42%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "13\t검증 세트 손실: 0.235920\t최선의 손실: 0.153995\t정확도: 93.35%\n", "14\t검증 세트 손실: 0.226952\t최선의 손실: 0.153995\t정확도: 93.55%\n", "15\t검증 세트 손실: 0.248416\t최선의 손실: 0.153995\t정확도: 92.73%\n", "16\t검증 세트 손실: 0.274826\t최선의 손실: 0.153995\t정확도: 93.35%\n", "17\t검증 세트 손실: 0.261735\t최선의 손실: 0.153995\t정확도: 93.39%\n", "18\t검증 세트 손실: 0.308440\t최선의 손실: 0.153995\t정확도: 91.91%\n", "19\t검증 세트 손실: 0.296059\t최선의 손실: 0.153995\t정확도: 92.57%\n", "20\t검증 세트 손실: 0.282029\t최선의 손실: 0.153995\t정확도: 90.34%\n", "21\t검증 세트 손실: 0.537455\t최선의 손실: 0.153995\t정확도: 79.91%\n", "22\t검증 세트 손실: 0.363679\t최선의 손실: 0.153995\t정확도: 87.26%\n", "23\t검증 세트 손실: 0.404868\t최선의 손실: 0.153995\t정확도: 87.37%\n", "24\t검증 세트 손실: 0.304646\t최선의 손실: 0.153995\t정확도: 89.05%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=, total= 18.7s\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation= \n", "0\t검증 세트 손실: 0.157961\t최선의 손실: 0.157961\t정확도: 95.62%\n", "1\t검증 세트 손실: 0.167223\t최선의 손실: 0.157961\t정확도: 95.50%\n", "2\t검증 세트 손실: 0.180878\t최선의 손실: 0.157961\t정확도: 95.35%\n", "3\t검증 세트 손실: 0.199077\t최선의 손실: 0.157961\t정확도: 94.68%\n", "4\t검증 세트 손실: 0.446995\t최선의 손실: 0.157961\t정확도: 80.96%\n", "5\t검증 세트 손실: 0.218650\t최선의 손실: 0.157961\t정확도: 92.42%\n", "6\t검증 세트 손실: 0.288402\t최선의 손실: 0.157961\t정확도: 94.29%\n", "7\t검증 세트 손실: 0.158666\t최선의 손실: 0.157961\t정확도: 95.31%\n", "8\t검증 세트 손실: 0.234228\t최선의 손실: 0.157961\t정확도: 93.90%\n", "9\t검증 세트 손실: 0.195306\t최선의 손실: 0.157961\t정확도: 93.63%\n", "10\t검증 세트 손실: 0.224047\t최선의 손실: 0.157961\t정확도: 92.53%\n", "11\t검증 세트 손실: 0.198505\t최선의 손실: 0.157961\t정확도: 93.55%\n", "12\t검증 세트 손실: 0.234251\t최선의 손실: 0.157961\t정확도: 93.51%\n", "13\t검증 세트 손실: 0.479641\t최선의 손실: 0.157961\t정확도: 73.96%\n", "14\t검증 세트 손실: 0.301707\t최선의 손실: 0.157961\t정확도: 86.32%\n", "15\t검증 세트 손실: 0.277261\t최선의 손실: 0.157961\t정확도: 88.12%\n", "16\t검증 세트 손실: 0.344725\t최선의 손실: 0.157961\t정확도: 88.51%\n", "17\t검증 세트 손실: 0.394270\t최선의 손실: 0.157961\t정확도: 87.80%\n", "18\t검증 세트 손실: 0.356516\t최선의 손실: 0.157961\t정확도: 88.31%\n", "19\t검증 세트 손실: 0.336860\t최선의 손실: 0.157961\t정확도: 93.20%\n", "20\t검증 세트 손실: 0.331334\t최선의 손실: 0.157961\t정확도: 90.77%\n", "21\t검증 세트 손실: 0.337532\t최선의 손실: 0.157961\t정확도: 90.85%\n", "조기 종료!\n", "[CV] n_neurons=160, learning_rate=0.01, dropout_rate=0.5, batch_size=50, activation=, total= 16.6s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 16347.124023\t최선의 손실: 16347.124023\t정확도: 18.73%\n", "1\t검증 세트 손실: 78517.640625\t최선의 손실: 16347.124023\t정확도: 18.73%\n", "2\t검증 세트 손실: 5734.887695\t최선의 손실: 5734.887695\t정확도: 20.91%\n", "3\t검증 세트 손실: 10613.033203\t최선의 손실: 5734.887695\t정확도: 19.08%\n", "4\t검증 세트 손실: 21548.316406\t최선의 손실: 5734.887695\t정확도: 19.27%\n", "5\t검증 세트 손실: 2197.545410\t최선의 손실: 2197.545410\t정확도: 16.03%\n", "6\t검증 세트 손실: 4714.891602\t최선의 손실: 2197.545410\t정확도: 18.73%\n", "7\t검증 세트 손실: 4536.506836\t최선의 손실: 2197.545410\t정확도: 18.73%\n", "8\t검증 세트 손실: 644.755066\t최선의 손실: 644.755066\t정확도: 20.91%\n", "9\t검증 세트 손실: 13211.711914\t최선의 손실: 644.755066\t정확도: 22.01%\n", "10\t검증 세트 손실: 916.285400\t최선의 손실: 644.755066\t정확도: 18.73%\n", "11\t검증 세트 손실: 15442607.000000\t최선의 손실: 644.755066\t정확도: 18.73%\n", "12\t검증 세트 손실: 2028755.750000\t최선의 손실: 644.755066\t정확도: 18.73%\n", "13\t검증 세트 손실: 646174.187500\t최선의 손실: 644.755066\t정확도: 19.08%\n", "14\t검증 세트 손실: 161668.203125\t최선의 손실: 644.755066\t정확도: 19.08%\n", "15\t검증 세트 손실: 483330.750000\t최선의 손실: 644.755066\t정확도: 18.73%\n", "16\t검증 세트 손실: 495644.125000\t최선의 손실: 644.755066\t정확도: 19.08%\n", "17\t검증 세트 손실: 588669.937500\t최선의 손실: 644.755066\t정확도: 20.91%\n", "18\t검증 세트 손실: 140984.750000\t최선의 손실: 644.755066\t정확도: 18.73%\n", "19\t검증 세트 손실: 349979.500000\t최선의 손실: 644.755066\t정확도: 18.73%\n", "20\t검증 세트 손실: 29106.611328\t최선의 손실: 644.755066\t정확도: 18.73%\n", "21\t검증 세트 손실: 105348.390625\t최선의 손실: 644.755066\t정확도: 19.27%\n", "22\t검증 세트 손실: 66018.140625\t최선의 손실: 644.755066\t정확도: 19.27%\n", "23\t검증 세트 손실: 123503.523438\t최선의 손실: 644.755066\t정확도: 19.27%\n", "24\t검증 세트 손실: 109173.328125\t최선의 손실: 644.755066\t정확도: 20.91%\n", "25\t검증 세트 손실: 305720.250000\t최선의 손실: 644.755066\t정확도: 19.27%\n", "26\t검증 세트 손실: 136492.984375\t최선의 손실: 644.755066\t정확도: 20.91%\n", "27\t검증 세트 손실: 65761.960938\t최선의 손실: 644.755066\t정확도: 18.73%\n", "28\t검증 세트 손실: 272961.500000\t최선의 손실: 644.755066\t정확도: 20.91%\n", "29\t검증 세트 손실: 33932.882812\t최선의 손실: 644.755066\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.3s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 30747.427734\t최선의 손실: 30747.427734\t정확도: 20.91%\n", "1\t검증 세트 손실: 53322.152344\t최선의 손실: 30747.427734\t정확도: 22.01%\n", "2\t검증 세트 손실: 138446.843750\t최선의 손실: 30747.427734\t정확도: 14.70%\n", "3\t검증 세트 손실: 910259.937500\t최선의 손실: 30747.427734\t정확도: 22.01%\n", "4\t검증 세트 손실: 43472.898438\t최선의 손실: 30747.427734\t정확도: 19.08%\n", "5\t검증 세트 손실: 490136.406250\t최선의 손실: 30747.427734\t정확도: 20.91%\n", "6\t검증 세트 손실: 43413.339844\t최선의 손실: 30747.427734\t정확도: 22.01%\n", "7\t검증 세트 손실: 19137.957031\t최선의 손실: 19137.957031\t정확도: 19.08%\n", "8\t검증 세트 손실: 234382.656250\t최선의 손실: 19137.957031\t정확도: 19.27%\n", "9\t검증 세트 손실: 305894.468750\t최선의 손실: 19137.957031\t정확도: 20.84%\n", "10\t검증 세트 손실: 64777.195312\t최선의 손실: 19137.957031\t정확도: 19.27%\n", "11\t검증 세트 손실: 25992.476562\t최선의 손실: 19137.957031\t정확도: 19.08%\n", "12\t검증 세트 손실: 16694.697266\t최선의 손실: 16694.697266\t정확도: 18.73%\n", "13\t검증 세트 손실: 114504.781250\t최선의 손실: 16694.697266\t정확도: 18.73%\n", "14\t검증 세트 손실: 65979.382812\t최선의 손실: 16694.697266\t정확도: 18.73%\n", "15\t검증 세트 손실: 6684.449707\t최선의 손실: 6684.449707\t정확도: 19.27%\n", "16\t검증 세트 손실: 8742.773438\t최선의 손실: 6684.449707\t정확도: 22.01%\n", "17\t검증 세트 손실: 15028.166992\t최선의 손실: 6684.449707\t정확도: 19.08%\n", "18\t검증 세트 손실: 9491.151367\t최선의 손실: 6684.449707\t정확도: 20.91%\n", "19\t검증 세트 손실: 7714.142090\t최선의 손실: 6684.449707\t정확도: 18.73%\n", "20\t검증 세트 손실: 11808.904297\t최선의 손실: 6684.449707\t정확도: 18.73%\n", "21\t검증 세트 손실: 5547.020508\t최선의 손실: 5547.020508\t정확도: 22.01%\n", "22\t검증 세트 손실: 4150.144043\t최선의 손실: 4150.144043\t정확도: 18.73%\n", "23\t검증 세트 손실: 347847.343750\t최선의 손실: 4150.144043\t정확도: 19.08%\n", "24\t검증 세트 손실: 10390920.000000\t최선의 손실: 4150.144043\t정확도: 18.73%\n", "25\t검증 세트 손실: 94303424.000000\t최선의 손실: 4150.144043\t정확도: 19.27%\n", "26\t검증 세트 손실: 11752265.000000\t최선의 손실: 4150.144043\t정확도: 19.08%\n", "27\t검증 세트 손실: 10756145.000000\t최선의 손실: 4150.144043\t정확도: 19.08%\n", "28\t검증 세트 손실: 4045107.750000\t최선의 손실: 4150.144043\t정확도: 18.73%\n", "29\t검증 세트 손실: 4397903.500000\t최선의 손실: 4150.144043\t정확도: 22.01%\n", "30\t검증 세트 손실: 3867237.000000\t최선의 손실: 4150.144043\t정확도: 20.91%\n", "31\t검증 세트 손실: 3692295.750000\t최선의 손실: 4150.144043\t정확도: 19.08%\n", "32\t검증 세트 손실: 3171406.750000\t최선의 손실: 4150.144043\t정확도: 18.73%\n", "33\t검증 세트 손실: 3064888.000000\t최선의 손실: 4150.144043\t정확도: 22.01%\n", "34\t검증 세트 손실: 1959188.250000\t최선의 손실: 4150.144043\t정확도: 19.27%\n", "35\t검증 세트 손실: 924829.750000\t최선의 손실: 4150.144043\t정확도: 19.27%\n", "36\t검증 세트 손실: 1285706.000000\t최선의 손실: 4150.144043\t정확도: 20.91%\n", "37\t검증 세트 손실: 2094252.375000\t최선의 손실: 4150.144043\t정확도: 22.01%\n", "38\t검증 세트 손실: 1529589.750000\t최선의 손실: 4150.144043\t정확도: 20.91%\n", "39\t검증 세트 손실: 1492652.875000\t최선의 손실: 4150.144043\t정확도: 19.27%\n", "40\t검증 세트 손실: 1125020.750000\t최선의 손실: 4150.144043\t정확도: 19.08%\n", "41\t검증 세트 손실: 474515.375000\t최선의 손실: 4150.144043\t정확도: 18.73%\n", "42\t검증 세트 손실: 1161111.625000\t최선의 손실: 4150.144043\t정확도: 19.27%\n", "43\t검증 세트 손실: 426008.125000\t최선의 손실: 4150.144043\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 20.4s\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0> \n", "0\t검증 세트 손실: 5854.613770\t최선의 손실: 5854.613770\t정확도: 18.73%\n", "1\t검증 세트 손실: 85805.273438\t최선의 손실: 5854.613770\t정확도: 19.27%\n", "2\t검증 세트 손실: 37586.582031\t최선의 손실: 5854.613770\t정확도: 19.08%\n", "3\t검증 세트 손실: 395308.093750\t최선의 손실: 5854.613770\t정확도: 18.73%\n", "4\t검증 세트 손실: 31268.435547\t최선의 손실: 5854.613770\t정확도: 22.01%\n", "5\t검증 세트 손실: 79517.062500\t최선의 손실: 5854.613770\t정확도: 19.27%\n", "6\t검증 세트 손실: 27540.882812\t최선의 손실: 5854.613770\t정확도: 19.27%\n", "7\t검증 세트 손실: 2864.102051\t최선의 손실: 2864.102051\t정확도: 18.73%\n", "8\t검증 세트 손실: 1746.128174\t최선의 손실: 1746.128174\t정확도: 20.91%\n", "9\t검증 세트 손실: 42175.789062\t최선의 손실: 1746.128174\t정확도: 20.91%\n", "10\t검증 세트 손실: 19276.593750\t최선의 손실: 1746.128174\t정확도: 20.91%\n", "11\t검증 세트 손실: 4202.840820\t최선의 손실: 1746.128174\t정확도: 19.08%\n", "12\t검증 세트 손실: 3629.942627\t최선의 손실: 1746.128174\t정확도: 19.08%\n", "13\t검증 세트 손실: 3921.395264\t최선의 손실: 1746.128174\t정확도: 22.01%\n", "14\t검증 세트 손실: 3304.600098\t최선의 손실: 1746.128174\t정확도: 22.01%\n", "15\t검증 세트 손실: 2538.738037\t최선의 손실: 1746.128174\t정확도: 18.73%\n", "16\t검증 세트 손실: 16185.366211\t최선의 손실: 1746.128174\t정확도: 22.01%\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "17\t검증 세트 손실: 6231.825684\t최선의 손실: 1746.128174\t정확도: 18.73%\n", "18\t검증 세트 손실: 434688.843750\t최선의 손실: 1746.128174\t정확도: 18.73%\n", "19\t검증 세트 손실: 9852926.000000\t최선의 손실: 1746.128174\t정확도: 19.27%\n", "20\t검증 세트 손실: 4059767.750000\t최선의 손실: 1746.128174\t정확도: 22.01%\n", "21\t검증 세트 손실: 11237864.000000\t최선의 손실: 1746.128174\t정확도: 19.27%\n", "22\t검증 세트 손실: 4565330.500000\t최선의 손실: 1746.128174\t정확도: 19.08%\n", "23\t검증 세트 손실: 2196772.250000\t최선의 손실: 1746.128174\t정확도: 22.01%\n", "24\t검증 세트 손실: 1719740.000000\t최선의 손실: 1746.128174\t정확도: 20.91%\n", "25\t검증 세트 손실: 510705.375000\t최선의 손실: 1746.128174\t정확도: 20.91%\n", "26\t검증 세트 손실: 421729.937500\t최선의 손실: 1746.128174\t정확도: 19.27%\n", "27\t검증 세트 손실: 956223.062500\t최선의 손실: 1746.128174\t정확도: 22.01%\n", "28\t검증 세트 손실: 1910548.875000\t최선의 손실: 1746.128174\t정확도: 18.73%\n", "29\t검증 세트 손실: 365866.562500\t최선의 손실: 1746.128174\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=100, learning_rate=0.1, dropout_rate=0.6, batch_size=100, activation=.parametrized_leaky_relu at 0x7f8e383d61e0>, total= 14.3s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.725842\t최선의 손실: 1.725842\t정확도: 19.27%\n", "1\t검증 세트 손실: 1.831523\t최선의 손실: 1.725842\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.731102\t최선의 손실: 1.725842\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.671313\t최선의 손실: 1.671313\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.646975\t최선의 손실: 1.646975\t정확도: 19.27%\n", "5\t검증 세트 손실: 1.657541\t최선의 손실: 1.646975\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.929369\t최선의 손실: 1.646975\t정확도: 18.73%\n", "7\t검증 세트 손실: 1.743398\t최선의 손실: 1.646975\t정확도: 19.27%\n", "8\t검증 세트 손실: 1.718536\t최선의 손실: 1.646975\t정확도: 19.27%\n", "9\t검증 세트 손실: 1.723054\t최선의 손실: 1.646975\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.681778\t최선의 손실: 1.646975\t정확도: 20.91%\n", "11\t검증 세트 손실: 1.664639\t최선의 손실: 1.646975\t정확도: 20.91%\n", "12\t검증 세트 손실: 1.682909\t최선의 손실: 1.646975\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.888026\t최선의 손실: 1.646975\t정확도: 19.27%\n", "14\t검증 세트 손실: 1.835572\t최선의 손실: 1.646975\t정확도: 18.73%\n", "15\t검증 세트 손실: 1.809642\t최선의 손실: 1.646975\t정확도: 22.01%\n", "16\t검증 세트 손실: 1.839359\t최선의 손실: 1.646975\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.640888\t최선의 손실: 1.640888\t정확도: 22.01%\n", "18\t검증 세트 손실: 2.119444\t최선의 손실: 1.640888\t정확도: 20.91%\n", "19\t검증 세트 손실: 1.769743\t최선의 손실: 1.640888\t정확도: 20.91%\n", "20\t검증 세트 손실: 1.624434\t최선의 손실: 1.624434\t정확도: 22.01%\n", "21\t검증 세트 손실: 1.743520\t최선의 손실: 1.624434\t정확도: 19.27%\n", "22\t검증 세트 손실: 1.638651\t최선의 손실: 1.624434\t정확도: 19.08%\n", "23\t검증 세트 손실: 1.922452\t최선의 손실: 1.624434\t정확도: 22.01%\n", "24\t검증 세트 손실: 1.683257\t최선의 손실: 1.624434\t정확도: 20.91%\n", "25\t검증 세트 손실: 1.869398\t최선의 손실: 1.624434\t정확도: 19.27%\n", "26\t검증 세트 손실: 1.730756\t최선의 손실: 1.624434\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.838259\t최선의 손실: 1.624434\t정확도: 18.73%\n", "28\t검증 세트 손실: 1.782173\t최선의 손실: 1.624434\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.670558\t최선의 손실: 1.624434\t정확도: 18.73%\n", "30\t검증 세트 손실: 1.749926\t최선의 손실: 1.624434\t정확도: 18.73%\n", "31\t검증 세트 손실: 1.714854\t최선의 손실: 1.624434\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.758972\t최선의 손실: 1.624434\t정확도: 19.08%\n", "33\t검증 세트 손실: 1.771945\t최선의 손실: 1.624434\t정확도: 18.73%\n", "34\t검증 세트 손실: 1.713982\t최선의 손실: 1.624434\t정확도: 22.01%\n", "35\t검증 세트 손실: 1.864773\t최선의 손실: 1.624434\t정확도: 19.08%\n", "36\t검증 세트 손실: 1.847001\t최선의 손실: 1.624434\t정확도: 22.01%\n", "37\t검증 세트 손실: 1.933463\t최선의 손실: 1.624434\t정확도: 18.73%\n", "38\t검증 세트 손실: 1.867929\t최선의 손실: 1.624434\t정확도: 18.73%\n", "39\t검증 세트 손실: 1.672134\t최선의 손실: 1.624434\t정확도: 19.08%\n", "40\t검증 세트 손실: 1.718477\t최선의 손실: 1.624434\t정확도: 19.27%\n", "41\t검증 세트 손실: 1.792876\t최선의 손실: 1.624434\t정확도: 20.91%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=, total= 23.7s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.780210\t최선의 손실: 1.780210\t정확도: 22.01%\n", "1\t검증 세트 손실: 1.883221\t최선의 손실: 1.780210\t정확도: 19.08%\n", "2\t검증 세트 손실: 1.755725\t최선의 손실: 1.755725\t정확도: 19.27%\n", "3\t검증 세트 손실: 1.700261\t최선의 손실: 1.700261\t정확도: 22.01%\n", "4\t검증 세트 손실: 1.670837\t최선의 손실: 1.670837\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.647363\t최선의 손실: 1.647363\t정확도: 19.08%\n", "6\t검증 세트 손실: 1.725077\t최선의 손실: 1.647363\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.828096\t최선의 손실: 1.647363\t정확도: 19.08%\n", "8\t검증 세트 손실: 1.722548\t최선의 손실: 1.647363\t정확도: 22.01%\n", "9\t검증 세트 손실: 2.068340\t최선의 손실: 1.647363\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.721404\t최선의 손실: 1.647363\t정확도: 22.01%\n", "11\t검증 세트 손실: 1.740526\t최선의 손실: 1.647363\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.634701\t최선의 손실: 1.634701\t정확도: 20.91%\n", "13\t검증 세트 손실: 1.633930\t최선의 손실: 1.633930\t정확도: 22.01%\n", "14\t검증 세트 손실: 1.793652\t최선의 손실: 1.633930\t정확도: 19.27%\n", "15\t검증 세트 손실: 1.634212\t최선의 손실: 1.633930\t정확도: 19.08%\n", "16\t검증 세트 손실: 1.742743\t최선의 손실: 1.633930\t정확도: 22.01%\n", "17\t검증 세트 손실: 1.744072\t최선의 손실: 1.633930\t정확도: 19.08%\n", "18\t검증 세트 손실: 1.820003\t최선의 손실: 1.633930\t정확도: 19.27%\n", "19\t검증 세트 손실: 1.731365\t최선의 손실: 1.633930\t정확도: 19.08%\n", "20\t검증 세트 손실: 1.742057\t최선의 손실: 1.633930\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.823286\t최선의 손실: 1.633930\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.834856\t최선의 손실: 1.633930\t정확도: 19.08%\n", "23\t검증 세트 손실: 1.687754\t최선의 손실: 1.633930\t정확도: 22.01%\n", "24\t검증 세트 손실: 2.072859\t최선의 손실: 1.633930\t정확도: 19.27%\n", "25\t검증 세트 손실: 1.845808\t최선의 손실: 1.633930\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.754821\t최선의 손실: 1.633930\t정확도: 19.08%\n", "27\t검증 세트 손실: 1.805981\t최선의 손실: 1.633930\t정확도: 20.91%\n", "28\t검증 세트 손실: 2.286471\t최선의 손실: 1.633930\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.765573\t최선의 손실: 1.633930\t정확도: 19.08%\n", "30\t검증 세트 손실: 1.802513\t최선의 손실: 1.633930\t정확도: 18.73%\n", "31\t검증 세트 손실: 1.952414\t최선의 손실: 1.633930\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.889600\t최선의 손실: 1.633930\t정확도: 19.08%\n", "33\t검증 세트 손실: 1.746254\t최선의 손실: 1.633930\t정확도: 18.73%\n", "34\t검증 세트 손실: 1.687603\t최선의 손실: 1.633930\t정확도: 19.27%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=, total= 20.1s\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation= \n", "0\t검증 세트 손실: 1.917151\t최선의 손실: 1.917151\t정확도: 20.91%\n", "1\t검증 세트 손실: 1.815832\t최선의 손실: 1.815832\t정확도: 19.27%\n", "2\t검증 세트 손실: 1.718748\t최선의 손실: 1.718748\t정확도: 19.08%\n", "3\t검증 세트 손실: 1.741903\t최선의 손실: 1.718748\t정확도: 19.27%\n", "4\t검증 세트 손실: 1.711227\t최선의 손실: 1.711227\t정확도: 20.91%\n", "5\t검증 세트 손실: 1.841204\t최선의 손실: 1.711227\t정확도: 20.91%\n", "6\t검증 세트 손실: 1.981241\t최선의 손실: 1.711227\t정확도: 19.27%\n", "7\t검증 세트 손실: 1.823837\t최선의 손실: 1.711227\t정확도: 18.73%\n", "8\t검증 세트 손실: 1.649626\t최선의 손실: 1.649626\t정확도: 22.01%\n", "9\t검증 세트 손실: 1.658233\t최선의 손실: 1.649626\t정확도: 19.08%\n", "10\t검증 세트 손실: 1.697025\t최선의 손실: 1.649626\t정확도: 19.08%\n", "11\t검증 세트 손실: 1.795746\t최선의 손실: 1.649626\t정확도: 22.01%\n", "12\t검증 세트 손실: 1.696243\t최선의 손실: 1.649626\t정확도: 19.08%\n", "13\t검증 세트 손실: 1.658498\t최선의 손실: 1.649626\t정확도: 22.01%\n", "14\t검증 세트 손실: 2.014428\t최선의 손실: 1.649626\t정확도: 22.01%\n", "15\t검증 세트 손실: 1.764182\t최선의 손실: 1.649626\t정확도: 19.08%\n", "16\t검증 세트 손실: 2.024533\t최선의 손실: 1.649626\t정확도: 18.73%\n", "17\t검증 세트 손실: 1.644925\t최선의 손실: 1.644925\t정확도: 18.73%\n", "18\t검증 세트 손실: 1.611368\t최선의 손실: 1.611368\t정확도: 22.01%\n", "19\t검증 세트 손실: 1.846961\t최선의 손실: 1.611368\t정확도: 22.01%\n", "20\t검증 세트 손실: 1.789089\t최선의 손실: 1.611368\t정확도: 19.27%\n", "21\t검증 세트 손실: 1.942418\t최선의 손실: 1.611368\t정확도: 22.01%\n", "22\t검증 세트 손실: 1.814189\t최선의 손실: 1.611368\t정확도: 20.91%\n", "23\t검증 세트 손실: 1.668507\t최선의 손실: 1.611368\t정확도: 20.91%\n", "24\t검증 세트 손실: 1.829171\t최선의 손실: 1.611368\t정확도: 18.73%\n", "25\t검증 세트 손실: 1.701741\t최선의 손실: 1.611368\t정확도: 22.01%\n", "26\t검증 세트 손실: 1.793180\t최선의 손실: 1.611368\t정확도: 18.73%\n", "27\t검증 세트 손실: 1.702975\t최선의 손실: 1.611368\t정확도: 20.91%\n", "28\t검증 세트 손실: 1.868966\t최선의 손실: 1.611368\t정확도: 19.08%\n", "29\t검증 세트 손실: 1.992545\t최선의 손실: 1.611368\t정확도: 19.08%\n", "30\t검증 세트 손실: 1.853257\t최선의 손실: 1.611368\t정확도: 20.91%\n", "31\t검증 세트 손실: 1.893147\t최선의 손실: 1.611368\t정확도: 22.01%\n", "32\t검증 세트 손실: 1.709123\t최선의 손실: 1.611368\t정확도: 19.08%\n", "33\t검증 세트 손실: 1.631055\t최선의 손실: 1.611368\t정확도: 19.08%\n", "34\t검증 세트 손실: 1.766896\t최선의 손실: 1.611368\t정확도: 20.91%\n", "35\t검증 세트 손실: 1.660939\t최선의 손실: 1.611368\t정확도: 22.01%\n", "36\t검증 세트 손실: 1.633772\t최선의 손실: 1.611368\t정확도: 20.91%\n", "37\t검증 세트 손실: 1.690549\t최선의 손실: 1.611368\t정확도: 19.08%\n", "38\t검증 세트 손실: 1.825047\t최선의 손실: 1.611368\t정확도: 18.73%\n", "39\t검증 세트 손실: 1.641241\t최선의 손실: 1.611368\t정확도: 18.73%\n", "조기 종료!\n", "[CV] n_neurons=140, learning_rate=0.05, dropout_rate=0.5, batch_size=100, activation=, total= 22.7s\n" ] }, { "name": "stderr", "output_type": "stream", "text": [ "[Parallel(n_jobs=1)]: Done 150 out of 150 | elapsed: 56.6min finished\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.122114\t최선의 손실: 0.122114\t정확도: 96.36%\n", "1\t검증 세트 손실: 0.090846\t최선의 손실: 0.090846\t정확도: 97.34%\n", "2\t검증 세트 손실: 0.076135\t최선의 손실: 0.076135\t정확도: 97.73%\n", "3\t검증 세트 손실: 0.076648\t최선의 손실: 0.076135\t정확도: 97.97%\n", "4\t검증 세트 손실: 0.077858\t최선의 손실: 0.076135\t정확도: 97.97%\n", "5\t검증 세트 손실: 0.085518\t최선의 손실: 0.076135\t정확도: 97.73%\n", "6\t검증 세트 손실: 0.073521\t최선의 손실: 0.073521\t정확도: 98.01%\n", "7\t검증 세트 손실: 0.065320\t최선의 손실: 0.065320\t정확도: 98.01%\n", "8\t검증 세트 손실: 0.069004\t최선의 손실: 0.065320\t정확도: 98.01%\n", "9\t검증 세트 손실: 0.075684\t최선의 손실: 0.065320\t정확도: 98.08%\n", "10\t검증 세트 손실: 0.076308\t최선의 손실: 0.065320\t정확도: 97.89%\n", "11\t검증 세트 손실: 0.075953\t최선의 손실: 0.065320\t정확도: 98.24%\n", "12\t검증 세트 손실: 0.069105\t최선의 손실: 0.065320\t정확도: 98.28%\n", "13\t검증 세트 손실: 0.060984\t최선의 손실: 0.060984\t정확도: 98.24%\n", "14\t검증 세트 손실: 0.061395\t최선의 손실: 0.060984\t정확도: 98.28%\n", "15\t검증 세트 손실: 0.062493\t최선의 손실: 0.060984\t정확도: 98.36%\n", "16\t검증 세트 손실: 0.061157\t최선의 손실: 0.060984\t정확도: 98.40%\n", "17\t검증 세트 손실: 0.061906\t최선의 손실: 0.060984\t정확도: 98.36%\n", "18\t검증 세트 손실: 0.058131\t최선의 손실: 0.058131\t정확도: 98.28%\n", "19\t검증 세트 손실: 0.064894\t최선의 손실: 0.058131\t정확도: 98.55%\n", "20\t검증 세트 손실: 0.061141\t최선의 손실: 0.058131\t정확도: 98.44%\n", "21\t검증 세트 손실: 0.057822\t최선의 손실: 0.057822\t정확도: 98.48%\n", "22\t검증 세트 손실: 0.060801\t최선의 손실: 0.057822\t정확도: 98.44%\n", "23\t검증 세트 손실: 0.063140\t최선의 손실: 0.057822\t정확도: 98.36%\n", "24\t검증 세트 손실: 0.058493\t최선의 손실: 0.057822\t정확도: 98.36%\n", "25\t검증 세트 손실: 0.061931\t최선의 손실: 0.057822\t정확도: 98.44%\n", "26\t검증 세트 손실: 0.059117\t최선의 손실: 0.057822\t정확도: 98.44%\n", "27\t검증 세트 손실: 0.054950\t최선의 손실: 0.054950\t정확도: 98.48%\n", "28\t검증 세트 손실: 0.065412\t최선의 손실: 0.054950\t정확도: 98.36%\n", "29\t검증 세트 손실: 0.059850\t최선의 손실: 0.054950\t정확도: 98.48%\n", "30\t검증 세트 손실: 0.055051\t최선의 손실: 0.054950\t정확도: 98.55%\n", "31\t검증 세트 손실: 0.056478\t최선의 손실: 0.054950\t정확도: 98.51%\n", "32\t검증 세트 손실: 0.061971\t최선의 손실: 0.054950\t정확도: 98.24%\n", "33\t검증 세트 손실: 0.054899\t최선의 손실: 0.054899\t정확도: 98.48%\n", "34\t검증 세트 손실: 0.060113\t최선의 손실: 0.054899\t정확도: 98.40%\n", "35\t검증 세트 손실: 0.062961\t최선의 손실: 0.054899\t정확도: 98.36%\n", "36\t검증 세트 손실: 0.057541\t최선의 손실: 0.054899\t정확도: 98.55%\n", "37\t검증 세트 손실: 0.064459\t최선의 손실: 0.054899\t정확도: 98.48%\n", "38\t검증 세트 손실: 0.056334\t최선의 손실: 0.054899\t정확도: 98.59%\n", "39\t검증 세트 손실: 0.052903\t최선의 손실: 0.052903\t정확도: 98.55%\n", "40\t검증 세트 손실: 0.060997\t최선의 손실: 0.052903\t정확도: 98.40%\n", "41\t검증 세트 손실: 0.059658\t최선의 손실: 0.052903\t정확도: 98.44%\n", "42\t검증 세트 손실: 0.056916\t최선의 손실: 0.052903\t정확도: 98.44%\n", "43\t검증 세트 손실: 0.056920\t최선의 손실: 0.052903\t정확도: 98.48%\n", "44\t검증 세트 손실: 0.055776\t최선의 손실: 0.052903\t정확도: 98.48%\n", "45\t검증 세트 손실: 0.054954\t최선의 손실: 0.052903\t정확도: 98.55%\n", "46\t검증 세트 손실: 0.058928\t최선의 손실: 0.052903\t정확도: 98.44%\n", "47\t검증 세트 손실: 0.055088\t최선의 손실: 0.052903\t정확도: 98.75%\n", "48\t검증 세트 손실: 0.055446\t최선의 손실: 0.052903\t정확도: 98.51%\n", "49\t검증 세트 손실: 0.055371\t최선의 손실: 0.052903\t정확도: 98.44%\n", "50\t검증 세트 손실: 0.058281\t최선의 손실: 0.052903\t정확도: 98.63%\n", "51\t검증 세트 손실: 0.056732\t최선의 손실: 0.052903\t정확도: 98.59%\n", "52\t검증 세트 손실: 0.055205\t최선의 손실: 0.052903\t정확도: 98.67%\n", "53\t검증 세트 손실: 0.059905\t최선의 손실: 0.052903\t정확도: 98.67%\n", "54\t검증 세트 손실: 0.057021\t최선의 손실: 0.052903\t정확도: 98.63%\n", "55\t검증 세트 손실: 0.054876\t최선의 손실: 0.052903\t정확도: 98.59%\n", "56\t검증 세트 손실: 0.054136\t최선의 손실: 0.052903\t정확도: 98.59%\n", "57\t검증 세트 손실: 0.057763\t최선의 손실: 0.052903\t정확도: 98.63%\n", "58\t검증 세트 손실: 0.061181\t최선의 손실: 0.052903\t정확도: 98.59%\n", "59\t검증 세트 손실: 0.056420\t최선의 손실: 0.052903\t정확도: 98.48%\n", "60\t검증 세트 손실: 0.059772\t최선의 손실: 0.052903\t정확도: 98.51%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "RandomizedSearchCV(cv=3, error_score='raise-deprecating',\n", " estimator=DNNClassifier(activation=,\n", " batch_norm_momentum=None, batch_size=20, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=5, n_neurons=100,\n", " optimizer_class=,\n", " random_state=42),\n", " fit_params=None, iid='warn', n_iter=50, n_jobs=None,\n", " param_distributions={'n_neurons': [10, 30, 50, 70, 90, 100, 120, 140, 160], 'batch_size': [10, 50, 100, 500], 'learning_rate': [0.01, 0.02, 0.05, 0.1], 'activation': [, , .parametrized_leaky_relu at 0x7f8e383d6ae8>, .parametrized_leaky_relu at 0x7f8e383d61e0>], 'dropout_rate': [0.2, 0.3, 0.4, 0.5, 0.6]},\n", " pre_dispatch='2*n_jobs', random_state=42, refit=True,\n", " return_train_score='warn', scoring=None, verbose=2)" ] }, "execution_count": 27, "metadata": {}, "output_type": "execute_result" } ], "source": [ "from sklearn.model_selection import RandomizedSearchCV\n", "\n", "param_distribs = {\n", " \"n_neurons\": [10, 30, 50, 70, 90, 100, 120, 140, 160],\n", " \"batch_size\": [10, 50, 100, 500],\n", " \"learning_rate\": [0.01, 0.02, 0.05, 0.1],\n", " \"activation\": [tf.nn.relu, tf.nn.elu, leaky_relu(alpha=0.01), leaky_relu(alpha=0.1)],\n", " # you could also try exploring different numbers of hidden layers, different optimizers, etc.\n", " #\"n_hidden_layers\": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],\n", " #\"optimizer_class\": [tf.train.AdamOptimizer, partial(tf.train.MomentumOptimizer, momentum=0.95)],\n", " \"dropout_rate\": [0.2, 0.3, 0.4, 0.5, 0.6],\n", "}\n", "\n", "rnd_search_dropout = RandomizedSearchCV(DNNClassifier(random_state=42), param_distribs, n_iter=50,\n", " random_state=42, verbose=2, cv=3)\n", "fit_params={\"X_valid\": X_valid1, \"y_valid\": y_valid1, \"n_epochs\": 1000}\n", "rnd_search_dropout.fit(X_train1, y_train1, **fit_params)" ] }, { "cell_type": "code", "execution_count": 28, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "{'n_neurons': 50,\n", " 'learning_rate': 0.01,\n", " 'dropout_rate': 0.4,\n", " 'batch_size': 500,\n", " 'activation': .parametrized_leaky_relu(z, name=None)>}" ] }, "execution_count": 28, "metadata": {}, "output_type": "execute_result" } ], "source": [ "rnd_search_dropout.best_params_" ] }, { "cell_type": "code", "execution_count": 29, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.9871570344424986" ] }, "execution_count": 29, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = rnd_search_dropout.predict(X_test1)\n", "accuracy_score(y_test1, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "음, 드롭아웃으로 모델 성능이 나아지지 않았습니다. 다음 번에 다시 도전해 보겠습니다! :)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "하지만 괜찮습니다. 훌륭한 DNN을 만들었습니다. 배치 정규화를 사용했을 때 테스트 세트의 정확도가 99.4%이고 배치 정규화가 없을 때는 99.32%입니다. 0~4까지 학습한 것이 5~9 숫자를 분류하는 작업에 적용될 수 있는지 보겠습니다. 거의 성능이 비슷하므로 간단하게 만들기 위해서 배치 정규화를 뺀 DNN을 사용하겠습니다." ] }, { "cell_type": "markdown", "metadata": { "collapsed": true }, "source": [ "## 9. 전이 학습" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 9.1." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 이전 모델에서 미리 학습한 은닉층을 모두 재사용하는 새로운 DNN을 만드세요. 이 은닉층을 동결시키고 소프트맥스 출력층은 새로운 것으로 바꾸세요._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "최상 모델의 그래프를 로드하고 필요한 모든 중요한 연산에 대한 핸들을 얻습니다. 새로운 소프트맥스 출력층을 만드는 대신 원본에 있는 것을 재사용하겠습니다(출력의 개수가 동일하므로). 훈련 전에 파라미터를 다시 초기화합니다." ] }, { "cell_type": "code", "execution_count": 30, "metadata": {}, "outputs": [], "source": [ "reset_graph()\n", "\n", "restore_saver = tf.train.import_meta_graph(\"./my_best_mnist_model_0_to_4.meta\")\n", "\n", "X = tf.get_default_graph().get_tensor_by_name(\"X:0\")\n", "y = tf.get_default_graph().get_tensor_by_name(\"y:0\")\n", "loss = tf.get_default_graph().get_tensor_by_name(\"loss:0\")\n", "Y_proba = tf.get_default_graph().get_tensor_by_name(\"Y_proba:0\")\n", "logits = Y_proba.op.inputs[0]\n", "accuracy = tf.get_default_graph().get_tensor_by_name(\"accuracy:0\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "하위층을 동결하기 위해서 옵티마이저에게 전달하는 훈련 변수 목록에서 제외하고 출력층의 변수만 전달합니다:" ] }, { "cell_type": "code", "execution_count": 31, "metadata": {}, "outputs": [], "source": [ "learning_rate = 0.01\n", "\n", "output_layer_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope=\"logits\")\n", "optimizer = tf.train.AdamOptimizer(learning_rate, name=\"Adam2\")\n", "training_op = optimizer.minimize(loss, var_list=output_layer_vars)" ] }, { "cell_type": "code", "execution_count": 32, "metadata": {}, "outputs": [], "source": [ "correct = tf.nn.in_top_k(logits, y, 1)\n", "accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name=\"accuracy\")\n", "\n", "init = tf.global_variables_initializer()\n", "five_frozen_saver = tf.train.Saver()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 9.2." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 이 새로운 DNN을 숫자 5~9에 대해 숫자마다 100개의 이미지만 사용해 훈련시켜보고 얼마나 시간이 걸리는지 재보세요. 작은 양의 샘플만으로도 높은 성능을 얻을 수 있나요?_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "훈련, 검증, 테스트 세트를 만듭니다. 텐서플로는 0에서부터 `n_classes-1`까지 레이블을 기대하기 때문에 레이블에서 5를 뺍니다." ] }, { "cell_type": "code", "execution_count": 33, "metadata": {}, "outputs": [], "source": [ "X_train2_full = X_train[y_train >= 5]\n", "y_train2_full = y_train[y_train >= 5] - 5\n", "X_valid2_full = X_valid[y_valid >= 5]\n", "y_valid2_full = y_valid[y_valid >= 5] - 5\n", "X_test2 = X_test[y_test >= 5]\n", "y_test2 = y_test[y_test >= 5] - 5" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "또 연습문제 목적에 따라서 훈련 세트에서 클래스마다 100개의 샘플만 사용합니다(검증 세트에서는 클래스마다 30개의 샘플만 사용합니다). 이를 위해 작은 함수를 만들겠습니다:" ] }, { "cell_type": "code", "execution_count": 34, "metadata": {}, "outputs": [], "source": [ "def sample_n_instances_per_class(X, y, n=100):\n", " Xs, ys = [], []\n", " for label in np.unique(y):\n", " idx = (y == label)\n", " Xc = X[idx][:n]\n", " yc = y[idx][:n]\n", " Xs.append(Xc)\n", " ys.append(yc)\n", " return np.concatenate(Xs), np.concatenate(ys)" ] }, { "cell_type": "code", "execution_count": 35, "metadata": {}, "outputs": [], "source": [ "X_train2, y_train2 = sample_n_instances_per_class(X_train2_full, y_train2_full, n=100)\n", "X_valid2, y_valid2 = sample_n_instances_per_class(X_valid2_full, y_valid2_full, n=30)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 모델을 훈련시키죠. 초기화를 제외하고 조기 종료를 사용한 앞의 훈련 코드와 동일합니다. 먼저 모든 변수를 초기화하고 앞서 훈련된 최상의 모델(숫자 0에서 4까지 학습한)을 복원합니다. 그리고 마지막으로 출력층의 변수를 다시 초기화합니다." ] }, { "cell_type": "code", "execution_count": 36, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4\n", "0\t검증 세트 손실: 1.208594\t최선의 손실: 1.208594\t정확도: 52.67%\n", "1\t검증 세트 손실: 1.125652\t최선의 손실: 1.125652\t정확도: 59.33%\n", "2\t검증 세트 손실: 1.031763\t최선의 손실: 1.031763\t정확도: 60.67%\n", "3\t검증 세트 손실: 1.070383\t최선의 손실: 1.031763\t정확도: 60.00%\n", "4\t검증 세트 손실: 1.084183\t최선의 손실: 1.031763\t정확도: 56.67%\n", "5\t검증 세트 손실: 1.084099\t최선의 손실: 1.031763\t정확도: 57.33%\n", "6\t검증 세트 손실: 1.022345\t최선의 손실: 1.022345\t정확도: 58.67%\n", "7\t검증 세트 손실: 1.000586\t최선의 손실: 1.000586\t정확도: 62.67%\n", "8\t검증 세트 손실: 1.037704\t최선의 손실: 1.000586\t정확도: 60.67%\n", "9\t검증 세트 손실: 1.001396\t최선의 손실: 1.000586\t정확도: 63.33%\n", "10\t검증 세트 손실: 1.048730\t최선의 손실: 1.000586\t정확도: 59.33%\n", "11\t검증 세트 손실: 1.124821\t최선의 손실: 1.000586\t정확도: 58.00%\n", "12\t검증 세트 손실: 1.198197\t최선의 손실: 1.000586\t정확도: 54.00%\n", "13\t검증 세트 손실: 1.129499\t최선의 손실: 1.000586\t정확도: 59.33%\n", "14\t검증 세트 손실: 1.116468\t최선의 손실: 1.000586\t정확도: 61.33%\n", "15\t검증 세트 손실: 1.107013\t최선의 손실: 1.000586\t정확도: 59.33%\n", "16\t검증 세트 손실: 1.028901\t최선의 손실: 1.000586\t정확도: 65.33%\n", "17\t검증 세트 손실: 1.009358\t최선의 손실: 1.000586\t정확도: 64.67%\n", "18\t검증 세트 손실: 1.054735\t최선의 손실: 1.000586\t정확도: 61.33%\n", "19\t검증 세트 손실: 1.071116\t최선의 손실: 1.000586\t정확도: 60.00%\n", "20\t검증 세트 손실: 1.010645\t최선의 손실: 1.000586\t정확도: 64.00%\n", "21\t검증 세트 손실: 1.047715\t최선의 손실: 1.000586\t정확도: 62.67%\n", "22\t검증 세트 손실: 1.048557\t최선의 손실: 1.000586\t정확도: 64.67%\n", "23\t검증 세트 손실: 1.008483\t최선의 손실: 1.000586\t정확도: 64.00%\n", "24\t검증 세트 손실: 1.010739\t최선의 손실: 1.000586\t정확도: 67.33%\n", "25\t검증 세트 손실: 1.010255\t최선의 손실: 1.000586\t정확도: 62.67%\n", "26\t검증 세트 손실: 1.073723\t최선의 손실: 1.000586\t정확도: 62.67%\n", "27\t검증 세트 손실: 1.007094\t최선의 손실: 1.000586\t정확도: 64.67%\n", "28\t검증 세트 손실: 0.993182\t최선의 손실: 0.993182\t정확도: 66.00%\n", "29\t검증 세트 손실: 1.072257\t최선의 손실: 0.993182\t정확도: 61.33%\n", "30\t검증 세트 손실: 1.035111\t최선의 손실: 0.993182\t정확도: 65.33%\n", "31\t검증 세트 손실: 1.037748\t최선의 손실: 0.993182\t정확도: 62.67%\n", "32\t검증 세트 손실: 1.007270\t최선의 손실: 0.993182\t정확도: 62.00%\n", "33\t검증 세트 손실: 1.020199\t최선의 손실: 0.993182\t정확도: 66.67%\n", "34\t검증 세트 손실: 0.982910\t최선의 손실: 0.982910\t정확도: 65.33%\n", "35\t검증 세트 손실: 1.051196\t최선의 손실: 0.982910\t정확도: 64.00%\n", "36\t검증 세트 손실: 1.104229\t최선의 손실: 0.982910\t정확도: 62.00%\n", "37\t검증 세트 손실: 1.058430\t최선의 손실: 0.982910\t정확도: 62.00%\n", "38\t검증 세트 손실: 1.013683\t최선의 손실: 0.982910\t정확도: 67.33%\n", "39\t검증 세트 손실: 1.090256\t최선의 손실: 0.982910\t정확도: 59.33%\n", "40\t검증 세트 손실: 1.054165\t최선의 손실: 0.982910\t정확도: 62.67%\n", "41\t검증 세트 손실: 1.035683\t최선의 손실: 0.982910\t정확도: 62.67%\n", "42\t검증 세트 손실: 1.049694\t최선의 손실: 0.982910\t정확도: 64.00%\n", "43\t검증 세트 손실: 1.065443\t최선의 손실: 0.982910\t정확도: 62.67%\n", "44\t검증 세트 손실: 1.008000\t최선의 손실: 0.982910\t정확도: 66.00%\n", "45\t검증 세트 손실: 1.143172\t최선의 손실: 0.982910\t정확도: 57.33%\n", "46\t검증 세트 손실: 1.003290\t최선의 손실: 0.982910\t정확도: 64.00%\n", "47\t검증 세트 손실: 1.034794\t최선의 손실: 0.982910\t정확도: 66.00%\n", "48\t검증 세트 손실: 1.073677\t최선의 손실: 0.982910\t정확도: 60.67%\n", "49\t검증 세트 손실: 1.161535\t최선의 손실: 0.982910\t정확도: 59.33%\n", "50\t검증 세트 손실: 1.147726\t최선의 손실: 0.982910\t정확도: 61.33%\n", "51\t검증 세트 손실: 1.049102\t최선의 손실: 0.982910\t정확도: 65.33%\n", "52\t검증 세트 손실: 1.073781\t최선의 손실: 0.982910\t정확도: 63.33%\n", "53\t검증 세트 손실: 1.053970\t최선의 손실: 0.982910\t정확도: 64.00%\n", "54\t검증 세트 손실: 1.049942\t최선의 손실: 0.982910\t정확도: 64.67%\n", "조기 종료!\n", "전체 훈련 시간: 1.1s\n", "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_five_frozen\n", "최종 테스트 정확도: 59.82%\n" ] } ], "source": [ "import time\n", "\n", "n_epochs = 1000\n", "batch_size = 20\n", "\n", "max_checks_without_progress = 20\n", "checks_without_progress = 0\n", "best_loss = np.infty\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " restore_saver.restore(sess, \"./my_best_mnist_model_0_to_4\")\n", "\n", " t0 = time.time()\n", " \n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})\n", " if loss_val < best_loss:\n", " save_path = five_frozen_saver.save(sess, \"./my_mnist_model_5_to_9_five_frozen\")\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", "\n", " t1 = time.time()\n", " print(\"전체 훈련 시간: {:.1f}s\".format(t1 - t0))\n", "\n", "with tf.Session() as sess:\n", " five_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_five_frozen\")\n", " acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})\n", " print(\"최종 테스트 정확도: {:.2f}%\".format(acc_test * 100))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "정확도가 아주 좋진 않네요. 물론 훈련 세트가 작기 때문이고 하나의 층만 바꾸었기 때문에 큰 기대를 하긴 어렵습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 9.3." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 동결된 층을 캐싱하고 모델을 다시 훈련시켜보세요. 얼마나 빨라졌나요?_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "먼저 마지막 동결층의 출력에 대한 핸들을 얻어옵니다:" ] }, { "cell_type": "code", "execution_count": 37, "metadata": {}, "outputs": [], "source": [ "hidden5_out = tf.get_default_graph().get_tensor_by_name(\"hidden5_out:0\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 이전과 거의 동일한 코드로 모델을 훈련합니다. 다른 점은 시작할 때 (훈련 세트와 검증 세트 모두) 동결층의 맨 꼭대기 층의 출력을 계산해서 캐싱하는 것입니다. 이렇게 하면 거의 1.5에서 3배 정도 훈련이 빨라집니다(시스템에 따라 이 수치는 매우 달라집니다):" ] }, { "cell_type": "code", "execution_count": 38, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4\n", "0\t검증 세트 손실: 1.143336\t최선의 손실: 1.143336\t정확도: 60.00%\n", "1\t검증 세트 손실: 1.053893\t최선의 손실: 1.053893\t정확도: 58.00%\n", "2\t검증 세트 손실: 1.035241\t최선의 손실: 1.035241\t정확도: 58.00%\n", "3\t검증 세트 손실: 1.115405\t최선의 손실: 1.035241\t정확도: 57.33%\n", "4\t검증 세트 손실: 1.074412\t최선의 손실: 1.035241\t정확도: 61.33%\n", "5\t검증 세트 손실: 1.096418\t최선의 손실: 1.035241\t정확도: 55.33%\n", "6\t검증 세트 손실: 0.994066\t최선의 손실: 0.994066\t정확도: 64.00%\n", "7\t검증 세트 손실: 1.024826\t최선의 손실: 0.994066\t정확도: 63.33%\n", "8\t검증 세트 손실: 1.006593\t최선의 손실: 0.994066\t정확도: 59.33%\n", "9\t검증 세트 손실: 0.994020\t최선의 손실: 0.994020\t정확도: 62.00%\n", "10\t검증 세트 손실: 1.048680\t최선의 손실: 0.994020\t정확도: 60.00%\n", "11\t검증 세트 손실: 1.116867\t최선의 손실: 0.994020\t정확도: 60.00%\n", "12\t검증 세트 손실: 1.046596\t최선의 손실: 0.994020\t정확도: 62.67%\n", "13\t검증 세트 손실: 1.012614\t최선의 손실: 0.994020\t정확도: 62.67%\n", "14\t검증 세트 손실: 1.070288\t최선의 손실: 0.994020\t정확도: 61.33%\n", "15\t검증 세트 손실: 1.028782\t최선의 손실: 0.994020\t정확도: 61.33%\n", "16\t검증 세트 손실: 1.054658\t최선의 손실: 0.994020\t정확도: 62.67%\n", "17\t검증 세트 손실: 0.997931\t최선의 손실: 0.994020\t정확도: 64.67%\n", "18\t검증 세트 손실: 0.989779\t최선의 손실: 0.989779\t정확도: 64.00%\n", "19\t검증 세트 손실: 1.016768\t최선의 손실: 0.989779\t정확도: 64.00%\n", "20\t검증 세트 손실: 1.121027\t최선의 손실: 0.989779\t정확도: 58.67%\n", "21\t검증 세트 손실: 1.107086\t최선의 손실: 0.989779\t정확도: 57.33%\n", "22\t검증 세트 손실: 1.188906\t최선의 손실: 0.989779\t정확도: 53.33%\n", "23\t검증 세트 손실: 1.170027\t최선의 손실: 0.989779\t정확도: 59.33%\n", "24\t검증 세트 손실: 1.022846\t최선의 손실: 0.989779\t정확도: 64.67%\n", "25\t검증 세트 손실: 1.068830\t최선의 손실: 0.989779\t정확도: 61.33%\n", "26\t검증 세트 손실: 1.039071\t최선의 손실: 0.989779\t정확도: 66.67%\n", "27\t검증 세트 손실: 1.003727\t최선의 손실: 0.989779\t정확도: 62.67%\n", "28\t검증 세트 손실: 1.229447\t최선의 손실: 0.989779\t정확도: 54.67%\n", "29\t검증 세트 손실: 1.145063\t최선의 손실: 0.989779\t정확도: 58.00%\n", "30\t검증 세트 손실: 1.038691\t최선의 손실: 0.989779\t정확도: 64.00%\n", "31\t검증 세트 손실: 1.024062\t최선의 손실: 0.989779\t정확도: 63.33%\n", "32\t검증 세트 손실: 1.141826\t최선의 손실: 0.989779\t정확도: 56.67%\n", "33\t검증 세트 손실: 1.046040\t최선의 손실: 0.989779\t정확도: 62.67%\n", "34\t검증 세트 손실: 1.102883\t최선의 손실: 0.989779\t정확도: 59.33%\n", "35\t검증 세트 손실: 1.073792\t최선의 손실: 0.989779\t정확도: 61.33%\n", "36\t검증 세트 손실: 1.152765\t최선의 손실: 0.989779\t정확도: 58.67%\n", "37\t검증 세트 손실: 1.266114\t최선의 손실: 0.989779\t정확도: 55.33%\n", "38\t검증 세트 손실: 1.111887\t최선의 손실: 0.989779\t정확도: 60.67%\n", "조기 종료!\n", "전체 훈련 시간: 0.5s\n", "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_five_frozen\n", "최종 테스트 정확도: 59.54%\n" ] } ], "source": [ "import time\n", "\n", "n_epochs = 1000\n", "batch_size = 20\n", "\n", "max_checks_without_progress = 20\n", "checks_without_progress = 0\n", "best_loss = np.infty\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " restore_saver.restore(sess, \"./my_best_mnist_model_0_to_4\")\n", "\n", " t0 = time.time()\n", " \n", " hidden5_train = hidden5_out.eval(feed_dict={X: X_train2, y: y_train2})\n", " hidden5_valid = hidden5_out.eval(feed_dict={X: X_valid2, y: y_valid2})\n", " \n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " h5_batch, y_batch = hidden5_train[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={hidden5_out: h5_batch, y: y_batch})\n", " loss_val, acc_val = sess.run([loss, accuracy], feed_dict={hidden5_out: hidden5_valid, y: y_valid2})\n", " if loss_val < best_loss:\n", " save_path = five_frozen_saver.save(sess, \"./my_mnist_model_5_to_9_five_frozen\")\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", "\n", " t1 = time.time()\n", " print(\"전체 훈련 시간: {:.1f}s\".format(t1 - t0))\n", "\n", "with tf.Session() as sess:\n", " five_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_five_frozen\")\n", " acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})\n", " print(\"최종 테스트 정확도: {:.2f}%\".format(acc_test * 100))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 9.4." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 다섯 개 대신 네 개의 은닉층만 재사용하여 다시 시도해보세요. 높은 성능을 얻을 수 있나요?_" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "최상의 모델을 다시 로드합니다. 이번에는 4번째 은닉층 위에 새로운 소프트맥스 출력층을 만듭니다:" ] }, { "cell_type": "code", "execution_count": 39, "metadata": {}, "outputs": [], "source": [ "reset_graph()\n", "\n", "n_outputs = 5\n", "\n", "restore_saver = tf.train.import_meta_graph(\"./my_best_mnist_model_0_to_4.meta\")\n", "\n", "X = tf.get_default_graph().get_tensor_by_name(\"X:0\")\n", "y = tf.get_default_graph().get_tensor_by_name(\"y:0\")\n", "\n", "hidden4_out = tf.get_default_graph().get_tensor_by_name(\"hidden4_out:0\")\n", "logits = tf.layers.dense(hidden4_out, n_outputs, kernel_initializer=he_init, name=\"new_logits\")\n", "Y_proba = tf.nn.softmax(logits)\n", "xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)\n", "loss = tf.reduce_mean(xentropy)\n", "correct = tf.nn.in_top_k(logits, y, 1)\n", "accuracy = tf.reduce_mean(tf.cast(correct, tf.float32), name=\"accuracy\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 훈련 연산을 만듭니다. 출력층을 제외하고 모든 층을 동결시킵니다:" ] }, { "cell_type": "code", "execution_count": 40, "metadata": {}, "outputs": [], "source": [ "learning_rate = 0.01\n", "\n", "output_layer_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope=\"new_logits\")\n", "optimizer = tf.train.AdamOptimizer(learning_rate, name=\"Adam2\")\n", "training_op = optimizer.minimize(loss, var_list=output_layer_vars)\n", "\n", "init = tf.global_variables_initializer()\n", "four_frozen_saver = tf.train.Saver()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "여기에서도 이전과 코드는 동일합니다. 노트: 물론 같은 코드를 계속 복사해서 쓰는 대신 함수를 만들어 이를 여러번 호출할 수 있습니다. 하지만 코드를 조금씩 바꾸어야 하기 때문에 함수의 매개변수와 `if` 문장이 많아질 것입니다. 이렇게 하면 매우 복잡해지므로 그냥 복사해서 쓰는 게 낫습니다." ] }, { "cell_type": "code", "execution_count": 41, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "INFO:tensorflow:Restoring parameters from ./my_best_mnist_model_0_to_4\n", "0\t검증 세트 손실: 1.048482\t최선의 손실: 1.048482\t정확도: 60.00%\n", "1\t검증 세트 손실: 1.037545\t최선의 손실: 1.037545\t정확도: 61.33%\n", "2\t검증 세트 손실: 0.993248\t최선의 손실: 0.993248\t정확도: 62.67%\n", "3\t검증 세트 손실: 0.970039\t최선의 손실: 0.970039\t정확도: 62.67%\n", "4\t검증 세트 손실: 1.002418\t최선의 손실: 0.970039\t정확도: 62.67%\n", "5\t검증 세트 손실: 0.998524\t최선의 손실: 0.970039\t정확도: 63.33%\n", "6\t검증 세트 손실: 0.970560\t최선의 손실: 0.970039\t정확도: 65.33%\n", "7\t검증 세트 손실: 0.967532\t최선의 손실: 0.967532\t정확도: 67.33%\n", "8\t검증 세트 손실: 0.963870\t최선의 손실: 0.963870\t정확도: 62.67%\n", "9\t검증 세트 손실: 0.941162\t최선의 손실: 0.941162\t정확도: 66.00%\n", "10\t검증 세트 손실: 0.970546\t최선의 손실: 0.941162\t정확도: 66.00%\n", "11\t검증 세트 손실: 1.004680\t최선의 손실: 0.941162\t정확도: 62.00%\n", "12\t검증 세트 손실: 1.010821\t최선의 손실: 0.941162\t정확도: 64.00%\n", "13\t검증 세트 손실: 0.987529\t최선의 손실: 0.941162\t정확도: 64.00%\n", "14\t검증 세트 손실: 0.987101\t최선의 손실: 0.941162\t정확도: 67.33%\n", "15\t검증 세트 손실: 0.944584\t최선의 손실: 0.941162\t정확도: 70.00%\n", "16\t검증 세트 손실: 0.946450\t최선의 손실: 0.941162\t정확도: 68.00%\n", "17\t검증 세트 손실: 0.941269\t최선의 손실: 0.941162\t정확도: 68.67%\n", "18\t검증 세트 손실: 0.951220\t최선의 손실: 0.941162\t정확도: 70.00%\n", "19\t검증 세트 손실: 0.936041\t최선의 손실: 0.936041\t정확도: 68.67%\n", "20\t검증 세트 손실: 0.922500\t최선의 손실: 0.922500\t정확도: 68.67%\n", "21\t검증 세트 손실: 0.956814\t최선의 손실: 0.922500\t정확도: 69.33%\n", "22\t검증 세트 손실: 0.952158\t최선의 손실: 0.922500\t정확도: 68.00%\n", "23\t검증 세트 손실: 0.927083\t최선의 손실: 0.922500\t정확도: 71.33%\n", "24\t검증 세트 손실: 0.938449\t최선의 손실: 0.922500\t정확도: 69.33%\n", "25\t검증 세트 손실: 0.946908\t최선의 손실: 0.922500\t정확도: 68.00%\n", "26\t검증 세트 손실: 0.948314\t최선의 손실: 0.922500\t정확도: 69.33%\n", "27\t검증 세트 손실: 0.929582\t최선의 손실: 0.922500\t정확도: 68.67%\n", "28\t검증 세트 손실: 0.908840\t최선의 손실: 0.908840\t정확도: 70.67%\n", "29\t검증 세트 손실: 0.931921\t최선의 손실: 0.908840\t정확도: 70.67%\n", "30\t검증 세트 손실: 0.922220\t최선의 손실: 0.908840\t정확도: 70.00%\n", "31\t검증 세트 손실: 0.951170\t최선의 손실: 0.908840\t정확도: 69.33%\n", "32\t검증 세트 손실: 0.952185\t최선의 손실: 0.908840\t정확도: 70.00%\n", "33\t검증 세트 손실: 0.946700\t최선의 손실: 0.908840\t정확도: 68.67%\n", "34\t검증 세트 손실: 0.909596\t최선의 손실: 0.908840\t정확도: 71.33%\n", "35\t검증 세트 손실: 0.980951\t최선의 손실: 0.908840\t정확도: 66.00%\n", "36\t검증 세트 손실: 0.971090\t최선의 손실: 0.908840\t정확도: 68.00%\n", "37\t검증 세트 손실: 0.972070\t최선의 손실: 0.908840\t정확도: 70.00%\n", "38\t검증 세트 손실: 0.944152\t최선의 손실: 0.908840\t정확도: 69.33%\n", "39\t검증 세트 손실: 0.974250\t최선의 손실: 0.908840\t정확도: 68.00%\n", "40\t검증 세트 손실: 0.954763\t최선의 손실: 0.908840\t정확도: 71.33%\n", "41\t검증 세트 손실: 0.933572\t최선의 손실: 0.908840\t정확도: 69.33%\n", "42\t검증 세트 손실: 0.966621\t최선의 손실: 0.908840\t정확도: 72.67%\n", "43\t검증 세트 손실: 0.946610\t최선의 손실: 0.908840\t정확도: 67.33%\n", "44\t검증 세트 손실: 0.924347\t최선의 손실: 0.908840\t정확도: 71.33%\n", "45\t검증 세트 손실: 1.017821\t최선의 손실: 0.908840\t정확도: 67.33%\n", "46\t검증 세트 손실: 0.930858\t최선의 손실: 0.908840\t정확도: 69.33%\n", "47\t검증 세트 손실: 0.952527\t최선의 손실: 0.908840\t정확도: 69.33%\n", "48\t검증 세트 손실: 0.978020\t최선의 손실: 0.908840\t정확도: 68.67%\n", "조기 종료!\n", "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_four_frozen\n", "최종 테스트 정확도: 64.95%\n" ] } ], "source": [ "n_epochs = 1000\n", "batch_size = 20\n", "\n", "max_checks_without_progress = 20\n", "checks_without_progress = 0\n", "best_loss = np.infty\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " restore_saver.restore(sess, \"./my_best_mnist_model_0_to_4\")\n", " \n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})\n", " if loss_val < best_loss:\n", " save_path = four_frozen_saver.save(sess, \"./my_mnist_model_5_to_9_four_frozen\")\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", "\n", "with tf.Session() as sess:\n", " four_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_four_frozen\")\n", " acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})\n", " print(\"최종 테스트 정확도: {:.2f}%\".format(acc_test * 100))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "아주 훌륭하지는 않지만 더 나아졌습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 9.5." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "_문제: 이제 최상단 두 개 층의 동결을 해제하고 훈련을 계속 해보세요. 더 나은 모델을 얻을 수 있나요?_" ] }, { "cell_type": "code", "execution_count": 42, "metadata": {}, "outputs": [], "source": [ "learning_rate = 0.01\n", "\n", "unfrozen_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope=\"hidden[34]|new_logits\")\n", "optimizer = tf.train.AdamOptimizer(learning_rate, name=\"Adam3\")\n", "training_op = optimizer.minimize(loss, var_list=unfrozen_vars)\n", "\n", "init = tf.global_variables_initializer()\n", "two_frozen_saver = tf.train.Saver()" ] }, { "cell_type": "code", "execution_count": 43, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_four_frozen\n", "0\t검증 세트 손실: 1.229037\t최선의 손실: 1.229037\t정확도: 65.33%\n", "1\t검증 세트 손실: 0.823991\t최선의 손실: 0.823991\t정확도: 78.00%\n", "2\t검증 세트 손실: 0.944453\t최선의 손실: 0.823991\t정확도: 80.00%\n", "3\t검증 세트 손실: 0.795939\t최선의 손실: 0.795939\t정확도: 82.67%\n", "4\t검증 세트 손실: 0.967934\t최선의 손실: 0.795939\t정확도: 80.00%\n", "5\t검증 세트 손실: 0.965091\t최선의 손실: 0.795939\t정확도: 78.00%\n", "6\t검증 세트 손실: 1.074672\t최선의 손실: 0.795939\t정확도: 82.00%\n", "7\t검증 세트 손실: 1.255242\t최선의 손실: 0.795939\t정확도: 78.67%\n", "8\t검증 세트 손실: 1.160698\t최선의 손실: 0.795939\t정확도: 77.33%\n", "9\t검증 세트 손실: 1.532860\t최선의 손실: 0.795939\t정확도: 75.33%\n", "10\t검증 세트 손실: 1.173549\t최선의 손실: 0.795939\t정확도: 80.67%\n", "11\t검증 세트 손실: 1.371204\t최선의 손실: 0.795939\t정확도: 80.00%\n", "12\t검증 세트 손실: 1.045168\t최선의 손실: 0.795939\t정확도: 80.67%\n", "13\t검증 세트 손실: 1.145360\t최선의 손실: 0.795939\t정확도: 79.33%\n", "14\t검증 세트 손실: 1.220427\t최선의 손실: 0.795939\t정확도: 80.67%\n", "15\t검증 세트 손실: 1.248589\t최선의 손실: 0.795939\t정확도: 82.67%\n", "16\t검증 세트 손실: 1.446209\t최선의 손실: 0.795939\t정확도: 78.67%\n", "17\t검증 세트 손실: 1.304075\t최선의 손실: 0.795939\t정확도: 83.33%\n", "18\t검증 세트 손실: 1.313746\t최선의 손실: 0.795939\t정확도: 83.33%\n", "19\t검증 세트 손실: 1.356169\t최선의 손실: 0.795939\t정확도: 84.00%\n", "20\t검증 세트 손실: 1.394791\t최선의 손실: 0.795939\t정확도: 81.33%\n", "21\t검증 세트 손실: 1.637290\t최선의 손실: 0.795939\t정확도: 78.67%\n", "22\t검증 세트 손실: 1.964384\t최선의 손실: 0.795939\t정확도: 80.00%\n", "23\t검증 세트 손실: 1.949362\t최선의 손실: 0.795939\t정확도: 78.00%\n", "조기 종료!\n", "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_two_frozen\n", "최종 테스트 정확도: 79.24%\n" ] } ], "source": [ "n_epochs = 1000\n", "batch_size = 20\n", "\n", "max_checks_without_progress = 20\n", "checks_without_progress = 0\n", "best_loss = np.infty\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " four_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_four_frozen\")\n", " \n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})\n", " if loss_val < best_loss:\n", " save_path = two_frozen_saver.save(sess, \"./my_mnist_model_5_to_9_two_frozen\")\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", "\n", "with tf.Session() as sess:\n", " two_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_two_frozen\")\n", " acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})\n", " print(\"최종 테스트 정확도: {:.2f}%\".format(acc_test * 100))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "모든 층을 동결 해제하고 정확도를 계산해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 44, "metadata": {}, "outputs": [], "source": [ "learning_rate = 0.01\n", "\n", "optimizer = tf.train.AdamOptimizer(learning_rate, name=\"Adam4\")\n", "training_op = optimizer.minimize(loss)\n", "\n", "init = tf.global_variables_initializer()\n", "no_frozen_saver = tf.train.Saver()" ] }, { "cell_type": "code", "execution_count": 45, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_two_frozen\n", "0\t검증 세트 손실: 1.091922\t최선의 손실: 1.091922\t정확도: 86.67%\n", "1\t검증 세트 손실: 0.557775\t최선의 손실: 0.557775\t정확도: 86.00%\n", "2\t검증 세트 손실: 0.686081\t최선의 손실: 0.557775\t정확도: 84.00%\n", "3\t검증 세트 손실: 0.403672\t최선의 손실: 0.403672\t정확도: 90.00%\n", "4\t검증 세트 손실: 1.062363\t최선의 손실: 0.403672\t정확도: 90.00%\n", "5\t검증 세트 손실: 0.952279\t최선의 손실: 0.403672\t정확도: 89.33%\n", "6\t검증 세트 손실: 1.306841\t최선의 손실: 0.403672\t정확도: 90.00%\n", "7\t검증 세트 손실: 1.222309\t최선의 손실: 0.403672\t정확도: 86.67%\n", "8\t검증 세트 손실: 1.454498\t최선의 손실: 0.403672\t정확도: 88.67%\n", "9\t검증 세트 손실: 1.003452\t최선의 손실: 0.403672\t정확도: 90.00%\n", "10\t검증 세트 손실: 9.119738\t최선의 손실: 0.403672\t정확도: 80.67%\n", "11\t검증 세트 손실: 1.140239\t최선의 손실: 0.403672\t정확도: 87.33%\n", "12\t검증 세트 손실: 0.785963\t최선의 손실: 0.403672\t정확도: 91.33%\n", "13\t검증 세트 손실: 5.012322\t최선의 손실: 0.403672\t정확도: 87.33%\n", "14\t검증 세트 손실: 8.965153\t최선의 손실: 0.403672\t정확도: 74.00%\n", "15\t검증 세트 손실: 21.502031\t최선의 손실: 0.403672\t정확도: 85.33%\n", "16\t검증 세트 손실: 0.447020\t최선의 손실: 0.403672\t정확도: 86.67%\n", "17\t검증 세트 손실: 0.579159\t최선의 손실: 0.403672\t정확도: 92.67%\n", "18\t검증 세트 손실: 1.043476\t최선의 손실: 0.403672\t정확도: 93.33%\n", "19\t검증 세트 손실: 1.467320\t최선의 손실: 0.403672\t정확도: 89.33%\n", "20\t검증 세트 손실: 0.984084\t최선의 손실: 0.403672\t정확도: 92.67%\n", "21\t검증 세트 손실: 1.313049\t최선의 손실: 0.403672\t정확도: 94.00%\n", "22\t검증 세트 손실: 1.258907\t최선의 손실: 0.403672\t정확도: 91.33%\n", "23\t검증 세트 손실: 1.202586\t최선의 손실: 0.403672\t정확도: 92.67%\n", "조기 종료!\n", "INFO:tensorflow:Restoring parameters from ./my_mnist_model_5_to_9_no_frozen\n", "최종 테스트 정확도: 88.03%\n" ] } ], "source": [ "n_epochs = 1000\n", "batch_size = 20\n", "\n", "max_checks_without_progress = 20\n", "checks_without_progress = 0\n", "best_loss = np.infty\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " two_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_two_frozen\")\n", " \n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " loss_val, acc_val = sess.run([loss, accuracy], feed_dict={X: X_valid2, y: y_valid2})\n", " if loss_val < best_loss:\n", " save_path = no_frozen_saver.save(sess, \"./my_mnist_model_5_to_9_no_frozen\")\n", " best_loss = loss_val\n", " checks_without_progress = 0\n", " else:\n", " checks_without_progress += 1\n", " if checks_without_progress > max_checks_without_progress:\n", " print(\"조기 종료!\")\n", " break\n", " print(\"{}\\t검증 세트 손실: {:.6f}\\t최선의 손실: {:.6f}\\t정확도: {:.2f}%\".format(\n", " epoch, loss_val, best_loss, acc_val * 100))\n", "\n", "with tf.Session() as sess:\n", " no_frozen_saver.restore(sess, \"./my_mnist_model_5_to_9_no_frozen\")\n", " acc_test = accuracy.eval(feed_dict={X: X_test2, y: y_test2})\n", " print(\"최종 테스트 정확도: {:.2f}%\".format(acc_test * 100))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "그냥 처음부터 훈련시킨 DNN과 비교해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 46, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "0\t검증 세트 손실: 0.674607\t최선의 손실: 0.674607\t정확도: 80.67%\n", "1\t검증 세트 손실: 0.584856\t최선의 손실: 0.584856\t정확도: 88.67%\n", "2\t검증 세트 손실: 0.647374\t최선의 손실: 0.584856\t정확도: 84.00%\n", "3\t검증 세트 손실: 0.530286\t최선의 손실: 0.530286\t정확도: 87.33%\n", "4\t검증 세트 손실: 0.683795\t최선의 손실: 0.530286\t정확도: 90.00%\n", "5\t검증 세트 손실: 0.533817\t최선의 손실: 0.530286\t정확도: 89.33%\n", "6\t검증 세트 손실: 0.722391\t최선의 손실: 0.530286\t정확도: 90.00%\n", "7\t검증 세트 손실: 0.949340\t최선의 손실: 0.530286\t정확도: 86.00%\n", "8\t검증 세트 손실: 1.288367\t최선의 손실: 0.530286\t정확도: 87.33%\n", "9\t검증 세트 손실: 0.804849\t최선의 손실: 0.530286\t정확도: 88.67%\n", "10\t검증 세트 손실: 0.686657\t최선의 손실: 0.530286\t정확도: 92.67%\n", "11\t검증 세트 손실: 2.097369\t최선의 손실: 0.530286\t정확도: 89.33%\n", "12\t검증 세트 손실: 0.680021\t최선의 손실: 0.530286\t정확도: 92.00%\n", "13\t검증 세트 손실: 1.210096\t최선의 손실: 0.530286\t정확도: 87.33%\n", "14\t검증 세트 손실: 0.792180\t최선의 손실: 0.530286\t정확도: 92.00%\n", "15\t검증 세트 손실: 1.430539\t최선의 손실: 0.530286\t정확도: 91.33%\n", "16\t검증 세트 손실: 1.673151\t최선의 손실: 0.530286\t정확도: 80.67%\n", "17\t검증 세트 손실: 0.823218\t최선의 손실: 0.530286\t정확도: 90.67%\n", "18\t검증 세트 손실: 1.503210\t최선의 손실: 0.530286\t정확도: 86.67%\n", "19\t검증 세트 손실: 1.169836\t최선의 손실: 0.530286\t정확도: 88.00%\n", "20\t검증 세트 손실: 0.984067\t최선의 손실: 0.530286\t정확도: 91.33%\n", "21\t검증 세트 손실: 0.893258\t최선의 손실: 0.530286\t정확도: 92.00%\n", "22\t검증 세트 손실: 1.165162\t최선의 손실: 0.530286\t정확도: 90.00%\n", "23\t검증 세트 손실: 1.353928\t최선의 손실: 0.530286\t정확도: 90.00%\n", "24\t검증 세트 손실: 1.493859\t최선의 손실: 0.530286\t정확도: 90.00%\n", "조기 종료!\n" ] }, { "data": { "text/plain": [ "DNNClassifier(activation=,\n", " batch_norm_momentum=None, batch_size=20, dropout_rate=None,\n", " initializer=,\n", " learning_rate=0.01, n_hidden_layers=4, n_neurons=100,\n", " optimizer_class=,\n", " random_state=42)" ] }, "execution_count": 46, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn_clf_5_to_9 = DNNClassifier(n_hidden_layers=4, random_state=42)\n", "dnn_clf_5_to_9.fit(X_train2, y_train2, n_epochs=1000, X_valid=X_valid2, y_valid=y_valid2)" ] }, { "cell_type": "code", "execution_count": 47, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "0.8481793869574161" ] }, "execution_count": 47, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred = dnn_clf_5_to_9.predict(X_test2)\n", "accuracy_score(y_test2, y_pred)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "와우 매우 안좋네요! ;) 전이 학습이 이 작업에 큰 도움이 안되었습니다. 하지만 다음 연습문제에서는 나은 결과를 얻을 수 있습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 10. 보조 작업으로 사전훈련" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이 예제에서는 두 개의 MNIST 숫자 이미지를 비교해서 두 이미지가 같은 숫자인지 아닌지 예측하는 DNN을 만들 것입니다. 그런 다음 이 네트워크의 하위층을 재사용하여 아주 적은 훈련 데이터로 MNIST 분류기를 훈련시킬 것입니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 10.1.\n", "_문제: 두 개의 DNN을 만드세요(이들을 DNN A, B라고 부르겠습니다). 이들은 출력층이 없는 것만 빼고는 앞서만든 것과 비슷합니다. 각 DNN은 다섯 개의 층을 가졌고 각 층은 He 초기화와 ELU 활성화 함수를 사용한 100개의 뉴런으로 되어 있습니다. 그다음에는 두 DNN 위에 하나의 출력층을 추가합니다. 텐서플로의 `concat()` 함수를 `axis=1`로 지정해서 수평축을 따라 두 DNN의 출력을 연결합니다. 그리고 그 결과를 출력층에 주입합니다. 출력층에는 로지스틱 활성화 함수를 사용하는 하나의 뉴런만 있어야 합니다._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "두 개의 입력 플레이스홀더 `X1`과 `X2`를 준비할 수 있습니다. 하나는 첫 번째 DNN에 이미지를 주입하기 위해서이고 다른 하나는 두 번째 DNN에 이미지를 주입하기 위해서입니다. 이렇게 해도 되지만 다른 방법은 두 이미지를 위해 하나의 입력 플레이스홀더를 만드는 것입니다(각 행은 이미지의 쌍을 담고 있습니다). 그리고 `tf.unstack()` 함수를 사용하여 다음과 같이 이 텐서를 두 개의 텐서로 나눕니다:" ] }, { "cell_type": "code", "execution_count": 48, "metadata": {}, "outputs": [], "source": [ "n_inputs = 28 * 28 # MNIST\n", "\n", "reset_graph()\n", "\n", "X = tf.placeholder(tf.float32, shape=(None, 2, n_inputs), name=\"X\")\n", "X1, X2 = tf.unstack(X, axis=1)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "레이블을 위한 플레이스홀더도 필요합니다. 각 레이블은 이미지가 다른 숫자일 때는 0, 그렇지 않고 동일한 숫자일 때는 1이 됩니다:" ] }, { "cell_type": "code", "execution_count": 49, "metadata": {}, "outputs": [], "source": [ "y = tf.placeholder(tf.int32, shape=[None, 1])" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이 입력을 두 개의 DNN에 주입하겠습니다:" ] }, { "cell_type": "code", "execution_count": 50, "metadata": {}, "outputs": [], "source": [ "dnn1 = dnn(X1, name=\"DNN_A\")\n", "dnn2 = dnn(X2, name=\"DNN_B\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "출력을 합칩니다:" ] }, { "cell_type": "code", "execution_count": 51, "metadata": {}, "outputs": [], "source": [ "dnn_outputs = tf.concat([dnn1, dnn2], axis=1)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "각 DNN은 (샘플마다) 100개의 활성화 함수 출력을 만드므로 크기는 `[None, 100]`이 됩니다:" ] }, { "cell_type": "code", "execution_count": 52, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "TensorShape([Dimension(None), Dimension(100)])" ] }, "execution_count": 52, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn1.shape" ] }, { "cell_type": "code", "execution_count": 53, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "TensorShape([Dimension(None), Dimension(100)])" ] }, "execution_count": 53, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn2.shape" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "당연히 합쳐진 출력의 크기는 `[None, 200]`이 됩니다:" ] }, { "cell_type": "code", "execution_count": 54, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "TensorShape([Dimension(None), Dimension(200)])" ] }, "execution_count": 54, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dnn_outputs.shape" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 10개의 뉴런으로 된 은닉층과 하나의 뉴런으로 된 출력층을 추가합니다:" ] }, { "cell_type": "code", "execution_count": 55, "metadata": {}, "outputs": [], "source": [ "hidden = tf.layers.dense(dnn_outputs, units=10, activation=tf.nn.elu, kernel_initializer=he_init)\n", "logits = tf.layers.dense(hidden, units=1, kernel_initializer=he_init)\n", "y_proba = tf.nn.sigmoid(logits)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "전체 네트워크는 `y_proba >= 0.5`이면 `1`을 예측하고(즉, 신경망이 두 이미지가 동일한 숫자라고 예측합니다) 그렇지 않으면 `0`을 출력합니다. 여기서는 이와 동일하고 불필요한 계산을 줄이기 위해 `logits >= 0`을 계산합니다:" ] }, { "cell_type": "code", "execution_count": 56, "metadata": {}, "outputs": [], "source": [ "y_pred = tf.cast(tf.greater_equal(logits, 0), tf.int32)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "비용 함수를 추가합니다:" ] }, { "cell_type": "code", "execution_count": 57, "metadata": {}, "outputs": [], "source": [ "y_as_float = tf.cast(y, tf.float32)\n", "xentropy = tf.nn.sigmoid_cross_entropy_with_logits(labels=y_as_float, logits=logits)\n", "loss = tf.reduce_mean(xentropy)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 옵티마이저를 사용해 훈련 연산을 만듭니다:" ] }, { "cell_type": "code", "execution_count": 58, "metadata": {}, "outputs": [], "source": [ "learning_rate = 0.01\n", "momentum = 0.95\n", "\n", "optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)\n", "training_op = optimizer.minimize(loss)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "분류기의 정확도를 측정합니다." ] }, { "cell_type": "code", "execution_count": 59, "metadata": {}, "outputs": [], "source": [ "y_pred_correct = tf.equal(y_pred, y)\n", "accuracy = tf.reduce_mean(tf.cast(y_pred_correct, tf.float32))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "초기화 연산과 `Saver` 객체를 만듭니다:" ] }, { "cell_type": "code", "execution_count": 60, "metadata": {}, "outputs": [], "source": [ "init = tf.global_variables_initializer()\n", "saver = tf.train.Saver()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 10.2.\n", "_문제: MNIST 데이터셋을 두 개로 나눕니다. 분할 #1은 55,000개의 이미지, 분할 #2는 5,000개의 이미지를 담고 있어야 합니다. 분할 #1로부터 선택한 MNIST 이미지 한 쌍을 샘플로 가지는 훈련 배치를 생성하는 함수를 만드세요. 훈련 세트의 절반은 같은 클래스에 속하는 이미지 쌍이어야 합니다. 나머지 절반은 다른 클래스로부터 추출한 이미지여야 합니다. 각 쌍에 대해 훈련 레이블은 이미지가 같은 클래스면 0, 다른 클래스면 1이어야 합니다._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "텐서플로의 `input_data()` 함수에서 반환되는 MNIST 데이터셋은 이미 3개의 부분으로 나뉘어져 있습니다: 훈련 세트(55,000개 샘플), 검증 세트(5,000개 샘플), 테스트 세트(10,000개 샘플). 첫 번째 세트를 사용해 이미지 쌍을 구성하는 훈련 세트를 만들고 두 번째 세트로 연습문제의 2단계(일반 MNIST 분류기를 훈련시키는 것)를 수행하겠습니다. 세 번째 세트로 이 두 단계를 평가하도록 하겠습니다." ] }, { "cell_type": "code", "execution_count": 61, "metadata": {}, "outputs": [], "source": [ "X_train1 = X_train\n", "y_train1 = y_train\n", "\n", "X_train2 = X_valid\n", "y_train2 = y_valid\n", "\n", "X_test = X_test\n", "y_test = y_test" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이미지 쌍을 생성하는 함수를 만듭니다: 50%는 같은 숫자이고 나머지 50%는 다른 숫자여야 합니다. 방법은 많이 있습니다. 여기에서는 생성할 동일한 쌍(즉 같은 숫자의 이미지)과 다른 쌍(다른 숫자의 이미지)이 얼마나 많은지 계산합니다. 간단하게 `batch_size // 2`를 사용해 계산하고 홀수일 경우를 대비한 코드를 추가합니다. 그리고 무작위로 쌍을 골라서 같은 숫자에 해당하는 쌍을 선택합니다. 그다음 다른 숫자의 쌍을 채웁니다. 마지막으로 배치를 섞고 반환합니다:" ] }, { "cell_type": "code", "execution_count": 62, "metadata": {}, "outputs": [], "source": [ "def generate_batch(images, labels, batch_size):\n", " size1 = batch_size // 2\n", " size2 = batch_size - size1\n", " if size1 != size2 and np.random.rand() > 0.5:\n", " size1, size2 = size2, size1\n", " X = []\n", " y = []\n", " while len(X) < size1:\n", " rnd_idx1, rnd_idx2 = np.random.randint(0, len(images), 2)\n", " if rnd_idx1 != rnd_idx2 and labels[rnd_idx1] == labels[rnd_idx2]:\n", " X.append(np.array([images[rnd_idx1], images[rnd_idx2]]))\n", " y.append([1])\n", " while len(X) < batch_size:\n", " rnd_idx1, rnd_idx2 = np.random.randint(0, len(images), 2)\n", " if labels[rnd_idx1] != labels[rnd_idx2]:\n", " X.append(np.array([images[rnd_idx1], images[rnd_idx2]]))\n", " y.append([0])\n", " rnd_indices = np.random.permutation(batch_size)\n", " return np.array(X)[rnd_indices], np.array(y)[rnd_indices]" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "테스트로 5개의 이미지 쌍을 생성해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 63, "metadata": {}, "outputs": [], "source": [ "batch_size = 5\n", "X_batch, y_batch = generate_batch(X_train1, y_train1, batch_size)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "`X_batch`의 각 행은 이미지 쌍을 가지고 있습니다:" ] }, { "cell_type": "code", "execution_count": 64, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "((5, 2, 784), dtype('float32'))" ] }, "execution_count": 64, "metadata": {}, "output_type": "execute_result" } ], "source": [ "X_batch.shape, X_batch.dtype" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이 쌍을 확인해 보죠:" ] }, { "cell_type": "code", "execution_count": 65, "metadata": {}, "outputs": [ { "data": { "image/png": "iVBORw0KGgoAAAANSUhEUgAAANEAAAGgCAYAAAA0M4I/AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4yLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvOIA7rQAAHIdJREFUeJzt3XmYjef5B/CvBGMQ29hGbNkQBKEllogsUllKXCpIZaMuqViLkKA0WiQa0WikbVwxqlWJEEssQYNELLUGyWRTonLFTMZOZUT090d+zz33mXNm5py537N/P//0e71n5pynM7k997zv8z5vif/9738gouK7ItoDIIp3LCIiIxYRkRGLiMiIRURkxCIiMmIRERmxiIiMSkZ7APnwym/oShi+lz/v0Pn9vDkTERmxiIiMWERERiwiIiMWEZERi4jIiEVEZMQiIjJiEREZsYiIjFhEREYsIiIjFhGREYuIyIhFRGQUa/cTxbyRI0dKnjFjhuSuXbsCAJYtWxbxMcWbrVu3Sl65cqXk3//+9wCA3NxcOVaiRN7tO5UrV5Y8ceJEAMCgQYPkWMmS0fnPmTMRkRGLiMioRIztxR1Tgzl16hQA4JFHHpFj69atk6zbjpSUFADAli1b5NjNN98c7iECcXJ7+PPPPy952rRpkk+fPu33tfq/Sd3OBTJ8+HDJL7zwgmWIweLt4UReYxERGfHsXD4LFy6UPGTIEABATk6OHGvWrJlkd0YOAH73u98BAC5cuBDuIcaVTZs2Acg78wb4tnCVKlWSXK1aNQDA2LFj5di5c+ck//GPf5TsWul//OMfcuzkyZOSJ02aJLlu3brFHn8wOBMRGfHEAoADBw5IvuWWWyT/97//BQA0b95cjq1atUry+fPnJffs2RMA8K9//UuOlSpVyvvB+ou5EwuZmZmSO3XqBMB3Nu/Tp4/kUaNGSW7RokXQn+FO+ujZaf78+ZI3btwoOT09Pej3DQJPLBB5jUVEZJS0Jxa+/fZbyaNHj5bsWjht1qxZknVr8P7770u+fPkygIi1cDFt9uzZkl0b504aAMBzzz0n+eqrry7WZ7glPp988okc++KLLyRnZWVJ9rid88OZiMiIRURklLTt3Lx58ySvWbMm4NfMnTsXANChQ4eArzdu3Fjyyy+/DAA4c+aMHKtQoYJ5nPHis88+k6yvtTlz5syRXNwWTnOruPV1omjhTERkxCIiMkq6du7o0aMA8toBwHelcJcuXfyyvhirVyPrC3rufTdv3izH2rVr59GoY5++8HzixAm/12vXrm3+jLNnz0rWN/Y5uu1u2LCh+fOCxZmIyCjpZqLDhw8DALKzswO+/sEHH0i+6aabAPguWSnq/hYKn7Vr10revn07AKBGjRpybPr06ZJTU1MjNi7ORERGLCIio6Rr58qWLQsAaNCggRzT1zjc60De7jL6XpgmTZpIbt26tWTXVtSrV8/jEccHvaxH/wy+/PJL0/vqExb69+Do36P+fUQSZyIiIxYRkVHStXMtW7YEAOzfv1+O7dixQ7JuRQItT9HXiTTX+nmxpCUe6etAjRo1kuzauQEDBsgxfZZNb8joXLx4UbK77R7wveHRiYVrcZyJiIxYRERGSdfOOfrmuVBaAr2sR+9PUdBK72Q0fvx4yevXrwcA7Nq1S46lpaVJHjZsmORy5coBAN599105tm3btoCfUatWLQBA//79PRixDWciIiPu9hOEgwcPSm7fvr1kvX+a2+Gmfv36ERvX/4u53X60xYsXA/A9QfDRRx9JvnTpkv+ggthGeMyYMQCAKVOmeDLOEHC3HyKvsYiIjJL2xEIodMugV38/8MADkqPQxsWFHj16+PwvkNfiAb73ZLknbnzzzTdyzG3SmJ+73hcLOBMRGbGIiIx4dq4QrpXQm//p60v6gV5NmzaN3MB8xfTZueLQ134yMjIk69+Du37kxW3nIeLZOSKv8cRCIdx2t3rLYf1EgyjOPgnN7fcH+F4nuvHGGyVHYQYqEGciIiMWEZER27l89FMh9AO9HLZw4aMf0uW4p7IDwFNPPRXJ4QSNMxGREYuIyIjtXD5LliyRrG8hd+67775IDiepuHuPtCpVqkju3LlzJIcTNM5EREYsIiIjLvvJp3r16pLdHtx69xq940z58uUjN7CCJcyyn4oVKwLwffqDuw0cyHvyRpRx2Q+R13hiAb7/8gW6XVk/syhGZp+k8aMf/SjaQygSZyIiIxYRkRHbOfjucxbodmS3swxFRqdOnSTHw8+eMxGREYuIyIjXieJfwlwnihO8TkTkNRYRkRGLiMiIRURkxCIiMmIRERmxiIiMWERERiwiIiMWEZERV3FT3Ni5c6dk94C1Rx55RI5F4fmtADgTEZlxJqKYpu/vGjBggOQf//jHAICsrKyIjyk/zkRERiwiIiPeT2Qwfvx4yVWrVgUADB8+PNLDSOj7ifQT2lNTUyUvWLAAAJCbmyvHypQpE4kh8X4iIq+xiIiMeHYuRGfOnJE8b948yaNGjYrGcBLSO++8I3n16tWS33//fcnuWa4RauEKxZmIyIhFRGTEdi5EJ06ckKyfUqCfHEE2w4YNk9y8eXPJrVu3jsZwisSZiMiIM1GIAj2CEgAaNmwY4ZEknkWLFgEAPv30Uzl27NixaA0naJyJiIxYRERGbOdCNGvWrGgPIWG5n60+SVOjRo1oDSdonImIjFhEREZs54Jw/vx5yXv27JHcokULyfXr14/kkBLG8ePHJW/btg2A70PX4gFnIiIjzkRB2LBhg+ScnBzJ/fv3j8ZwEsqkSZMkV65cGQDQtGnTKI2meDgTERmxiIiM2M4F4c0335SckpIi+fHHH4/GcOKeXsS7cOFCydOmTQMAVKpUKeJjsuBMRGTEIiIyYjsXhDfeeENyenq6ZK7cLp6MjAzJ+jpRs2bN/L42Oztb8oULFySXK1cOQN4uS9HEmYjIiEVEZMR2rhBz5swB4NtG8AKr3ebNmyW3adNGcuPGjQEAr7zyihwbO3asZL3TkjuDN3nyZDk2ePBg7wcbBM5EREaciQrhtqotXbq0HPvZz34WreHEtUOHDklesWKF5KlTp0ru3r07AGDfvn1yTM9K2uHDhwEAI0aMkGP16tWT/NOf/tQ24BBwJiIyYhERGbGdy2fv3r2S3R/Ars0AuL9ccentgC9duiS5Y8eOkt0TSvSDux566KGA7+ce/jVu3Dg5pvcBjCTORERGLCIiI7Zz+SxdulTyd999BwDo06dPtIaTMPTyHU0vnXLbBI8ePbrY7xcNnImIjDgT5aOfgVOtWjUAwE033RSt4SSMnTt3Sq5Zs6ZkfQ0uFH/729/8vr9bt27FHJ0NZyIiIxYRkRHbOQBr166VvHHjRskDBw4EAFx33XWRHlLCqVKlimS9NXCpUqWCfo/du3dLdsuFnnnmGTlWq1YtyxCLjTMRkRGLiMiI7RyALVu2SL58+bJkrtj2Ttu2bSXPnz9f8unTpyWnpaX5fd+UKVMk69v0b7/9dgDAhAkTPB1ncXAmIjJiEREZsZ0D8O9//1tynTp1JOsWhGyuuuqqgMd79uwp+e677wbg+1SITZs2Se7Xr5/kZ599FgBQsmT0/xPmTERkFP0yjpLMzEzJeptgvTFGampqRMeUyHr37i1ZPx1c70Hnnr5x1113ybHly5dL/slPfhLGERYfZyIiIxYRkVHStnPvvPOOZL2vXMWKFaMxnISnTwDoveJ0jleciYiMWERERknbzrVs2TLaQ6AEwZmIyIhFRGRUwm2YFyNiajBxooThe/nzDp3fz5szEZERi4jIiEVEZMQiIjJiEREZsYiIjFhEREYsIiIjFhGREYuIyIhFRGTEIiIyYhERGbGIiIxYRERGLCIiIxYRkRGLiMiIRURkxCIiMkrafecKMm/ePMkffvih3+svvvii5BIl/PcIadWqlWT9nJ2Cns9DNvfee6/k1atXSx42bJjkmTNnhnUMnImIjFhEREZs5/JZtWqVZP3wL0e3cIHaud27d0ueM2eO5BEjRng1RCqA/n18/PHHEftczkRERiwiIiO2c/noh07dd999AHxbPG3btm2S//Of//i9fsMNN3g8OnL27dsHAFi3bl2UR8KZiMiMG9qH6OzZs5I7duwo2f3LqH3//feRGFJSbmjfq1cvAMCiRYsCvq6vDQ0dOtTLj+aG9kReYxERGfHEQhB0C1ehQgXJga4T/frXv47ImJKRbpmXL1/u93q5cuUkd+7cOSJjAjgTEZmxiIiM2M4V4vjx4wCA7t27y7GClv20bdsWADBmzJgIjS45HDlyRHL//v0l5+bm+n1to0aNJN94443hHZjCmYjIiEVEZMR2Lh/XwgHAlClTAAAffPBBwK+tWrWq39empqaGcXTJ5+uvv5a8a9cuv9ebNm0qedmyZREZU36ciYiMuOwnn379+knWt4o7+ueVkpIiuXr16n5fu2TJEsn6tnGPJdyynw0bNki+6667JAf6b1UvDu7SpUt4B/YDLvsh8hqLiMiIJxbgey9QRkZGoV+rWwp9rSLQ/USbNm2SHMZ2LmFcvnwZQN5JGiBwCwcAderUAQB06NAh/AMrAmciIiMWEZER2zkAaWlpktu1ayd569athX5foFXcobxOvl544QUAwD//+c+Ar+vf0+LFiwEA5cuXD//AisCZiMiI14ny+eyzzySfOHGi0K+dMGGCZL1lsHP06FHJ6enpHowuoLi+TrR//37Jd955JwAgJydHjl1zzTWS9aYk1157bQRGFxCvExF5jUVEZMQTC/k0aNCg0Nf1reK67QgkjC1cXNuxY4dkt7cfEPjn+eCDD0qOYgtXKM5EREYsIiIjnp0LkV6+s2fPHslly5YFACxcuFCO3X///ZEYUlycnTt37pzk66+/XnJ2drbf1+qf29KlSyVfcUVM/JvPs3NEXmMRERnx7FwQ3n77bcm6hdPLelwLEqEWLm5cuHABAPDoo4/KsUAtnKbbvRhp4QoV+yMkinGciQrhFkIOGTIk4Ot6o5JBgwZFZEzxZuPGjQCAt956q8ivHT58OABg4sSJ4RyS5zgTERmxiIiMEradmzFjhmR9AqB3794AgluS49o5vZWt5t4L8H3gV7LTJw7Gjx9f6Nfq+4H69u0LAKhYsWJ4BhYmnImIjFhEREYJtexHt3AjR46UrNs5t0p7/fr1cqxmzZqSf/vb30p+9tln/T6jdu3akvV7FLX6O4xiYtlPVlaW5HvuuUfy3r17C/0+/bCuOLnGxmU/RF5jEREZJVQ7p/dHuOOOOyTrJws4uv3Sy0z03s6BZGZmBnyPKIqJdq5Hjx6Si7qw+sQTT0ieOXOm5NKlS3s1nHBiO0fktYSaibQDBw5I1n+wBtruV/8MinoieAwuSYmJmUhv/Rvo2lDDhg0l69k8DnEmIvIai4jIKGGX/ejHEOrHFD7zzDMAgDlz5gT8vlq1akl2bckvfvGLcAwxoRR0kqVu3boAfK8HJRrORERGLCIio4Q9O5dEYuLsXBLh2Tkir7GIiIxYRERGLCIiIxYRkRGLiMiIRURkxCIiMmIRERmxiIiMWERERiwiIiMWEZERi4jIiEVEZMQiIjJiEREZsYiIjFhEREYsIiKjhN13jmJDmzZtAADHjh2TY3rze72l8NatWwEAp06ditDovMGZiMiIRURkxH3n4l9M7zt3yy23AAB27NhR5NdeccUP/6aXK1dOjumnst99991+3/Pzn/9ccuXKlYs9zhBw3zkir7GIiIx4do7CqmXLlgCCa+cuX74MADh79qwce/vttyWvXLnS73vS0tIk9+nTp9jjtOBMRGTEIiIyStp2TrcM+vmu+mFUc+fO9fu+W2+9VbJ+kFiZMmUAAAMHDpRjlSpV8mawcWz69OkAgH379skxd1HVC5988oln71VcnImIjJL2OtHgwYMlv/LKK0F/X1FPGq9evbpkfY3jl7/8peSqVasC8J3JDGL6OpE7oaCv8Zw5cybg17onjNepU0eOFfTzHjNmDACgXbt2csx1A2HG60REXmMRERklbTv38ccfSy6onVu7di0A4IsvvpBjRbVzBdHfV7FiRQBA7dq15Zhud7p16yZZt4QFiOl27qGHHgIAvP766wFfb9GiheRly5YB8P25xCC2c0ReYxERGSVtO6edPn1a8rhx4yTPnj3b72tfeuklybrtOHjwIAAgIyNDjh0/flzy119/LTmUNtAthSlETLdzRa3i1j+vhx9+ONzD8QLbOSKvsYiIjJJ22c/69esljxgxQrI+a+farlGjRsmx7t27S7766qv93nfkyJGSv/rqK8n6DF+i27Bhg+RDhw75va5/bu3bt4/ImMKJMxGRUVKcWLh48aLkzZs3AwDuv/9+OZabmyvZLckBgCeffBKA75KdatWqhWOIFjF3YqFx48aSP/30U7/Xq1SpIvnNN9+UfPPNNxf6vldddZXkUE7OeIwnFoi8xiIiMkqKdm7jxo2S77zzzh8+qIDlOzNnzpQ8ZMiQcAzHa3HXzoVC/570SZsJEyYAACpUqGB6/2JgO0fkNRYRkVFStHOff/65ZHcTl16So9u5kiXzLp01aNDA7732798fjiFaxFw7p89m/vnPf/Z7vVOnTpJ1qx1IUavmmzRpItmtugeA9PT0YIZaHGzniLyWFDORXjng7ll577335NhHH30k+ZtvvpGcnZ3t91568xH3xy2Qt52tvj08QmJuJrp06ZJk9/PW90ulpKRI1tfoAtELgl999VXJ+tqfo7cfXrFiheTbbrstmGEHizMRkddYRERGSdHOheLw4cOS3f5ogwYNkmP63iP9h27z5s0BALt37w7zCP3EXDunuW2AW7VqJceK+0e/vidr2rRpAID58+fLMf27cb8PAFi6dCkAoG7dusX63HzYzhF5jUVEZMR2LggnT56UvG7dOsn6PiPXavTs2VOOLViwIAKji+12zt0e3rdvXzmmN8600mfsnnjiiYBf43ZM0vc5GbCdI/Iai4jIKGlvDw+FfhZoly5dJG/fvl2yW/195MgROXb06FHJMb4hYdjpnZN69eol2XqTo76JsiA9evQwfUZROBMRGSXETOSu4+glIoE2EfGCXtIS6OkG+v4WvZg12en7ivQSoKFDh0p+/PHHg36/nJwcAIH3BgR8nywR6KnjXuJMRGTEIiIySoh+w63Cvv322+WY/mNy6tSpft+jHzGpffvtt5L1FrfOyy+/LDnQfUjDhw+XYzVr1ixq6Akv0IkD/ehJ3c7pldeOXoG9bds2yW7b5l27dgX8XL3ER+8SFA6ciYiMWERERgmx7Mfd/q2vP2RmZkpu27at3/fo25KL+7Au3TL86le/AuDbnkRITC/7CbQcKpSnh4fyUDV9Q+SiRYskd+jQIejPCwKX/RB5LSFmIufUqVOSt2zZInn58uWS3e3KofwLp5/y3bVrV8mPPvqo5Cjsf+bE9EzkZGVlSdYPBdizZ4/kQLd8F/V7at26tWT3uwXCeps+ZyIir7GIiIwSqp1LUnHRzhXE3T4O5N1ar68HrVmzRrJu555++mkAvs+WSktLC9s4FbZzRF5jEREZsZ2Lf3HdzsUhtnNEXmMRERmxiIiMWERERiwiIiMWEZERi4jIiEVEZMQiIjJiEREZsYiIjFhEREYsIiIjFhGREYuIyIhFRGTEIiIyYhERGbGIiIxYRERGLCIiIxYRkRGLiMgoIR43afXll19KHjx4sGS9xa0zcOBAyd26dZPsnlB95ZVXhmOICeW7776TrB/v+Yc//AEAMHnyZDmm90UcNWqU5HvvvRcA0KZNGzlWqlQp7wcbBM5EREYsIiKjpN1GWD91+p577pGck5NTrPd77bXXAACPPfaYaVzFEHfbCM+dO1dy//79/V4vX768ZP3f5/nz5/2+Vv+8p0+fLjmMT4jgNsJEXmMRERklbTt3ww03SD548KD5/SpXrgwAWLVqlRzTZ47CKC7aualTp0qeMWOG5OPHj0t+8cUXAQBNmjSRY+7p44DvM3IDqVGjhuRNmzZJbtCgQTFGXCC2c0ReYxERGSXtxdZLly55+n4nT54EAEybNk2OvfXWW55+RjzKzMwEkNeqAb4tXO/evSW3b98egO8FbfccV8D3ma316tUDAJw+fVqOZWVlSc7OzpbscTvnhzMRkVHSzkRPPvmkZLfcJBgzZ86UrJeh6KVDlGf27NkAfK+/uSVSANCiRQvJt956KwAgNzdXjt1xxx2SR48eLblp06YAgO3bt8uxnj17Sv7Tn/7k9xn6+pOXOBMRGbGIiIyStp3TrZjOoZg1a5ZktnOBBboG566pAcDYsWMlu5MFeinQ+PHjC31/3fpVq1ZN8oIFCyR3794dANCjR49ghx0SzkRERiwiIqOkbedCoVsGfZbpyJEj0RhOXGnUqBEAYM2aNXLs9ddfl1y/fn3Jq1evBgA0bNgw6Pe/7rrrAr5vr169JC9atAgA2zmimJVQM5H+I7ZKlSqS9R+yBw4cAAC89NJLcuzcuXOSr7gi798Vt0jV/QsJACdOnJB8+PBhD0adePSKBL3iwAk0+wChzUCBdOrUybP3CgVnIiIjFhGRUUK1c26JCQAsXrxYctmyZSV/9dVXAICzZ8+GZQx6QWWyWrJkieT33nvP7/XWrVtLjkTbtWzZMgDAoUOH5Ng111zj2ftzJiIyYhERGSVEO+eu3bz77rtyLNLXcNySFX19Ipnos5Z6OZQzadIkyU899VQkhiTcdb7vv/8+LO/PmYjIiEVEZJQQ7ZzbYefDDz+M2hiOHTsGANiyZYsca9euXbSGE3F6Jfz+/fv9Xtc315UpUybs49G7WIV7RyvORERGCTETxQL3x6texpJMM5GmNxS5/vrrAQDXXntt1MagczhwJiIyYhERGSVEO+dWBZcsmfd/p7j7yunthT///POQv9+tEqcfpKenAwBq1aoV9s+6cOGCZP3wMLfMqHr16mH5XM5EREYsIiKjhGjnOnbsCMD3Gao7d+4s9Hv69esneejQoZJLly4t+eLFi37f95e//EXy3//+d8n79u0LYcTJw93wqG98DNcmiitXrpSsf/8PPvggAKBChQph+VzORERGLCIio4Ro5xy3q4tXUlNT/Y7p/aD1Q7w6d+4MIG/5D+B7higSS11i0Z49ewAAe/fulWMdOnTw7P31vhp6f/VI4kxEZJS0j5v0mrseop+Ro/dB049QdLeu6xMhzZo1K+5Hx8TjJvXTGdy2vUDezPzAAw/IsYyMDMnF/WPfPUl8wIABcmzhwoWS9TUh93u47bbbivVZ+fBxk0ReYxERGbGd88jTTz8NAHjuuefkWEpKiuSqVatKdjsOzZs3T449/PDDxf3omGjntIkTJ0qePHmy3+u6tfvrX/8quajrR3pZj7vOp1tm/VSIN954Q7JHbZzDdo7IaywiIqOEuk4UTe6J17q90Ht1uxYuGeiHdLm9uPWSnKVLl0ru27ev5K5du/q9l1569fzzz0t2P9u0tDQ5NmLECMket3CF4kxEZMQTCx6bPn265DFjxgT8miuvvBIAsGLFCjnWpUuX4n5kzJ1Y0NxMomcGfU2pKPq/T32bt1shMmHCBDnm5UqIQvDEApHXWERERmznPHb69GnJ48aNk6yfWPHYY48BAF577TUvPjKm2zlHX+N59dVXJf/mN7+RfPLkSb/vK1WqlGS9+NctLWrVqpWn4wwC2zkir7GIiIzYzsW/uGjnEgjbOSKvsYiIjFhEREYsIiIjFhGREYuIyIhFRGQUa/cThfdpTJQff94e4ExEZMQiIjJiEREZsYiIjFhEREYsIiIjFhGREYuIyIhFRGTEIiIyYhERGbGIiIxYRERGLCIiIxYRkRGLiMiIRURkxCIiMmIRERmxiIiMWERERiwiIiMWEZERi4jIiEVEZPR/L8/YiUqy89YAAAAASUVORK5CYII=\n", "text/plain": [ "
" ] }, "metadata": { "needs_background": "light" }, "output_type": "display_data" } ], "source": [ "plt.figure(figsize=(3, 3 * batch_size))\n", "plt.subplot(121)\n", "plt.imshow(X_batch[:,0].reshape(28 * batch_size, 28), cmap=\"binary\", interpolation=\"nearest\")\n", "plt.axis('off')\n", "plt.subplot(122)\n", "plt.imshow(X_batch[:,1].reshape(28 * batch_size, 28), cmap=\"binary\", interpolation=\"nearest\")\n", "plt.axis('off')\n", "plt.show()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "레이블을 확인해 보겠습니다(0은 \"다른 것\", 1은 \"같은 것\"을 의미합니다):" ] }, { "cell_type": "code", "execution_count": 66, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "array([[1],\n", " [0],\n", " [0],\n", " [1],\n", " [0]])" ] }, "execution_count": 66, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_batch" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "완벽하네요!" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 10.3.\n", "_문제: 이 훈련 세트로 DNN을 훈련시키세요. 각각의 이미지 쌍에서 첫 번째 이미지는 DNN A에, 두 번째 이미지는 DNN B에 동시에 주입합니다. 전체 네트워크는 두 이미지가 같은 클래스인지 아닌지 구분하도록 점차 학습될 것입니다._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "MNIST 테스트 세트에서 추출한 이미지 쌍으로 테스트 세트를 만듭니다:" ] }, { "cell_type": "code", "execution_count": 67, "metadata": {}, "outputs": [], "source": [ "X_test1, y_test1 = generate_batch(X_test, y_test, batch_size=len(X_test))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 모델을 훈련시킵니다. `batch_size`가 크다는 것외에는 이 단계에 특별한 것은 없습니다. 배치 사이즈가 크지 않으면 모델이 학습을 실패하고 50% 정확도밖에 도달하지 못할 것입니다:" ] }, { "cell_type": "code", "execution_count": 68, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "0 훈련 손실: 0.69103277\n", "0 테스트 정확도: 0.542\n", "1 훈련 손실: 0.60353535\n", "2 훈련 손실: 0.5494604\n", "3 훈련 손실: 0.47047246\n", "4 훈련 손실: 0.4060757\n", "5 훈련 손실: 0.3830816\n", "5 테스트 정확도: 0.824\n", "6 훈련 손실: 0.39047274\n", "7 훈련 손실: 0.33907944\n", "8 훈련 손실: 0.32106704\n", "9 훈련 손실: 0.31792682\n", "10 훈련 손실: 0.2449429\n", "10 테스트 정확도: 0.8881\n", "11 훈련 손실: 0.2929237\n", "12 훈련 손실: 0.2322544\n", "13 훈련 손실: 0.23180935\n", "14 훈련 손실: 0.19877945\n", "15 훈련 손실: 0.20065445\n", "15 테스트 정확도: 0.9203\n", "16 훈련 손실: 0.19700484\n", "17 훈련 손실: 0.18893169\n", "18 훈련 손실: 0.19965445\n", "19 훈련 손실: 0.24071623\n", "20 훈련 손실: 0.18882048\n", "20 테스트 정확도: 0.9367\n", "21 훈련 손실: 0.124192186\n", "22 훈련 손실: 0.1401344\n", "23 훈련 손실: 0.12078959\n", "24 훈련 손실: 0.15721178\n", "25 훈련 손실: 0.11507866\n", "25 테스트 정확도: 0.948\n", "26 훈련 손실: 0.13891123\n", "27 훈련 손실: 0.15260853\n", "28 훈련 손실: 0.12343661\n", "29 훈련 손실: 0.11543142\n", "30 훈련 손실: 0.114027806\n", "30 테스트 정확도: 0.9507\n", "31 훈련 손실: 0.11897193\n", "32 훈련 손실: 0.09546791\n", "33 훈련 손실: 0.08299375\n", "34 훈련 손실: 0.13659406\n", "35 훈련 손실: 0.06801656\n", "35 테스트 정확도: 0.9592\n", "36 훈련 손실: 0.110167034\n", "37 훈련 손실: 0.049502444\n", "38 훈련 손실: 0.0813376\n", "39 훈련 손실: 0.09441994\n", "40 훈련 손실: 0.08737232\n", "40 테스트 정확도: 0.9619\n", "41 훈련 손실: 0.07679169\n", "42 훈련 손실: 0.06596794\n", "43 훈련 손실: 0.083247855\n", "44 훈련 손실: 0.07457321\n", "45 훈련 손실: 0.14072452\n", "45 테스트 정확도: 0.9656\n", "46 훈련 손실: 0.06726562\n", "47 훈련 손실: 0.09937136\n", "48 훈련 손실: 0.049632233\n", "49 훈련 손실: 0.05083555\n", "50 훈련 손실: 0.044153314\n", "50 테스트 정확도: 0.9685\n", "51 훈련 손실: 0.052974995\n", "52 훈련 손실: 0.044572327\n", "53 훈련 손실: 0.09052756\n", "54 훈련 손실: 0.094600104\n", "55 훈련 손실: 0.036649987\n", "55 테스트 정확도: 0.9688\n", "56 훈련 손실: 0.046360437\n", "57 훈련 손실: 0.059153523\n", "58 훈련 손실: 0.049381103\n", "59 훈련 손실: 0.060340907\n", "60 훈련 손실: 0.041446067\n", "60 테스트 정확도: 0.9733\n", "61 훈련 손실: 0.040578812\n", "62 훈련 손실: 0.057209816\n", "63 훈련 손실: 0.058650076\n", "64 훈련 손실: 0.042314883\n", "65 훈련 손실: 0.029547308\n", "65 테스트 정확도: 0.9723\n", "66 훈련 손실: 0.05906918\n", "67 훈련 손실: 0.05033894\n", "68 훈련 손실: 0.04577447\n", "69 훈련 손실: 0.04179259\n", "70 훈련 손실: 0.047385734\n", "70 테스트 정확도: 0.9743\n", "71 훈련 손실: 0.019731332\n", "72 훈련 손실: 0.03946467\n", "73 훈련 손실: 0.041868564\n", "74 훈련 손실: 0.053035054\n", "75 훈련 손실: 0.052626826\n", "75 테스트 정확도: 0.9756\n", "76 훈련 손실: 0.038277015\n", "77 훈련 손실: 0.026333716\n", "78 훈련 손실: 0.07061119\n", "79 훈련 손실: 0.032390743\n", "80 훈련 손실: 0.031364933\n", "80 테스트 정확도: 0.9731\n", "81 훈련 손실: 0.043911424\n", "82 훈련 손실: 0.015268359\n", "83 훈련 손실: 0.048755325\n", "84 훈련 손실: 0.02936522\n", "85 훈련 손실: 0.041843858\n", "85 테스트 정확도: 0.9758\n", "86 훈련 손실: 0.01827466\n", "87 훈련 손실: 0.038874485\n", "88 훈련 손실: 0.02969731\n", "89 훈련 손실: 0.020993484\n", "90 훈련 손실: 0.045232646\n", "90 테스트 정확도: 0.9769\n", "91 훈련 손실: 0.039236553\n", "92 훈련 손실: 0.03133007\n", "93 훈련 손실: 0.033417545\n", "94 훈련 손실: 0.02588355\n", "95 훈련 손실: 0.019570207\n", "95 테스트 정확도: 0.9765\n", "96 훈련 손실: 0.020656582\n", "97 훈련 손실: 0.03398518\n", "98 훈련 손실: 0.04707572\n", "99 훈련 손실: 0.031259753\n" ] } ], "source": [ "n_epochs = 100\n", "batch_size = 500\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " for epoch in range(n_epochs):\n", " for iteration in range(len(X_train1) // batch_size):\n", " X_batch, y_batch = generate_batch(X_train1, y_train1, batch_size)\n", " loss_val, _ = sess.run([loss, training_op], feed_dict={X: X_batch, y: y_batch})\n", " print(epoch, \"훈련 손실:\", loss_val)\n", " if epoch % 5 == 0:\n", " acc_test = accuracy.eval(feed_dict={X: X_test1, y: y_test1})\n", " print(epoch, \"테스트 정확도:\", acc_test)\n", "\n", " save_path = saver.save(sess, \"./my_digit_comparison_model.ckpt\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "좋습니다. 숫자 비교 작업에서 97.6% 정확도를 달성했습니다. 아주 나쁘지 않네요. 이 모델은 손글씨 숫자를 비교하는 능력을 갖추었습니다!\n", "\n", "이 지식을 일반 MNIST 분류 문제에 사용할 수 있는지 확인해 보겠습니다." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 10.4.\n", "_문제: 이제 DNN A의 은닉층을 동결해서 재사용하고 10개의 뉴런으로 된 소프트맥스 출력 층을 추가한 새로운 DNN을 만듭니다. 이 네트워크를 분할 #2에 대해 훈련시켜보고 클래스당 500개의 이미지만으로도 높은 성능을 얻을 수 있는지 확인해보세요._" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "모델을 만드는 것은 매우 간단합니다. 하위층을 동결하는 방법이 많이 있습니다. 이 예제에서는 `tf.stop_gradient()` 함수를 사용하겠습니다. 미리 학습된 DNN A를 복원하기 위해 `Saver` 객체가 필요하고 최종 모델을 저장하기 위해 다른 `Saver` 객체가 필요합니다:" ] }, { "cell_type": "code", "execution_count": 69, "metadata": {}, "outputs": [], "source": [ "reset_graph()\n", "\n", "n_inputs = 28 * 28 # MNIST\n", "n_outputs = 10\n", "\n", "X = tf.placeholder(tf.float32, shape=(None, n_inputs), name=\"X\")\n", "y = tf.placeholder(tf.int32, shape=(None), name=\"y\")\n", "\n", "dnn_outputs = dnn(X, name=\"DNN_A\")\n", "frozen_outputs = tf.stop_gradient(dnn_outputs)\n", "\n", "logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init)\n", "Y_proba = tf.nn.softmax(logits)\n", "\n", "xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)\n", "loss = tf.reduce_mean(xentropy, name=\"loss\")\n", "\n", "optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)\n", "training_op = optimizer.minimize(loss)\n", "\n", "correct = tf.nn.in_top_k(logits, y, 1)\n", "accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))\n", "\n", "init = tf.global_variables_initializer()\n", "\n", "dnn_A_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope=\"DNN_A\")\n", "restore_saver = tf.train.Saver(var_list={var.op.name: var for var in dnn_A_vars})\n", "saver = tf.train.Saver()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "이제 훈련입니다! 모든 변수를 초기화하고(새 출력층의 변수를 포함하여), 미리 학습된 DNN A를 복원합니다. 다음에 작은 MNIST 데이터셋(5,000개 이미지)에 이 모델을 훈련시킵니다:" ] }, { "cell_type": "code", "execution_count": 70, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "INFO:tensorflow:Restoring parameters from ./my_digit_comparison_model.ckpt\n", "0 테스트 정확도: 0.9456\n", "10 테스트 정확도: 0.9627\n", "20 테스트 정확도: 0.9665\n", "30 테스트 정확도: 0.9663\n", "40 테스트 정확도: 0.9665\n", "50 테스트 정확도: 0.9664\n", "60 테스트 정확도: 0.9664\n", "70 테스트 정확도: 0.9663\n", "80 테스트 정확도: 0.9663\n", "90 테스트 정확도: 0.9664\n" ] } ], "source": [ "n_epochs = 100\n", "batch_size = 50\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", " restore_saver.restore(sess, \"./my_digit_comparison_model.ckpt\")\n", "\n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " if epoch % 10 == 0:\n", " acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test})\n", " print(epoch, \"테스트 정확도:\", acc_test)\n", "\n", " save_path = saver.save(sess, \"./my_mnist_model_final.ckpt\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "오 96.7% 정확도네요. 지금까지 훈련시킨 최고의 MNIST 모델은 아니지만 아주 작은 훈련 세트(숫자당 500개 이미지)를 사용한 것을 유념하세요. 전이 학습을 사용하지 않고 그냥 처음부터 학습시킨 DNN과 결과를 비교해 보겠습니다:" ] }, { "cell_type": "code", "execution_count": 71, "metadata": {}, "outputs": [], "source": [ "reset_graph()\n", "\n", "n_inputs = 28 * 28 # MNIST\n", "n_outputs = 10\n", "\n", "X = tf.placeholder(tf.float32, shape=(None, n_inputs), name=\"X\")\n", "y = tf.placeholder(tf.int32, shape=(None), name=\"y\")\n", "\n", "dnn_outputs = dnn(X, name=\"DNN_A\")\n", "\n", "logits = tf.layers.dense(dnn_outputs, n_outputs, kernel_initializer=he_init)\n", "Y_proba = tf.nn.softmax(logits)\n", "\n", "xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)\n", "loss = tf.reduce_mean(xentropy, name=\"loss\")\n", "\n", "optimizer = tf.train.MomentumOptimizer(learning_rate, momentum, use_nesterov=True)\n", "training_op = optimizer.minimize(loss)\n", "\n", "correct = tf.nn.in_top_k(logits, y, 1)\n", "accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))\n", "\n", "init = tf.global_variables_initializer()\n", "\n", "dnn_A_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope=\"DNN_A\")\n", "restore_saver = tf.train.Saver(var_list={var.op.name: var for var in dnn_A_vars})\n", "saver = tf.train.Saver()" ] }, { "cell_type": "code", "execution_count": 72, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "0 테스트 정확도: 0.8694\n", "10 테스트 정확도: 0.9276\n", "20 테스트 정확도: 0.9307\n", "30 테스트 정확도: 0.9419\n", "40 테스트 정확도: 0.9427\n", "50 테스트 정확도: 0.9428\n", "60 테스트 정확도: 0.9429\n", "70 테스트 정확도: 0.9432\n", "80 테스트 정확도: 0.9428\n", "90 테스트 정확도: 0.9427\n", "100 테스트 정확도: 0.9427\n", "110 테스트 정확도: 0.9426\n", "120 테스트 정확도: 0.9426\n", "130 테스트 정확도: 0.9425\n", "140 테스트 정확도: 0.9425\n" ] } ], "source": [ "n_epochs = 150\n", "batch_size = 50\n", "\n", "with tf.Session() as sess:\n", " init.run()\n", "\n", " for epoch in range(n_epochs):\n", " rnd_idx = np.random.permutation(len(X_train2))\n", " for rnd_indices in np.array_split(rnd_idx, len(X_train2) // batch_size):\n", " X_batch, y_batch = X_train2[rnd_indices], y_train2[rnd_indices]\n", " sess.run(training_op, feed_dict={X: X_batch, y: y_batch})\n", " if epoch % 10 == 0:\n", " acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test})\n", " print(epoch, \"테스트 정확도:\", acc_test)\n", "\n", " save_path = saver.save(sess, \"./my_mnist_model_final.ckpt\")" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "94.8% 정확도 밖에 안되네요. 전이 학습이 에러율를 5.2%에서 3.3%로 낮추어 주었습니다(36% 이상 에러가 감소했습니다). 더군다나 전이 학습을 사용한 모델은 10번의 에포크만에 96%의 정확도에 도달했습니다.\n", "\n", "최종 결과: 전이 학습이 항상 좋은 결과를 내지는 않습니다(연습문제 9에서 보았듯이). 하지만 그렇지 않을 땐 아주 큰 차이를 만들 수 있습니다. 그러므로 꼭 시도해 보세요!" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.8" }, "nav_menu": { "height": "360px", "width": "416px" }, "toc": { "navigate_menu": true, "number_sections": true, "sideBar": true, "threshold": 6, "toc_cell": false, "toc_section_display": "block", "toc_window_display": false } }, "nbformat": 4, "nbformat_minor": 1 }