{ "cells": [ { "cell_type": "code", "execution_count": 96, "metadata": {}, "outputs": [], "source": [ "import pandas as pd\n", "\n", "train_df = pd.read_table('./dataset/train.tsv')\n", "test_df = pd.read_table('./dataset/test.tsv')" ] }, { "cell_type": "code", "execution_count": 138, "metadata": {}, "outputs": [], "source": [ "train_df = pd.get_dummies(train_df)\n", "test_df = pd.get_dummies(test_df)\n", "\n", "import lightgbm as lgb\n", "from sklearn.model_selection import train_test_split\n", "y = train_df['mpg']\n", "X_train, X_test, y_train, y_test = train_test_split(train_df, y,test_size=0.33, random_state=0)" ] }, { "cell_type": "code", "execution_count": 139, "metadata": {}, "outputs": [], "source": [ "X_train = X_train.drop('mpg',axis=1)\n", "X_test = X_test.drop('mpg',axis=1)" ] }, { "cell_type": "code", "execution_count": 140, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
idcylindersdisplacementweightaccelerationmodel yearoriginhorsepower_100.0horsepower_105.0horsepower_108.0...car name_volkswagen model 111car name_volkswagen rabbit custom dieselcar name_volkswagen rabbit lcar name_volkswagen sciroccocar name_volkswagen type 3car name_volvo 144eacar name_volvo 145e (sw)car name_vw dasher (diesel)car name_vw rabbitcar name_vw rabbit custom
18404141.03230.020.4812000...0000000000
169338498.02135.016.6783000...0000000000
1062118318.04140.013.7771000...0000000000
921884122.02300.015.5771000...0000000000
1763514134.02711.015.5803000...0000000000
1833666231.03445.013.4781000...0000000000
5164151.02735.018.0821000...0000000000
1392768262.03221.013.5751000...0000000000
1231497.02130.014.5703000...0000000000
1603184135.02295.011.6821000...0000000000
611234121.02600.012.8772000...0000000000
124252497.02254.023.5722000...0000100000
1643296225.03620.018.7781000...0000000000
145288485.01835.017.3802000...0000000000
80166497.01834.019.0712000...1000000000
7198350.03664.011.0731000...0000000000
3371479.01755.016.9813000...0000000000
1292626173.02725.012.6811000...0000000000
3779497.02145.018.0803000...0000000000
741526181.02945.016.4821000...0000000000
1593166250.03139.014.5711000...0000000000
144285497.01835.020.5702000...0000000000
45914140.02639.017.0751000...0000000000
158315483.02003.019.0743000...0000000000
60121490.02223.016.5752000...0000000000
1222494105.02190.014.2812000...0000000000
1783548318.03735.013.2781000...0000000000
1843678400.04997.014.0731000...0000000000
97197497.02190.014.1772000...0000000000
44884122.02395.016.0721000...0000000000
..................................................................
1352705121.02950.019.9802000...0000000000
413489.02050.017.3813000...0000000000
1372734156.02620.014.4811000...0000000000
1933836232.02634.013.0711100...0000000000
1533068350.04502.013.5721000...0000000000
661304140.02408.019.0711000...0000000000
26538400.05140.012.0711000...0000000000
131265479.02000.016.0742000...0000000000
1462904151.02678.016.5801000...0000000000
631278351.04657.013.5751000...0000000000
8234121.02234.012.5702000...0000000000
751578429.04341.010.0701000...0000000000
982014105.02150.014.9791000...0000000000
1663354140.02565.013.6761000...0000000000
711484116.02123.014.0712000...0000000000
1963878304.03433.012.0701000...0000000000
86180479.01963.015.5742000...0000000000
961954120.02489.015.0743000...0000000000
1492976225.03233.015.4761100...0000000000
24484151.03035.020.5821000...0000000000
3067498.02045.018.5773000...0000000000
1132344100.02320.015.8812000...0000000000
4083490.01985.021.5782000...0100000000
561158360.03821.011.0731000...0000000000
1302648302.03205.011.2781000...0000000000
1823648305.03880.012.5771000...0000000000
180359472.01613.018.0713000...0000000000
19416168.02910.011.4803000...0000000000
1523054140.02755.015.8771000...0000000000
1362726156.02807.013.5733000...0000000000
\n", "

66 rows × 245 columns

\n", "
" ], "text/plain": [ " id cylinders displacement weight acceleration model year origin \\\n", "18 40 4 141.0 3230.0 20.4 81 2 \n", "169 338 4 98.0 2135.0 16.6 78 3 \n", "106 211 8 318.0 4140.0 13.7 77 1 \n", "92 188 4 122.0 2300.0 15.5 77 1 \n", "176 351 4 134.0 2711.0 15.5 80 3 \n", "183 366 6 231.0 3445.0 13.4 78 1 \n", "5 16 4 151.0 2735.0 18.0 82 1 \n", "139 276 8 262.0 3221.0 13.5 75 1 \n", "12 31 4 97.0 2130.0 14.5 70 3 \n", "160 318 4 135.0 2295.0 11.6 82 1 \n", "61 123 4 121.0 2600.0 12.8 77 2 \n", "124 252 4 97.0 2254.0 23.5 72 2 \n", "164 329 6 225.0 3620.0 18.7 78 1 \n", "145 288 4 85.0 1835.0 17.3 80 2 \n", "80 166 4 97.0 1834.0 19.0 71 2 \n", "7 19 8 350.0 3664.0 11.0 73 1 \n", "33 71 4 79.0 1755.0 16.9 81 3 \n", "129 262 6 173.0 2725.0 12.6 81 1 \n", "37 79 4 97.0 2145.0 18.0 80 3 \n", "74 152 6 181.0 2945.0 16.4 82 1 \n", "159 316 6 250.0 3139.0 14.5 71 1 \n", "144 285 4 97.0 1835.0 20.5 70 2 \n", "45 91 4 140.0 2639.0 17.0 75 1 \n", "158 315 4 83.0 2003.0 19.0 74 3 \n", "60 121 4 90.0 2223.0 16.5 75 2 \n", "122 249 4 105.0 2190.0 14.2 81 2 \n", "178 354 8 318.0 3735.0 13.2 78 1 \n", "184 367 8 400.0 4997.0 14.0 73 1 \n", "97 197 4 97.0 2190.0 14.1 77 2 \n", "44 88 4 122.0 2395.0 16.0 72 1 \n", ".. ... ... ... ... ... ... ... \n", "135 270 5 121.0 2950.0 19.9 80 2 \n", "4 13 4 89.0 2050.0 17.3 81 3 \n", "137 273 4 156.0 2620.0 14.4 81 1 \n", "193 383 6 232.0 2634.0 13.0 71 1 \n", "153 306 8 350.0 4502.0 13.5 72 1 \n", "66 130 4 140.0 2408.0 19.0 71 1 \n", "26 53 8 400.0 5140.0 12.0 71 1 \n", "131 265 4 79.0 2000.0 16.0 74 2 \n", "146 290 4 151.0 2678.0 16.5 80 1 \n", "63 127 8 351.0 4657.0 13.5 75 1 \n", "8 23 4 121.0 2234.0 12.5 70 2 \n", "75 157 8 429.0 4341.0 10.0 70 1 \n", "98 201 4 105.0 2150.0 14.9 79 1 \n", "166 335 4 140.0 2565.0 13.6 76 1 \n", "71 148 4 116.0 2123.0 14.0 71 2 \n", "196 387 8 304.0 3433.0 12.0 70 1 \n", "86 180 4 79.0 1963.0 15.5 74 2 \n", "96 195 4 120.0 2489.0 15.0 74 3 \n", "149 297 6 225.0 3233.0 15.4 76 1 \n", "24 48 4 151.0 3035.0 20.5 82 1 \n", "30 67 4 98.0 2045.0 18.5 77 3 \n", "113 234 4 100.0 2320.0 15.8 81 2 \n", "40 83 4 90.0 1985.0 21.5 78 2 \n", "56 115 8 360.0 3821.0 11.0 73 1 \n", "130 264 8 302.0 3205.0 11.2 78 1 \n", "182 364 8 305.0 3880.0 12.5 77 1 \n", "180 359 4 72.0 1613.0 18.0 71 3 \n", "19 41 6 168.0 2910.0 11.4 80 3 \n", "152 305 4 140.0 2755.0 15.8 77 1 \n", "136 272 6 156.0 2807.0 13.5 73 3 \n", "\n", " horsepower_100.0 horsepower_105.0 horsepower_108.0 \\\n", "18 0 0 0 \n", "169 0 0 0 \n", "106 0 0 0 \n", "92 0 0 0 \n", "176 0 0 0 \n", "183 0 0 0 \n", "5 0 0 0 \n", "139 0 0 0 \n", "12 0 0 0 \n", "160 0 0 0 \n", "61 0 0 0 \n", "124 0 0 0 \n", "164 0 0 0 \n", "145 0 0 0 \n", "80 0 0 0 \n", "7 0 0 0 \n", "33 0 0 0 \n", "129 0 0 0 \n", "37 0 0 0 \n", "74 0 0 0 \n", "159 0 0 0 \n", "144 0 0 0 \n", "45 0 0 0 \n", "158 0 0 0 \n", "60 0 0 0 \n", "122 0 0 0 \n", "178 0 0 0 \n", "184 0 0 0 \n", "97 0 0 0 \n", "44 0 0 0 \n", ".. ... ... ... \n", "135 0 0 0 \n", "4 0 0 0 \n", "137 0 0 0 \n", "193 1 0 0 \n", "153 0 0 0 \n", "66 0 0 0 \n", "26 0 0 0 \n", "131 0 0 0 \n", "146 0 0 0 \n", "63 0 0 0 \n", "8 0 0 0 \n", "75 0 0 0 \n", "98 0 0 0 \n", "166 0 0 0 \n", "71 0 0 0 \n", "196 0 0 0 \n", "86 0 0 0 \n", "96 0 0 0 \n", "149 1 0 0 \n", "24 0 0 0 \n", "30 0 0 0 \n", "113 0 0 0 \n", "40 0 0 0 \n", "56 0 0 0 \n", "130 0 0 0 \n", "182 0 0 0 \n", "180 0 0 0 \n", "19 0 0 0 \n", "152 0 0 0 \n", "136 0 0 0 \n", "\n", " ... car name_volkswagen model 111 \\\n", "18 ... 0 \n", "169 ... 0 \n", "106 ... 0 \n", "92 ... 0 \n", "176 ... 0 \n", "183 ... 0 \n", "5 ... 0 \n", "139 ... 0 \n", "12 ... 0 \n", "160 ... 0 \n", "61 ... 0 \n", "124 ... 0 \n", "164 ... 0 \n", "145 ... 0 \n", "80 ... 1 \n", "7 ... 0 \n", "33 ... 0 \n", "129 ... 0 \n", "37 ... 0 \n", "74 ... 0 \n", "159 ... 0 \n", "144 ... 0 \n", "45 ... 0 \n", "158 ... 0 \n", "60 ... 0 \n", "122 ... 0 \n", "178 ... 0 \n", "184 ... 0 \n", "97 ... 0 \n", "44 ... 0 \n", ".. ... ... \n", "135 ... 0 \n", "4 ... 0 \n", "137 ... 0 \n", "193 ... 0 \n", "153 ... 0 \n", "66 ... 0 \n", "26 ... 0 \n", "131 ... 0 \n", "146 ... 0 \n", "63 ... 0 \n", "8 ... 0 \n", "75 ... 0 \n", "98 ... 0 \n", "166 ... 0 \n", "71 ... 0 \n", "196 ... 0 \n", "86 ... 0 \n", "96 ... 0 \n", "149 ... 0 \n", "24 ... 0 \n", "30 ... 0 \n", "113 ... 0 \n", "40 ... 0 \n", "56 ... 0 \n", "130 ... 0 \n", "182 ... 0 \n", "180 ... 0 \n", "19 ... 0 \n", "152 ... 0 \n", "136 ... 0 \n", "\n", " car name_volkswagen rabbit custom diesel car name_volkswagen rabbit l \\\n", "18 0 0 \n", "169 0 0 \n", "106 0 0 \n", "92 0 0 \n", "176 0 0 \n", "183 0 0 \n", "5 0 0 \n", "139 0 0 \n", "12 0 0 \n", "160 0 0 \n", "61 0 0 \n", "124 0 0 \n", "164 0 0 \n", "145 0 0 \n", "80 0 0 \n", "7 0 0 \n", "33 0 0 \n", "129 0 0 \n", "37 0 0 \n", "74 0 0 \n", "159 0 0 \n", "144 0 0 \n", "45 0 0 \n", "158 0 0 \n", "60 0 0 \n", "122 0 0 \n", "178 0 0 \n", "184 0 0 \n", "97 0 0 \n", "44 0 0 \n", ".. ... ... \n", "135 0 0 \n", "4 0 0 \n", "137 0 0 \n", "193 0 0 \n", "153 0 0 \n", "66 0 0 \n", "26 0 0 \n", "131 0 0 \n", "146 0 0 \n", "63 0 0 \n", "8 0 0 \n", "75 0 0 \n", "98 0 0 \n", "166 0 0 \n", "71 0 0 \n", "196 0 0 \n", "86 0 0 \n", "96 0 0 \n", "149 0 0 \n", "24 0 0 \n", "30 0 0 \n", "113 0 0 \n", "40 1 0 \n", "56 0 0 \n", "130 0 0 \n", "182 0 0 \n", "180 0 0 \n", "19 0 0 \n", "152 0 0 \n", "136 0 0 \n", "\n", " car name_volkswagen scirocco car name_volkswagen type 3 \\\n", "18 0 0 \n", "169 0 0 \n", "106 0 0 \n", "92 0 0 \n", "176 0 0 \n", "183 0 0 \n", "5 0 0 \n", "139 0 0 \n", "12 0 0 \n", "160 0 0 \n", "61 0 0 \n", "124 0 1 \n", "164 0 0 \n", "145 0 0 \n", "80 0 0 \n", "7 0 0 \n", "33 0 0 \n", "129 0 0 \n", "37 0 0 \n", "74 0 0 \n", "159 0 0 \n", "144 0 0 \n", "45 0 0 \n", "158 0 0 \n", "60 0 0 \n", "122 0 0 \n", "178 0 0 \n", "184 0 0 \n", "97 0 0 \n", "44 0 0 \n", ".. ... ... \n", "135 0 0 \n", "4 0 0 \n", "137 0 0 \n", "193 0 0 \n", "153 0 0 \n", "66 0 0 \n", "26 0 0 \n", "131 0 0 \n", "146 0 0 \n", "63 0 0 \n", "8 0 0 \n", "75 0 0 \n", "98 0 0 \n", "166 0 0 \n", "71 0 0 \n", "196 0 0 \n", "86 0 0 \n", "96 0 0 \n", "149 0 0 \n", "24 0 0 \n", "30 0 0 \n", "113 0 0 \n", "40 0 0 \n", "56 0 0 \n", "130 0 0 \n", "182 0 0 \n", "180 0 0 \n", "19 0 0 \n", "152 0 0 \n", "136 0 0 \n", "\n", " car name_volvo 144ea car name_volvo 145e (sw) \\\n", "18 0 0 \n", "169 0 0 \n", "106 0 0 \n", "92 0 0 \n", "176 0 0 \n", "183 0 0 \n", "5 0 0 \n", "139 0 0 \n", "12 0 0 \n", "160 0 0 \n", "61 0 0 \n", "124 0 0 \n", "164 0 0 \n", "145 0 0 \n", "80 0 0 \n", "7 0 0 \n", "33 0 0 \n", "129 0 0 \n", "37 0 0 \n", "74 0 0 \n", "159 0 0 \n", "144 0 0 \n", "45 0 0 \n", "158 0 0 \n", "60 0 0 \n", "122 0 0 \n", "178 0 0 \n", "184 0 0 \n", "97 0 0 \n", "44 0 0 \n", ".. ... ... \n", "135 0 0 \n", "4 0 0 \n", "137 0 0 \n", "193 0 0 \n", "153 0 0 \n", "66 0 0 \n", "26 0 0 \n", "131 0 0 \n", "146 0 0 \n", "63 0 0 \n", "8 0 0 \n", "75 0 0 \n", "98 0 0 \n", "166 0 0 \n", "71 0 0 \n", "196 0 0 \n", "86 0 0 \n", "96 0 0 \n", "149 0 0 \n", "24 0 0 \n", "30 0 0 \n", "113 0 0 \n", "40 0 0 \n", "56 0 0 \n", "130 0 0 \n", "182 0 0 \n", "180 0 0 \n", "19 0 0 \n", "152 0 0 \n", "136 0 0 \n", "\n", " car name_vw dasher (diesel) car name_vw rabbit \\\n", "18 0 0 \n", "169 0 0 \n", "106 0 0 \n", "92 0 0 \n", "176 0 0 \n", "183 0 0 \n", "5 0 0 \n", "139 0 0 \n", "12 0 0 \n", "160 0 0 \n", "61 0 0 \n", "124 0 0 \n", "164 0 0 \n", "145 0 0 \n", "80 0 0 \n", "7 0 0 \n", "33 0 0 \n", "129 0 0 \n", "37 0 0 \n", "74 0 0 \n", "159 0 0 \n", "144 0 0 \n", "45 0 0 \n", "158 0 0 \n", "60 0 0 \n", "122 0 0 \n", "178 0 0 \n", "184 0 0 \n", "97 0 0 \n", "44 0 0 \n", ".. ... ... \n", "135 0 0 \n", "4 0 0 \n", "137 0 0 \n", "193 0 0 \n", "153 0 0 \n", "66 0 0 \n", "26 0 0 \n", "131 0 0 \n", "146 0 0 \n", "63 0 0 \n", "8 0 0 \n", "75 0 0 \n", "98 0 0 \n", "166 0 0 \n", "71 0 0 \n", "196 0 0 \n", "86 0 0 \n", "96 0 0 \n", "149 0 0 \n", "24 0 0 \n", "30 0 0 \n", "113 0 0 \n", "40 0 0 \n", "56 0 0 \n", "130 0 0 \n", "182 0 0 \n", "180 0 0 \n", "19 0 0 \n", "152 0 0 \n", "136 0 0 \n", "\n", " car name_vw rabbit custom \n", "18 0 \n", "169 0 \n", "106 0 \n", "92 0 \n", "176 0 \n", "183 0 \n", "5 0 \n", "139 0 \n", "12 0 \n", "160 0 \n", "61 0 \n", "124 0 \n", "164 0 \n", "145 0 \n", "80 0 \n", "7 0 \n", "33 0 \n", "129 0 \n", "37 0 \n", "74 0 \n", "159 0 \n", "144 0 \n", "45 0 \n", "158 0 \n", "60 0 \n", "122 0 \n", "178 0 \n", "184 0 \n", "97 0 \n", "44 0 \n", ".. ... \n", "135 0 \n", "4 0 \n", "137 0 \n", "193 0 \n", "153 0 \n", "66 0 \n", "26 0 \n", "131 0 \n", "146 0 \n", "63 0 \n", "8 0 \n", "75 0 \n", "98 0 \n", "166 0 \n", "71 0 \n", "196 0 \n", "86 0 \n", "96 0 \n", "149 0 \n", "24 0 \n", "30 0 \n", "113 0 \n", "40 0 \n", "56 0 \n", "130 0 \n", "182 0 \n", "180 0 \n", "19 0 \n", "152 0 \n", "136 0 \n", "\n", "[66 rows x 245 columns]" ] }, "execution_count": 140, "metadata": {}, "output_type": "execute_result" } ], "source": [ "X_test" ] }, { "cell_type": "code", "execution_count": 141, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "[1]\tvalid_0's l2: 49.1661\n", "Training until validation scores don't improve for 10 rounds.\n", "[2]\tvalid_0's l2: 43.31\n", "[3]\tvalid_0's l2: 38.9223\n", "[4]\tvalid_0's l2: 35.4825\n", "[5]\tvalid_0's l2: 31.4631\n", "[6]\tvalid_0's l2: 28.1653\n", "[7]\tvalid_0's l2: 25.473\n", "[8]\tvalid_0's l2: 23.0791\n", "[9]\tvalid_0's l2: 21.3668\n", "[10]\tvalid_0's l2: 19.7726\n", "[11]\tvalid_0's l2: 18.1561\n", "[12]\tvalid_0's l2: 16.8996\n", "[13]\tvalid_0's l2: 15.913\n", "[14]\tvalid_0's l2: 15.2111\n", "[15]\tvalid_0's l2: 14.6074\n", "[16]\tvalid_0's l2: 13.7934\n", "[17]\tvalid_0's l2: 13.2737\n", "[18]\tvalid_0's l2: 12.8726\n", "[19]\tvalid_0's l2: 12.6126\n", "[20]\tvalid_0's l2: 12.1633\n", "[21]\tvalid_0's l2: 11.8965\n", "[22]\tvalid_0's l2: 11.6803\n", "[23]\tvalid_0's l2: 11.5124\n", "[24]\tvalid_0's l2: 11.3882\n", "[25]\tvalid_0's l2: 11.1853\n", "[26]\tvalid_0's l2: 10.9705\n", "[27]\tvalid_0's l2: 10.8323\n", "[28]\tvalid_0's l2: 10.6909\n", "[29]\tvalid_0's l2: 10.6382\n", "[30]\tvalid_0's l2: 10.5787\n", "[31]\tvalid_0's l2: 10.5342\n", "[32]\tvalid_0's l2: 10.4999\n", "[33]\tvalid_0's l2: 10.5216\n", "[34]\tvalid_0's l2: 10.5298\n", "[35]\tvalid_0's l2: 10.5578\n", "[36]\tvalid_0's l2: 10.4628\n", "[37]\tvalid_0's l2: 10.4111\n", "[38]\tvalid_0's l2: 10.3446\n", "[39]\tvalid_0's l2: 10.3691\n", "[40]\tvalid_0's l2: 10.3154\n", "[41]\tvalid_0's l2: 10.3383\n", "[42]\tvalid_0's l2: 10.3248\n", "[43]\tvalid_0's l2: 10.3402\n", "[44]\tvalid_0's l2: 10.3548\n", "[45]\tvalid_0's l2: 10.334\n", "[46]\tvalid_0's l2: 10.2862\n", "[47]\tvalid_0's l2: 10.3016\n", "[48]\tvalid_0's l2: 10.3147\n", "[49]\tvalid_0's l2: 10.3306\n", "[50]\tvalid_0's l2: 10.3417\n", "[51]\tvalid_0's l2: 10.262\n", "[52]\tvalid_0's l2: 10.197\n", "[53]\tvalid_0's l2: 10.1877\n", "[54]\tvalid_0's l2: 10.203\n", "[55]\tvalid_0's l2: 10.0974\n", "[56]\tvalid_0's l2: 10.1084\n", "[57]\tvalid_0's l2: 10.1324\n", "[58]\tvalid_0's l2: 10.1469\n", "[59]\tvalid_0's l2: 10.0992\n", "[60]\tvalid_0's l2: 10.1153\n", "[61]\tvalid_0's l2: 10.1255\n", "[62]\tvalid_0's l2: 10.1098\n", "[63]\tvalid_0's l2: 10.1145\n", "[64]\tvalid_0's l2: 10.1067\n", "[65]\tvalid_0's l2: 10.1194\n", "Early stopping, best iteration is:\n", "[55]\tvalid_0's l2: 10.0974\n" ] } ], "source": [ "import numpy as np\n", "\n", "lgb_train = lgb.Dataset(X_train, y_train)\n", "lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)\n", "\n", "# LightGBM parameters\n", "params = {\n", " 'task' : 'train',\n", " 'boosting_type' : 'gbdt',\n", " 'objective' : 'regression',\n", " 'metric' : {'l2'},\n", " 'num_leaves' : 31,\n", " 'learning_rate' : 0.1,\n", " 'feature_fraction' : 0.9,\n", " 'bagging_fraction' : 0.8,\n", " 'bagging_freq': 5,\n", " 'verbose' : 0\n", "}\n", "\n", "# train\n", "gbm = lgb.train(params,\n", " lgb_train,\n", " num_boost_round=100,\n", " valid_sets=lgb_eval,\n", " early_stopping_rounds=10)\n", "\n", "y_pred = gbm.predict(test_df, num_iteration=gbm.best_iteration)" ] }, { "cell_type": "code", "execution_count": 144, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "array([26.52835238, 18.49803738, 32.67181357, 16.31977399, 28.34038704,\n", " 24.25271276, 15.23983205, 19.04545687, 22.31722562, 20.63312642,\n", " 13.35279956, 29.17365419, 13.35279956, 35.20868991, 34.11221742,\n", " 15.44318243, 23.70059147, 22.5022716 , 12.80555576, 29.27162409,\n", " 26.73482457, 36.80466453, 16.04857589, 13.35279956, 18.11987521,\n", " 13.35279956, 13.96480581, 20.07013574, 31.43048483, 29.6024268 ,\n", " 31.71756636, 17.43539101, 36.5433746 , 13.53353208, 17.44598433,\n", " 33.16601043, 31.64783442, 18.94879111, 26.40155324, 36.34432887,\n", " 13.53353208, 29.46386951, 21.78137328, 28.80689612, 20.10981617,\n", " 36.80466453, 36.39168504, 18.94779047, 22.24534944, 27.37623472,\n", " 22.38475853, 27.36331438, 32.06239949, 17.58270851, 27.35080543,\n", " 15.23983205, 15.99446218, 30.49175808, 13.35279956, 15.20665478,\n", " 15.81372966, 28.39681341, 31.9915289 , 15.81372966, 23.75903806,\n", " 13.53353208, 36.28536236, 26.96715497, 18.29865123, 13.55614994,\n", " 18.92494464, 34.39809039, 35.29991474, 13.35279956, 32.47827898,\n", " 29.11036212, 17.19473263, 13.53353208, 13.53353208, 20.20590641,\n", " 30.20598152, 32.0724365 , 23.9391743 , 23.87371027, 22.10088915,\n", " 36.28536236, 18.88601326, 18.1910494 , 13.35279956, 13.35279956,\n", " 23.37453678, 32.9725995 , 15.27583175, 21.09623432, 16.65891689,\n", " 15.23342198, 35.90821676, 27.95908648, 13.49112231, 23.98837612,\n", " 28.80061185, 28.06170948, 18.6303405 , 16.55563817, 25.06472211,\n", " 31.29913793, 21.53847536, 15.27604631, 16.74117753, 17.03072793,\n", " 13.38901382, 24.47944966, 27.78378752, 28.05540311, 13.38901382,\n", " 28.59609612, 13.56974634, 15.31204601, 20.19033798, 19.5803554 ,\n", " 37.04173672, 15.55386905, 18.49447448, 20.46574499, 18.49447448,\n", " 19.05288372, 20.27938902, 19.4048599 , 15.11914287, 36.58140106,\n", " 31.57576059, 35.64954444, 21.46214322, 19.53110383, 15.7469124 ,\n", " 24.42914623, 21.42287602, 24.89782518, 35.83402956, 27.91547282,\n", " 29.31669131, 13.74828809, 32.14135493, 16.08235759, 14.7705975 ,\n", " 29.21818079, 20.46838331, 29.86918275, 26.86171747, 18.57627399,\n", " 21.32438674, 16.76118959, 24.24910896, 23.69933402, 25.50018735,\n", " 29.22560549, 15.30959382, 29.6721998 , 15.30959382, 13.74828809,\n", " 36.86831198, 19.95223354, 29.6721998 , 25.8151922 , 13.74828809,\n", " 18.42143006, 18.60845019, 22.54429044, 19.97064504, 13.62142749,\n", " 13.62142749, 37.40735977, 19.73677715, 16.08235759, 23.09598025,\n", " 25.58174245, 18.0334027 , 28.51807315, 33.08539779, 13.74828809,\n", " 18.48535562, 20.54148264, 29.6721998 , 13.74828809, 23.53349758,\n", " 14.7705975 , 36.56840796, 24.70485103, 26.23972761, 21.73480769,\n", " 37.40735977, 25.78912758, 16.73884635, 25.2170913 , 24.69412433,\n", " 28.0033536 , 30.27401997, 15.58741655, 30.94077257])" ] }, "execution_count": 144, "metadata": {}, "output_type": "execute_result" } ], "source": [ "y_pred" ] }, { "cell_type": "code", "execution_count": 145, "metadata": {}, "outputs": [], "source": [ "submission = pd.DataFrame({ 'id': test_df['id'],\n", " 'mpg': y_pred })" ] }, { "cell_type": "code", "execution_count": 147, "metadata": {}, "outputs": [], "source": [ "submission.to_csv(\"submission.csv\", index=False,header=0)" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.4" } }, "nbformat": 4, "nbformat_minor": 2 }