{ "cells": [ { "cell_type": "code", "execution_count": null, "metadata": { "collapsed": false }, "outputs": [], "source": [ "\n", "import requests\n", "\n", "\n", "for line in requests.get('http://bit.ly/2dfjvCC').text.splitlines():\n", " print(line.strip())\n", "\n", "\n", "\n", "\n", "\n", "\n", "\n" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "collapsed": true }, "outputs": [], "source": [ "\n", "import io\n", "import requests\n", "import csv\n", "\n", "lines = requests.get('http://bit.ly/2dfjvCC').text.splitlines()\n", "\n", "output_file = open('/Users/Nicholas/Desktop/news.csv', 'w', encoding = 'utf8', newline='')\n", "\n", "writer = csv.writer(output_file, dialect='excel')\n", "\n", "headers = ['Title', 'Link', 'Date', 'Tags', 'Description']\n", "\n", "writer.writerow(headers)\n", "\n", "line_iterator = iter(lines)\n", "\n", "while True:\n", " try:\n", " row = []\n", " for X in range(5):\n", " item = next(line_iterator)\n", " row.append(item)\n", " writer.writerow(row)\n", " \n", " next(line_iterator)\n", " next(line_iterator)\n", " \n", " \n", " except StopIteration:\n", " break\n", "\n", "output_file.close()" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "collapsed": false }, "outputs": [ { "data": { "text/html": [ "
\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
BEGIN_YEARMONTHBEGIN_DAYBEGIN_TIMEEND_YEARMONTHEND_DAYEND_TIMEEPISODE_IDEVENT_IDSTATESTATE_FIPS...END_RANGEEND_AZIMUTHEND_LOCATIONBEGIN_LATBEGIN_LONEND_LATEND_LONEPISODE_NARRATIVEEVENT_NARRATIVEDATA_SOURCE
01959108190019591081900NaN10041753MICHIGAN26...0NaNNaN41.88-85.8342.00-85.65NaNNaNPUB
1195904191700195904191700NaN10062668MISSOURI29...0NaNNaN37.20-93.40NaNNaNNaNNaNPUB
21959059181519590591815NaN10019293IOWA19...0NaNNaN41.70-92.6041.75-92.52NaNNaNPUB
31959054183519590541835NaN10118763TEXAS48...0NaNNaN34.38-100.18NaNNaNNaNNaNPUB
41959042010019590420100NaN10124979TENNESSEE47...0NaNNaN36.28-88.28NaNNaNNaNNaNPUB
51959058151519590581515NaN10081702NEW MEXICO35...0NaNNaN34.10-103.1034.13-103.02NaNNaNPUB
61959059180019590591800NaN10094788OKLAHOMA40...0NaNNaN36.40-95.8036.52-95.77NaNNaNPUB
7195909242026195909242026NaN10121045TEXAS48...0NaNNaN35.20-101.68NaNNaNNaNNaNPUB
8195904161830195904161830NaN10094740OKLAHOMA40...0NaNNaN35.88-99.28NaNNaNNaNNaNPUB
91959081160019590811600NaN10009562IDAHO16...0NaNNaN42.78-113.58NaNNaNNaNNaNPUB
10195905291630195905291630NaN10027877KANSAS20...0NaNNaN39.37-100.4739.47-100.38NaNNaNPUB
1119590486301959048630NaN10122990TEXAS48...0NaNNaN30.10-95.6230.15-95.57NaNNaNPUB
12195905101900195905101900NaN10027838KANSAS20...0NaNNaN39.78-95.08NaNNaNNaNNaNPUB
13195904161630195904161630NaN10026094KANSAS20...0NaNNaN37.58-99.90NaNNaNNaNNaNPUB
14195907111830195907111830NaN10029003KANSAS20...0NaNNaN37.38-101.40NaNNaNNaNNaNPUB
15195906251700195906251700NaN10159475WYOMING56...0NaNNaN44.27-104.52NaNNaNNaNNaNPUB
16195907252130195907252130NaN10080150NEVADA32...0NaNNaN38.08-117.08NaNNaNNaNNaNPUB
17195908251500195908251500NaN10080151NEVADA32...0NaNNaN36.08-115.00NaNNaNNaNNaNPUB
18195909141627195909141627NaN10080152NEVADA32...0NaNNaN40.78-115.80NaNNaNNaNNaNPUB
19195907182100195907182100NaN10080149NEVADA32...0NaNNaN36.08-115.18NaNNaNNaNNaNPUB
20195903101840195903101840NaN10122111TEXAS48...0NaNNaN32.58-96.78NaNNaNNaNNaNPUB
21195903101945195903101945NaN10122112TEXAS48...0NaNNaN32.38-96.18NaNNaNNaNNaNPUB
22195903102000195903102000NaN10122113TEXAS48...0NaNNaN33.20-96.18NaNNaNNaNNaNPUB
23195903201245195903201245NaN10122114TEXAS48...0NaNNaN33.43-96.3533.58-96.30NaNNaNPUB
24195903201245195903201245NaN10122115TEXAS48...0NaNNaN33.43-96.3533.58-96.30NaNNaNPUB
25195903201345195903201345NaN10122116TEXAS48...0NaNNaN32.08-95.00NaNNaNNaNNaNPUB
26195905211855195905211855NaN10119874TEXAS48...0NaNNaN33.00-99.68NaNNaNNaNNaNPUB
271959052270519590522705NaN10119875TEXAS48...0NaNNaN33.37-101.47NaNNaNNaNNaNPUB
28195905221253195905221253NaN10119876TEXAS48...0NaNNaN34.00-98.50NaNNaNNaNNaNPUB
29195905221514195905221514NaN10119877TEXAS48...0NaNNaN32.38-100.00NaNNaNNaNNaNPUB
..................................................................
17831959078165419590781654NaN10145500WISCONSIN55...0NaNNaN45.78-88.00NaNNaNNaNNaNPUB
1784195909261650195909261650NaN10009825ILLINOIS17...0NaNNaN41.32-89.1341.35-89.03NaNNaNPUB
1785195909261700195909261700NaN10009826ILLINOIS17...0NaNNaN42.20-88.83NaNNaNNaNNaNPUB
1786195909261745195909261745NaN10009827ILLINOIS17...0NaNNaN41.97-87.9742.03-87.80NaNNaNPUB
1787195909261900195909261900NaN10009830ILLINOIS17...0NaNNaN38.03-89.38NaNNaNNaNNaNPUB
1788195909261930195909261930NaN10009831ILLINOIS17...0NaNNaN41.65-88.3541.68-88.28NaNNaNPUB
1789195909261800195909261800NaN10009828ILLINOIS17...0NaNNaN42.13-88.0342.25-87.85NaNNaNPUB
1790195909261800195909261800NaN10009829ILLINOIS17...0NaNNaN42.00-87.90NaNNaNNaNNaNPUB
1791195907122130195907122130NaN10081720NEW MEXICO35...0NaNNaN32.88-105.90NaNNaNNaNNaNPUB
1792195910131830195910131830NaN9995202GEORGIA13...0NaNNaN34.00-85.28NaNNaNNaNNaNPUB
1793195910131930195910131930NaN9995203GEORGIA13...0NaNNaN34.08-83.78NaNNaNNaNNaNPUB
1794195909271915195909271915NaN10009832ILLINOIS17...0NaNNaN41.28-90.90NaNNaNNaNNaNPUB
1795195909272030195909272030NaN10009833ILLINOIS17...0NaNNaN40.47-90.6040.55-90.45NaNNaNPUB
1796195909272300195909272300NaN10009834ILLINOIS17...0NaNNaN41.78-87.78NaNNaNNaNNaNPUB
1797195909281800195909281800NaN10009835ILLINOIS17...0NaNNaN40.00-88.90NaNNaNNaNNaNPUB
1798195909281805195909281805NaN10009836ILLINOIS17...0NaNNaN39.50-89.40NaNNaNNaNNaNPUB
17991959108153019591081530NaN10009837ILLINOIS17...0NaNNaN42.33-88.23NaNNaNNaNNaNPUB
1800195910101715195910101715NaN10009838ILLINOIS17...0NaNNaN38.95-90.1539.12-89.27NaNNaNPUB
1801195910101730195910101730NaN10009839ILLINOIS17...0NaNNaN39.00-90.40NaNNaNNaNNaNPUB
1802195910101745195910101745NaN10009840ILLINOIS17...0NaNNaN39.08-89.50NaNNaNNaNNaNPUB
1803195910231525195910231525NaN10009841ILLINOIS17...0NaNNaN42.20-87.78NaNNaNNaNNaNPUB
18041959012142519590121425NaN10033677KENTUCKY21...0NaNNaN37.08-88.68NaNNaNNaNNaNPUB
1805195901211230195901211230NaN10033678KENTUCKY21...0NaNNaN37.40-86.6237.43-86.50NaNNaNPUB
1806195901211300195901211300NaN10033679KENTUCKY21...0NaNNaN37.88-86.08NaNNaNNaNNaNPUB
1807195901211310195901211310NaN10033680KENTUCKY21...0NaNNaN37.70-85.90NaNNaNNaNNaNPUB
1808195901211341195901211341NaN10033681KENTUCKY21...0NaNNaN38.00-84.50NaNNaNNaNNaNPUB
1809195901211400195901211400NaN10033682KENTUCKY21...0NaNNaN37.50-83.40NaNNaNNaNNaNPUB
18101959021061519590210615NaN10033683KENTUCKY21...0NaNNaN37.70-87.92NaNNaNNaNNaNPUB
18111959021070019590210700NaN10033684KENTUCKY21...0NaNNaN38.78-84.40NaNNaNNaNNaNPUB
1812195907111445195907111445NaN9982010ARKANSAS5...0NaNNaN35.00-92.90NaNNaNNaNNaNPUB
\n", "

1813 rows × 51 columns

\n", "
" ], "text/plain": [ " BEGIN_YEARMONTH BEGIN_DAY BEGIN_TIME END_YEARMONTH END_DAY \\\n", "0 195910 8 1900 195910 8 \n", "1 195904 19 1700 195904 19 \n", "2 195905 9 1815 195905 9 \n", "3 195905 4 1835 195905 4 \n", "4 195904 20 100 195904 20 \n", "5 195905 8 1515 195905 8 \n", "6 195905 9 1800 195905 9 \n", "7 195909 24 2026 195909 24 \n", "8 195904 16 1830 195904 16 \n", "9 195908 1 1600 195908 1 \n", "10 195905 29 1630 195905 29 \n", "11 195904 8 630 195904 8 \n", "12 195905 10 1900 195905 10 \n", "13 195904 16 1630 195904 16 \n", "14 195907 11 1830 195907 11 \n", "15 195906 25 1700 195906 25 \n", "16 195907 25 2130 195907 25 \n", "17 195908 25 1500 195908 25 \n", "18 195909 14 1627 195909 14 \n", "19 195907 18 2100 195907 18 \n", "20 195903 10 1840 195903 10 \n", "21 195903 10 1945 195903 10 \n", "22 195903 10 2000 195903 10 \n", "23 195903 20 1245 195903 20 \n", "24 195903 20 1245 195903 20 \n", "25 195903 20 1345 195903 20 \n", "26 195905 21 1855 195905 21 \n", "27 195905 22 705 195905 22 \n", "28 195905 22 1253 195905 22 \n", "29 195905 22 1514 195905 22 \n", "... ... ... ... ... ... \n", "1783 195907 8 1654 195907 8 \n", "1784 195909 26 1650 195909 26 \n", "1785 195909 26 1700 195909 26 \n", "1786 195909 26 1745 195909 26 \n", "1787 195909 26 1900 195909 26 \n", "1788 195909 26 1930 195909 26 \n", "1789 195909 26 1800 195909 26 \n", "1790 195909 26 1800 195909 26 \n", "1791 195907 12 2130 195907 12 \n", "1792 195910 13 1830 195910 13 \n", "1793 195910 13 1930 195910 13 \n", "1794 195909 27 1915 195909 27 \n", "1795 195909 27 2030 195909 27 \n", "1796 195909 27 2300 195909 27 \n", "1797 195909 28 1800 195909 28 \n", "1798 195909 28 1805 195909 28 \n", "1799 195910 8 1530 195910 8 \n", "1800 195910 10 1715 195910 10 \n", "1801 195910 10 1730 195910 10 \n", "1802 195910 10 1745 195910 10 \n", "1803 195910 23 1525 195910 23 \n", "1804 195901 21 425 195901 21 \n", "1805 195901 21 1230 195901 21 \n", "1806 195901 21 1300 195901 21 \n", "1807 195901 21 1310 195901 21 \n", "1808 195901 21 1341 195901 21 \n", "1809 195901 21 1400 195901 21 \n", "1810 195902 10 615 195902 10 \n", "1811 195902 10 700 195902 10 \n", "1812 195907 11 1445 195907 11 \n", "\n", " END_TIME EPISODE_ID EVENT_ID STATE STATE_FIPS ... \\\n", "0 1900 NaN 10041753 MICHIGAN 26 ... \n", "1 1700 NaN 10062668 MISSOURI 29 ... \n", "2 1815 NaN 10019293 IOWA 19 ... \n", "3 1835 NaN 10118763 TEXAS 48 ... \n", "4 100 NaN 10124979 TENNESSEE 47 ... \n", "5 1515 NaN 10081702 NEW MEXICO 35 ... \n", "6 1800 NaN 10094788 OKLAHOMA 40 ... \n", "7 2026 NaN 10121045 TEXAS 48 ... \n", "8 1830 NaN 10094740 OKLAHOMA 40 ... \n", "9 1600 NaN 10009562 IDAHO 16 ... \n", "10 1630 NaN 10027877 KANSAS 20 ... \n", "11 630 NaN 10122990 TEXAS 48 ... \n", "12 1900 NaN 10027838 KANSAS 20 ... \n", "13 1630 NaN 10026094 KANSAS 20 ... \n", "14 1830 NaN 10029003 KANSAS 20 ... \n", "15 1700 NaN 10159475 WYOMING 56 ... \n", "16 2130 NaN 10080150 NEVADA 32 ... \n", "17 1500 NaN 10080151 NEVADA 32 ... \n", "18 1627 NaN 10080152 NEVADA 32 ... \n", "19 2100 NaN 10080149 NEVADA 32 ... \n", "20 1840 NaN 10122111 TEXAS 48 ... \n", "21 1945 NaN 10122112 TEXAS 48 ... \n", "22 2000 NaN 10122113 TEXAS 48 ... \n", "23 1245 NaN 10122114 TEXAS 48 ... \n", "24 1245 NaN 10122115 TEXAS 48 ... \n", "25 1345 NaN 10122116 TEXAS 48 ... \n", "26 1855 NaN 10119874 TEXAS 48 ... \n", "27 705 NaN 10119875 TEXAS 48 ... \n", "28 1253 NaN 10119876 TEXAS 48 ... \n", "29 1514 NaN 10119877 TEXAS 48 ... \n", "... ... ... ... ... ... ... \n", "1783 1654 NaN 10145500 WISCONSIN 55 ... \n", "1784 1650 NaN 10009825 ILLINOIS 17 ... \n", "1785 1700 NaN 10009826 ILLINOIS 17 ... \n", "1786 1745 NaN 10009827 ILLINOIS 17 ... \n", "1787 1900 NaN 10009830 ILLINOIS 17 ... \n", "1788 1930 NaN 10009831 ILLINOIS 17 ... \n", "1789 1800 NaN 10009828 ILLINOIS 17 ... \n", "1790 1800 NaN 10009829 ILLINOIS 17 ... \n", "1791 2130 NaN 10081720 NEW MEXICO 35 ... \n", "1792 1830 NaN 9995202 GEORGIA 13 ... \n", "1793 1930 NaN 9995203 GEORGIA 13 ... \n", "1794 1915 NaN 10009832 ILLINOIS 17 ... \n", "1795 2030 NaN 10009833 ILLINOIS 17 ... \n", "1796 2300 NaN 10009834 ILLINOIS 17 ... \n", "1797 1800 NaN 10009835 ILLINOIS 17 ... \n", "1798 1805 NaN 10009836 ILLINOIS 17 ... \n", "1799 1530 NaN 10009837 ILLINOIS 17 ... \n", "1800 1715 NaN 10009838 ILLINOIS 17 ... \n", "1801 1730 NaN 10009839 ILLINOIS 17 ... \n", "1802 1745 NaN 10009840 ILLINOIS 17 ... \n", "1803 1525 NaN 10009841 ILLINOIS 17 ... \n", "1804 425 NaN 10033677 KENTUCKY 21 ... \n", "1805 1230 NaN 10033678 KENTUCKY 21 ... \n", "1806 1300 NaN 10033679 KENTUCKY 21 ... \n", "1807 1310 NaN 10033680 KENTUCKY 21 ... \n", "1808 1341 NaN 10033681 KENTUCKY 21 ... \n", "1809 1400 NaN 10033682 KENTUCKY 21 ... \n", "1810 615 NaN 10033683 KENTUCKY 21 ... \n", "1811 700 NaN 10033684 KENTUCKY 21 ... \n", "1812 1445 NaN 9982010 ARKANSAS 5 ... \n", "\n", " END_RANGE END_AZIMUTH END_LOCATION BEGIN_LAT BEGIN_LON END_LAT \\\n", "0 0 NaN NaN 41.88 -85.83 42.00 \n", "1 0 NaN NaN 37.20 -93.40 NaN \n", "2 0 NaN NaN 41.70 -92.60 41.75 \n", "3 0 NaN NaN 34.38 -100.18 NaN \n", "4 0 NaN NaN 36.28 -88.28 NaN \n", "5 0 NaN NaN 34.10 -103.10 34.13 \n", "6 0 NaN NaN 36.40 -95.80 36.52 \n", "7 0 NaN NaN 35.20 -101.68 NaN \n", "8 0 NaN NaN 35.88 -99.28 NaN \n", "9 0 NaN NaN 42.78 -113.58 NaN \n", "10 0 NaN NaN 39.37 -100.47 39.47 \n", "11 0 NaN NaN 30.10 -95.62 30.15 \n", "12 0 NaN NaN 39.78 -95.08 NaN \n", "13 0 NaN NaN 37.58 -99.90 NaN \n", "14 0 NaN NaN 37.38 -101.40 NaN \n", "15 0 NaN NaN 44.27 -104.52 NaN \n", "16 0 NaN NaN 38.08 -117.08 NaN \n", "17 0 NaN NaN 36.08 -115.00 NaN \n", "18 0 NaN NaN 40.78 -115.80 NaN \n", "19 0 NaN NaN 36.08 -115.18 NaN \n", "20 0 NaN NaN 32.58 -96.78 NaN \n", "21 0 NaN NaN 32.38 -96.18 NaN \n", "22 0 NaN NaN 33.20 -96.18 NaN \n", "23 0 NaN NaN 33.43 -96.35 33.58 \n", "24 0 NaN NaN 33.43 -96.35 33.58 \n", "25 0 NaN NaN 32.08 -95.00 NaN \n", "26 0 NaN NaN 33.00 -99.68 NaN \n", "27 0 NaN NaN 33.37 -101.47 NaN \n", "28 0 NaN NaN 34.00 -98.50 NaN \n", "29 0 NaN NaN 32.38 -100.00 NaN \n", "... ... ... ... ... ... ... \n", "1783 0 NaN NaN 45.78 -88.00 NaN \n", "1784 0 NaN NaN 41.32 -89.13 41.35 \n", "1785 0 NaN NaN 42.20 -88.83 NaN \n", "1786 0 NaN NaN 41.97 -87.97 42.03 \n", "1787 0 NaN NaN 38.03 -89.38 NaN \n", "1788 0 NaN NaN 41.65 -88.35 41.68 \n", "1789 0 NaN NaN 42.13 -88.03 42.25 \n", "1790 0 NaN NaN 42.00 -87.90 NaN \n", "1791 0 NaN NaN 32.88 -105.90 NaN \n", "1792 0 NaN NaN 34.00 -85.28 NaN \n", "1793 0 NaN NaN 34.08 -83.78 NaN \n", "1794 0 NaN NaN 41.28 -90.90 NaN \n", "1795 0 NaN NaN 40.47 -90.60 40.55 \n", "1796 0 NaN NaN 41.78 -87.78 NaN \n", "1797 0 NaN NaN 40.00 -88.90 NaN \n", "1798 0 NaN NaN 39.50 -89.40 NaN \n", "1799 0 NaN NaN 42.33 -88.23 NaN \n", "1800 0 NaN NaN 38.95 -90.15 39.12 \n", "1801 0 NaN NaN 39.00 -90.40 NaN \n", "1802 0 NaN NaN 39.08 -89.50 NaN \n", "1803 0 NaN NaN 42.20 -87.78 NaN \n", "1804 0 NaN NaN 37.08 -88.68 NaN \n", "1805 0 NaN NaN 37.40 -86.62 37.43 \n", "1806 0 NaN NaN 37.88 -86.08 NaN \n", "1807 0 NaN NaN 37.70 -85.90 NaN \n", "1808 0 NaN NaN 38.00 -84.50 NaN \n", "1809 0 NaN NaN 37.50 -83.40 NaN \n", "1810 0 NaN NaN 37.70 -87.92 NaN \n", "1811 0 NaN NaN 38.78 -84.40 NaN \n", "1812 0 NaN NaN 35.00 -92.90 NaN \n", "\n", " END_LON EPISODE_NARRATIVE EVENT_NARRATIVE DATA_SOURCE \n", "0 -85.65 NaN NaN PUB \n", "1 NaN NaN NaN PUB \n", "2 -92.52 NaN NaN PUB \n", "3 NaN NaN NaN PUB \n", "4 NaN NaN NaN PUB \n", "5 -103.02 NaN NaN PUB \n", "6 -95.77 NaN NaN PUB \n", "7 NaN NaN NaN PUB \n", "8 NaN NaN NaN PUB \n", "9 NaN NaN NaN PUB \n", "10 -100.38 NaN NaN PUB \n", "11 -95.57 NaN NaN PUB \n", "12 NaN NaN NaN PUB \n", "13 NaN NaN NaN PUB \n", "14 NaN NaN NaN PUB \n", "15 NaN NaN NaN PUB \n", "16 NaN NaN NaN PUB \n", "17 NaN NaN NaN PUB \n", "18 NaN NaN NaN PUB \n", "19 NaN NaN NaN PUB \n", "20 NaN NaN NaN PUB \n", "21 NaN NaN NaN PUB \n", "22 NaN NaN NaN PUB \n", "23 -96.30 NaN NaN PUB \n", "24 -96.30 NaN NaN PUB \n", "25 NaN NaN NaN PUB \n", "26 NaN NaN NaN PUB \n", "27 NaN NaN NaN PUB \n", "28 NaN NaN NaN PUB \n", "29 NaN NaN NaN PUB \n", "... ... ... ... ... \n", "1783 NaN NaN NaN PUB \n", "1784 -89.03 NaN NaN PUB \n", "1785 NaN NaN NaN PUB \n", "1786 -87.80 NaN NaN PUB \n", "1787 NaN NaN NaN PUB \n", "1788 -88.28 NaN NaN PUB \n", "1789 -87.85 NaN NaN PUB \n", "1790 NaN NaN NaN PUB \n", "1791 NaN NaN NaN PUB \n", "1792 NaN NaN NaN PUB \n", "1793 NaN NaN NaN PUB \n", "1794 NaN NaN NaN PUB \n", "1795 -90.45 NaN NaN PUB \n", "1796 NaN NaN NaN PUB \n", "1797 NaN NaN NaN PUB \n", "1798 NaN NaN NaN PUB \n", "1799 NaN NaN NaN PUB \n", "1800 -89.27 NaN NaN PUB \n", "1801 NaN NaN NaN PUB \n", "1802 NaN NaN NaN PUB \n", "1803 NaN NaN NaN PUB \n", "1804 NaN NaN NaN PUB \n", "1805 -86.50 NaN NaN PUB \n", "1806 NaN NaN NaN PUB \n", "1807 NaN NaN NaN PUB \n", "1808 NaN NaN NaN PUB \n", "1809 NaN NaN NaN PUB \n", "1810 NaN NaN NaN PUB \n", "1811 NaN NaN NaN PUB \n", "1812 NaN NaN NaN PUB \n", "\n", "[1813 rows x 51 columns]" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "\n", "import gzip\n", "import io\n", "import pandas as pd\n", "import requests\n", "import re\n", "from IPython.display import display\n", "\n", "\n", "baseurl = 'http://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/'\n", "\n", "fintable = pd.DataFrame()\n", "\n", "html = requests.get(baseurl).text\n", "\n", "for line in html.splitlines():\n", " line = line.lstrip()\n", " filename = re.findall(r'StormEvents_details-ftp_v1\\.0_d1959_c\\d{8}\\.csv\\.gz', line)\n", " if filename:\n", " yearurl = baseurl + filename[0]\n", " yeardatagzip = requests.get(yearurl).content\n", " yearfilegzip = io.BytesIO(yeardatagzip)\n", " yearfile = gzip.GzipFile(fileobj=yearfilegzip, mode='rb')\n", " table = pd.read_csv(yearfile, low_memory=False, encoding='iso-8859-15')\n", " fintable = pd.concat([fintable, table])\n", "\n", "display(fintable)\n", "\n", "#fintable.to_csv(r'/PATH TO FILE/storm-events2.csv', encoding='utf-8', columns=[\"BEGIN_YEARMONTH\", \"EVENT_ID\", \"STATE\", \"STATE_FIPS\", \"CZ_FIPS\", \"CZ_NAME\", \"EVENT_TYPE\", \"DAMAGE_PROPERTY\", \"BEGIN_LAT\", \"BEGIN_LON\"])\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": { "collapsed": true }, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.5.1" } }, "nbformat": 4, "nbformat_minor": 0 }