{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Netzwerk und Internet"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Miteinander kommunizierende Computer sind eine sehr mächtige Erfindung.\n",
"Prominente Beispiele sind lokale Netzwerke, das Internet, das hier vorliegende IPython Notebook, Smartphones und Raumsonden.\n",
"Im folgenden wird umrissen, wie man mittels Python mit einem Server kommunizeren kann,\n",
"wie Daten übertragen werden, und wie ein Server prinzipiell gestartet werden kann."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Python selbst liefert die Bibliotheken [urllib](https://docs.python.org/2/library/urllib.html) ([Py3 urllib](https://docs.python.org/3/library/urllib.html))\n",
"und [urllib2](https://docs.python.org/2/library/urllib2.html) aus.\n",
"Sie liefern eine rudimentäre Schnittstelle um mit der Außenwelt kommunizieren zu können.\n",
"\n",
"Besser ist eine Bibliothek wie [requests](http://docs.python-requests.org/en/latest/), welche einfacher zu bedienen ist."
]
},
{
"cell_type": "code",
"execution_count": 1,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"import requests as req"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## WWW: HTTP GET requests\n",
"\n",
"Kommunikation im [WWW](http://info.cern.ch/hypertext/WWW/TheProject.html) läuft über das [HTTP Protokol](http://en.wikipedia.org/wiki/HTTP) ab.\n",
"Es gibt Verben und Objekte. Das Verb \"GET\" teilt einem anderen Computer (Server) mit, dass der eine Computer etwas haben möchte.\n",
"Die dieser Kommunikation [zugrunde liegenden Systeme](http://en.wikipedia.org/wiki/OSI_model) stellen sicher, dass beide miteinander auch über große Distanzen sprechen können.\n",
"\n",
"Im folgenden Beispiel holen wir uns die Zellen des dieses hier vorliegenden Notebooks vom [Hauptrepository of GitHub](https://github.com/haraldschilly/python-fuer-mathematiker/).\n",
"Das Dateiformat basiert auf [JSON](http://json.org) und es werden genau die hier sichtbaren Zellen geladen.\n",
"\n",
"Die `requests` Bibliothek verbindet sich dabei zu GitHub über das Internet, teilt dem Server mit, dass es genau diese Datei haben möchte, und dann verarbeitet es die Rohdaten zu einer JSON Datenstruktur mittels `.json()`.\n",
"Anschließend eine kurze Suche nach dem Inhalt \"vorliegenden Notebook\" um genau diese Zelle zu finden und auszugeben."
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"netzwerk = req.get(\"https://github.com/haraldschilly/python-fuer-mathematiker/raw/master/doc/4-6-netzwerk.ipynb\")\n",
"notebook = netzwerk.json()"
]
},
{
"cell_type": "code",
"execution_count": 3,
"metadata": {
"collapsed": false
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"## WWW: HTTP GET requests\n",
"\n",
"Kommunikation im [WWW](http://info.cern.ch/hypertext/WWW/TheProject.html) läuft über das [HTTP Protokol](http://en.wikipedia.org/wiki/HTTP) ab.\n",
"Es gibt Verben und Objekte. Das Verb \"GET\" teilt einem anderen Computer (Server) mit, dass der eine Computer etwas haben möchte.\n",
"Die dieser Kommunikation [zugrunde liegenden Systeme](http://en.wikipedia.org/wiki/OSI_model) stelle...\n"
]
}
],
"source": [
"import json\n",
"for cell in notebook[\"worksheets\"][0][\"cells\"]:\n",
" if any(\"vorliegenden Notebook\" in block for block in cell.get(\"source\", [\"\"])):\n",
" text = \"\".join(cell[\"source\"])\n",
"print(text[:400] + \"...\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## HTML\n",
"\n",
"Webseiten sind in [HTML](http://en.wikipedia.org/wiki/HTML) formatiert.\n",
"Die Rohdaten sind ähnlich wie XML in Tags eingeschlossene Textbausteine.\n",
"Eine Bibliothek wie [Beautiful Soup](http://www.crummy.com/software/BeautifulSoup/) hilft,\n",
"diese Tags einzulesen und als Datenstruktur zu bearbeiten.\n",
"Holen wir zum Beispiel die aktuellen Nachrichten, extrahieren ausschließlich die Überschriften des Hauptbereichs, und modifizieren die Links so, dass sie auf die Originalseite verweisen und ein neues Tab öffnen:"
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"from bs4 import BeautifulSoup\n",
"derstandard = BeautifulSoup(req.get(\"http://derstandard.at\").text)"
]
},
{
"cell_type": "code",
"execution_count": 5,
"metadata": {
"collapsed": false
},
"outputs": [
{
"data": {
"text/html": [
"\n",
" \n",
"
\")\n",
"for hl in headlines:\n",
" hl.attrs[\"href\"] = \"http://derstandard.at\" + hl.attrs[\"href\"]\n",
" hl.attrs[\"target\"] = \"_blank\"\n",
" entry = hl_list.new_tag(\"li\")\n",
" entry.append(hl)\n",
" hl_list.append(entry)\n",
"HTML(hl_list.prettify())"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Suchmaschine\n",
"\n",
"Eine Kombination aus den bisher vorgestellten Techniken\n",
"ist z.B. der Bau einer eigenen kleinen Suchmaschine.\n",
"Zuerst werden Webseiten nach Links durchsucht,\n",
"und die verlinkten Seiten ebenfalls wieder nach Links durchsucht.\n",
"Auf diese Art erhält man eine Sammlung von Webseiten.\n",
"\n",
"Dafür baut man nun einen Index,\n",
"der von den einzelnen Wörtern einer Seite wieder auf den jeweiligen Link\n",
"der Webseite zurück verweist.\n",
"\n",
"Offen ist noch, welche von den Webseiten,\n",
"die den Suchbegriff enthalten,\n",
"besonders wichtig sind.\n",
"Eine Technik, ursprünglich von Google's CEO Larry Page und nach ihm benannt,\n",
"ist [PageRank](http://infolab.stanford.edu/pub/papers/google.pdf).\n",
"Es analysiert die Struktur aller Links untereinander\n",
"und gewichtet diejenigen Seiten besonders hoch,\n",
"auf die von höher gewichteten Seiten aus verlinkt werden."
]
},
{
"cell_type": "code",
"execution_count": 6,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"from __future__ import print_function\n",
"from collections import defaultdict\n",
"from Queue import Queue\n",
"import requests as req\n",
"import random\n",
"import re\n",
"import threading\n",
"import networkx as nx\n",
"from multiprocessing.pool import ThreadPool\n",
"from bs4 import BeautifulSoup"
]
},
{
"cell_type": "code",
"execution_count": 7,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"def mk_new_url(url, href, url_filter = None):\n",
" if href.startswith(\"http\"):\n",
" if url_filter:\n",
" if url_filter not in href.split(\"/\")[2]:\n",
" return None\n",
" new_url = href\n",
" elif href.startswith(\"#\"):\n",
" return None\n",
" else:\n",
" if not href.startswith(\"/\"):\n",
" href = \"/\" + href\n",
" new_url = url + href\n",
" if \"?\" in new_url:\n",
" new_url = new_url[:new_url.index(\"?\")]\n",
" if new_url.endswith(\"/\"):\n",
" new_url = new_url[:-1]\n",
" return new_url"
]
},
{
"cell_type": "code",
"execution_count": 8,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"word = re.compile(r\"\\b\\w{4,}\\b\")\n",
"\n",
"def index_task(url):\n",
" if url in visited:\n",
" return \"d\"\n",
" try:\n",
" content = req.get(url, timeout = 5).text\n",
" except:\n",
" # connection error, etc. -> pick next one\n",
" return \"err\"\n",
"\n",
" page = BeautifulSoup(content)\n",
" for a in page.select(\"a\"):\n",
" if \"href\" in a.attrs:\n",
" new_url = mk_new_url(url, a.attrs[\"href\"], url_filter)\n",
" if new_url:\n",
" urls.put(new_url)\n",
" link_graph.add_edge(url, new_url)\n",
"\n",
" for match in word.finditer(page.text):\n",
" token = match.group().lower()\n",
" keywords[token].add(url)\n",
"\n",
" visited.add(url)\n",
" \n",
" return len(visited)"
]
},
{
"cell_type": "code",
"execution_count": 22,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"def get_urls(limit = 400):\n",
" while limit >= 0:\n",
" limit -= 1\n",
" url = urls.get()\n",
" yield url"
]
},
{
"cell_type": "code",
"execution_count": 23,
"metadata": {
"collapsed": false
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"1 2 3 4 5 6 7 7 8 9 10 11 d 12 d d 13 d d 14 15 d d d d 16 17 d d d 18 d 19 d d 20 21 22 23 24 25 26 27 28 29 30 d d 31 32 33 34 35 36 d d d d d d d d d d 37 d 38 38 39 d d d d d d d d d 39 39 39 39 40 40 41 41 41 d 41 d d d d d d d 41 d d d 41 d d d d d d d d d d d d d d d d d 42 d 43 d d d d d d d d d d d 43 44 d d d d 44 d d d 44 45 d d d 45 d d 45 d d d d d d d d d d d d d d d d d d d 46 err 46 47 48 48 d 49 50 51 52 53 54 d d d d d d d d d d 55 d 56 d d d d d d d d d d 57 d d d d d d d d d d d d 58 59 60 61 62 d d d d d d d d d 63 d 63 d d d d d d d d d d 63 d d d d d d d d d d 64 65 66 67 67 67 68 d d 69 err 70 71 72 73 d 74 75 76 77 d d d d d d d d d d d d d d d 78 d d d d d d d d d d d d d d d d d d d d d 79 d 80 d d d d d d d d d d d d d d d 81 d d d d d d d d d d d d d d d d d 82 d d d d d 83 d d 83 d d d d d d d d d d d d 83 83 84 84 84 err err err 85 86 87 err 88 88 err err err err 89 err err 90 91 92 93 94 95 96 97 END\n"
]
}
],
"source": [
"# Start. Resetting all variables.\n",
"urls = Queue()\n",
"urls.put(\"http://plone.mat.univie.ac.at\") # start URL\n",
"url_filter = \"univie.ac.at\" # this must be in the DNS name\n",
"visited = set()\n",
"keywords = defaultdict(set)\n",
"# 30 in parallel, most of the time they are waiting for the website!\n",
"link_graph = nx.DiGraph()\n",
"workers = ThreadPool(30)\n",
"for nb_urls in workers.imap_unordered(index_task, get_urls()):\n",
" print(nb_urls, end=\" \")\n",
"print(\"END\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### PageRank, top 10"
]
},
{
"cell_type": "code",
"execution_count": 24,
"metadata": {
"collapsed": false
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"http://bibliothek.univie.ac.at/fb-wirtschaft-mathematik, 0.00447118247308\n",
"http://plone.mat.univie.ac.at, 0.00442915042551\n",
"http://plone.mat.univie.ac.at/news/finanziell-und-ausstattungsmassug-sehr-attraktiver-ruf-der-purdue-university-an-kollegen-markowich, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/talks/calendar, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/events/2015/oka-theory-and-the-spectral-nevanlinna-pick-problem, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/studium/studienbeginn, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/accessibility-info, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/events/2015/tba-7, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/sitemap, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/news, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/links-de, 0.00437865206002\n",
"http://plone.mat.univie.ac.at/fakultaet/gaeste, 0.00437865206002\n"
]
}
],
"source": [
"link_weights = nx.algorithms.link_analysis.pagerank(link_graph)\n",
"weighted_links = sorted(link_weights.keys(), key=link_weights.get, reverse=True)\n",
"for idx, link in enumerate(weighted_links):\n",
" print(\"%s, %s\" % (link, link_weights[link]))\n",
" if idx > 10:\n",
" break"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### PageRank Plot (logarithmische Y-Achse)"
]
},
{
"cell_type": "code",
"execution_count": 21,
"metadata": {
"collapsed": false
},
"outputs": [
{
"data": {
"image/svg+xml": [
"\n",
"\n",
"\n",
"\n"
],
"text/plain": [
""
]
},
"metadata": {},
"output_type": "display_data"
}
],
"source": [
"%matplotlib inline\n",
"import matplotlib.pyplot as plt\n",
"plt.plot(sorted(link_weights.values(), reverse=True))\n",
"ax = plt.gca()\n",
"ax.set_ylim((0.001, 0.002))\n",
"ax.set_yscale('log')"
]
},
{
"cell_type": "code",
"execution_count": 13,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"def search(*terms):\n",
" from IPython.display import HTML\n",
" \n",
" def get_matches(term):\n",
" urls = set()\n",
" for k in keywords.keys():\n",
" if term in k:\n",
" for url in keywords[k]:\n",
" urls.add(url)\n",
" return urls\n",
" \n",
" result = get_matches(terms[0])\n",
" for term in terms[1:]:\n",
" result = result.intersect(get_matches[term])\n",
"\n",
" # sort by pagerank\n",
" result = sorted(result, key = link_weights.get, reverse=True)\n",
" \n",
" urls_html = ['{0} ({1:.6e})'.format(r, link_weights[r])\n",
" for r in result]\n",
" return HTML(' '.join(urls_html))"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Suche nach Seiten, die das Teilwort \"mathemat\" beinhalten:"
]
},
{
"cell_type": "code",
"execution_count": 14,
"metadata": {
"collapsed": false
},
"outputs": [
{
"data": {
"text/html": [
"http://plone.mat.univie.ac.at/fakultaet (5.569837e-03) http://plone.mat.univie.ac.at/news (5.569837e-03) http://plone.mat.univie.ac.at/studium/studierende (5.569837e-03) http://plone.mat.univie.ac.at/fakultaet/aufgaben (1.735692e-03) http://plone.mat.univie.ac.at/fakultaet#documentContent (1.298009e-03) http://plone.mat.univie.ac.at/fakultaet#portlet-navigation-tree (1.298009e-03)"
],
"text/plain": [
""
]
},
"execution_count": 14,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"search(\"bachelor\")"
]
},
{
"cell_type": "code",
"execution_count": 15,
"metadata": {
"collapsed": false
},
"outputs": [
{
"data": {
"text/plain": [
"2352"
]
},
"execution_count": 15,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"len(keywords)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"10 zufällig gewählte Schlüsselwörter"
]
},
{
"cell_type": "code",
"execution_count": 16,
"metadata": {
"collapsed": false
},
"outputs": [
{
"data": {
"text/plain": [
"[u'brannath',\n",
" u'teaching',\n",
" u'stable',\n",
" u'2013',\n",
" u'ilya',\n",
" u'june',\n",
" u'informieren',\n",
" u'helge',\n",
" u'vormals',\n",
" u'benutzbarkeit']"
]
},
"execution_count": 16,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"random.sample(keywords.keys(), 10)"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 2",
"language": "python",
"name": "python2"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 2
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython2",
"version": "2.7.6"
}
},
"nbformat": 4,
"nbformat_minor": 0
}