{ "cells": [ { "cell_type": "markdown", "metadata": { "pycharm": { "name": "#%% md\n" } }, "source": [ "# Jobs\n", "\n", "Die Funktion `load_data` unterstützt das Abrufen von Jobs für zu große Tabellen. Destatis verweigert bei zu großen Tabellen die initiale Abfrage und gibt einen Status Code 98 zurück. Mit dem speziellen Query-Parameter `job=true` kann man jedoch die Verarbeitung im Hintergrund anstoßen. Die Tabelle wird dann für den User nach einiger Zeit bereitgestellt. Diese Tabelle kann dann über `data/resultfile` statt `data/tablefile` abgerufen werden. All diese Details verbergen wir jedoch vor dem Benutzer. Die Klasse `Table` verbirgt diese Komplexität und stellt die Daten, die von einem Job kommen, genauso zur Verfügung wie Daten, die über den normalen Destatis Endpunkt kommen. Der Benutzer muss lediglich eine etwas längere Wartezeit in Kauf nehmen (aktuell ein Timeout von 1 Minute)." ] }, { "cell_type": "code", "execution_count": 1, "metadata": { "pycharm": { "name": "#%%\n" } }, "outputs": [], "source": [ "import logging\n", "logging.basicConfig(level=logging.INFO)\n", "\n", "import json\n", "\n", "from pystatis import Table" ] }, { "cell_type": "code", "execution_count": 8, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "INFO:pystatis.http_helper:Code 0: erfolgreich\n" ] }, { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Statistik_CodeStatistik_LabelZeit_CodeZeit_LabelZeit1_Merkmal_Code1_Merkmal_Label1_Auspraegung_Code1_Auspraegung_LabelAI0106__Anteil_der_Flaeche_fuer_Siedlung_an_Gesamtflaeche__ProzentAI0107__Anteil_der_Flaeche_fuer_Verkehr_an_Gesamtflaeche__ProzentAI0108__Anteil_der_Flaeche_fuer_Landwirtschaft_an_Gesamtflaeche__ProzentAI0109__Anteil_der_Flaeche_fuer_Wald_an_Gesamtflaeche__ProzentAI0110__Anteil_Sport-,_Freizeit-,_Erholungsflaeche_an_Gesamtflaeche__ProzentAI0111__Anteil_Siedlungs-_und_Verkehrsflaeche_an_Gesamtflaeche__ProzentAI0113__Siedlungs-_und_Verkehrsflaeche_je_EW__qmAI0114__Freiraumflaeche_je_EW__qm
099910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeindenDGDeutschland9,45,150,529,81,514,1605,63673,6
199910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01Schleswig-Holstein9,24,468,310,31,313,4722,84670,6
299910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01001Flensburg, kreisfreie Stadt39,613,822,36,64,253,3332,2289,5
399910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01002Kiel, kreisfreie Stadt44,613,924,05,510,258,5282,0199,8
499910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01003Lübeck, kreisfreie Stadt, Hansestadt28,79,330,314,76,137,7373,7613,9
\n", "
" ], "text/plain": [ " Statistik_Code Statistik_Label Zeit_Code Zeit_Label Zeit 1_Merkmal_Code 1_Merkmal_Label 1_Auspraegung_Code 1_Auspraegung_Label AI0106__Anteil_der_Flaeche_fuer_Siedlung_an_Gesamtflaeche__Prozent AI0107__Anteil_der_Flaeche_fuer_Verkehr_an_Gesamtflaeche__Prozent AI0108__Anteil_der_Flaeche_fuer_Landwirtschaft_an_Gesamtflaeche__Prozent AI0109__Anteil_der_Flaeche_fuer_Wald_an_Gesamtflaeche__Prozent AI0110__Anteil_Sport-,_Freizeit-,_Erholungsflaeche_an_Gesamtflaeche__Prozent AI0111__Anteil_Siedlungs-_und_Verkehrsflaeche_an_Gesamtflaeche__Prozent AI0113__Siedlungs-_und_Verkehrsflaeche_je_EW__qm AI0114__Freiraumflaeche_je_EW__qm\n", "0 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden DG Deutschland 9,4 5,1 50,5 29,8 1,5 14,1 605,6 3673,6\n", "1 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01 Schleswig-Holstein 9,2 4,4 68,3 10,3 1,3 13,4 722,8 4670,6\n", "2 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01001 Flensburg, kreisfreie Stadt 39,6 13,8 22,3 6,6 4,2 53,3 332,2 289,5\n", "3 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01002 Kiel, kreisfreie Stadt 44,6 13,9 24,0 5,5 10,2 58,5 282,0 199,8\n", "4 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01003 Lübeck, kreisfreie Stadt, Hansestadt 28,7 9,3 30,3 14,7 6,1 37,7 373,7 613,9" ] }, "execution_count": 8, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# Wir wollen die Tabelle mit der Nummer AI001-2-5 laden\n", "# Sofern die Daten nicht gecacht wurden, wird uns eine Warnmeldung darüber informieren, dass hier ein Job angestoßen wird\n", "t = Table(name=\"AI001-2-5\")\n", "t.get_data()" ] }, { "cell_type": "code", "execution_count": 9, "metadata": {}, "outputs": [], "source": [ "# Eine erneute Abfrage findet die Daten im Cache und stellt sie dementsprechend sofort bereit\n", "t = Table(name=\"AI001-2-5\")\n", "t.get_data()" ] }, { "cell_type": "code", "execution_count": 9, "metadata": { "pycharm": { "name": "#%%\n" } }, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Statistik_CodeStatistik_LabelZeit_CodeZeit_LabelZeit1_Merkmal_Code1_Merkmal_Label1_Auspraegung_Code1_Auspraegung_LabelAI0106__Anteil_der_Flaeche_fuer_Siedlung_an_Gesamtflaeche__ProzentAI0107__Anteil_der_Flaeche_fuer_Verkehr_an_Gesamtflaeche__ProzentAI0108__Anteil_der_Flaeche_fuer_Landwirtschaft_an_Gesamtflaeche__ProzentAI0109__Anteil_der_Flaeche_fuer_Wald_an_Gesamtflaeche__ProzentAI0110__Anteil_Sport-,_Freizeit-,_Erholungsflaeche_an_Gesamtflaeche__ProzentAI0111__Anteil_Siedlungs-_und_Verkehrsflaeche_an_Gesamtflaeche__ProzentAI0113__Siedlungs-_und_Verkehrsflaeche_je_EW__qmAI0114__Freiraumflaeche_je_EW__qm
099910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeindenDGDeutschland9,45,150,529,81,514,1605,63673,6
199910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01Schleswig-Holstein9,24,468,310,31,313,4722,84670,6
299910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01001Flensburg, kreisfreie Stadt39,613,822,36,64,253,3332,2289,5
399910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01002Kiel, kreisfreie Stadt44,613,924,05,510,258,5282,0199,8
499910Regionalatlas DeutschlandJAHRJahr2021GEMEINGemeinden01003Lübeck, kreisfreie Stadt, Hansestadt28,79,330,314,76,137,7373,7613,9
\n", "
" ], "text/plain": [ " Statistik_Code Statistik_Label Zeit_Code Zeit_Label Zeit 1_Merkmal_Code 1_Merkmal_Label 1_Auspraegung_Code 1_Auspraegung_Label AI0106__Anteil_der_Flaeche_fuer_Siedlung_an_Gesamtflaeche__Prozent AI0107__Anteil_der_Flaeche_fuer_Verkehr_an_Gesamtflaeche__Prozent AI0108__Anteil_der_Flaeche_fuer_Landwirtschaft_an_Gesamtflaeche__Prozent AI0109__Anteil_der_Flaeche_fuer_Wald_an_Gesamtflaeche__Prozent AI0110__Anteil_Sport-,_Freizeit-,_Erholungsflaeche_an_Gesamtflaeche__Prozent AI0111__Anteil_Siedlungs-_und_Verkehrsflaeche_an_Gesamtflaeche__Prozent AI0113__Siedlungs-_und_Verkehrsflaeche_je_EW__qm AI0114__Freiraumflaeche_je_EW__qm\n", "0 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden DG Deutschland 9,4 5,1 50,5 29,8 1,5 14,1 605,6 3673,6\n", "1 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01 Schleswig-Holstein 9,2 4,4 68,3 10,3 1,3 13,4 722,8 4670,6\n", "2 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01001 Flensburg, kreisfreie Stadt 39,6 13,8 22,3 6,6 4,2 53,3 332,2 289,5\n", "3 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01002 Kiel, kreisfreie Stadt 44,6 13,9 24,0 5,5 10,2 58,5 282,0 199,8\n", "4 99910 Regionalatlas Deutschland JAHR Jahr 2021 GEMEIN Gemeinden 01003 Lübeck, kreisfreie Stadt, Hansestadt 28,7 9,3 30,3 14,7 6,1 37,7 373,7 613,9" ] }, "execution_count": 9, "metadata": {}, "output_type": "execute_result" } ], "source": [ "t.data.head()" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "Python 3.9.7 ('.venv': poetry)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.11.5" }, "vscode": { "interpreter": { "hash": "02e23b522f8c3795158421909d41ced4ef90521258d58d1c53bee449d96f71e3" } } }, "nbformat": 4, "nbformat_minor": 1 }