{ "nbformat": 4, "nbformat_minor": 0, "metadata": { "colab": { "provenance": [], "toc_visible": true }, "kernelspec": { "name": "python3", "display_name": "Python 3" }, "language_info": { "name": "python" } }, "cells": [ { "cell_type": "markdown", "source": [ "# データ構造化の代表的なデータ操作方法\n", "今回は、データ構造化プログラムにおける代表的なデータ操作の方法についてご紹介します。\n", "\n", "今回学ぶ内容は、次のとおりです。\n", "\n", "* pandasによるデータ操作\n", "* 辞書・リストの操作\n", "\n", "はじめに、本講義で使用するファイルを皆さんの環境にダウンロードするため、次のコードを実行してください。" ], "metadata": { "id": "Fn0oKgscebci" } }, { "cell_type": "code", "source": [ "!wget https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/files.zip .\n", "!unzip files.zip\n", "!mv files/* ." ], "metadata": { "id": "L4q4Uc_8RV1v" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "# pandasによるデータ操作\n", "前回では、pandasによるCSVファイルの入出力と、locによる値の編集について学びました。\n", "\n", "今回は、さらにpandasの使用方法を掘り下げていきます。次のような内容をご紹介します。\n", "\n", "* pandasで取り扱うデータ形式\n", "* データの削除(drop、dropna、drop_duplicates)\n", "* 欠損値の補完(fillna)\n", "* データの並び替え\n", "* データの抽出・置き換え\n", "* 行ごと・列ごとの計算\n", "\n", "pandasには、今回の限られた時間ではご紹介しきれないほど、たくさんの機能があります。\n", "\n", "ここでは、構造化プログラムで取り扱う実験データをイメージしたサンプルデータを例として、様々な加工を加えていくことで、よく使用される代表的な機能をご紹介します。" ], "metadata": { "id": "_5uzGBYmfjhO" } }, { "cell_type": "markdown", "source": [ "## pandasとは (おさらい)\n", "pandasとは、前回ご紹介したとおり、「配列データの整形・加工」を得意とするパッケージです。\n", "\n", "データ構造化プログラムでは、機器が出力したCSVデータを整形・加工してメタデータとして登録するなどの目的で、pandasをよく利用します。" ], "metadata": { "id": "CJTavtn7gk4J" } }, { "cell_type": "markdown", "source": [ "## pandasで取り扱うデータ形式\n", "前回、padansのread_csv関数でCSVファイルからデータを読み込むと、データフレームという特別な配列に格納されるとご紹介しました。\n", "\n", "pandasで取り扱うデータ形式には、上述のデータフレーム(DataFrame)を含めて、「**Series**」「**DataFrame**」の2つの形式があります。" ], "metadata": { "id": "ElQBSfQWhgL2" } }, { "cell_type": "markdown", "source": [ "### Series\n", "Excelファイル中の1行や1列のデータのような、「**1次元のデータ配列**」を表します。\n", "\n", "Seriesは、配列の実体に加えて、付加情報として「**名前(name)**」と「**インデックス(index)**」を持ちます。\n", "\n", "Seriesのイメージは次のとおりです。\n", "\n", "![Seriesのイメージ](https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/figure/image_series.png)\n", "\n", "Seriesのデータを新規作成することはあまりありませんが、後述のデータフレームから1行ぶんのデータを抽出した結果、Series型となることはよくあります。" ], "metadata": { "id": "16JkC34H9kK5" } }, { "cell_type": "markdown", "source": [ "### DataFrame\n", "Excelファイル中のテーブルデータのような、「**2次元のデータ配列**」を表します。\n", "\n", "DataFrameは、配列の実体に加えて、付加情報として「**カラム名(columns)**」と「**インデックス(index)**」を持ちます。ちょうど、Excelの列名(A、B、・・・)と行番号(1、2、・・・)のイメージです。\n", "\n", "DataFrameのイメージは次のとおりです。\n", "\n", "![DataFrameのイメージ](https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/figure/image_dataframe.png)" ], "metadata": { "id": "zohjWhhs9pyM" } }, { "cell_type": "markdown", "source": [ "## 今回のサンプルデータ\n", "今回は、次のような内容のCSVファイル(pandas_sample1.csv)を読み込んで、データの加工を行います。\n", "\n", "|measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|\n", "|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|MEA005|2022/11/4|Sato|R.T|98|min|\n", "| ||||||\n", "|MEA003|3-Nov-22|Adam|18||hour|\n", "|MEA004|11-05-2022|Yamada||Failure||\n", "|MEA006|11-05-2022||15|8|hour|" ], "metadata": { "id": "mlTk8u7-gieD" } }, { "cell_type": "markdown", "source": [ "## pandasによるCSVファイルの読み込み (おさらい)\n", "今回も前回と同様に、CSVからデータフレームにファイルを読み込んで、様々なデータ操作を行います。\n", "\n", "次のソースコードを実行して、pandas_sample1.csvを読み込みましょう。今回のデータは日本語データを含んでいないため、encodingオプションは指定していません。" ], "metadata": { "id": "Yan0anFKyUNn" } }, { "cell_type": "code", "source": [ "import pandas as pd\n", "\n", "df_init = pd.read_csv(\"pandas_sample1.csv\")\n", "print(df_init)" ], "metadata": { "id": "s_eOj4nTRgrp" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## (データの加工に入る前に) Google Colaboratoryの補足説明\n", "このあと、上記で読み込んだデータフレームに対してデータの加工を行っていきますが、その前に、Google Colaboratoryの仕様について補足します。\n", "\n", "Google Colaboratoryでは、ページ内の全てのソースコードはつながっています。\n", "\n", "例えば、上記のソースコードで作成したデータフレームdf_initは、後続のソースコードでも参照できます。" ], "metadata": { "id": "uDNQjTsBzlNG" } }, { "cell_type": "code", "source": [ "print(df_init)" ], "metadata": { "id": "tVaVRTGNiQH8" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "前回までの講義では、混乱を防止するため、ソースコードごとに変数名を変えてすべてのデータを独立させることで、この仕様を意識しなくてよいサンプルコードとしていました。\n", "\n", "今回のpandasのご紹介では、上記のソースコードで読み込んだデータフレームdf_initに対して、このあとステップバイステップで様々な加工を行っていきます。\n", "\n", "このため、次の点に注意してください。\n", "\n", "* サンプルコードごとに毎回CSVファイルからデータフレームへデータを読み込むことはしません。\n", "* **ソースコードを動かすとき、それ以前のソースコードが一度も動いていないと正しく動作しないことがあります。**「pandasによるデータ操作」のソースコードは、必ず上から順番に実行するのが確実です。" ], "metadata": { "id": "fqikqNUhiddG" } }, { "cell_type": "markdown", "source": [ "## 空行の削除\n", "インデックス4の行は全てのカラムに値がありませんので、不要な空行と考えられます。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**1**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**2**|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|**3**|MEA005|2022/11/4|Sato|R.T|98|min|\n", "|**4**| ||||||\n", "|**5**|MEA003|3-Nov-22|Adam|18||hour|\n", "|**6**|MEA004|11-05-2022|Yamada||Failure||\n", "|**7**|MEA006|11-05-2022||15|8|hour|\n", "\n", "このように欠測値を含む行は、「**dropnaメソッド**」で削除することができます。\n", "\n", "メソッドの引数に「**how=\"all\"**」と指定すると、すべてのカラムが値なしの場合(空行の場合)に、その行を削除します。\n", "\n", "~~~\n", "変数 = データフレーム.dropna(how=\"all\")\n", "~~~\n", "\n", "最初に読み込んだデータフレームdf_initのdropnaメソッドを呼び出して、その動作を見てみましょう。" ], "metadata": { "id": "HejWxc1nATCX" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_init)\n", "\n", "# 空行の削除\n", "df_empty_line = df_init.dropna(how=\"all\")\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_empty_line)" ], "metadata": { "id": "ctGxkkauCLPw" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "ここで注意が必要なのは、「df_init.dropna(how=\"all\")」としたとき、**df_init自体の内容が変更されるわけではない**という点です。\n", "\n", "**df_initの内容を元に変更が加えられた、新しいデータフレームが戻り値として得られます**。\n", "\n", "上記のソースコードでは、戻り値として得られた新たなデータフレームを変数df_empty_lineに格納しています。\n", "\n", "実際に、現在のdf_initの内容を見てみましょう。" ], "metadata": { "id": "kUEjhuvwCeOF" } }, { "cell_type": "code", "source": [ "print(df_init)" ], "metadata": { "id": "37QtWwyP3Uny" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "元のdf_initは、インデックス4の空行が削除されずに残っていることが分かります。\n", "\n", "このように、データフレームを加工するメソッドを呼び出すたびに新しいデータフレームが作成され、メモリも多く消費します。\n", "\n", "そこで次のように、メソッドの引数に「inplace=True」と指定すると、元のデータフレーム自体が変更されます。\n", "\n", "~~~\n", "データフレーム.dropna(how=\"all\", inplace=True)\n", "~~~\n", "\n", "dropnaも含めた、今回ご紹介する様々な加工メソッドは、ほとんどが「inplace=True」を指定できます。\n", "\n", "加工前の値を取っておく必要がなければ、基本的には常に「inplace=True」を付けておくことでよいでしょう。\n", "\n", "ただし今回の講義ではGoogle Colaboratoryを使っているため、「inplace=True」でデータフレームを直接加工すると、前に戻ってプログラムを再実行すると2重3重に加工がされてしまうなど、混乱が生じてしまいます。\n", "\n", "そのため、今回の講義の例題では「inplace=True」を指定しないことにします。" ], "metadata": { "id": "M0HlQ-a63Xi2" } }, { "cell_type": "markdown", "source": [ "## 重複行の削除\n", "インデックス0と1の行は、measureIDも含めて全く同じ内容ですので、誤って重複登録されたものと考えられます。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**1**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**2**|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|**3**|MEA005|2022/11/4|Sato|R.T|98|min|\n", "|**5**|MEA003|3-Nov-22|Adam|18||hour|\n", "|**6**|MEA004|11-05-2022|Yamada||Failure||\n", "|**7**|MEA006|11-05-2022||15|8|hour|\n", "\n", "このような重複行は、「**drop_duplicatesメソッド**」で削除することができます。\n", "\n", "~~~\n", "変数 = データフレーム.drop_duplicates()\n", "~~~" ], "metadata": { "id": "mvRPRTIXvOp-" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_empty_line)\n", "\n", "# 重複行の削除\n", "df_dup = df_empty_line.drop_duplicates()\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_dup)" ], "metadata": { "id": "qxKwf3Ca_jpG" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## 行を指定しての削除\n", "インデックス6の行はmeasureValueがFailureなので、不要な行とみなして削除しましょう。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**2**|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|**3**|MEA005|2022/11/4|Sato|R.T|98|min|\n", "|**5**|MEA003|3-Nov-22|Adam|18||hour|\n", "|**6**|MEA004|11-05-2022|Yamada||Failure||\n", "|**7**|MEA006|11-05-2022||15|8|hour|\n", "\n", "「**dropメソッド**」を使用すると、行を指定して削除することもできます。行の指定は、インデックスを用います。\n", "\n", "~~~\n", "変数 = データフレーム.drop(削除したい行のインデックス)\n", "~~~\n", "\n", "今回はインデックス6を指定します。" ], "metadata": { "id": "DosYphRnEIlh" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_dup)\n", "\n", "# 行を指定しての削除\n", "df_drop = df_dup.drop(6)\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_drop)" ], "metadata": { "id": "D6RmzfGcEQfq" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## 欠測値の補完\n", "現在のデータフレームは、いくつかデータのない欠測値(プログラムの出力結果ではNaNと表示)があります。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**2**|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|**3**|MEA005|2022/11/4|Sato|R.T|98|min|\n", "|**5**|MEA003|3-Nov-22|Adam|18||hour|\n", "|**7**|MEA006|11-05-2022||15|8|hour|\n", "\n", "欠測値のままだと、データ構造化において計算結果が期待通りにならないなど、不都合が生じる場合があります。\n", "\n", "そのような場合は、「**fillnaメソッド**」を使って欠測値を補完できます。\n", "\n", "fillnaメソッドの引数に置き換えたい値のみを指定すると、データフレーム中のすべての欠測値が、指定した値に置き換えられます。\n", "\n", "~~~\n", "変数 = データフレーム.fillna(置き換えたい値)\n", "~~~\n", "\n", "ですがこの方法だと、すべてのカラムについて欠測値が置き換わります。現実的には、数値のカラムと文字列のカラムはそれぞれ別の値に置き換えたい、などのケースがほとんどでしょう。\n", "\n", "そこでfillnaメソッドの引数に辞書を指定すると、列ごとに異なる値に置き換えることができます。\n", "\n", "~~~\n", "変数 = データフレーム.fillna({置き換えたい列1:置き換えたい値1, 置き換えたい列2:置き換えたい値2, ・・・})\n", "~~~\n", "\n", "今回は、operator列の欠測値を\"NO NAME\"に、measureValue列の欠測値を0に、それぞれ置き換えてみます。" ], "metadata": { "id": "i5n0kxuYFiyE" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_drop)\n", "\n", "# 欠測値の補完\n", "df_fill_dict = df_drop.fillna({\"operator\": \"NO NAME\", \"measureValue\": 0})\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_fill_dict)" ], "metadata": { "id": "jIv0wfxbJlf4" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## データの並べ替え\n", "「**sort_valuesメソッド**」を使用すると、指定したカラムをキーとして表を並び替えることができます。\n", "\n", "~~~\n", "変数 = データフレーム.sort_values(by=キーとなるカラム名)\n", "~~~\n", "\n", "なお、デフォルトは昇順のソートです。降順に並べ替えるには、sort_valuesメソッドの引数に「**ascending=False**」を指定します。\n", "\n", "~~~\n", "変数 = データフレーム.sort_values(by=キーとなるカラム名, ascending=False)\n", "~~~\n", "\n", "ここでは、measureIDをキーとして昇順に並び替えてみます。" ], "metadata": { "id": "iBhT7zfdHuxd" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_fill_dict)\n", "\n", "# データの並べ替え\n", "df_sort = df_fill_dict.sort_values(by=\"measureID\")\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_sort)" ], "metadata": { "id": "B6mS6gppH8fE" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## インデックスの振り直し\n", "ここまで様々な加工を行った結果、インデックスが歯抜けになり、順序も昇順ではなくなっています。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**2**|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|**5**|MEA003|3-Nov-22|Adam|18|0|hour|\n", "|**3**|MEA005|2022/11/4|Sato|R.T|98|min|\n", "|**7**|MEA006|11-05-2022|NO NAME|15|8|hour|\n", "\n", "そこで、「**reset_indexメソッド**」を使用すると、インデックスを振り直すことができます。\n", "\n", "~~~\n", "変数 = データフレーム.reset_index()\n", "~~~" ], "metadata": { "id": "BsPIFy1_8IYm" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_sort)\n", "\n", "# インデックスの振り直し\n", "df_sort_r = df_sort.reset_index()\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_sort_r)" ], "metadata": { "id": "KpWTAR-X9K1N" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "新しく連番のインデックスができましたが、もともとあったインデックスがカラム名\"index\"の新たなカラムとして残ってしまいました。\n", "\n", "これを残さないようにするには、reset_indexメソッドの引数に「**drop=True**」を指定します。\n", "\n", "~~~\n", "変数 = データフレーム.reset_index(drop=True)\n", "~~~\n", "\n", "今度はdrop=Trueの指定ありで実行してみましょう。" ], "metadata": { "id": "O6XFEM6v-Giz" } }, { "cell_type": "code", "source": [ "print(\"変更前のデータフレーム\")\n", "print(df_sort)\n", "\n", "# インデックスの振り直し\n", "df_sort_r = df_sort.reset_index(drop=True)\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_sort_r)" ], "metadata": { "id": "fpdJBMhp-gH0" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "これで、インデックスの振り直しができました。" ], "metadata": { "id": "DSd6701wqmnF" } }, { "cell_type": "markdown", "source": [ "## データの抽出・置き換え (おさらい＋α)\n", "ここからは、特定のデータを抽出して、値を置き換える方法をご紹介します。\n", "\n", "具体的には、次の赤字で示す「R.T」の部分を抽出して、数値の「25」に置き換えます。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|\n", "|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|\n", "|**1**|MEA002|2022/11/2|Yamada|20|999|sec|\n", "|**2**|MEA003|3-Nov-22|Adam|18|0|hour|\n", "|**3**|MEA005|2022/11/4|Sato|R.T|98|min|\n", "|**4**|MEA006|3-Nov-22|NO NAME|15|8|hour|\n", "\n", "前回もlocを用いて同様の加工を行いました。そのおさらいに加え、また別の方法もご紹介します。" ], "metadata": { "id": "DGwNnt3jISpJ" } }, { "cell_type": "markdown", "source": [ "### loc\n", "「**loc**」は、データフレーム中の単一の要素、または複数の要素を抽出することができます。\n", "\n", "locによる抽出は、次のとおりです。インデックスおよびカラム名を指定して抽出します。\n", "~~~\n", "データフレーム.loc[インデックス, カラム名]\n", "~~~\n", "\n", "次のとおり指定することで、複数要素の抽出も可能です。このとき、**「カラム名2」「インデックス2」も含めた要素を抽出します。**\n", "~~~\n", "データフレーム.loc[インデックス1:インデックス2, カラム名1:カラム名2]\n", "~~~\n", "\n", "要素を抽出する例を次に示します。" ], "metadata": { "id": "10i3FmV965VM" } }, { "cell_type": "code", "source": [ "print(\"単一の要素を抽出\")\n", "print(df_sort_r.loc[3, \"temperature\"])\n", "\n", "print(\"複数要素を抽出\")\n", "print(df_sort_r.loc[1:3, \"operator\":\"measureValue\"])" ], "metadata": { "id": "yRNcNTvgLNtW" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### iloc\n", "「**iloc**」は、locと同様の抽出ができますが、行番号および列番号を指定します。\n", "~~~\n", "データフレーム.iloc[行番号, 列番号]\n", "~~~\n", "\n", "複数要素の指定は、次のとおりです。ただしlocとは異なり、**「列番号2」「行番号2」を含まない、ひとつ手前までの要素を抽出します。**混乱しやすいので、注意してください。\n", "~~~\n", "データフレーム.iloc[行番号1:行番号2, 列番号1:列番号2]\n", "~~~\n", "\n", "要素を抽出する例を次に示します。" ], "metadata": { "id": "1WVTXBx1LEfE" } }, { "cell_type": "code", "source": [ "print(\"単一の要素を抽出\")\n", "print(df_sort_r.iloc[3, 3])\n", "\n", "print(\"複数要素を抽出\")\n", "print(df_sort_r.iloc[1:4, 2:5])" ], "metadata": { "id": "93hPMos_7o-3" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "値を置き換えるときは、抽出した結果に代入式で置き換えたい値を設定します。\n", "\n", "~~~\n", "データフレーム.loc[インデックス, カラム名] = 置き換えたい値\n", "データフレーム.iloc[行番号, 列番号] = 置き換えたい値\n", "~~~\n", "\n", "**locおよびilocで抽出した要素に値を代入すると、これまで行ってきた各種メソッドによる加工とは異なり、元のデータフレーム自体が変更されます**。\n", "\n", "ここでは実際に、ilocを使って値を置き換えてみます。\n", "\n", "前述のとおり、対象のデータフレーム自身を変更するとGoogle Colaboratory上では混乱の元となるため、先に「**copyメソッド**」を使ってデータフレームのコピーを作成し、そのコピーに対して値の変更を行います。" ], "metadata": { "id": "Qk9l_Dup-aXS" } }, { "cell_type": "code", "source": [ "# 先にデータフレームのコピーを作成\n", "df_iloc = df_sort_r.copy()\n", "\n", "print(\"変更前のデータフレーム\")\n", "print(df_iloc)\n", "\n", "# コピーに対して値の変更を行う\n", "df_iloc.iloc[3, 3] = 25\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_iloc)" ], "metadata": { "id": "TALEkL8_-pUX" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### at、iat\n", "locおよびilocに近い機能として、atおよびiatがあります。\n", "\n", "atおよびiatは、単一要素の抽出・置き換えしかできません。抽出する箇所の指定方法は、locおよびilocで単一要素の抽出を行うときと同じです。\n", "\n", "~~~\n", "at[インデックス, カラム名]\n", "iat[行番号, 列番号]\n", "~~~\n", "\n", "at、iatでできることはlocおよびilocでできますので、基本的にはlocおよびilocを覚えれば問題ありません。\n", "\n", "ただし、単一要素の抽出においてはlocおよびilocよりも、atおよびiatの方が高速です。速度を重視するプログラムでは、atおよびiatの利用も検討してみてください。" ], "metadata": { "id": "rUeKnJ76843I" } }, { "cell_type": "markdown", "source": [ "## 列の追加\n", "次の赤字部分で示すように、データフレームに新たな列を追加してみましょう。\n", "\n", "||measureID|date|operator|temperature|measureValue|measureUnit|secVal|\n", "|---|---|---|---|---|---|---|---|\n", "|**0**|MEA001|2022/11/1|Suzuki|25|1000|sec|1000|\n", "|**1**|MEA003|2022/11/2|Yamada|20|999|sec|999|\n", "|**2**|MEA004|3-Nov-22|Adam|18|0|hour|0|\n", "|**3**|MEA005|2022/11/4|Sato|25|98|min|5880|\n", "|**4**|MEA006|3-Nov-22|NO NAME|15|8|hour|28800|\n", "\n", "次のとおり記述することで、列を末尾に追加できます。\n", "\n", "~~~\n", "データフレーム名[追加したいカラム名] = 追加する値のリスト\n", "~~~\n", "\n", "実際に、列を追加してみます。" ], "metadata": { "id": "H1Sj2KWtiAUL" } }, { "cell_type": "code", "source": [ "# 先にデータフレームのコピーを作成\n", "df_cadd = df_iloc.copy()\n", "\n", "print(\"変更前のデータフレーム\")\n", "print(df_cadd)\n", "\n", "# 列の追加\n", "df_cadd[\"secVal\"] =[1000, 999, 5880, 32400, 28800]\n", "\n", "print(\"変更後のデータフレーム\")\n", "print(df_cadd)" ], "metadata": { "id": "wsRomGCDkPad" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## 行ごと・列ごとの計算\n", "最後に、行ごとや列ごとの計算方法を示します。\n", "\n", "ここでは、新たに次のようなデータを例に説明します。\n", "\n", "|measureID|value1|value2|value3|measureUnit|\n", "|---|---|---|---|---|\n", "|MEA001|1200|800|1200|sec|\n", "|MEA002|1100|1100|1000|sec|\n", "|MEA003|1200|900|1000|sec|\n", "|MEA004|800|1100|1200|sec|\n", "|MEA005|900|1000|1100|sec|\n", "\n", "様々なメソッドを用いて、行ごと・列ごとの計算ができます。\n", "\n", "ここでは、メソッドの一部として次の機能をご紹介します。\n", "\n", "|メソッド|機能|\n", "|---|---|\n", "|sum|合計値|\n", "|mean|平均値|\n", "|max, min|最大値、最小値|\n", "\n", "以下のようにメソッドを呼び出します。\n", "\n", "~~~\n", "データフレーム.メソッド名(引数)\n", "~~~\n", "\n", "まずは、列方向の計算を実際に行ってみましょう。" ], "metadata": { "id": "M1gYckmbGfs9" } }, { "cell_type": "code", "source": [ "import pandas as pd\n", "\n", "df_calc = pd.read_csv(\"pandas_sample2.csv\")\n", "\n", "print(df_calc)\n", "\n", "print(\"列の合計値を計算\")\n", "print(df_calc.sum(numeric_only=True))\n", "\n", "print(\"列の平均値を計算\")\n", "print(df_calc.mean(numeric_only=True))\n", "\n", "print(\"列の最大値を計算\")\n", "print(df_calc.max(numeric_only=True))" ], "metadata": { "id": "39OZWs52e9ej" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "ちなみに、計算結果は1次元となりますのでSeries型となります。\n", "\n", "なお、各メソッドの引数に「numeric_only=True」を指定しています。これにより、数値のみを対象として計算を行うことができます。(measureIDやmeasureUnitは計算対象外となる)\n", "\n", "行方向に計算する場合は、引数に「axis=1」を指定します。" ], "metadata": { "id": "6JyRRjiEf8I-" } }, { "cell_type": "code", "source": [ "import pandas as pd\n", "\n", "df_calc2 = pd.read_csv(\"pandas_sample2.csv\")\n", "\n", "print(df_calc2)\n", "print(\"行の合計値を計算\")\n", "print(df_calc2.sum(axis=1, numeric_only=True))\n", "print(\"行の平均値を計算\")\n", "print(df_calc2.mean(axis=1, numeric_only=True))\n", "print(\"行の最大値を計算\")\n", "print(df_calc2.max(axis=1, numeric_only=True))" ], "metadata": { "id": "0YcJz29mgLpU" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "以上で、pandasの機能の解説を終わります。\n", "\n", "冒頭でもご説明したとおり、pandasには、まだまだご紹介しきれないほどたくさんの機能があります。\n", "\n", "何か配列データの操作を行いたいときは、自力でプログラムを作成する前に、panadsの便利な機能を使って一発で実現できないか、ぜひ調べてみてください。" ], "metadata": { "id": "-gbHXT8EgxZu" } }, { "cell_type": "markdown", "source": [ "## pandas vs Excel (+VBA)\n", "配列データの操作というと、Excelを使えば十分では？と思われたかもしれません。\n", "\n", "もちろん今回ご紹介した例のように、加工する場所や内容がピンポイントで分かっていて、数も少なければ、Excelでもできるでしょう。\n", "\n", "しかし実際の構造化プログラムでは、大量のデータの中から加工が必要な箇所を見つけて、状況に応じて適切な内容で加工しなければなりません。そうなると必然的にプログラムで処理することになるので、pandasを利用するべきでしょう。\n", "\n", "また、プログラムで加工するにしても、Excel VBAでよいのでは？とも思われたかもしれません。\n", "\n", "確かにExcel VBAも配列データの操作が得意なプログラミング言語であり、pandasとVBAでは、慣れや好みの差しかないかもしれません。\n", "\n", "ですが、データ構造化プログラムで行うのは配列データの操作だけではありません。ファイル入出力やメタデータの作成、グラフ描画など様々な処理があり、Pythonの豊富なパッケージ・モジュールを使って実現します(前回アピールしたimportの素晴らしさを思い出してください！)。\n", "\n", "その流れの中で、配列データの操作だけVBAで行うのは非効率ですし、メンテナンスも大変ですよね。Pythonで一気通貫のプログラムとした方が、将来の再利用・保守まで含め、メリットが大きいのは間違いありません。\n", "\n", "【小ネタ】\n", "\n", "あくまで個人的な体験・感想ですが・・・\n", "\n", "Excelをバージョンアップしたことで今までのVBAが動かなくなってしまった、というトラブルをよく見てきました。プログラムを修正できる人がおらず、サポートの切れた古いExcelが動作する環境をずっと持ち続ける、というケースもあります。\n", "\n", "もちろんPythonでも同じようなケースはありえますが、サブスクリプション化が進むExcelと違って、それほど頻繁にバージョンアップの必要性に見舞われることはありません。また、1台のマシンに複数バージョンのPythonを混在させることも可能です。\n", "\n", "VBAは歴史のあるプログラミング言語ですが、設計の古さを指摘する声もあります。近年ではExcelでVBAの代わりにJavaScriptが使えるようになる(Office スクリプト)など、Officeマクロが転換期を迎えつつある・・・のかもしれません。" ], "metadata": { "id": "Jf0RlIbB4EfU" } }, { "cell_type": "markdown", "source": [ "## [ご参考] 紹介しきれなかったpandasの機能\n", "ここでは、今回ご紹介しきれなかったpandasの機能について、キーワードのみですがご紹介します。\n", "\n", "ここでご紹介した機能を使いたい場面にぶつかったら、ここで挙げたキーワードをヒントにpandasの公式リファレンス等を調べてみてください。\n", "\n", "|やりたいこと|キーワード(メソッド名等)|\n", "|---|---|\n", "|CSVファイルの特定の列を、データフレームのインデックスにする|read_csv関数のindex_col引数|\n", "|ヘッダのないCSVファイルを読み込んでデータフレームにする|read_csv関数のheader=None引数|\n", "|Excelファイル(.xlsx)を読み込んでデータフレームにする|read_excel関数|\n", "|複数行を一度に削除する|dropメソッドの引数にインデックスのリストを指定|\n", "|欠測値を1行前の値で置き換える|fillnaメソッドの引数に「method=\"ffill\"」または「method=\"pad\"」を指定|\n", "|行と列を入れ替える|データフレーム.T または transposeメソッド|\n" ], "metadata": { "id": "AFC_IP874g7J" } }, { "cell_type": "markdown", "source": [ "# 辞書・リストの操作\n", "「Pythonの基礎1」の講義で「複数の値からなるデータ型」として辞書とリストをご紹介しました。\n", "\n", "この2つのデータ型は、構造化プログラムにおいて非常によく使われるデータ型です。\n", "\n", "ここでは、辞書およびリストについてもう少し深堀りした使い方をご紹介します。" ], "metadata": { "id": "ZnL_QwJ_gt21" } }, { "cell_type": "markdown", "source": [ "## 辞書について (おさらい)\n", "辞書について、簡単に復習します。\n", "\n", "辞書はキー(key)と値(value)のペアを複数集めたデータです。\n", "\n", "* 辞書は、次の形式で表現します。,(カンマ)や:(コロン)の前後に空白を入れても構いません。\n", "~~~\n", "{キー1:値1, キー2:値2, キー3:値3, ・・・}\n", "~~~\n", "* キーには文字列をはじめ、何種類かの型を使用できます。\n", "* 値には、任意の型を使用できます。\n", "* 辞書に含まれるキーと値のペアには、基本的に順序(何番目のペア、などの概念)はありません。(厳密には順序を意識したプログラムも作成できますが、本セミナーでは詳しく触れません)\n", "* 値の重複を許可しますが、キーの重複は許可しません。\n", "\n", "辞書の値を取得するには、次のような指定方法があります。\n", "\n", "~~~\n", "(1) 辞書[キー名]\n", "(2) 辞書.get(キー名)\n", "(3) 辞書.get(キー名、デフォルト値)\n", "~~~\n", "\n", "* (1)では、存在しないキー名を指定するとエラーとなります。\n", "* (2)では、存在しないキー名を指定するとNone(値がないことを示す)が取得されます。\n", "* (3)では、存在しないキー名を指定するとデフォルト値が取得されます。\n", "\n", "次のプログラムを実行して、辞書の作成・値の取得の動作を再確認しましょう。" ], "metadata": { "id": "aLwbO9KRtxQi" } }, { "cell_type": "code", "source": [ "# 辞書を作成する\n", "measure_dict = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": 1000, \"measureUnit\": \"sec\"}\n", "\n", "# 辞書の内容を画面に出力する\n", "print(measure_dict)\n", "\n", "# (1) 辞書名[キー名]\n", "print(\"(1) キー名に対応する値を取得する\")\n", "print(measure_dict[\"date\"])\n", "\n", "# (2) 辞書名.get(キー名)\n", "print(\"(2) get(キー名)では存在しないキーを指定するとNoneとなる\")\n", "print(measure_dict.get(\"temperature\"))\n", "print(measure_dict.get(\"tmp\"))\n", "\n", "# (3) 辞書名.get(キー名、デフォルト値)\n", "print(\"(3) get(キー名, デフォルト値)では存在しないキーを指定するとデフォルト値となる\")\n", "print(measure_dict.get(\"measureValue\", 0))\n", "print(measure_dict.get(\"mValue\", 0))" ], "metadata": { "id": "32QrRIiHuqgg" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## 辞書の操作\n", "今回は、より実践的な辞書の使い方として、次の操作をご紹介します。\n", "\n", "1. 辞書の作成・要素の追加\n", "1. 辞書の値を変更\n", "1. 辞書の要素を削除\n", "1. 辞書を空にする\n", "1. 辞書の値の取り出し" ], "metadata": { "id": "woWVw-MN-KQs" } }, { "cell_type": "markdown", "source": [ "### 辞書の作成・要素の追加\n", "作成した辞書に要素を追加します。\n", "\n", "構造化プログラムでメタデータとして辞書を作成する場合などは、最初に空の辞書を作成し、それに対してキーと値を次々と追加していくことが多いです。\n", "\n", "そこでまずは、空の辞書を作成します。何も要素がないので、単に「{}」とすればOKです。\n", "\n", "~~~\n", "辞書を格納する変数 = {}\n", "~~~\n", "\n", "要素の追加方法は、次のとおりです。\n", "\n", "~~~\n", "辞書[追加したいキー名] = 追加したい値\n", "~~~\n", "\n", "空の辞書を作成し、そこにキーと値を次々と追加していく例を、次のソースコードで示します。" ], "metadata": { "id": "FECV-E_ErjAn" } }, { "cell_type": "code", "source": [ "# 空の辞書を作成\n", "meta_dict_add = {}\n", "\n", "print(\"要素追加前の辞書\")\n", "print(meta_dict_add)\n", "\n", "# 要素を追加する\n", "meta_dict_add[\"date\"] = \"2023/1/26\"\n", "meta_dict_add[\"temperature\"] = \"R.T\"\n", "meta_dict_add[\"operator\"] = \"鈴木\"\n", "meta_dict_add[\"measureValue\"] = 1000\n", "meta_dict_add[\"measureUnit\"] = \"sec\"\n", "\n", "print(\"要素追加後の辞書\")\n", "print(meta_dict_add)" ], "metadata": { "id": "8nWY5PpUrqjR" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### 辞書の値を変更\n", "次に、辞書の特定の値を変更します。値の変更方法は、次のとおりです。\n", "\n", "~~~\n", "辞書[変更したい要素のキー名] = 変更後の値\n", "~~~\n", "\n", "辞書の値の追加と構文自体は同一ですが、指定したキー名が存在しなければ値の追加、存在していれば値の変更となります。\n", "\n", "辞書の値を変更するソースコードの例を、次に示します。" ], "metadata": { "id": "_uzVKjo1sR4g" } }, { "cell_type": "code", "source": [ "# 辞書を作成\n", "dict_mod = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": 1000, \"measureUnit\": \"sec\"}\n", "\n", "print(\"変更前の辞書\")\n", "print(dict_mod)\n", "\n", "# 辞書の値を変更\n", "dict_mod[\"temperature\"] = 25\n", "\n", "print(\"変更後の辞書\")\n", "print(dict_mod)" ], "metadata": { "id": "lk8jnt60sg72" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "この例では、文字列だった値を整数値にしました。\n", "\n", "このように、データ型の異なる値に変更しても問題ありません。" ], "metadata": { "id": "7TIKj1BAIZiv" } }, { "cell_type": "markdown", "source": [ "### 辞書の要素を削除\n", "辞書の要素を削除します。特定の要素を削除する場合は、「**del文**」を使用します。\n", "\n", "~~~\n", "del 辞書[削除したいキー名]\n", "~~~\n", "\n", "なお、辞書に存在しないキー名を指定するとエラーとなります。\n", "\n", "要素を削除する例を、次に示します。" ], "metadata": { "id": "2Mbj_0k8s0Xl" } }, { "cell_type": "code", "source": [ "# 辞書を作成\n", "dict_del = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": \"1000\", \"measureUnit\": \"sec\"}\n", "\n", "print(\"変更前の辞書\")\n", "print(dict_del)\n", "\n", "# 辞書の要素を削除\n", "del dict_del[\"temperature\"]\n", "\n", "print(\"変更後の辞書\")\n", "print(dict_del)" ], "metadata": { "id": "aM2hFA4FKspm" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### 辞書を空にする\n", "「**clearメソッド**」を使用すると、辞書を空にすることができます。\n", "\n", "~~~\n", "辞書.clear()\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "tFRZWYl4KtRV" } }, { "cell_type": "code", "source": [ "# 辞書を作成\n", "meta_dict_clr = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": \"1000\", \"measureUnit\": \"sec\"}\n", "\n", "print(\"変更前の辞書\")\n", "print(meta_dict_clr)\n", "\n", "# 辞書を空にする\n", "meta_dict_clr.clear()\n", "\n", "print(\"変更後の辞書\")\n", "print(meta_dict_clr)" ], "metadata": { "id": "av5wAb82LRN1" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### 辞書の要素の取り出し\n", "要素の削除と関連した機能として、「**popメソッド**」をご紹介します。\n", "\n", "popメソッドを使用すると、指定したキーの要素が辞書から削除され、戻り値として削除した値が取得されます。\n", "\n", "~~~\n", "取り出した値を格納する変数 = 辞書.pop(値を取り出したいキー名, デフォルト戻り値)\n", "~~~\n", "\n", "存在しないキー名を指定した場合は、デフォルト戻り値が変数に格納されます。\n", "\n", "例を次に示します。" ], "metadata": { "id": "8fyVWiBbLZo2" } }, { "cell_type": "code", "source": [ "# 辞書を作成\n", "meta_dict_del = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": \"1000\", \"measureUnit\": \"sec\"}\n", "\n", "print(\"変更前の辞書\")\n", "print(meta_dict_del)\n", "\n", "# 存在するキーを指定\n", "ret_value = meta_dict_del.pop(\"date\", \"default_value\")\n", "\n", "print(\"存在するキー(date)を指定 - 戻り値と辞書の内容を確認\")\n", "print(ret_value)\n", "print(meta_dict_del)\n", "\n", "# 存在しないキーを指定\n", "ret_value = meta_dict_del.pop(\"datetime\", \"NOT EXIST\")\n", "\n", "print(\"存在しないキーを指定 - 戻り値と辞書の内容を確認\")\n", "print(ret_value)\n", "print(meta_dict_del)" ], "metadata": { "id": "e_OeMcZkvefZ" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## 辞書の要素をfor文で参照する\n", "for文を用いて、辞書のキーや値を一つずつ取り出して処理することができます。\n", "\n", "次のような機能を利用できます。\n", "\n", "(1) キーの一覧を取得\n", "~~~\n", "for キーを格納する変数 in 辞書.keys():\n", " 繰り返し処理\n", "~~~\n", "\n", "(2) 値の一覧を取得\n", "~~~\n", "for 値を格納する変数 in 辞書.values():\n", " 繰り返し処理\n", "~~~\n", "\n", "(3) キーと値のペアの一覧をタプルで取得\n", "~~~\n", "for キーと値のペアのタプルを格納する変数 in 辞書.items():\n", " 繰り返し処理\n", "~~~\n", "\n", "それぞれの例を、次に示します。" ], "metadata": { "id": "OvTHEgGKy_0J" } }, { "cell_type": "code", "source": [ "# 辞書を作成\n", "meta_dict_for = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": \"1000\", \"measureUnit\": \"sec\"}\n", "\n", "print(\"(1) キーの一覧を取得\")\n", "for key in meta_dict_for.keys():\n", " print(key)\n", "\n", "print(\"-----------------------------------\")\n", "\n", "print(\"(2) 値の一覧を取得\")\n", "for value in meta_dict_for.values():\n", " print(value)\n", "\n", "print(\"-----------------------------------\")\n", "\n", "print(\"(3) キーと値のペアの一覧をタプルで取得\")\n", "for pair in meta_dict_for.items():\n", " print(pair)" ], "metadata": { "id": "ujUUhcV40JLM" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "なお「(3) キーと値のペアの一覧をタプルで取得」については、for文を次のとおり記述することで、キーと値を変数に分解して取得することもできます。" ], "metadata": { "id": "HpBTM6Yg15DJ" } }, { "cell_type": "code", "source": [ "# 辞書を作成\n", "meta_dict_for2 = {\"date\": \"2023/1/26\", \"temperature\": \"R.T\", \"operator\": \"鈴木\", \"measureValue\": \"1000\", \"measureUnit\": \"sec\"}\n", "\n", "print(\"(3) キーと値のペアの一覧をタプルで取得\")\n", "for key, value in meta_dict_for2.items():\n", " print(key)\n", " print(value)" ], "metadata": { "id": "aTmY88q82BCy" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## リストについて (おさらい)\n", "リストについて、簡単に復習します。\n", "\n", "リストは、複数の値を順序付けられた一つのデータとして扱うことができます。\n", "\n", "* リストは、次の形式で表現します。,(カンマ)の前後に空白を入れても構いません。\n", "~~~\n", "[値1,値2,値3,・・・]\n", "~~~\n", "* 値の重複を許可します。\n", "* 値には任意の型を使用できます。異なる型が混在していても構いません。\n", "\n", "値を取得するには、次のように指定します。\n", "\n", "~~~\n", "リスト[順序番号]\n", "~~~\n", "\n", "* 順序番号は、0から始まる点に注意が必要です。\n", "* 順序番号にマイナスの整数を指定すると、「後ろから何番目」という意味になります。\n", "* 指定した順序番号が配列のサイズを超えるとエラーになります。例えば長さ5の配列であれば、指定可能な順序番号は0から4(前からの参照)、および-1から-5(後ろからの参照)となります。\n", "\n", "リストのうち一部の要素を切り出した別のリストを取得することができます。このような操作を「**スライス**」と呼び、次のような指定方法があります。\n", "\n", "* リスト[X:Y]と指定すると、リストのX番目から(Y-1)番目までの要素を取得できます。\n", "* リスト[X:]と指定すると、リストのX番目から最後までの要素を取得できます。\n", "* リスト[:Y]と指定すると、リストの最初から(Y-1)番目までの要素を取得できます。\n", "* リスト[X:Y:D]と指定すると、リストのX番目から(Y-1)番目までの要素をD個おきに取得できます。\n", "* リスト[X::D]と指定すると、リストのX番目から最後までの要素をD個おきに取得できます。\n", "* リスト[:Y:D]と指定すると、リストの最初から(Y-1)番目までの要素をD個おきに取得できます。\n", "\n", "次のプログラムを実行して、リストの作成・値の取得の動作を再確認しましょう。" ], "metadata": { "id": "tY_AosxQ2cJy" } }, { "cell_type": "code", "source": [ "# リストを作成\n", "columns_list = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"リストの内容を画面に出力する\")\n", "print(columns_list)\n", "\n", "print(\"2番目の要素を取得する\")\n", "print(columns_list[2])\n", "\n", "print(\"後ろから2番目の要素を取得する\")\n", "print(columns_list[-2])\n", "\n", "print(\"1番目から3番目の要素を取得する\")\n", "print(columns_list[1:4])" ], "metadata": { "id": "Or39utnF5SqG" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## リストの操作\n", "今回は、より実践的なリストの使い方として、次の操作をご紹介します。\n", "\n", "* リストの作成・要素の追加\n", "* リストの連結\n", "* リストへ値を挿入\n", "* リストの値を変更\n", "* リストの要素を削除\n", "* リストを空にする\n", "* リストの値の取り出し" ], "metadata": { "id": "Cgo1E9TP6_Wx" } }, { "cell_type": "markdown", "source": [ "### リストの作成・要素の追加\n", "作成したリストに要素を追加します。\n", "\n", "辞書の例と同様に、最初に空のリストを作成して、そこに値を次々と追加していきます。\n", "\n", "空のリストを作成する方法は次のとおりです。何も要素がないので、単に「[]」とすればOKです。\n", "\n", "~~~\n", "リストを格納する変数 = []\n", "~~~\n", "\n", "要素を追加する方法には様々なものがありますが、最も基本的なやりかたとしては、次のとおり「**appendメソッド**」を使用します。\n", "\n", "~~~\n", "リスト.append(追加したい要素)\n", "~~~\n", "\n", "appendメソッドは、リストの末尾に単一の要素を追加します。\n", "\n", "空のリストを作成し、そこに要素を次々と追加していく例を、次のソースコードで示します。" ], "metadata": { "id": "WSSRfdRb7w6C" } }, { "cell_type": "code", "source": [ "# 空のリストを作成\n", "list_apd = []\n", "\n", "print(\"要素追加前のリスト\")\n", "print(list_apd)\n", "\n", "# 要素を追加する\n", "list_apd.append(\"date\")\n", "list_apd.append(\"temperature\")\n", "list_apd.append(\"operator\")\n", "list_apd.append(\"measureValue\")\n", "list_apd.append(\"measureUnit\")\n", "\n", "print(\"要素追加後のリスト\")\n", "print(list_apd)" ], "metadata": { "id": "plrpWuW78YO_" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの連結\n", "+演算子を使うことで、複数のリストを連結することができます。\n", "\n", "~~~\n", "リスト1 + リスト2 + リスト3 ・・・\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "B6b7IcfcUicn" } }, { "cell_type": "code", "source": [ "list_p1 = [\"date\", \"temperature\"]\n", "list_p2 = [\"operator\"]\n", "list_p3 = [\"measureValue\", \"measureUnit\"]\n", "\n", "# リストを連結する\n", "list_plus = list_p1 + list_p2 + list_p3\n", "\n", "# リストの内容の確認\n", "print(list_plus)" ], "metadata": { "id": "xodnfzgfUmm7" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストへ値を挿入\n", "リストの途中に単一の要素を挿入するときは、次のとおり「**insertメソッド**」を使用します。\n", "\n", "~~~\n", "リスト.insert(挿入する位置, 挿入する要素)\n", "~~~\n", "\n", "「挿入する位置」には、リストの何番目に追加するかを整数で指定します。0から開始する点に注意が必要です。" ], "metadata": { "id": "cj73in5IdR7E" } }, { "cell_type": "code", "source": [ "list_ins = [\"date\", \"temperature\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_ins)\n", "\n", "# リストに値を挿入する\n", "list_ins.insert(2, \"operator\")\n", "\n", "print(\"変更後のリスト\")\n", "print(list_ins)" ], "metadata": { "id": "H32LPZzUeZMv" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストへ複数の値を挿入\n", "リストの途中に複数の要素を追加するときは、次のとおりスライスを使用します。\n", "\n", "~~~\n", "リスト[挿入する位置:挿入する位置] = 挿入するリスト\n", "~~~\n", "\n", "「挿入する位置:挿入する位置」としなければいけないのが、ちょっと分かりづらいですね・・・。注意するようにしてください。\n", "\n", "例を次に示します。" ], "metadata": { "id": "DIjBbnnFemER" } }, { "cell_type": "code", "source": [ "list_inssl = [\"date\", \"temperature\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_inssl)\n", "\n", "# リストに複数の要素を挿入する\n", "list_inssl[2:2] = [\"operator\", \"measureValue\"]\n", "\n", "print(\"変更後のリスト\")\n", "print(list_inssl)" ], "metadata": { "id": "w9HdLzwcfTTx" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの値を変更\n", "リストの値を変更します。値の変更方法は、次のとおりです。\n", "\n", "~~~\n", "リスト[変更する位置] = 変更後の値\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "R5hp5RVGfnJe" } }, { "cell_type": "code", "source": [ "list_mod = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_mod)\n", "\n", "# リストの値を変更する\n", "list_mod[3] = \"value\"\n", "\n", "print(\"変更後のリスト\")\n", "print(list_mod)" ], "metadata": { "id": "hcgRYvpLfyOc" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの複数の値をまとめて変更\n", "リストの複数の要素を変更します。次のとおりスライスを使用します。\n", "\n", "~~~\n", "リスト[変更する開始位置:変更する終了位置+1] = 変更後の値のリスト\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "Imt1E8Qvf7f5" } }, { "cell_type": "code", "source": [ "list_modsl = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_modsl)\n", "\n", "# リストの複数の値を変更する\n", "list_modsl[2:4] = [\"opName\", \"value\"]\n", "\n", "print(\"変更後のリスト\")\n", "print(list_modsl)" ], "metadata": { "id": "do6s5ZWFgFGL" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの要素を削除\n", "リストの要素を削除します。辞書と同じように、delを使って削除ができます。\n", "\n", "~~~\n", "del リスト[削除する位置]\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "5-YdOYAAgiBg" } }, { "cell_type": "code", "source": [ "list_del = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_del)\n", "\n", "# リストの要素を削除する\n", "del list_del[3]\n", "\n", "print(\"変更後のリスト\")\n", "print(list_del)" ], "metadata": { "id": "A8-KoAPsqn9B" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの複数の要素を削除\n", "delを使ってリストの複数の要素を削除するには、スライスを使用します。\n", "\n", "~~~\n", "del リスト[削除する開始位置:削除する終了位置+1]\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "AxRm-R2qsz6L" } }, { "cell_type": "code", "source": [ "list_delsl = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_delsl)\n", "\n", "# リストの複数の要素を削除する\n", "del list_delsl[2:4]\n", "\n", "print(\"変更後のリスト\")\n", "print(list_delsl)" ], "metadata": { "id": "GOTnV8ZNq4PP" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの指定した値を削除\n", "「**removeメソッド**」を使用すると、指定した値を削除することができます。\n", "\n", "~~~\n", "リスト.remove(削除したい値)\n", "~~~\n", "\n", "ただし、リスト中に該当する値が複数あった場合は、最初の要素のみ削除されます。" ], "metadata": { "id": "NIomexgznija" } }, { "cell_type": "code", "source": [ "list_remove = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"operator\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_remove)\n", "\n", "# 指定した最初の要素を削除する\n", "list_remove.remove(\"operator\")\n", "\n", "print(\"変更後のリスト\")\n", "print(list_remove)" ], "metadata": { "id": "7Zkm788NnrXR" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "この例では、リスト中に\"operator\"が2つあったため、最初の要素だけが削除されました。" ], "metadata": { "id": "FzRn-HLcwmOy" } }, { "cell_type": "markdown", "source": [ "### リストを空にする\n", "「**clearメソッド**」を使用すると、リストを空にすることができます。\n", "\n", "~~~\n", "リスト.clear()\n", "~~~\n", "\n", "例を次に示します。" ], "metadata": { "id": "EffczT4qoIMk" } }, { "cell_type": "code", "source": [ "list_clr = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_clr)\n", "\n", "# リストを空にする\n", "list_clr.clear()\n", "\n", "print(\"変更後のリスト\")\n", "print(list_clr)" ], "metadata": { "id": "6iV4Uo_So3ZR" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "### リストの値の取り出し\n", "辞書と同様に、popメソッドを使ってリストの要素を取り出すことができます。\n", "\n", "popメソッドを使用すると、指定した位置の値がリストから削除され、戻り値として削除した値が取得されます。\n", "\n", "~~~\n", "取り出した値を格納する変数 = リスト.pop(取り出す位置)\n", "~~~\n", "\n", "なお引数の「取り出す位置」を省略すると、末尾の要素が削除されます。" ], "metadata": { "id": "-wTOqpeGpa4X" } }, { "cell_type": "code", "source": [ "list_pop = [\"date\", \"temperature\", \"operator\", \"measureValue\", \"measureUnit\"]\n", "\n", "print(\"変更前のリスト\")\n", "print(list_pop)\n", "\n", "# リストの要素を取り出す\n", "pvalue = list_pop.pop(2)\n", "\n", "print(\"位置指定あり - 取り出した値と変更後のリスト\")\n", "print(pvalue)\n", "print(list_pop)\n", "\n", "# リストの末尾の要素を取り出す\n", "pvalue = list_pop.pop()\n", "\n", "print(\"位置指定なし - 取り出した値と変更後のリスト\")\n", "print(pvalue)\n", "print(list_pop)" ], "metadata": { "id": "tYii1aY4pvFp" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "## リストのコピー\n", "次のソースコードの実行結果を予想して、実際に動かしてみてください。2つのprint関数の結果は、どうなるでしょうか。" ], "metadata": { "id": "3qTD_v2Lp_BS" } }, { "cell_type": "code", "source": [ "# 整数の例\n", "value1 = 1\n", "value2 = value1\n", "\n", "value2 = 100\n", "\n", "print(value1)\n", "print(value2)" ], "metadata": { "id": "32I8-fjzqxaW" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "予想通りの結果になったのではないでしょうか。\n", "\n", "それでは、次のソースコードの実行結果はどうでしょうか。" ], "metadata": { "id": "zulkTiLuq_u3" } }, { "cell_type": "code", "source": [ "# リストの例 (1)\n", "list1 = [1, 2, 3]\n", "list2 = list1\n", "\n", "list2 = [4, 5, 6]\n", "\n", "print(list1)\n", "print(list2)" ], "metadata": { "id": "UPSUMwLPPHVX" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "これも、予想通りではないかと思います。\n", "\n", "最後に、次のソースコードはどうでしょうか。" ], "metadata": { "id": "m1WPsEf1PNMc" } }, { "cell_type": "code", "source": [ "# リストの例 (2)\n", "list3 = [1, 2, 3]\n", "list4 = list3\n", "\n", "list4[1] = 100\n", "\n", "print(list3)\n", "print(list4)" ], "metadata": { "id": "oDX600RvqGSD" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "list4の2要素目が100となるのは予想どおりかと思いますが、list3の2番目の要素も100となってしまいました！？" ], "metadata": { "id": "s8I5viR74S2n" } }, { "cell_type": "markdown", "source": [ "### 代入式とcopyメソッド\n", "ある程度プログラミングに慣れていないと、非常に分かりにくい話になってしまいますが・・・\n", "\n", "今回の例は、それぞれ次のような動作イメージとなっています。\n", "\n", "![整数の例](https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/figure/listpoint_int.png)\n", "\n", "整数の例において、「value2 = value1」を実行した時点では、2つの変数は同じデータを指しています。\n", "\n", "「同じ値」ではなく、「同じデータ」である点に注意してください。\n", "\n", "「value2 = 100」を実行した時点で、value1とvalue2は別のデータを指すことになります。\n", "\n", "![リストの例 (1)](https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/figure/listpoint_list1.png)\n", "\n", "リストの例(1)も、整数の例と同じイメージです。\n", "\n", "![リストの例 (2)](https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/figure/listpoint_list2.png)\n", "\n", "問題は、上記のリストの例(2)です。\n", "\n", "「list4[1] = 100」を実行しても、list3とlist4は同じデータを指したままです。\n", "\n", "そのため、list3もlist4も、リストの2要素目が100になってしまいました。\n", "\n", "このような事態に陥らないようにするためには、「list4 = list3」の部分で代入式ではなく、copyメソッドを利用します。\n", "\n", "~~~\n", "リスト名.copy()\n", "~~~\n", "\n", "copyメソッドを使うと、戻り値としてリストの複製(値は同じだが別のデータ)を作成することができます。" ], "metadata": { "id": "9KKL5p6S2WdJ" } }, { "cell_type": "code", "source": [ "# リストの例 (copy)\n", "list5 = [1, 2, 3]\n", "list6 = list5.copy()\n", "\n", "list6[1] = 100\n", "\n", "print(list5)\n", "print(list6)" ], "metadata": { "id": "2ouVywlBuM37" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "copyメソッドを使うことにより、次のイメージで動作しました。\n", "\n", "![リストのコピー](https://github.com/tendo-sms/python_beginner_2023/raw/main/files_4/figure/listpoint_listcpy.png)" ], "metadata": { "id": "n-EiZn9KxSr4" } }, { "cell_type": "markdown", "source": [ "### [ご参考] deepcopy\n", "リストのコピーにはcopyメソッドを使うのが基本ですが、さらに厄介なのは、入れ子のリスト(リストのリスト)です。\n", "\n", "入れ子のリストをコピーしたい場合、copyメソッドを使っても期待どおりの動作になりません。" ], "metadata": { "id": "ApIp_0nLyxr7" } }, { "cell_type": "code", "source": [ "rlist1 = [[1, 2, 3], [4, 5, 6]]\n", "\n", "rlist2 = rlist1.copy()\n", "\n", "rlist2[1][1] = 100\n", "\n", "print(rlist1)\n", "print(rlist2)" ], "metadata": { "id": "TRzAVCW30FKE" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "copyメソッドを使ったのに、rlist1の方も値が100になってしまいました！？\n", "\n", "入れ子のリストを完全にコピーするときは、copyモジュールのdeepcopy関数を使う必要があります。" ], "metadata": { "id": "W3IQ-CmM0y1-" } }, { "cell_type": "code", "source": [ "# deepcopy関数はcopyモジュールで提供される\n", "from copy import deepcopy\n", "\n", "rlist3 = [[1, 2, 3], [4, 5, 6]]\n", "\n", "rlist4 = deepcopy(rlist1)\n", "\n", "rlist4[1][1] = 100\n", "\n", "print(rlist3)\n", "print(rlist4)" ], "metadata": { "id": "AJgdwbAO00YE" }, "execution_count": null, "outputs": [] }, { "cell_type": "markdown", "source": [ "今回は詳しい説明をしませんが、入れ子のリストをコピーするときにはdeepcopyを使うべきでないか検討してみてください。\n", "\n", "なおcopyメソッドとdeepcopy関数の使い分けについてですが、基本的には、**リストが入れ子でなければcopyメソッド、入れ子であればdeepcopy関数**と考えて構いません。\n", "\n", "入れ子かどうかに関わらずdeepcopy関数、という考えでもプログラムの動作として問題はないのですが、必要のないimportは行わないほうが、プログラムとしてはすっきりします。" ], "metadata": { "id": "UCuopdZC7eXb" } }, { "cell_type": "markdown", "source": [ "### 辞書のコピー\n", "ここまではリストの例で説明をしてきましたが、辞書についても同じことが言えます。\n", "\n", "入れ子の辞書のコピーにはdeepcopyを使う、という点も同様です。" ], "metadata": { "id": "gx2Rj6vp3rWg" } }, { "cell_type": "markdown", "source": [ "## データ構造化における辞書・リストの活用例\n", "ここまでは、機能を理解しやすいようにシンプルな辞書やリストを使って説明してきました。\n", "\n", "最後に、データ構造化において辞書やリストをどのように活用しているか、一例をご紹介します。\n", "\n", "辞書・リストの活用例としては、メタデータが挙げられます。構造化プログラム内部で、メタデータを辞書として作成します。最終的に、この辞書データをmetadata.jsonというJSONファイルに出力しています。\n", "\n", "辞書の値として、リストも使われています。\n", "\n", "実際にARIM事業のデータ構造化プログラムで扱っているメタデータの例を示します。内容の細かい説明はしませんが、辞書の使われ方としてイメージを持ってもらえればと思います。\n", "\n", "~~~\n", "{\n", " \"constant\": {},\n", " \"variable\": [\n", " {\n", " \"sample name\": {\n", " \"value\": \"test\"\n", " },\n", " \"chemical formula\": {\n", " \"value\": \"BaTiO3\"\n", " },\n", " \"typial particle size\": {\n", " \"value\": 500.0,\n", " \"unit\": \"nm\"\n", " },\n", " \"measurement start date and time\": {\n", " \"value\": \"2022-09-14T10:15:00\"\n", " },\n", "\n", " ＜＜＜ 中略 ＞＞＞\n", "\n", " \"electric field\": {\n", " \"value\": 0.0,\n", " \"unit\": \"V/m\"\n", " },\n", " \"coating material\": {\n", " \"value\": \"Au\"\n", " },\n", " \"support material\": {\n", " \"value\": \"Si\"\n", " }\n", " }\n", " ]\n", "}\n", "~~~\n", "\n", "今回の講義は、ここまでとなります。次回はMatplotlibというパッケージを使って、構造化プログラムでもよく行われるグラフ作成などについて学びます。" ], "metadata": { "id": "BJJIERVwXBh7" } } ] }