{
"cells": [
{
"cell_type": "markdown",
"metadata": {
"id": "dlekAVKcRqwv"
},
"source": [
"# [講義] Pythonプログラミング スキルアップ講座\n",
"本講義では、入門書では説明が省かれてしまうことの多い、データ構造化プログラムの作成で役に立つ機能・テクニックをご紹介します。\n",
"\n",
"## 目次\n",
"1. for文応用\n",
"1. ファイルパス操作\n",
"1. 関数応用\n",
"1. 外部プログラムの実行"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "xuHY-CpQGX2W"
},
"source": [
"# 本セミナーで使用するファイルのダウンロード\n",
"最初に、本セミナーで使用するファイルのダウンロードを行います。次のソースコードを、実行してください。Google Colaboratoryでソースコードを実行するには、ソースコードの任意の場所をクリックした後、次のどちらかの操作を行います。\n",
"\n",
"* ソースコード左上の実行ボタンを押す\n",
"* Ctrl+Enterを押す\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "dor3kQZ8Gvrp"
},
"outputs": [],
"source": [
"!git clone https://github.com/tendo-sms/python_intermediate_2022\n",
"%cd /content/python_intermediate_2022/01_skillup/rootdir"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "BYyibWiu1MTL"
},
"source": [
"# ファイルパス操作\n",
"データ構造化においては、計測データの読み込み、構造化データやグラフのファイル出力など、ファイルを取り扱う処理が必須となります。\n",
"\n",
"ここでは、入出力ファイルのパスを操作するときに役立つ機能・テクニックをご紹介します。\n",
"\n",
"## pathlib\n",
"ファイル・ディレクトリを扱う操作を行うとき、入門書などでよく取り上げられるos.pathモジュールやglobモジュールなどを使うことが多いと思います。\n",
"\n",
"ここでは、os.pathモジュールやglobモジュールよりも便利な、「**pathlibモジュール**」についてご紹介します。\n",
"\n",
"pathlibには多くの機能がありますが、ここではデータ構造化プログラムで役に立つ機能を次の表にまとめます。\n",
"\n",
"|機能|内容|対応する機能|\n",
"|----|----|----|\n",
"|glob|ファイル一覧を取得|glob.glob()|\n",
"|name|パス末尾のファイル名またはディレクトリ名を取り出す|os.path.basename()|\n",
"|stem|拡張子を取り除く|-|\n",
"|parent|上位のパスを取り出す|os.path.dirname()|\n",
"|parents|上位のパスを要素ごとのリストで取得|-|\n",
"|/演算子, joinpath|パスの連結|os.path.join()|\n",
"|mkdir|ディレクトリの作成(再帰的な作成も可能)|os.mkdir(), os.mkdirs()|\n",
"|resolve, relpath_to|相対パスと絶対パスを相互変換|os.path.abspath(), os.path.relpath()|\n",
"\n",
"上記の表を見ると、pathlibでしか実現できないことが多いわけではありません。\n",
"\n",
"しかし、用途ごとに別々のモジュールを使い分けるよりも、すべてpathlibにまとめたほうがプログラムを作成しやすいですし、pathlibを使うことをチーム内でルール化すれば、他の人が作ったソースコードを読みやすくなるという利点もあります。\n",
"\n",
"ARIM事業のデータ構造化プログラムでも、pathlibを使用しています。皆さんも、ぜひpathlibを活用してみてください。\n",
"\n",
"### pathlibモジュールのインポート\n",
"pathlibモジュールは、Pythonに標準で組み込まれたモジュールです。\n",
"\n",
"pipやcondaでパッケージをインストールする必要はありません。今回の例では、pathlibモジュールからPathクラスをインポートします。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "wvfqsvtbVn4k"
},
"outputs": [],
"source": [
"from pathlib import Path"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "L9LFWC-LVvrW"
},
"source": [
"### Pathオブジェクトの作成\n",
"次のようなディレクトリ構成を例に、ご説明します。\n",
"\n",
"~~~\n",
"rootdir/\n",
"│ file1.txt\n",
"│\n",
"└─subdir/\n",
" file2.txt\n",
"~~~\n",
"\n",
"pathlibでは、基準とするディレクトリ(今回はrootdir)を元に、次のようにPathオブジェクトを作成します。このオブジェクトに対して、様々な操作を行います。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "pPaOXG4o46Vw"
},
"outputs": [],
"source": [
"inputpath = Path(\"rootdir\")"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Ll6Qo6tGMXHI"
},
"source": [
"## ファイル一覧を取得(glob)\n",
"ファイル一覧を取得するとき、globモジュールを使用することが多いです。pathlibではこれに相当する機能として、globメソッドがあります。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "BMsot-VZMljc"
},
"outputs": [],
"source": [
"# globの場合\n",
"import glob\n",
"print(glob.glob(\"rootdir/**/*\", recursive=True))\n",
"\n",
"print(\"-------------------------------------\")\n",
"\n",
"# pathlibの場合\n",
"for element in inputpath.glob(\"**/*\"):\n",
" print(element)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "bGBq4D1-NDDM"
},
"source": [
"globモジュールとは異なり、結果はリストではなくイテレータ(for文でひとつずつ取り出すことのできるオブジェクト)として取得します。\n",
"\n",
"## ファイルパスからの要素取り出し(name、stem、parent)\n",
"* nameは、os.path.basename()に相当します。ファイルパスから、ファイル名部分を取り出します。\n",
"* stemは、nameに加えて拡張子を取り除きます。\n",
"* parentは、os.path.dirname()に相当します。ファイルパスから。親ディレクトリ名部分を取り出します。\n",
"\n",
"実際のプログラムを見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "QeObQHwxRy0Z"
},
"outputs": [],
"source": [
"filepath = Path(\"rootdir/subdir/file2.txt\")\n",
"print(filepath)\n",
"print(filepath.name)\n",
"print(filepath.stem)\n",
"print(filepath.parent)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "xDieiWESSGJT"
},
"source": [
"## 上位のパスを要素ごとのリストで取得(parents)\n",
"parentと混同しやすいですが、parentsという機能もあります。parentsは、ファイルパスから親ディレクトリ名、さらにその親ディレクトリ名、さらにその親のディレクトリ名・・・という形でイテレータオブジェクトを取得できます。\n",
"\n",
"実際のプログラムを見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "96qEIyh_Sl6i"
},
"outputs": [],
"source": [
"filepath = Path(\"rootdir/subdir/file2.txt\")\n",
"for element in filepath.parents:\n",
" print(element)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "5UvwXcx4bhe_"
},
"source": [
"## パスの連結(/演算子、joinpath)\n",
"パスを連結するには、/演算子を使う方法と、joinpathを使う方法があります。\n",
"\n",
"まずは、/演算子を使った方法を見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "4NkO-T1_b905"
},
"outputs": [],
"source": [
"inputpath = Path(\"rootdir\")\n",
"\n",
"concatpath = inputpath / \"subdir\" / \"file2.txt\"\n",
"print(concatpath)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "cwhVLPVZcUUR"
},
"source": [
"次に、joinpathを使った方法を見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "u6DVzoCLcXm2"
},
"outputs": [],
"source": [
"concatpath = inputpath.joinpath(\"subdir\", \"file2.txt\")\n",
"print(concatpath)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "9wNRGjhBcuLa"
},
"source": [
"どちらの方法も、単純に文字列を+演算子で連結するやり方と比べて、OSごとのパス区切り文字(Linuxなら「/」、Windowsなら「\\」)が何であるかを意識しなくてよいというメリットがあります。\n",
"\n",
"# ディレクトリの作成(mkdir)\n",
"mkdirを使うと、ディレクトリを作成することができます。引数をparents=Trueとすると、中間のディレクトリが存在していなくても自動的に作成します。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "qTp1HOSodLZV"
},
"outputs": [],
"source": [
"adddir1 = Path(\"rootdir/adddir1\")\n",
"adddir2 = Path(\"rootdir/adddir2/adddir3\")\n",
"\n",
"# 最初はディレクトリが存在しないことを確認\n",
"!ls -l rootdir/adddir1\n",
"!ls -l rootdir/adddir2/adddir3\n",
"\n",
"print(\"-------------------------------------\")\n",
"\n",
"adddir1.mkdir()\n",
"adddir2.mkdir(parents=True)\n",
"\n",
"# ディレクトリが作成されたことを確認\n",
"!ls -l rootdir/adddir1\n",
"!ls -l rootdir/adddir2/adddir3\n",
"\n",
"# 作成したディレクトリを削除\n",
"!rmdir rootdir/adddir1\n",
"!rmdir rootdir/adddir2/adddir3\n",
"!rmdir rootdir/adddir2"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "t-W1xCfgfFbg"
},
"source": [
"## 相対パスと絶対パスを相互変換(resolve, relpath_to)\n",
"resolve, relpath_toを使うと、相対パスと絶対パスを相互変換できます。実際のプログラムを見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "u-ywUmtufTBG"
},
"outputs": [],
"source": [
"rel_path = Path(\"rootdir/subdir\")\n",
"print(rel_path.resolve())\n",
"\n",
"abs_path = Path(\"/content/python_intermediate_2022/01_skillup/rootdir/subdir\")\n",
"print(abs_path.relative_to(\"/content/python_intermediate_2022/01_skillup\"))"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "OEd3VBiQRA0h"
},
"source": [
"# f-string (フォーマット済み文字列リテラル)\n",
"文字列を様々な書式で表すとき、formatメソッドを使っている方も多いかと思います。Python 3.6から、さらに簡単に書式指定を行える、「**f-string (フォーマット済み文字列リテラル)**」が利用できます。\n",
"\n",
"formatメソッドと、f-stringを比較してみます。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "hIEA7Yd11zqJ"
},
"outputs": [],
"source": [
"model = \"sem\"\n",
"maker = \"hitachi\"\n",
"id = 1\n",
"\n",
"# formatメソッド\n",
"csvfile_format = \"/data/{}_{}_{:0>4}\".format(model, maker, id)\n",
"\n",
"# f-string\n",
"csvfile_fstring = f\"/data/{model}_{maker}_{id:0>4}\"\n",
"\n",
"print(csvfile_format)\n",
"print(csvfile_fstring)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "SbUxeUob733-"
},
"source": [
"f-stringでは、文字列の前にキーワード「f」を付与します。書式の指定部分はformatメソッドと同じですが、文字列の中に直接変数名を埋め込むことができるので、より直感的で分かりやすい記述とすることができます。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "_NEvgsivL_Ce"
},
"source": [
"## 複数ファイルのオープン\n",
"一度に複数のファイルをオープンしたいとき、次のように記述していないでしょうか。\n",
"\n",
"~~~\n",
"with open(ファイルパス1) as ファイルオブジェクト1:\n",
" with open(ファイルパス2) as ファイルオブジェクト2:\n",
" ファイル1、ファイル2を使う処理\n",
"~~~\n",
"\n",
"次のように記述することで、複数ファイルを一度にオープンすることができます。\n",
"\n",
"~~~\n",
"with open(ファイルパス1) as ファイルオブジェクト1, open(ファイルパス2) as ファイルオブジェクト2:\n",
" ファイル1、ファイル2を使う処理\n",
"~~~\n",
"\n",
"インデントが深くならないのが嬉しいポイントです。インデントが深すぎるプログラムはとても読みづらいので、ぜひ活用してください。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "R6-tx0oGS9fb"
},
"source": [
"# for文応用\n",
"データ構造化プログラムにおいて、入力ファイルを1行ずつ読み込む処理が頻出します。そのため、for文を上手に使うことがポイントとなります。\n",
"\n",
"ここでは、Pythonプログラミングで欠かせないfor文について、より応用的な使い方をご紹介します。\n",
"\n",
"## zip関数\n",
"「**zip関数**」は、2つの繰り返し要素から同時に値を取り出し、繰り返し処理を行うときに利用します。例えば次のソースコードでは、2つのリストから同時に値を取り出して、繰り返し処理を行っています。\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "dDlcu-lXhyi7"
},
"outputs": [],
"source": [
"wavelength = [20, 20.02, 20.04, 20.08]\n",
"intensity = [3, 0, 3, 7, 3]\n",
"\n",
"for wavelength_v, intensity_v in zip(wavelength, intensity):\n",
" print(f\"波長={wavelength_v}, 強度={intensity_v}\")\n"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "RzALtcGMliz_"
},
"source": [
"【試してみましょう】\n",
"\n",
"上記のソースコードで、2つのリストの長さが異なる場合は、どのような動作をするでしょうか。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "QEe5hAyylQMu"
},
"source": [
"## enumerate関数\n",
"「**enumerate関数**」は、リストやタプルの値をfor文で一つずつ取り出すとき、インデックス(何番目の要素であるかの値)と値を同時に取り出すことができます。次のソースコードを見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "njUSvcYZtfUv"
},
"outputs": [],
"source": [
"wavelength = [20, 20.02, 20.04, 20.08]\n",
"\n",
"for idx, wavelength_v in enumerate(wavelength):\n",
" print(f\"インデックス={idx}, 強度={wavelength_v}\")"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "-eblbV6Ig3gd"
},
"source": [
"## 様々な内包表記\n",
"次のソースコードは、for文を使ったリスト内包表記です。リスト内包表記は入門書などでも必ず登場し、皆さんも使う機会は多いと思います。次の例では、0～4までの数列をそれぞれ2乗した値のリストを作成しています。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "DQlf3_ycRjZn"
},
"outputs": [],
"source": [
"for_list = [ x ** 2 for x in range(5) ]\n",
"print(for_list)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "rZckuT99WddA"
},
"source": [
"内包表記には、リスト内包表記意外にも「辞書内包表記」や「セット内包表記」というものもあります。その名のとおり、for文を使って辞書やセット(集合)を定義します。\n",
"\n",
"次のソースコードは、「辞書内包表記」の例です。前述の「zip関数」も使っています。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "K1BKqB8JfB6G"
},
"outputs": [],
"source": [
"wavelength = [20, 20.02, 20.04, 20.08]\n",
"intensity = [3, 0, 3, 7, 3]\n",
"\n",
"for_dict = { wavelength_v:intensity_v for wavelength_v, intensity_v in zip(wavelength, intensity) }\n",
"print(for_dict)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "6-KxIsyWuUWn"
},
"source": [
"「セット内包表記」はソースコード例をリスト内包表記の括弧を[]から{}に変えるだけで、簡単に使用できます。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "4ZC8KlsQuYIq"
},
"outputs": [],
"source": [
"num_list = [1, 2, 2, 3, 3, 3]\n",
"\n",
"for_set = { x ** 2 for x in num_list }\n",
"print(for_set)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "rFekdqUNuzWx"
},
"source": [
"リストnum_listに含まれるそれぞれの値を、2乗した値の集合を作成しています。2の2乗や3の2乗が複数回現れますが、結果は集合となるため、値の重複はありません。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "bKv02yf5RSUc"
},
"source": [
"# 関数応用\n",
"Pythonプログラムに欠かせない関数ですが、入門書等では詳しく述べられないような、便利な記述方法がたくさんあります。ここでは、データ構造化のプログラムでも役に立ついくつかのテクニックをご紹介します。\n"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "YYkbTBvatuyh"
},
"source": [
"## 引数のデフォルト値\n",
"関数を定義するときに、引数のデフォルト値を定めることができます。関数の引数が1つの場合、デフォルト値を指定するには、次のとおり記述します。\n",
"\n",
"~~~\n",
"def 関数名(引数名 = デフォルト値):\n",
" 関数の処理\n",
"~~~\n",
"\n",
"関数を呼び出すときに指定を省略すると、デフォルト値が使われます。実際のソースコードを見てみましょう。\n",
"\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "tpS_fLT27AkQ"
},
"outputs": [],
"source": [
"def func_default1(argstr = \"Default value1\"):\n",
" print(f\"argstr = {argstr}\")\n",
"\n",
"func_default1(\"value1\")\n",
"func_default1()"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "M_KskIh97pkp"
},
"source": [
"関数の引数が複数あるとき、すべての引数にデフォルト値を指定したり、一部の引数にデフォルト値を指定したりできます。\n",
"\n",
"~~~\n",
"def 関数名(引数名1 = デフォルト値1, 引数名2 = デフォルト値2, ・・・):\n",
" 関数の処理\n",
"~~~\n",
"\n",
"全ての引数にデフォルト値を指定する例を見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "PwDffLXnCmCb"
},
"outputs": [],
"source": [
"def func_default2(argstr1 = \"Default value 1\", argstr2 = \"Default value 2\"):\n",
" print(f\"argstr1 = {argstr1}, argstr2 = {argstr2}\")\n",
"\n",
"func_default2(\"value1\", \"value2\")\n",
"func_default2(\"value1\")\n",
"func_default2()"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "BWavxv-EDdeU"
},
"source": [
"ここで、「引数1を指定して、引数2はデフォルト値とする呼び出し方法は？」と疑問を持ったかもしれません。結論として、そのような呼び出し方法はありません。注意してください。\n",
"\n",
"次に、一部の引数にデフォルト値を指定する例を見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "_6G_HyfuGIj6"
},
"outputs": [],
"source": [
"def func_default(argstr1, argstr2 = \"Default value 2\"):\n",
" print(f\"argstr1 = {argstr1}, argstr2 = {argstr2}\")\n",
"\n",
"func_default(\"value1\", \"value2\")\n",
"func_default(\"value1\")"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "uBxM-9BRIgkk"
},
"source": [
"今度は、引数1だけにデフォルト値を定義することを考えてみます。次のように記述すればOKでしょうか？"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "U3keTJbNI3EX"
},
"outputs": [],
"source": [
"def func_default3(argstr1 = \"Default value 1\", argstr2):\n",
" print(f\"argstr1 = {argstr1}, argstr2 = {argstr2}\")\n",
"\n",
"func_default3(\"value1\", \"value2\")\n",
"func_default3(\"value1\")"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "ESsvc1wkJJGj"
},
"source": [
"エラーになってしまいました。実は「引数1だけにデフォルト値を定義する」ことはできません。「デフォルト値を定義した引数より後ろに、デフォルト値がない引数を定義することは出来ません。気を付けましょう。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "7kZ95AWTJnVp"
},
"source": [
"## 可変長引数 (\\*args, \\*\\*kwargs)\n",
"Matplotlibなど外部パッケージの関数で、引数に「\\*args」「\\*\\*kwargs」といった記述を見かけることがあります。これは、「**可変長引数**」と呼ばれるもので、関数の引数を任意の個数とすることができます。\\*argsと\\*\\*kwargsの違いは、次のとおりです。\n",
"\n",
"* \\*argsは、複数個の引数をタプルとして受け取ることができます。\n",
"* \\*\\*kwargsは、複数個のキーワードを辞書として受け取ることができます。\n",
"\n",
"### \\*args\n",
"実際のソースコードを見てみましょう。\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "4wOQdrFJKOnu"
},
"outputs": [],
"source": [
"def func_args(*args):\n",
" print(args)\n",
" for val in args:\n",
" print(val)\n",
"\n",
"func_args(1, 2, 3)\n",
"func_args(1, 2, 3, 4, 5)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "UQnjlqoJKsQK"
},
"source": [
"次のように、通常の引数と同時に使うこともできます。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "HAxlX1H1K8aP"
},
"outputs": [],
"source": [
"def func_args(arg1, *args):\n",
" print(f\"arg1 = {arg1}\")\n",
" print(f\"args = {args}\")\n",
" for val in args:\n",
" print(val)\n",
"\n",
"func_args(0, 1, 2, 3)\n",
"func_args(0, 1, 2, 3, 4, 5)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "xdUejoj5LYzt"
},
"source": [
"通常の引数の前に可変長引数を定義することもできますが、その場合は関数呼び出し時に通常の引数を「引数名 = 値」という形式で指定する必要があります。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "kYJ4hKxwLm9w"
},
"outputs": [],
"source": [
"def func_args(*args, arg1):\n",
" print(f\"arg1 = {arg1}\")\n",
" print(f\"args = {args}\")\n",
" for val in args:\n",
" print(val)\n",
"\n",
"func_args(0, 1, 2, arg1 = 3)\n",
"func_args(0, 1, 2, 3, 4, arg1 = 5)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "YfqajqAWMfVP"
},
"source": [
"ちなみに、関数を呼び出すときに引数を「引数名 = 値」とする形式は、「**キーワード引数**」と呼びます。通常のように、引数名を指定せずに値だけ指定する形式は「**位置引数**」と呼びます。覚えておいてください。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "FiOU7kd0L4y4"
},
"source": [
"### \\*\\*kwargs\n",
"実際のソースコードを見てみましょう。引数が\\*\\*kwargsの関数を呼び出すときは、前述の「キーワード引数」で引数を指定します。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "G_8-gDxZL-7O"
},
"outputs": [],
"source": [
"def func_args(**kwargs):\n",
" print(kwargs)\n",
" for val in kwargs.values():\n",
" print(val)\n",
"\n",
"func_args(val1 = 10, val2 = 20, val3 = 30)\n",
"func_args(val1 = 10, val2 = 20, val3 = 30, val4 = 40, val5 = 50)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "nlU-8zO0Nffb"
},
"source": [
"通常の引数と同時に使う方法や注意事項などは、\\*argsと同じです。\n",
"\n",
"### 可変長引数の引数名について\n",
"ここまで、可変長引数として\\*argsと\\*\\*kwargsをご紹介しました。実は、\\*や\\*\\*さえつければ、「args」「kwargs」の部分は任意の名称となります。ただし、慣例的に「args」「kwargs」という名前を使うのが一般的で、誰が見ても一目で可変長引数だと分かりますので、特に理由がなければ「args」「kwargs」という名前を使いましょう。\n",
"\n",
"自分でプログラムを作成するときに使うことがなくても、冒頭で述べたようにMatplotlibなど外部の関数を使うときによく目にしますので、ぜひ覚えておいてください。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "oUulKKMpgVCY"
},
"source": [
"## lambda関数 (無名関数)\n",
"関数を自作するとき、defキーワードに続けて関数名を定義します。それ以外にPythonには、名前のない関数である「**lambda関数 (無名関数)**」は、という機能があります。\n",
"\n",
"とはいえ、名前のない関数って何？と疑問に思われることと思います。ここでは、lambda関数の使用方法をご紹介します。\n",
"\n",
"lambda関数は、次のように記述します。\n",
"\n",
"~~~\n",
"lambda 引数: 返り値\n",
"\n",
"~~~\n",
"\n",
"これは、次のようにdefを使って関数を定義するのと同じ動作です。ただし、lambda関数には関数名がありません(lambdaは機能名であり、関数名ではありません)。\n",
"\n",
"~~~\n",
"def 関数名(引数):\n",
" return 返り値\n",
"~~~\n",
"\n",
"このように言われても、何に使うのか、よく分からないですよね。実際のソースコードを見ながら、解説します。次のソースコードは、「sorted関数」を使ってリストの並び替えをしています。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "wcHYO0cKmYi_"
},
"outputs": [],
"source": [
"list1 = [\"Tokyo\", \"Fukuoka\", \"Nagoya\"]\n",
"\n",
"sorted_list1 = sorted(list1)\n",
"\n",
"print(sorted_list1)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "ra49Apn3m708"
},
"source": [
"上記のように、sorted関数に文字列のリストを渡すと、アルファベット順に並び替えが行われました。\n",
"\n",
"sorted関数では、どのようなルールで並べ替えるかを、2番目の引数keyに関数を与えることで設定できます。すると、リストの各要素を引数として指定した関数を実行し、その戻り値の順序でソートされます。例えば、組み込み関数のlen関数を2番目の引数に与えてみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "weLf5Uhunebb"
},
"outputs": [],
"source": [
"list1 = [\"Tokyo\", \"Fukuoka\", \"Nagoya\"]\n",
"\n",
"sorted_list1 = sorted(list1, key = len)\n",
"\n",
"print(sorted_list1)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "2uRNWPHGoiqq"
},
"source": [
"sortedの2番目の引数「key=len」がポイントです。これにより、リストのそれぞれの要素にlen関数を適用して、その結果、つまり文字列の長さでソートされます。\n",
"\n",
"今度は、組み込み関数ではなく、自作の関数を使ってみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "RdUvbjwpoz5o"
},
"outputs": [],
"source": [
"def sortfunc(arg_str):\n",
" return arg_str[1]\n",
"\n",
"list1 = [\"Tokyo\", \"Fukuoka\", \"Nagoya\"]\n",
"\n",
"sorted_list1 = sorted(list1, key = sortfunc)\n",
"\n",
"print(sorted_list1)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "NCZAezfSppTm"
},
"source": [
"今度は、リストの値の2文字目を使ってソートされました。\n",
"\n",
"このソースコードで、わざわざdefで関数を定義するのは、ちょっと面倒だと思いませんか？こんなとき、lambda関数が役に立ちます。次のソースコードを見てみてください。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "lo5_UM0DqDgt"
},
"outputs": [],
"source": [
"list1 = [\"Tokyo\", \"Fukuoka\", \"Nagoya\"]\n",
"\n",
"sorted_list1 = sorted(list1, key = lambda arg_str: arg_str[1])\n",
"\n",
"print(sorted_list1)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "U8oN-PJvqQ5x"
},
"source": [
"最初にご紹介した「lambda 引数: 返り値」の形式で、関数の中身を直接sorted関数の引数に記述しています。非常にすっきりとしたソースコードになりましたね。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "G1_lZkYu8T00"
},
"source": [
"## 引数に関する注意事項\n",
"関数の中で、引数の値を変更したときの動作には注意が必要です。次のプログラムを見てみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "gwCtZsNVowIV"
},
"outputs": [],
"source": [
"def func_arg(int_arg, list_arg):\n",
" int_arg = 100\n",
" list_arg[1] = 200\n",
"\n",
"int_val = 10\n",
"list_val = [10, 20, 30]\n",
"\n",
"func_arg(int_val, list_val)\n",
"\n",
"print(int_val)\n",
"print(list_val)\n"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "4eOkIiToqw24"
},
"source": [
"関数内で引数のint_argを変更しても、関数の呼び出し元の変数int_valは変更されません。一方、関数内でlist_argの値の一つを変更すると、関数の呼び出し元の変数list_valが変更されます。\n",
"\n",
"実は、値の型が変更可能(ミュータブル)か、変更不可能(イミュータブル)かによって、このように挙動が挙動が変わります。\n",
"\n",
"代表的な型について、ミュータブルか、イミュータブルかをまとめます。\n",
"\n",
"* ミュータブルな型の例\n",
" * intなどの数値型、str、tuple\n",
"\n",
"* イミュータブルな型の例\n",
" * list、dict、set\n",
"\n",
"【ご参考】\n",
"\n",
"C言語など、他のプログラミング言語を学んだことがある方は、「値渡し」「参照渡し」という言葉をご存じかもしれません。\n",
"\n",
"上記の説明で、イミュータブルな型の動作は値渡しに、ミュータブルな型の動作は参照渡しに近いものです。\n",
"\n",
"そのため、「Pythonでも値渡しと参照渡しがあるんだな」と思われたかもしれません。\n",
"\n",
"しかし実は、Pythonはすべて「参照渡し」です。イミュータブルな型は値渡しのような動作となるよう、Python内部で処理されています。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "PTUEMNbYtUgp"
},
"source": [
"# 外部プログラムの実行\n",
"データ構造化において、Pythonのソースコード上ですべてのデータ処理を行うのではなく、機器メーカーが公開しているプログラムなど、既存の外部プログラムを実行してデータ処理を行いたいことも多いです。\n",
"\n",
"Pythonから外部プログラムを実行したい場合は、標準モジュールの**subprocess**を利用することで実現可能です。\n",
"\n",
"一昔前までは、Pythonから外部プログラムを実行する場合、osモジュールのsystem関数を使用する(os.system())例が多々見られました。\n",
"\n",
"実はos.system()よりもsubprocessを使用することが推奨されており、最近ではsubprocessの利用例の方が多く紹介されている印象です。\n",
"\n",
"ただし、subprocessの使用方法にはいくつかパターンがあり、さらにOS(WindowsやLinux)によってもオプションの挙動に違いがあるため使用には注意が必要です。\n",
"\n",
"ここでは、基本的な使い方の他、Windows用プログラム(.exe)をLinuxで使用する方法と、ディスプレイが必要なGUIプログラムをディスプレイがない環境で利用する方法について、例を示したいと思います。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "1UdAGu9_tYE0"
},
"source": [
"## subprocessの基本的な使用方法\n",
"\n",
"subprocessには、外部コマンドを実行するための関数がいくつか準備されています。\n",
"\n",
"```\n",
"# コマンドを実行する。\n",
"subprocess.call()\n",
"\n",
"# コマンドを実行し、失敗した場合はCalledProcessError例外をスローする。\n",
"subprocess.check_call()\n",
"\n",
"# コマンドを実行し、出力結果を返す。\n",
"subprocess.check_output()\n",
"```\n",
"\n",
"現在では、上記の機能を包括した**subprocess.run()**を使用することが推奨されています。\n",
"\n",
"それでは、基本的な使い方を確認してみましょう。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "OaM3awRHtcjy"
},
"outputs": [],
"source": [
"# subprocessモジュールのインポート\n",
"import subprocess\n",
"\n",
"# 現在の日付を取得するdateコマンドをPythonから実行してみる\n",
"cmd = \"date\"\n",
"result = subprocess.run(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)\n",
"print(\"今日の日付:\", result.stdout)\n",
"\n",
"# dateコマンドのオプション引数を指定（表示形式の変換）\n",
"cmd = \"date '+%Y/%m/%d %H:%M:%S'\"\n",
"result = subprocess.run(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True, shell=True)\n",
"print(\"今日の日付(形式指定):\", result.stdout)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "U_e_JCC7tezq"
},
"source": [
"dateのオプション引数をつけたときに、subprocess.runの中でshell=Trueを指定しました。\n",
"\n",
"これは、Windowsのコマンドプロンプトや、Linuxのbashのような振る舞いをするよう指定するという意味になります。\n",
"\n",
"デフォルトではshell=Falseが指定されており、その場合は指定したコマンド文字列をひとつのコマンドとして実行してしまいます。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "WVbg0fyHtgwp"
},
"outputs": [],
"source": [
"# dateコマンドのオプション引数を指定（表示形式の変換）\n",
"cmd = \"date '+%Y/%m/%d %H:%M:%S'\"\n",
"result = subprocess.run(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True, shell=False)\n",
"print(\"今日の日付(形式変換):\", result.stdout)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "PfGEhnZitiwD"
},
"source": [
"このように、「date '+%Y/%m/%d %H:%M:%S'」なんていうコマンドなんてないよと言われてしまいました。\n",
"\n",
"'+%Y/%m/%d %H:%M:%S'の部分はdateコマンドのオプションであるので、分離して理解してほしいため、shell=Trueが必要です。\n",
"\n",
"実はコマンドにはリスト形式でも指定することができます。その方がわかりやすいため、リスト形式を使うのがおすすめです。\n",
"\n",
"ただし、このリストでコマンドを指定する場合はshell=Falseにする必要があります。\n",
"（デフォルトではshell=Falseのため、指定しなくてよい。）"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "InzP6O0DtlnS"
},
"outputs": [],
"source": [
"# リスト形式でのdateコマンドの実行\n",
"cmd = [\"date\", \"+%Y/%m/%d %H:%M:%S\"]\n",
"result = subprocess.run(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)\n",
"print(\"今日の日付(形式変換):\", result.stdout)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "-xEo-2JKtn0a"
},
"source": [
"## LinuxでWindows用の実行ファイルを使用する方法\n",
"\n",
"LinuxではWindows用プログラム(exe)を実行するためのwineというプログラムがあります。\n",
"\n",
"全てのプログラムが動作するという保証はないですが、Linuxをベースとした構造化プログラムの中に組み込むことも可能です。\n",
"\n",
"まずはwineをインストールします。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "xrQsT4hWtqIE"
},
"outputs": [],
"source": [
"# wine4.0.4をインストールする。\n",
"!apt update\n",
"!apt install -y wget libgtkglext1 libpango1.0-0 libpangox-1.0-0 libgtk2.0-0 \n",
"!dpkg --add-architecture i386\n",
"!apt update\n",
"!mkdir -pm755 /etc/apt/keyrings\n",
"!wget -O /etc/apt/keyrings/winehq-archive.key https://dl.winehq.org/wine-builds/winehq.key\n",
"!wget -nc -P /etc/apt/sources.list.d/ https://dl.winehq.org/wine-builds/ubuntu/dists/bionic/winehq-bionic.sources\n",
"!apt update\n",
"!apt install -y --install-recommends wine-stable-i386=4.0.4~bionic wine-stable-amd64=4.0.4~bionic wine-stable=4.0.4~bionic winehq-stable=4.0.4~bionic"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "t91EjcOattEu"
},
"source": [
"ここでは、アルバック・ファイ株式会社から提供されているMPExport.exeを例に説明します。\n",
"\n",
"MPExport.exeは、speデータをtxt形式に変換するWinodws用のプログラムです。\n",
"\n",
"Windowsでは通常次のように実行します。\n",
"\n",
"```\n",
"MPExport.exe -Filename sample.spe -OutputFolder .\\ -LogFolder \\.\n",
"```\n",
"\n",
"上記のコマンドをLinuxOSから、subprocessを使って呼び出してみます。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "C3hgzLwNtvzB"
},
"outputs": [],
"source": [
"# コマンドの内容を指定\n",
"MPExport = \"/content/python_intermediate_2022/01_skillup/MPExport.exe\"\n",
"spefile = \"\\content\\python_intermediate_2022\\\\01_skillup\\sample.spe\"\n",
"output = \"\\content\"\n",
"log = \"\\content\"\n",
"\n",
"# コマンドをリスト形式で定義\n",
"cmd = [\"wine\", MPExport, \"-Filename\", spefile, \"-OutputFolder\", output, \"-LogFolder\", log]\n",
"\n",
"# 実行\n",
"result = subprocess.run(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)\n",
"print(\"結果\", result.stdout)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "zfOd1ufbtylV"
},
"source": [
"成功していればsample.txtが出力されているはずです。\n",
"左のフォルダから確認してみましょう。\n",
"\n",
"\n",
"## ディスプレイがなくてもGUIプログラムをsubprocessから実行する方法\n",
"\n",
"GUI（グラフィカルユーザインターフェース）のプログラムは、ディスプレイ上にウィンドウを表示させて利用者がマウスでクリックなどしながら操作します。\n",
"\n",
"※ちなみに、コマンドラインで操作する場合をCUI（キャラクタユーザインターフェース）と呼ぶ。\n",
"\n",
"構造化処理では、ディスプレイがないクラウド環境で実行しなければならないためディスプレイがないとエラーが出てしまいます。\n",
"\n",
"そこで、仮想ディスプレイという技術を利用することでこの問題を解消します。\n",
"\n",
"ここでは、VESTA（結晶構造、電子・核密度等の三次元データ、及び結晶外形の可視化プログラム）を使って説明します。\n",
"\n",
"VESTAは、GUIのプログラムでありながらコマンドラインからある程度の操作が可能です。\n",
"\n",
"ただし、ディスプレイは必要なので仮想ディスプレイを使います。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "HCgkMjAWt1Yi"
},
"outputs": [],
"source": [
"# 仮想ディスプレイを準備します。\n",
"!apt update\n",
"!apt -y install libglu1-mesa libgtk-3-dev libgomp1 xvfb wget zip\n",
"!pip install pyvirtualdisplay"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "7lA2GSHNt4Rx"
},
"source": [
"VESTAをダウンロードして解凍、準備します。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "IlFddCUPt6n6"
},
"outputs": [],
"source": [
"!wget https://jp-minerals.org/vesta/archives/3.5.8/VESTA-gtk3.tar.bz2\n",
"!tar jxf VESTA-gtk3.tar.bz2"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "WbiHA-ngt9D1"
},
"source": [
"cifファイルを読み込んで画像を生成します。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "NpC3vyfIt_Nj"
},
"outputs": [],
"source": [
"import time\n",
"import subprocess\n",
"from pyvirtualdisplay import Display\n",
"\n",
"with Display() as disp:\n",
" cmd = [\"VESTA-gtk3/VESTA\", \"-open\", \"/content/python_intermediate_2022/01_skillup/sample.cif\", \"-export_img\", \"sample.png\"]\n",
" proc = subprocess.Popen(cmd)\n",
" time.sleep(10)\n",
" proc.kill()"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "hbM6U4NruBO8"
},
"source": [
"GUIつきのプログラムでは、subprocessを使用した外部起動では同期して実行することが難しいため、subprocess.Popenを使って実行しています。\n",
"\n",
"また、ここではVESTAが描画するまで10秒を待ってから終了させています。\n",
"\n",
"結晶構造の画像が作成されたか、確認してみます。"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "aLk9n8TkuDum"
},
"outputs": [],
"source": [
"from IPython.display import Image,display_png\n",
"display_png(Image(\"sample.png\"))"
]
}
],
"metadata": {
"colab": {
"collapsed_sections": [
"_NEvgsivL_Ce"
],
"provenance": [],
"toc_visible": true
},
"kernelspec": {
"display_name": "Python 3 (ipykernel)",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.8.17"
}
},
"nbformat": 4,
"nbformat_minor": 4
}