{"cells":[{"cell_type":"markdown","metadata":{"id":"bF0BqW-Plpx_"},"source":["# [講義] HyperSpy入門\n","\n","## HyperSpyの概要\n","「HyperSpy」は、Pythonで記述された多次元データ解析のためのライブラリです。次のような特徴があります。\n","\n","- 電子顕微鏡、X線回折、走査プローブ顕微鏡、ラマン分光法などの信号解析ができます。\n","- フィルタリング、線形回帰の他、主成分分析、非負値行列分解などのクラスタリング機能があります。\n","- 可視化ツールが含まれています。\n","- 化学元素のデータベースが含まれています。\n","\n","HyperSpyは非常に強力なライブラリですが、日本語の情報は、書籍もWebサイトもまったく見つかりません。英語の公式ドキュメントを見るのが確実という状況です。\n","\n","[https://hyperspy.org/hyperspy-doc/current/index.html](https://hyperspy.org/hyperspy-doc/current/index.html)\n","\n","そこで本講義では、このHyperSpyについて入門レベルのご紹介をします。けっこう貴重な講義かも！？\n","\n","はじめに、本講義で使用するファイルを皆さんの環境にダウンロードするため、次のコードを実行してください。"]},{"cell_type":"markdown","source":["# 本講義で使用するファイルのダウンロード\n","次のソースコードを、実行してください。Google Colaboratoryでソースコードを実行するには、ソースコードの任意の場所をクリックした後、次のどちらかの操作を行います。\n","\n","* ソースコード左上の実行ボタンを押す\n","* Ctrl+Enterを押す"],"metadata":{"id":"IgXSFz6JNxak"}},{"cell_type":"code","source":["!curl -L -o Fei_HAADF-DE_location.dm3 https://github.com/tendo-sms/python_intermediate_2023/raw/main/file_2/Fei_HAADF-DE_location.dm3\n","!curl -L -o core_shell.hdf5 https://github.com/tendo-sms/python_intermediate_2023/raw/main/file_2/core_shell.hdf5"],"metadata":{"id":"44eG-HhiNzLG"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"dfRKneRulpyB"},"source":["# HyperSpyのインストール\n","HyperSpyの公式ページでは何種類かのインストール方法が紹介されていますが今回は、\n","* 既存のpython環境(anacondaではなく)にHyperSpyを追加したい\n","* 必要以上のモジュールをインストールしたくない\n","\n","という理由で、pipコマンドでのインストール方法を使用します。\n","\n"]},{"cell_type":"code","source":["!pip install hyperspy"],"metadata":{"id":"2hrT-nyn-KGH"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["# HyperSpyによるインタラクティブなグラフ操作について\n","pipコマンドの終了を待つ間に・・\n","\n","HyperSpyでは、マウス操作で操作できるインタラクティブなグラフを描画できます。\n","\n","Jupyter NotebookやJupyterLabを使用する場合、デフォルトではインタラクティブなグラフではなく、単なる画像に変換されて表示されます。\n","\n","次のコマンドを実行することで、インタラクティブなグラフを描画できるようになります。\n","\n","~~~\n","%matplotlib nbagg\n","~~~\n","\n","しかし・・・実は、Google Colaboratoryでは、インタラクティブなグラフを描画する方法がありません。単なる画像の表示のみ対応しています。\n","\n","本講義ではGoogle Colaboratoryを利用するため、皆さんのお手元でインタラクティブな操作を実感することはできません。そのため、講師のPCでJupyter Notebookを使ったインタラクティブな操作をご覧いただきます。"],"metadata":{"id":"iXS62y9QGw72"}},{"cell_type":"markdown","source":["## HyperSpyによるGUI表示プログラムについて\n","HyperSpyの機能によっては、GUI操作が求められるものがもあります。\n","\n","この講義でもGUIの表示が必要なサンプルプログラムがあるので、次のパッケージをpipコマンドでインストールします。"],"metadata":{"id":"uBeyCRH5nN63"}},{"cell_type":"code","source":["!pip install hyperspy_gui_traitsui==1.5.3"],"metadata":{"id":"ppjc36ggnzNc"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["事前準備はここまでです。\n","\n","いよいよ、HyperSpyを使ってプログラムを記述していきます。"],"metadata":{"id":"n_t1zErEn14m"}},{"cell_type":"markdown","metadata":{"id":"arVFm_76lpyB"},"source":["# HyperSpyのimport\n","* 代表的なモジュールとして、「<font color=\"red\">**hyperspy.api**</font>」をimportするのが一般的です。\n","* 慣例として、asを使って「<font color=\"red\">**hs**</font>」でimportします。\n","~~~\n","import hyperspy.api as hs\n","~~~"]},{"cell_type":"markdown","source":["# とりあえずグラフを描画してみる\n","HyperSpyにはいくつかのサンプルデータが元から用意されています。とりあえず、次の2つのサンプルデータをプロットしてみましょう。\n","\n","* SEMによるエネルギー分散型X線分析(EDS)データ\n","* 鉄針のホログラムデータ\n","\n","グラフのプロットは、次の構文です。\n","\n","~~~\n","オブジェクト.plot()\n","~~~\n","\n","次のコードを実行してください。"],"metadata":{"id":"ie3O-bGWjdnT"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","# SEMによるエネルギー分散型X線分析(EDS)データ\n","hs.datasets.example_signals.EDS_SEM_Spectrum().plot()\n","\n","# 鉄針のホログラムデータ\n","hs.datasets.example_signals.object_hologram().plot()"],"metadata":{"id":"DQTpZ-3vjuUP"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["* Matplotlibでグラフを書く場合と異なり、グラフ種類やタイトル、軸ラベルなどをソースコード上で指定しなくても、装飾されていることが分かります。\n","* HyperSpyが扱うオブジェクトには単にプロットする値が入っているのではなく、タイトルや軸の情報など、関連するメタデータも含まれています。\n","  * plotメソッドを呼び出すだけで、このような装飾付きのグラフとなります。\n","\n","メタデータの確認方法などは、このあと別の例でご説明します。"],"metadata":{"id":"QzW_ZrqInMmE"}},{"cell_type":"markdown","source":["# HyperSpyが対応するファイルフォーマット\n","HyperSpyは、大別すると以下のフォーマットに対応しています。\n","\n","- バイナリファイル (Gatan’s dm3/dm4、EDAX spc and spd、MRCなど)\n","- テキストファイル (ASCII、CSV、TSV、等間隔行列など)\n","- HDF5形式ファイル\n","\n","  【ご参考】全ての対応フォーマットは公式ドキュメントの以下に記載があります。\n","\n","  https://hyperspy.org/hyperspy-doc/current/user_guide/io.html#supported-formats\n","\n","Hyperspyは入力ファイルの拡張子やその内容から、ファイルの種類を推定し、適切なIOプラグインを選択してくれます。\n","\n","今回の講義では、Gatanのdm3ファイルと、HDF5ファイルを題材としてご紹介します。\n","\n","【ご参考】\n","* dm3 (Digital Micrograph 3 )\n","  * Gatanの電子顕微鏡データを記録するファイル形式です。\n","* HDF5 (Hierarchical Data Format 5)\n","  * データを階層構造で記録できる汎用的なファイル形式です。"],"metadata":{"id":"I0eEER9B_Nas"}},{"cell_type":"markdown","metadata":{"id":"wCYINEQLlpyD"},"source":["# ファイルの読み込み\n","## 形式自動判定の読み込み\n","* HyperSpyは基本的に、データの形式を推測してオブジェクトのクラスを決定します。\n","* 次のとおり「<font color=\"red\">**load関数**</font>」を使用します。\n","* 変数には、読み込んだ結果のオブジェクトが格納されます。\n","\n","~~~\n","変数 = hs.load(ファイル名)\n","~~~\n","## 形式明示指定の読み込み\n","* データ形式を明示指定することもできます。\n","* 「<font color=\"red\">**signal_typeオプション**</font>」を指定します。\n","\n","~~~\n","変数 = hs.load(ファイル名, signal_type=形式)\n","~~~\n","なおsignal_typeに指定できる形式は、次の関数を実行して一覧表示することができます。"]},{"cell_type":"code","source":["hs.print_known_signal_types()"],"metadata":{"id":"pmvBDfkhs1xO"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## dm3ファイルの読み込み例\n","最初にダウンロードしたファイルの中に、STEMで計測された16 x 4の2次元データ「Fei_HAADF-DE_location.dm3」があります。\n","\n","これを読み込んでプロットしてみましょう。\n"],"metadata":{"id":"g5LNAEpXtB9R"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","s.plot()"],"metadata":{"id":"4so109U9WqW-"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["### 元ファイルのメタデータ\n","元の入力ファイル(HyperSpyの形式に変換される前のもの)に含まれていたメタデータは、次の変数に格納されています。\n","\n","~~~\n","オブジェクト.original_metadata\n","~~~\n","\n","先ほど読み込んだファイルに元から含まれていたメタデータを確認してみます。"],"metadata":{"id":"dShus23bkMiI"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","s.original_metadata"],"metadata":{"id":"VGyZHD26uuly"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["【ワンポイント】\n","\n","データを画面表示するにはprint関数を使うのが基本ですが、ここではGoogle Colaboratoryの独自機能を活用して、print関数を使わずにデータを画面表示しました。この独自機能は、単に変数名を記述するだけで、データを見やすく画面表示することができます。他にもJupyter Notebook等、Pythonが「対話モード」で動作している環境はこのような機能を持ち、処理方法を試行錯誤する際には非常に便利です。\n","\n","一方で、処理方法確定時に作ることが多い、拡張子が.pyとなっている「普通のPythonプログラム」は「スクリプトモード」で動作し、変数名だけでは画面表示をしません。\n","\n","Python初級者セミナーでは、「対話モード」特有機能を多用して変なクセを付けてしまわないように、データの画面表示は一貫してprint関数を使ってご説明しました。中級者編にご参加されている皆様は心配ないと思いますので、便利さ重視でソースコードを記述しています。"],"metadata":{"id":"Mq4V0EmN5cg3"}},{"cell_type":"markdown","source":["## HyperSpyが自動的に付与したメタデータ\n","HyperSpyが元の入力ファイルから判断して自動的に付与したメタデータは、次の変数に格納されています。\n","\n","~~~\n","オブジェクト.metadata\n","~~~\n","\n","先ほど読み込んだファイルに対して、HyperSpyが自動的に付与したメタデータを確認してみます。"],"metadata":{"id":"_arSjv8MyO8N"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","s.metadata"],"metadata":{"id":"4-O73rQ3yc1O"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["これらのメタデータを更新したり、新たに追加したりすることもできます。"],"metadata":{"id":"Ry3AOZ0w3nkC"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","\n","# メタデータの更新\n","s.metadata.General.title = \"Update title\"\n","\n","# メタデータの追加\n","s.metadata.New_value = \"New value\"\n","\n","s.metadata"],"metadata":{"id":"MjK3QRgd3tAP"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## プロットされる実データ\n","プロットされる実データは、次の変数に格納されています。\n","\n","~~~\n","オブジェクト.data\n","~~~\n","\n","次のコードを実行してください。"],"metadata":{"id":"crnDGY8hytz5"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","s.data"],"metadata":{"id":"ugqWzOzPyzvi"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["プロットされる実データは、NumPy配列です。\n","\n","そのため、データに対してNumPyの様々な機能を使うことができます。"],"metadata":{"id":"FnB4dBOb0pzI"}},{"cell_type":"code","source":["import numpy as np\n","import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","\n","# 配列形状の取得\n","print(s.data.shape)\n","\n","# 平均値の取得\n","print(np.mean(s.data))"],"metadata":{"id":"tr_uLWcr01_s"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## その他の情報表示\n","その他にも、様々な情報を取得できます。色々と試してみてください。\n","\n","~~~\n","オブジェクト.axes_manager\n","オブジェクト.print_summary_statistics()\n","~~~"],"metadata":{"id":"uiBt9Efq3Djy"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","\n","# 色々と試してみましょう\n"],"metadata":{"id":"-4fMVlkZ3YJC"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"sVqiaqnplpyK"},"source":["## ファイルの保存\n","作成・編集したデータを保存するには、「<font color=\"red\">**saveメソッド**</font>」を使用します。\n","\n","* 引数にファイル名を指定し、ファイル名の拡張子を参照しファイルフォーマットを決定します。  \n","\n","* 保存できるフォーマットは、下記のWriteがYesのものです。\n","\n","  [https://hyperspy.org/hyperspy-doc/current/user_guide/io.html#supported-formats](https://hyperspy.org/hyperspy-doc/current/user_guide/io.html#supported-formats)\n","\n","* 拡張子を指定しない場合は、デフォルトではhspy(HyperSpy標準のHDF5形式)で保存します。"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"Q4D_4GKdlpyK"},"outputs":[],"source":["import hyperspy.api as hs\n","\n","s = hs.load(\"Fei_HAADF-DE_location.dm3\")\n","\n","# メタデータの更新\n","s.metadata.General.title = \"Update title\"\n","\n","# 拡張子を省略してhspy形式で保存\n","s.save(\"output\")"]},{"cell_type":"markdown","source":["保存したファイルを開いて、タイトルの変更が反映されていることを確認してみます。"],"metadata":{"id":"4gLUt3urQ6Ds"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"output.hspy\")\n","s.metadata"],"metadata":{"id":"6UmkJQ1tQ-3t"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"iH_DJMAClpyK"},"source":["# HyperSpyで取り扱うデータの詳細\n","ここからは、HyperSpyで取り扱うデータについて、さらに深堀りしていきます。"]},{"cell_type":"markdown","source":["## シグナルとナビゲーション\n","HyperSpyのデータには、「<font color=\"red\">**シグナル**</font>」と「<font color=\"red\">**ナビゲーション**</font>」という概念があります。\n","\n","まずは、これらの概念についてご説明します。\n","\n","* シグナル\n","  * HyperSpyでは、データセットを信号配列として扱います。これを「シグナル」と呼びます。\n","\n","* ナビゲーション\n","  * 3Dデータの場合は、シグナルに「ナビゲーション」が加わります。\n","  * ナビゲーションは、複数のシグナルを管理し、3Dデータのスライスや視覚化の設定を扱います。\n","\n","## シグナルのサブクラス\n","hs.load()を利用してロードしたデータは、全て「<font color=\"red\">**BaseSigalクラス**</font>」を継承したサブクラスに保管されます。\n","\n","BaseSignalクラスには、様々なサブクラスがあります。\n","\n","サブクラスは、階層構造になっています。\n","\n","* Signal1D\n","  * EDSSpectrum\n","    * EDSTEMSpetrum\n","    * EDSSEMSpetrum\n","  * EELSSpectrum\n","* Signal2D\n","  * HologramImage\n","* ...など\n","\n","<img src=\"http://hyperspy.org/hyperspy-doc/current/_images/HyperSpySignalOverview.png\">\n","\n","\n","図出展：\n","[https://hyperspy.org/hyperspy-doc/current/user_guide/signal.html#transforming-between-signal-subclasses](https://hyperspy.org/hyperspy-doc/current/user_guide/signal.html#transforming-between-signal-subclasses)\n","\n","サブクラスは、データの持つ以下の要素によって**自動的**に選択されます。\n","* Signalの次元数\n","* signal_type\n","* dtype (real/complex) ※complex: 複素数/振幅/位相など"],"metadata":{"id":"kjKDATZNI50V"}},{"cell_type":"markdown","source":["## データの形式確認\n","HyperSpyのデータをprint関数で出力すると、シグナルやナビゲーションの情報が分かります。\n","\n","次のコードは、データ「core_shell.hdf5」の情報を表示します。まずは実行してみてください。\n","\n","(非推奨のメタデータを使っていることを示すWarningが出ることもありますが、ここでは無視します。)"],"metadata":{"id":"mW4TPxs3YJnm"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"core_shell.hdf5\")\n","print(s)"],"metadata":{"id":"pnADbwC2Hl3O"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["出力結果は、次の意味となります。\n","\n","~~~\n","<シグナルクラス, title: データタイトル, dimensions: (ナビゲーションの次元数|シグナルの次元数)>\n","~~~\n","\n","シグナルクラスは、次の情報から「EDSTEMSpectrum」と判定されています。\n","  * シグナルの次元数: 1\n","  * dtype: uint32(real)\n","  * signal_type: EDS_SEM\n","* BaseSignalのサブクラスと、自動判定の条件となるmetadataの属性の一覧は以下のとおりです。\n","\n","|　BaseSignal subclass　|　signal_dimension　|　signal_type　|　dtype　|\n","| ---- | ---- | ---- | ---- |\n","| BaseSignal | - | - | real |\n","| Signal1D | 1 | - | real |\n","| EELSSpectrum | 1 | EELS | real |\n","| EDSSEMSpectrum | 1 | EDS_SEM | real |\n","| EDSTEM | 1 | EDS_TEM | real |\n","| Signal2D | 2 | - | real |\n","| HologramImage | 2 | hologram | real |\n","| DielecticFuntion | 1 | - | complex |\n","| ComplexSignal | - | - | complex |\n","| ComplexSignal1D | 1 | - | complex |\n","| Complex2D | 2 | - | complex| |\n","\n","ナビゲーションの次元数は2次元であることが分かります。\n"],"metadata":{"id":"Zc4_ik6JHIaE"}},{"cell_type":"markdown","metadata":{"id":"1JtAHklqlpyM"},"source":["使用可能なサブクラスは、hs.print_known_signal_types()で確認できます。"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"p2M9-HfjlpyM"},"outputs":[],"source":["import hyperspy.api as hs\n","\n","hs.print_known_signal_types()"]},{"cell_type":"markdown","source":["なお、HyperSpyの拡張パッケージをインストールすることで、サブクラスを追加することもできます。\n","\n","* 拡張パッケージ： [https://github.com/hyperspy/hyperspy-extensions-list](https://github.com/hyperspy/hyperspy-extensions-list)"],"metadata":{"id":"7R8TsmIlIUUD"}},{"cell_type":"markdown","source":["## インタラクティブなグラフ表示"],"metadata":{"id":"xKWnPnAtv9ye"}},{"cell_type":"markdown","source":["### 2次元のナビゲーション\n","先ほど情報を確認したEDS TEMのスペクトルデータを、plotでグラフ表示してみます。"],"metadata":{"id":"sTBass3eFT0n"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","\n","s = hs.load(\"core_shell.hdf5\")\n","s.plot()"],"metadata":{"id":"tKtoIJJgsyGI"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["* 上半分の図が、64 x 64のナビゲーションです。\n","* 下半分の図が、992のシグナルデータです。\n","\n","ナビゲーションの右上をよく見てください。赤い四角があるのが分かるでしょうか。\n","\n","この赤い四角は、マウスでドラッグすることで場所を変更できます。赤い四角がある場所に対応するシグナルデータが、下半分にグラフで描画されます。\n","\n","\n","・・・なのですが、最初にご説明したとおり、残念ながらGoogle Colaboratoryではこのようなインタラクティブな操作はできません。\n","\n","講師の画面でお見せしますので、そちらをご覧ください。\n","\n"],"metadata":{"id":"fowpP28JtnL6"}},{"cell_type":"markdown","source":["### 1次元のナビゲーション\n","今度は、1次元のナビゲーションを持つデータを見てみたいと思います。\n","\n","HyperSpyの公式サンプルには該当するデータがないため、ここでは、適当なデータをNumPy配列から作成してみます。\n","\n","次の構文でNumPy配列からシグナルクラスののオブジェクトを作成することができます。\n","\n","~~~\n","hs.signals.クラス名(NumPy配列)\n","~~~\n","\n","次のコードは、ランダムな値で作成したNumPy配列から、Signal1Dサブクラスのオブジェクトを作成します。"],"metadata":{"id":"rKCxmsAiwBD7"}},{"cell_type":"code","source":["import numpy as np\n","import hyperspy.api as hs\n","\n","s = hs.signals.Signal2D(np.random.random_sample((10, 20, 100)))\n","print(s)"],"metadata":{"id":"NwzECp86wWRO"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["ナビゲーションが1次元、シグナルが2次元のデータが作成できました。\n","\n","これをプロットしてみましょう。"],"metadata":{"id":"N3Msmm3vyW7V"}},{"cell_type":"code","source":["import numpy as np\n","import hyperspy.api as hs\n","\n","s = hs.signals.Signal2D(np.random.random_sample((10, 20, 100)))\n","print(s)\n","s.plot()"],"metadata":{"id":"STpsdUW8ydU9"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["* 上半分の図が、データ数10のナビゲーションです。\n","* 下半分の図が、20 x 100のシグナルデータです。\n","\n","ナビゲーションの左端に、赤い線があるのが分かるでしょうか。\n","\n","この赤い線をマウスでドラッグすることで、その場所に対応するシグナルデータが、下半分に描画されます。\n","\n","こちらも残念ながらGoogle Colaboratoryでは操作できませんので、講師の画面でお見せします。"],"metadata":{"id":"eLOxIsG5ymS5"}},{"cell_type":"markdown","source":["# HyperSpyによるデータの活用\n","ここまでは、単にグラフを表示・保存するだけでした。\n","\n","ここからは応用として、スムージングやモデルフィッティングなどの、データの活用例をご紹介します。\n","\n","ここからのご説明は、ソースコードを上から順番に実行する必要があるので、動かしてみる際はご注意ください。\n","\n","最初に、必要なモジュールとしてHyperSpyとMatplotlibをimportします。"],"metadata":{"id":"ni5jqCw-baqp"}},{"cell_type":"code","source":["import hyperspy.api as hs\n","import matplotlib.pyplot as plt"],"metadata":{"id":"kP1zeFbuoXpn"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["サンプルデータとして、HyperSpyライブラリから提供されているEDS-TEM(エネルギー分散型X線分光法-透過型電子顕微鏡)を使ってみます。\n","\n"],"metadata":{"id":"hXz6otDdWZQi"}},{"cell_type":"code","source":["# テスト用のEDS-TEMデータを読み込み\n","s = hs.datasets.example_signals.EDS_TEM_Spectrum()\n","\n","# プロット\n","s.plot()"],"metadata":{"id":"X-tqQYrdXLQ1"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["# Signal1Dのツール\n","\n","HyperSpyでは、スペクトルなどの1次元データの処理ツールが充実しています。\n","\n","別のツールと組み合わせて、自分で実装しなくてもHyperSpyだけで色々と調査・解析することができます。"],"metadata":{"id":"gy0ULsbsX5SW"}},{"cell_type":"markdown","metadata":{"id":"1LDJeWXZlpyU"},"source":["## バックグラウンドの除去\n","\n","バックグラウンド（本来の信号以外に計測されるノイズや不要な信号）の除去モデルとして、HyperSpyでは以下の形状をサポートしています。\n","\n","- Doniach\n","- Exponential\n","- Gaussian\n","- Lorentzian\n","- Polynomial\n","- Power law (デフォルト)\n","- Offset\n","- Skew normal\n","- Split Voigt\n","- Voigt\n","\n","\n","GUIがあれば、範囲を指定できますがGoogle Colaboratoryでは利用できないのでCUIモードで実行します。\n","\n"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"A5KvPBK6lpyU"},"outputs":[],"source":["# バックグラウンドを除去\n","sb = s.remove_background(signal_range=(0, 10), zero_fill=False, background_type=\"PowerLaw\")\n","\n","# 同時に描画したいときはSignal1Dのリストにする\n","hs.plot.plot_spectra([s, sb], legend=[\"org\", \"background remove\"])"]},{"cell_type":"markdown","source":["簡易的にやってみたい場合はfastオプションを使うと速く結果をみることもできます。\n"],"metadata":{"id":"AWFhing_iRmX"}},{"cell_type":"markdown","metadata":{"id":"UN2NJtDklpyU"},"source":["## スムージング\n","\n","以下3種のスムージングが可能です。\n","1. Lowess data smoothing\n","2. Total variation data smoothing\n","3. Savitzky-Golay filter"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"oRGpixxClpyU"},"outputs":[],"source":["# Lowess data smoothing\n","sb.plot()\n","sb.smooth_lowess()"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"M3GG3QOFlpyV"},"outputs":[],"source":["# Total variation data smoothing\n","sb.plot()\n","sb.smooth_tv()"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"8N4fnBuElpyV"},"outputs":[],"source":["# Savitzky-Golay filter\n","sb.plot()\n","sb.smooth_savitzky_golay()"]},{"cell_type":"markdown","source":["【ワンポイント】\n","\n","スムージングのデータそのものを取得したいときは、次のように指定することで取得できます。\n","\n","~~~\n","snpm = sb.smooth_lowess(display=False)[\"traitsui\"].get()[\"single_spectrum\"]\n","~~~"],"metadata":{"id":"KbIHd_YTAPFk"}},{"cell_type":"markdown","metadata":{"id":"9ybMOlpflpyV"},"source":["## スパイクの除去\n","\n","GUIが使える環境だと、動的な操作でスパイクを確認しながら除去できます。\n","Google Colaboratoryでは表示できないので紹介だけです。\n","\n","ただし、元の信号は失われてしまうのでコピーしてからスパイクの除去を実施します。"]},{"cell_type":"code","execution_count":null,"metadata":{"id":"0vRaL4eDlpyV"},"outputs":[],"source":["# スムーシングした信号をコピー\n","sbp = sb.deepcopy()\n","\n","# スパイクノイズの除去\n","sbp.spikes_removal_tool(interactive=False, threshold=1)\n","\n","hs.plot.plot_spectra([sb, sbp], legend=[\"before\", \"remove spike\"])"]},{"cell_type":"markdown","source":["## ピークの検出\n","\n","GUIが使える環境だと、動的な操作でスパイクを確認しながら除去できます。\n","\n","Google Colaboratoryでは動的操作は表示できないので紹介だけです。"],"metadata":{"id":"IOV5dxQvnxpE"}},{"cell_type":"code","source":["# ピークの検出\n","peaks = sbp.find_peaks1D_ohaver()\n","print(peaks[0][\"position\"])\n","\n","sbp.plot()\n","for p in peaks[0][\"position\"]:\n","    plt.axvline(x=p, color=\"blue\", linestyle=\"--\")\n"],"metadata":{"id":"Zxk6Q6XPoBT8"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"lM-534YklpyZ"},"source":["# モデルフィッティング\n","\n","モデルフィッティングによる信号処理も簡単に行うことができます。\n","\n","例えば、これまで取り扱ったSignal1D（1次元シグナル）では事前に色んなモデル関数が提供されています。\n"]},{"cell_type":"markdown","metadata":{"id":"5h2GbXuPlpyb"},"source":["## Components1D\n","\n","- components1D\n","    - Arctan\n","    - Bleasdale\n","    - Doniach\n","    - Erf\n","    - Exponential\n","    - Expression\n","    - Gaussian\n","    - GaussianHF\n","    - HeavisideStep\n","    - Logistic\n","    - Lorentzian\n","    - Offset\n","    - Polynomial\n","    - PowerLaw\n","    - SEE\n","    - ScalableFixedPattern\n","    - SkewNormal\n","    - Voigt\n","    - SplitVoigt\n","    - VolumePlasmonDrude\n","\n","- components1D（特定のシグナルタイプ対象）\n","    - EELSArctan\n","    - DoublePowerLaw\n","    - EELSCLEdge\n","    - PESCoreLineShape\n","    - PESVoigt\n","    - SEE\n","    - Vignetting\n","  \n"]},{"cell_type":"markdown","source":["まずは、モデルを定義してみましょう。"],"metadata":{"id":"neVNP409TIYE"}},{"cell_type":"code","source":["# モデルの作成\n","m = sbp.create_model()"],"metadata":{"id":"t2LJ71nVSmlu"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["中身を確認してみます。"],"metadata":{"id":"oR0wGCumTYik"}},{"cell_type":"code","source":["# モデルの一覧\n","m.components"],"metadata":{"id":"MEmew7VeTgIt"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["色々なモデルがすでに定義されているようですね。\n","\n","実は、HyperSpyではEDS（エネルギー分散型X線分光）スペクトルに基づいて複数のモデルを自動的に作成してくれています。\n","\n","ここでは、わかりやすくするために全部のモデルを消去してから作り直してみましょう。"],"metadata":{"id":"1QoFCVZLbtLL"}},{"cell_type":"code","source":["# モデルを全消去\n","m.clear()\n","m.components"],"metadata":{"id":"9B9iyjUbbzAp"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["全部消去されましたね。\n","\n","では、ガウシアンモデルをひとつ追加してみます。"],"metadata":{"id":"HX1O2uM4d9Wi"}},{"cell_type":"code","source":["# ガウシアンモデルを追加\n","m.append(hs.model.components1D.Gaussian())\n","m.components"],"metadata":{"id":"_VKGeowEb3QD"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["データとモデル結果を描画してみます。\n","\n","plot_componentsオプションは複数のモデルがある場合に、それぞれ表示させるかどうかを決めることができます。"],"metadata":{"id":"XVVw1YNNferh"}},{"cell_type":"code","source":["# プロット\n","m.plot(plot_components=False)"],"metadata":{"id":"XD0Lh_QfeQtV"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["まだガウシアンモデルはパラメータをフィッティングできていないことがわかります。\n","\n","モデルのパラメータを確認してみましょう。"],"metadata":{"id":"Zxbo3fASehGE"}},{"cell_type":"code","source":["# パラメータの表示\n","m.print_current_values()"],"metadata":{"id":"DxXCfBjwfCuv"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["では、フィッティングさせてみます。"],"metadata":{"id":"nBSDQZj7fw4k"}},{"cell_type":"code","source":["# フィッティング\n","m.multifit()\n","m.print_current_values()"],"metadata":{"id":"Y93tTJdsfQbb"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["パラメータが変化しました。うまくフィッティングできたか描画してみます。"],"metadata":{"id":"4FXJvYpyf2WF"}},{"cell_type":"code","source":["# プロット\n","m.plot(plot_components=False)"],"metadata":{"id":"-O0tnlwZfY9W"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["ひとつの山はフィッティングできたようですが、複数あるので不十分に感じます。\n","\n","ここからが、HyperSpyの見せ所です。\n","\n","モデルをどんどん追加していくことができます。"],"metadata":{"id":"m5c1K5Dvf8vU"}},{"cell_type":"code","source":["# ガウシアンモデルを2つ追加\n","for _ in range(2):\n","    m.append(hs.model.components1D.Gaussian())\n","m.multifit()\n","m.plot(plot_components=False)"],"metadata":{"id":"DezQ_VyOexkZ"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["思った通りになっているでしょうか。\n","\n","パラメータは直接、編集することもできますので、ある程度は自動的にしてあとは手動でも解析することもできます。\n","\n","これらの方法はあとから課題に挑戦してみてください。\n"],"metadata":{"id":"hMAzjgWOgtOT"}},{"cell_type":"markdown","metadata":{"id":"_ZmPHXhplpyX"},"source":["# 機械学習\n","\n","今回は詳しくは説明できませんでしたが、HyperSpyには機械学習アルゴリズムも豊富に提供されています。\n","\n","- 特異値分解\n","    - SVD（デフォルト）\n","    - PCA\n","    - MLPCA\n","    - sklearn_pca\n","    - NMF\n","    - sparse_pca\n","    - mini_batch_sparse_pca\n","    - RPCA\n","    - ORPCA\n","    - ORNMF\n","- ブラインド信号源分離\n","    - sklearn_fastica（デフォルト）\n","    - orthomax\n","    - FastICA\n","    - JADE\n","    - CuBICA\n","    - TDSEP\n","- クラスター分析\n","    - scikit-learnのsklearn.clustering"]},{"cell_type":"markdown","source":["# まとめ\n","\n","HyperSpyのパワフルさはいかがでしたでしょうか？\n","\n","* 多種多様なマテリアルフォーマットのデータを読み込む。\n","* データの特徴を可視化しながら確認する。\n","* バックグラウンドやスパイクノイズを除去する。\n","* スムーシングやカーブフィッティングして特徴量を確認する。\n","* 機械学習にかけて分析を行う。\n","\n","これらの一連の作業が、HyperSpyだけで可能になります。\n","\n","複数ライブラリを組み合わせずとも、HyperSpyだけでコードを完結させるとメンテナンス性も向上して、研究者間でのコード共有化もはかどるのではないでしょうか？"],"metadata":{"id":"iGo35i7Qimif"}}],"metadata":{"kernelspec":{"display_name":"Python 3 (ipykernel)","language":"python","name":"python3"},"language_info":{"codemirror_mode":{"name":"ipython","version":3},"file_extension":".py","mimetype":"text/x-python","name":"python","nbconvert_exporter":"python","pygments_lexer":"ipython3","version":"3.11.4"},"toc":{"base_numbering":1,"nav_menu":{},"number_sections":true,"sideBar":true,"skip_h1_title":false,"title_cell":"Table of Contents","title_sidebar":"Contents","toc_cell":false,"toc_position":{"height":"calc(100% - 180px)","left":"10px","top":"150px","width":"411.062px"},"toc_section_display":true,"toc_window_display":true},"colab":{"provenance":[],"toc_visible":true}},"nbformat":4,"nbformat_minor":0}