{ "cells": [ { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "# Go言語で潜る\n", "\n", "2018/9/12 勉強会" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## アジェンダ\n", "\n", "1. 少し前の勉強会の復習\n", " 1. ファイルディスクリプタについて\n", " 1. CPUの動作モードについて\n", " 1. システムコールについて\n", "1. Go言語を使って潜ってみる\n", "1. 参考資料\n" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "# 少し前の勉強会の復習\n", "\n", "- 7月末の中西さんの発表と関連" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## ファイルディスクリプタとは" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "### 別名\n", "- File Descriptor\n", "- ファイル記述子\n", "- FD" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## ファイルディスクリプタとは\n", "\n", "- ファイルへの参照を抽象化したもの\n", "- 標準入出力、ソケット、OSなどファイルじゃないものにも割り当てられ、ファイルと同じようにアクセスできる\n", "- POSIXでは\n", " - C言語のint型\n", " - プロセスを起動すると0,1,2の3つのファイルが標準で開かれ、停止時に閉じられる\n", " - 0: 標準入力\n", " - 1: 標準出力\n", " - 2: 標準エラー出力\n", " - 以降は3から連番で割り当てられていく\n", "\n", "![](https://www.computerhope.com/jargon/f/file-descriptor.jpg) \n", "【画像引用元】[What is file descriptor?](https://www.computerhope.com/jargon/f/file-descriptor.htm)" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### ファイルディスクリプタには上限がある\n", "\n", "- 上限を超えると「Too many open files」のようなエラーが出力される\n", "- `ulimit -n`というコマンドで確認できる\n", "- 上限を増やす方法もある\n", " - `/etc/security/limits.conf`らへんをいじる" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## ファイルディスクリプタを確認する\n", "\n", "1. 適当なコードを実行する(`sleep 365d > /dev/null &`とか)\n", "2. `ps`コマンドでそのプロセスのPIDを確認\n", "3. `ls /proc//fd -o`でファイルディスクリプタの一覧とそれぞれがどこを指しているのかが見れる" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "### ちょっとやってみる\n", "\n", "- 環境はCentOS" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## CPUの動作モードについて" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "### リングプロテクション\n", "\n", "- 複数の特権レベルの階層構造を持ったコンピュータアーキテクチャの一種\n", "- 0がクラッシュすれば全部死ぬが、2がクラッシュしても3にしか影響がない(要出典)\n", "- リング間には特別なゲートがあり、そこを通らないと外側から内側には入れない\n", " - ハードウェアアクセスはリング1のでバイトドライバで行うが、リング3のプログラムが勝手にwebカメラをONにできない\n", "- UNIX, Windowsともに0と3しか使用していない\n", "\n", "![](https://upload.wikimedia.org/wikipedia/commons/thumb/2/2f/Priv_rings.svg/300px-Priv_rings.svg.png) \n", "\n", "- 【画像引用元】[リングプロテクション - Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%AA%E3%83%B3%E3%82%B0%E3%83%97%E3%83%AD%E3%83%86%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3)\n", "\n", "- 【参考】[カーネルモード・ユーザモード - マイクロソフト系技術情報 Wiki](https://techinfoofmicrosofttech.osscons.jp/index.php?%E3%82%AB%E3%83%BC%E3%83%8D%E3%83%AB%E3%83%A2%E3%83%BC%E3%83%89%E3%83%BB%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%A2%E3%83%BC%E3%83%89)" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## 2つのモード\n", "\n", "- CPUによって異なる\n", "\n", "### カーネルモード\n", "\n", "- 別名、「スーパーバイザーモード」、「特権モード」など\n", "- 完全に無制限のCPU動作を許す\n", "- 任意の命令を実行できる\n", "- 入出力操作を開始できる\n", "- 全メモリ空間にアクセス可能\n", "\n", "### ユーザーモード\n", "\n", "- 別名、「スレーブモード」など\n", "- 一般的なアプリケーションが動作する\n", "- 一部の命令が実行できない\n", "- 入出力操作ができない\n", "- メモリ空間の一部にアクセスできない\n", "\n" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "notes" } }, "source": [ "## キーワード\n", "- OOM Killer\n", "\n", "### ユーザー空間\n", "- アプリケーションが使用するメモリ領域\n", "\n", "### カーネル空間\n", "- カーネルが使用するメモリ領域" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## システムコールとは" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## システムコールとは\n", "\n", "- 特権モードでOSの機能を呼ぶこと\n", " - 特権モードでのみ許されている機能をユーザーモードのアプリケーションから使える\n", "- OSの備える関数 (API) のことを指すこともある\n", "\n", "> システムコールが発行されると、ユーザーモードからカーネルモードへのコンテキストスイッチが起こり、高い特権レベルで実行される(しすぱふぉ本p89)\n", "\n", "> ユーザーアプリケーションは抽象キー( = ファイル記述子 )をシステムコール経由でカーネルに渡し、カーネルはそのキーに対応するファイルにアクセスする(wiki)\n", "\n", "\n", "- FreeBSDは530種類ほど(?)\n", "- Linuxは317個ほど(?)\n", "\n" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### ないとどうなるのか\n", "\n", "- 計算はできるが以下のことができない\n", " - 結果を画面に出力できない\n", " - プロセス間通信が必要\n", " - 結果をファイルに保存できない\n", " - ファイル入出力の機能が必要\n", " - 結果を共有メモリに書き出すことができない\n", " - 共有メモリを作成する機能が必要\n", " - 結果を外部のウェブサービスなどに送信することもできない\n", " - 外部のウェブサービスと通信する機能が必要\n", " \n", " " ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "### システムコールの例\n", "\n", "- open,close\n", "- read,write\n", "- fork,kill など\n", "\n" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "notes" } }, "source": [ "- http://man7.org/linux/man-pages/man2/syscalls.2.html (あとで読む)\n", "- https://godoc.org/golang.org/x/sys/unix (あとで読む)" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "# 本題: Goで潜る\n", "\n", "- IDEの「Goto Definetion」などの機能で潜っていく\n", "- 下の方はOSによって変わってくるけど、今回はMac" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## 適当な自作Goコード\n", "\n", "\n", "```\n", "func main() {\n", "\tfile, err := os.Create(\"test.txt\") // ←ここに入る\n", "\tif err != nil {\n", "\t\tpanic(err)\n", "\t}\n", "\tdefer file.Close()\n", "\tfile.Write([]byte(\"system call example\\n\"))\n", "}\n", "```\n", "\n", "### 簡単な説明\n", "\n", "- `os.Create`で「test.txt」というファイルを作成\n", "- `file.Write`でバイト文字列を書き込み\n", "- 関数を抜けるタイミングでfileをClose" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## /usr/local/opt/go/libexec/src/os/file.go\n", "\n", "```\n", "// Create creates the named file with mode 0666 (before umask), truncating\n", "// it if it already exists. If successful, methods on the returned\n", "// File can be used for I/O; the associated file descriptor has mode\n", "// O_RDWR.\n", "// If there is an error, it will be of type *PathError.\n", "func Create(name string) (*File, error) {\n", "\treturn OpenFile(name, O_RDWR|O_CREATE|O_TRUNC, 0666) // ←ここに入る\n", "}\n", "```\n", "\n", "### 簡単な説明\n", "\n", "- ここから先はGo言語の内部\n", "- `Create()`は`OpenFile()`を使いやすくする便利関数のようなもの" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## /usr/local/opt/go/libexec/src/os/file.go(同じファイル)\n", "\n", "```\n", "// OpenFile is the generalized open call; most users will use Open\n", "// or Create instead. It opens the named file with specified flag\n", "// (O_RDONLY etc.) and perm (before umask), if applicable. If successful,\n", "// methods on the returned File can be used for I/O.\n", "// If there is an error, it will be of type *PathError.\n", "func OpenFile(name string, flag int, perm FileMode) (*File, error) {\n", "\ttestlog.Open(name)\n", "\treturn openFileNolog(name, flag, perm) // ←ここに入る\n", "}\n", "```\n", "\n", "\n", "### コメントの翻訳\n", "\n", "> OpenFile()関数は一般化されたオープンコールです。ほとんどのユーザーはOpen()またはCreate()を代わりに使用します。該当する場合には、指定されたフラグ（O_RDONLYなど）とperm（umaskの前）で名前付きファイルを開きます。成功した場合は、返されたFileのメソッドをI /Oに使用できます。エラーがある場合、* PathError型になります。\n", "\n", "- よくわからん！" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## /usr/local/opt/go/libexec/src/os/file_unix.go\n", "\n", "\n", "```\n", "// openFileNolog is the Unix implementation of OpenFile.\n", "func openFileNolog(name string, flag int, perm FileMode) (*File, error) {\n", "\tsetSticky := false\n", "\tif !supportsCreateWithStickyBit && flag&O_CREATE != 0 && perm&ModeSticky != 0 {\n", "\t\tif _, err := Stat(name); IsNotExist(err) {\n", "\t\t\tsetSticky = true\n", "\t\t}\n", "\t}\n", "\n", "\tvar r int\n", "\tfor {\n", "\t\tvar e error\n", "\t\tr, e = syscall.Open(name, flag|syscall.O_CLOEXEC, syscallMode(perm)) // ←ここに入る\n", "\t\tif e == nil {\n", "\t\t\tbreak\n", "\t\t}\n", "..\n", "..\n", "..\n", "```\n", "\n", "- この関数はさっきの`OpenFile()`のUnix実装版\n", "- 色々書いているが`syscall.Open()`という関数を実行している部分がある\n", " - システムコールだ！" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## /usr/local/opt/go/libexec/src/syscall/zsyscall_darwin_amd64.go\n", "\n", "```\n", "// THIS FILE IS GENERATED BY THE COMMAND AT THE TOP; DO NOT EDIT\n", "\n", "func Open(path string, mode int, perm uint32) (fd int, err error) {\n", "\tvar _p0 *byte\n", "\t_p0, err = BytePtrFromString(path)\n", "\tif err != nil {\n", "\t\treturn\n", "\t}\n", "\tr0, _, e1 := Syscall(SYS_OPEN, uintptr(unsafe.Pointer(_p0)), uintptr(mode), uintptr(perm)) // ←ここに入る\n", "\tfd = int(r0)\n", "\tif e1 != 0 {\n", "\t\terr = errnoErr(e1)\n", "\t}\n", "\treturn\n", "}\n", "```\n", "\n", "- ファイル名の「Darwin」はApple製のUnix系のPOSIX準拠OSの名前\n", " - OSS\n", " - Intel Macではないインテル機でも動作する\n", "- コメントにはこのコードはGo言語の処理系に含まれるツールによって自動生成されているとある\n", "- Go形式の文字列をC形式の文字列に変換してる\n", " - システムコールに渡せるのが数値だけだから\n", "- SYS_OPENは指示するための番号として各OSのヘッダーファイルなどから自動生成された定数" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "## /usr/local/opt/go/libexec/src/syscall/asm_darwin_amd64.s\n", "\n", "```\n", "// func Syscall(trap, a1, a2, a3 uintptr) (r1, r2 uintptr, err Errno);\n", "TEXT\t·Syscall(SB),NOSPLIT,$0-56\n", "\tCALL\truntime·entersyscall(SB)\n", "\tMOVQ\ta1+8(FP), DI\n", "\tMOVQ\ta2+16(FP), SI\n", "\tMOVQ\ta3+24(FP), DX\n", "\tMOVQ\t$0, R10\n", "\tMOVQ\t$0, R8\n", "\tMOVQ\t$0, R9\n", "\tMOVQ\ttrap+0(FP), AX\t// syscall entry\n", "\tADDQ\t$0x2000000, AX\n", "\tSYSCALL // ←ここでシステムコール！\n", "\tJCC\tok\n", "\tMOVQ\t$-1, r1+32(FP)\n", "\tMOVQ\t$0, r2+40(FP)\n", "\tMOVQ\tAX, err+48(FP)\n", "\tCALL\truntime·exitsyscall(SB)\n", "\tRET\n", "ok:\n", "\tMOVQ\tAX, r1+32(FP)\n", "\tMOVQ\tDX, r2+40(FP)\n", "\tMOVQ\t$0, err+48(FP)\n", "\tCALL\truntime·exitsyscall(SB)\n", "\tRET\n", "```\n", "\n", "- ついにアセンブリ言語！\n", "- SYSCALLの中で`entersyscall()`関数と`exitsyscall()`関数が呼ばれる\n", " - これらはスレッドを作成するための処理が必要になるまで行わないために使われる\n", " - スレッド作成は重い処理だから" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "# 所感\n", "\n", "- 抽象化の仕方絶妙すぎる\n", " - 激強マンは知識量はもちろんのこと、実装力も強い\n", "- Windowsは内部コードを公開していないので、言語実装者はMSの用意したAPIを使うしかなく、それって大変そう\n", "- OS側を理解するためにはCPUのレジスタなどをざっくり知る必要があるなと思った" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "# 参考(編集中)\n", "\n", "- Goならわかるシステムプログラミング\n", " - Real World HTTPと同じ著者\n", "\n", "- 絵で見てわかる\n", " - http://d.hatena.ne.jp/higher_tomorrow/20110426/1303830417\n", "\n", "- おもろい\n", " - http://www.atmarkit.co.jp/ait/articles/1112/13/news117.html\n", " - システムコールを使いすぎると遅くなることをCで手を動かして確認するう\n" ] } ], "metadata": { "celltoolbar": "Slideshow", "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.1" }, "toc": { "nav_menu": {}, "number_sections": false, "sideBar": true, "skip_h1_title": false, "toc_cell": false, "toc_position": {}, "toc_section_display": "block", "toc_window_display": false } }, "nbformat": 4, "nbformat_minor": 2 }