{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# 如何使用jieba結巴中文分詞" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "![tag-cloud](https://ithelp.ithome.com.tw/upload/images/20171219/20107576LXAdzuZue5.png)" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Note: 本文主要修改與擷取了[林志傑-如何使用 JIEBA 結巴中文分詞程式](http://blog.fukuball.com/ru-he-shi-yong-jieba-jie-ba-zhong-wen-fen-ci-cheng-shi/)的內容。\n", "文字雲的圖像來源為[GoatWang-2018 iT 邦幫忙鐵人賽](https://ithelp.ithome.com.tw/articles/10192043?sc=rss.qu)。\n", "\n", "對中文的斷詞有興趣強烈建議可以參考:[中文斷詞：斷句不要悲劇](https://speakerdeck.com/fukuball/head-first-chinese-text-segmentation)\n", "\n", "本文主要是為了後續介詔word2vec的理論與實作的前置準備。" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "自然語言處理(Natural Language Processing)的其中一個重要環節就是中文斷詞的處理，比起英文斷詞，中文斷詞在先天上就比較難處理，比如電腦要怎麼知道「全台大停電」要斷詞成「全台 / 大 / 停電」呢？如果是英文「Power outage all over Taiwan」，就可以直接用空白字元來斷成「Power / outage / all / over / Taiwan」，可見中文斷詞真的是一個大問題啊～!" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "[结巴 (jieba) 中文分詞](https://github.com/fxsjy/jieba)是很好很簡單使用的Python中文分詞函式庫。\n", "它有以下的特色:\n", "* 支持三種分詞模式：\n", " * 精確模式，試圖將句子最精確地切開，適合文本分析。\n", " * 全模式，把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但是不能解決歧義。\n", " * 搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜索引擎分詞。\n", "* 支持繁體分詞\n", "* 支持自定義詞典\n", "* MIT授權協議\n", "\n", "jieba中文斷詞所使用的演算法是基於 Trie Tree 結構去生成句子中中文字所有可能成詞的情況，然後使用動態規劃（Dynamic programming）算法來找出最大機率的路徑，這個路徑就是基於詞頻的最大斷詞結果。對於辨識新詞（字典詞庫中不存在的詞）則使用了 HMM 模型（Hidden Markov Model）及 Viterbi 算法來辨識出來。\n", "\n", "在[中文斷詞-by Mark Chang](https://www.slideshare.net/ckmarkohchang/chinese-words-segmentation-tutorial)的分享裡有詳細的解說。" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 安裝 jieba\n", "\n", "方法#1\n", "`pip install jieba`\n", "\n", "方法#2\n", "`conda install -c conda-forge jieba`" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 基本斷詞用法，使用預設詞庫\n", "\n", "三種分詞模式示範：\n", "* 精確模式，試圖將句子最精確地切開，適合文本分析。\n", "* 全模式，把句子中所有的可以成詞的詞語都掃描出來，速度非常快，但是不能解決歧義。\n", "* 搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜索引擎分詞。" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Building prefix dict from the default dictionary ...\n", "Loading model from cache /var/folders/vt/rfsxsh1j2b51dffzl9p5v72ngb1v7q/T/jieba.cache\n", "Loading model cost 0.929 seconds.\n", "Prefix dict has been built succesfully.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "全模式: 我/ 來/ 到/ 新竹/ 清/ 華/ 大/ 學\n", "精確模式: 我來/ 到/ 新竹/ 清華大學\n", "精確模式(預設): 他來/ 到/ 了/ 台北/ 101/ 大樓\n", "搜索引擎模式模式: Apache/ / Spark/ 是/ 一個/ 開源/ 叢集/ 運算/ 框架/ ，/ 最初/ 是/ 由/ 加州/ 大學柏克萊/ 分校/ AMPLab/ 所開發/ 。\n" ] } ], "source": [ "# encoding=utf-8\n", "import jieba\n", "\n", "seg_list = jieba.cut(\"我來到新竹清華大學\", cut_all=True)\n", "print(\"全模式: \" + \"/ \".join(seg_list)) # 全模式\n", "\n", "seg_list = jieba.cut(\"我來到新竹清華大學\", cut_all=False)\n", "print(\"精確模式: \" + \"/ \".join(seg_list)) # 精確模式\n", "\n", "seg_list = jieba.cut(\"他來到了台北101大樓\") # 預設為精確模式\n", "print(\"精確模式(預設): \" +\"/ \".join(seg_list))\n", "\n", "seg_list = jieba.cut_for_search(\"Apache Spark是一個開源叢集運算框架，最初是由加州大學柏克萊分校AMPLab所開發。\") # 搜索引擎模式\n", "print(\"搜索引擎模式模式: \" +\"/ \".join(seg_list))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "據原作者的說法，使用預設詞庫的話，繁體中文的斷詞結果應該會比較差，畢竟原來的詞庫是簡體中文。我們接下來試試看中文歌詞的斷詞結果如何。\n", "\n", "現在我們使用[回聲樂團 - 座右銘](http://www.indievox.com/song/1)的歌詞作為中文斷詞測試範例，歌詞我們先做成一個純文字檔lyric.txt置放到跟這個jupyter notebook相同的目錄下。\n", "\n", "內容如下：\n", "\n", ">我沒有心\n", "我沒有真實的自我\n", "我只有消瘦的臉孔\n", "所謂軟弱\n", "所謂的順從一向是我\n", "的座右銘\n", "\n", ">而我\n", "沒有那海洋的寬闊\n", "我只要熱情的撫摸\n", "所謂空洞\n", "所謂不安全感是我\n", "的墓誌銘\n", "\n", ">而你\n", "是否和我一般怯懦\n", "是否和我一般矯作\n", "和我一般囉唆\n", "\n", ">而你\n", "是否和我一般退縮\n", "是否和我一般肌迫\n", "一般地困惑\n", "\n", ">我沒有力\n", "我沒有滿腔的熱火\n", "我只有滿肚的如果\n", "所謂勇氣\n", "所謂的認同感是我\n", "隨便說說\n", "\n", ">而你\n", "是否和我一般怯懦\n", "是否和我一般矯作\n", "是否對你來說\n", "只是一場遊戲\n", "雖然沒有把握\n", "\n", ">而你\n", "是否和我一般退縮\n", "是否和我一般肌迫\n", "是否對你來說\n", "只是逼不得已\n", "雖然沒有藉口" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "精確模式: 我/ 沒/ 有心/ \n", "/ 我/ 沒/ 有/ 真實/ 的/ 自我/ \n", "/ 我/ 只有/ 消瘦/ 的/ 臉孔/ \n", "/ 所謂/ 軟弱/ \n", "/ 所謂/ 的/ 順/ 從/ 一向/ 是/ 我/ \n", "/ 的/ 座/ 右銘/ \n", "/ \n", "/ 而/ 我/ \n", "/ 沒有/ 那/ 海洋/ 的/ 寬闊/ \n", "/ 我/ 只要/ 熱情/ 的/ 撫/ 摸/ \n", "/ 所謂/ 空洞/ \n", "/ 所謂/ 不安全感/ 是/ 我/ \n", "/ 的/ 墓誌/ 銘/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 怯懦/ \n", "/ 是否/ 和/ 我/ 一般/ 矯作/ \n", "/ 和/ 我/ 一般/ 囉/ 唆/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 退縮/ \n", "/ 是否/ 和/ 我/ 一般/ 肌迫/ \n", "/ 一般/ 地/ 困惑/ \n", "/ \n", "/ 我/ 沒/ 有力/ \n", "/ 我/ 沒/ 有/ 滿腔/ 的/ 熱火/ \n", "/ 我/ 只有/ 滿肚/ 的/ 如果/ \n", "/ 所謂/ 勇氣/ \n", "/ 所謂/ 的/ 認/ 同感/ 是/ 我/ \n", "/ 隨便/ 說/ 說/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 怯懦/ \n", "/ 是否/ 和/ 我/ 一般/ 矯作/ \n", "/ 是否/ 對/ 你/ 來/ 說/ \n", "/ 只是/ 一場/ 遊戲/ \n", "/ 雖然/ 沒/ 有把握/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 退縮/ \n", "/ 是否/ 和/ 我/ 一般/ 肌迫/ \n", "/ 是否/ 對/ 你/ 來/ 說/ \n", "/ 只是/ 逼不得已/ \n", "/ 雖然/ 沒有/ 藉口/ \n", "\n" ] } ], "source": [ "import jieba\n", "\n", "content = open('lyric.txt', 'rb').read()\n", "\n", "seg_list = jieba.cut(content, cut_all=False)\n", "print(\"精確模式: \" + \"/ \".join(seg_list)) # 精確模式" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "我們可以從結果看出斷詞已經開始出了一些問題，比如「座右銘」被斷成了「座 / 右銘」，「墓誌銘」被斷成了「墓誌 / 銘」，這應該就是因為預設詞庫是簡體中文所造成，因此繁體中文的斷詞結果會比較差，還好 jieba 也提供了可以切換詞庫的功能，並提供了一個繁體中文詞庫，所以我們可以使用切換詞庫的功能來改善斷詞結果。" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 中文歌詞斷詞，使用繁體詞庫\n", "\n", "從 https://github.com/fxsjy/jieba/blob/master/extra_dict/dict.txt.big 下載繁體詞庫檔，置放到跟這個jupyter notebook相同的目錄下。\n" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "Building prefix dict from /Users/8703147/pythonworks/dict.txt.big ...\n", "Loading model from cache /var/folders/vt/rfsxsh1j2b51dffzl9p5v72ngb1v7q/T/jieba.u7693eb24db7dff9a9936cf7ca1f4b9b9.cache\n", "Loading model cost 1.590 seconds.\n", "Prefix dict has been built succesfully.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "精確模式: 我/ 沒有/ 心/ \n", "/ 我/ 沒有/ 真實/ 的/ 自我/ \n", "/ 我/ 只有/ 消瘦/ 的/ 臉孔/ \n", "/ 所謂/ 軟弱/ \n", "/ 所謂/ 的/ 順從/ 一向/ 是/ 我/ \n", "/ 的/ 座右銘/ \n", "/ \n", "/ 而/ 我/ \n", "/ 沒有/ 那/ 海洋/ 的/ 寬闊/ \n", "/ 我/ 只要/ 熱情/ 的/ 撫摸/ \n", "/ 所謂/ 空洞/ \n", "/ 所謂/ 不安全感/ 是/ 我/ \n", "/ 的/ 墓誌銘/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 怯懦/ \n", "/ 是否/ 和/ 我/ 一般/ 矯作/ \n", "/ 和/ 我/ 一般/ 囉唆/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 退縮/ \n", "/ 是否/ 和/ 我/ 一般/ 肌迫/ \n", "/ 一般/ 地/ 困惑/ \n", "/ \n", "/ 我/ 沒有/ 力/ \n", "/ 我/ 沒有/ 滿腔/ 的/ 熱火/ \n", "/ 我/ 只有/ 滿肚/ 的/ 如果/ \n", "/ 所謂/ 勇氣/ \n", "/ 所謂/ 的/ 認同感/ 是/ 我/ \n", "/ 隨便說說/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 怯懦/ \n", "/ 是否/ 和/ 我/ 一般/ 矯作/ \n", "/ 是否/ 對/ 你/ 來說/ \n", "/ 只是/ 一場/ 遊戲/ \n", "/ 雖然/ 沒有/ 把握/ \n", "/ \n", "/ 而/ 你/ \n", "/ 是否/ 和/ 我/ 一般/ 退縮/ \n", "/ 是否/ 和/ 我/ 一般/ 肌迫/ \n", "/ 是否/ 對/ 你/ 來說/ \n", "/ 只是/ 逼不得已/ \n", "/ 雖然/ 沒有/ 藉口/ \n", "\n" ] } ], "source": [ "import jieba\n", "\n", "# 指定使用繁體詞庫\n", "jieba.set_dictionary('dict.txt.big') \n", "\n", "content = open('lyric.txt', 'rb').read()\n", "\n", "seg_list = jieba.cut(content, cut_all=False)\n", "print(\"精確模式: \" + \"/ \".join(seg_list))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "我們在程式中多加一行 jieba.set_dictionary('dict.txt.big')，這樣就可以將斷詞詞庫切換到 dic.txt.big 這個檔案。\n", "\n", "得到的斷詞結果會是：\n", ">我 / 沒有 / 心 / 我 / 沒有 / 真實 / 的 / 自我 / 我 / 只有 / 消瘦 / 的 / 臉孔 / 所謂 / 軟弱 / 所謂 / 的 / 順從 / 一向 / 是 / 我 / 的 / 座右銘 / 而 / 我 / 沒有 / 那 / 海洋 / 的 / 寬闊 / 我 / 只要 / 熱情 / 的 / 撫摸 / 所謂 / 空洞 / 所謂 / 不安全感 / 是 / 我 / 的 / 墓誌銘 / 而 / 你 / 是否 / 和 / 我 / 一般 / 怯懦 / 是否 / 和 / 我 / 一般 / 矯作 / 和 / 我 / 一般 / 囉唆 / 而 / 你 / 是否 / 和 / 我 / 一般 / 退縮 / 是否 / 和 / 我 / 一般 / 肌迫 / 一般 / 地 / 困惑 / 我 / 沒有 / 力 / 我 / 沒有 / 滿腔 / 的 / 熱火 / 我 / 只有 / 滿肚 / 的 / 如果 / 所謂 / 勇氣 / 所謂 / 的 / 認同感 / 是 / 我 / 隨便說說 / 而 / 你 / 是否 / 和 / 我 / 一般 / 怯懦 / 是否 / 和 / 我 / 一般 / 矯作 / 是否 / 對 / 你 / 來說 / 只是 / 一場 / 遊戲 / 雖然 / 沒有 / 把握 / 而 / 你 / 是否 / 和 / 我 / 一般 / 退縮 / 是否 / 和 / 我 / 一般 / 肌迫 / 是否 / 對 / 你" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "我們可以看到「座右銘」成功斷成「座右銘」了！「墓誌銘」也成功斷成「墓誌銘」了！果然切換成繁體中文詞庫還是有用的！" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### 參考\n", "* [林志傑-如何使用 JIEBA 結巴中文分詞程式](http://blog.fukuball.com/ru-he-shi-yong-jieba-jie-ba-zhong-wen-fen-ci-cheng-shi/)\n", "* [结巴中文分词Github](https://github.com/fxsjy/jieba)\n", "* [中文斷詞：斷句不要悲劇](https://speakerdeck.com/fukuball/head-first-chinese-text-segmentation)\n", "* [結巴斷詞器與FastTag](http://blog.pulipuli.info/2017/11/fasttag-identify-part-of-speech-in.html)\n", "* [中文自然語言處理基礎](https://ithelp.ithome.com.tw/articles/10192043?sc=rss.qu)" ] }, { "cell_type": "code", "execution_count": null, "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.5.4" } }, "nbformat": 4, "nbformat_minor": 2 }