comput\n",
"Computation => comput\n",
"Computing => comput\n",
"Computed => comput\n",
"Compute => comput\n",
"Compulsive => compuls\n"
]
}
],
"source": [
"try:\n",
" import nltk\n",
"\n",
" stemmer = nltk.PorterStemmer()\n",
" for word in (\"Computations\", \"Computation\", \"Computing\", \"Computed\", \"Compute\", \"Compulsive\"):\n",
" print(word, \"=>\", stemmer.stem(word))\n",
"except ImportError:\n",
" print(\"Error: stemming requires the NLTK module.\")\n",
" stemmer = None"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"인터넷 주소는 \"URL\" 문자로 바꾸겠습니다. [정규식](https://mathiasbynens.be/demo/url-regex)을 하드 코딩할 수도 있지만 [urlextract](https://github.com/lipoja/URLExtract) 라이브러리를 사용하겠습니다. 다음 명령으로 설치합니다(먼저 virtualenv 환경을 활성화시켜야 합니다. 별도의 환경이 없다면 어드민 권한이 필요할지 모릅니다. 아니면 `--user` 옵션을 사용하세요):\n",
"\n",
"`$ pip install urlextract`"
]
},
{
"cell_type": "code",
"execution_count": 147,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.115501Z",
"iopub.status.busy": "2021-11-03T04:28:21.114344Z",
"iopub.status.idle": "2021-11-03T04:28:21.116123Z",
"shell.execute_reply": "2021-11-03T04:28:21.116543Z"
}
},
"outputs": [],
"source": [
"# 코랩에서 이 노트북을 실행하려면 먼저 pip install urlextract을 실행합니다\n",
"try:\n",
" import google.colab\n",
" %pip install -q -U urlextract\n",
"except ImportError:\n",
" pass # 코랩에서는 실행되지 않음"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**노트:** 주피터 노트북에서는 항상 `!pip` 대신 `%pip`를 사용해야 합니다. `!pip`는 다른 환경에 라이브러리를 설치할 수 있기 때문입니다. 반면 `%pip`는 현재 실행 중인 환경에 설치됩니다."
]
},
{
"cell_type": "code",
"execution_count": 148,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.120656Z",
"iopub.status.busy": "2021-11-03T04:28:21.120064Z",
"iopub.status.idle": "2021-11-03T04:28:21.268470Z",
"shell.execute_reply": "2021-11-03T04:28:21.268892Z"
}
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"['github.com', 'https://youtu.be/7Pq-S557XQU?t=3m32s']\n"
]
}
],
"source": [
"try:\n",
" import urlextract # 루트 도메인 이름을 다운로드하기 위해 인터넷 연결이 필요할지 모릅니다\n",
" \n",
" url_extractor = urlextract.URLExtract()\n",
" print(url_extractor.find_urls(\"Will it detect github.com and https://youtu.be/7Pq-S557XQU?t=3m32s\"))\n",
"except ImportError:\n",
" print(\"Error: replacing URLs requires the urlextract module.\")\n",
" url_extractor = None"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"이들을 모두 하나의 변환기로 연결하여 이메일을 단어 카운트로 바꿀 것입니다. 파이썬의 `split()` 메서드를 사용하면 구둣점과 단어 경계를 기준으로 문장을 단어로 바꿉니다. 이 방법이 많은 언어에 통하지만 전부는 아닙니다. 예를 들어 중국어와 일본어는 일반적으로 단어 사이에 공백을 두지 않습니다. 베트남어는 음절 사이에 공백을 두기도 합니다. 여기서는 데이터셋이 (거의) 영어로 되어 있기 때문에 문제없습니다."
]
},
{
"cell_type": "code",
"execution_count": 149,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.278776Z",
"iopub.status.busy": "2021-11-03T04:28:21.277526Z",
"iopub.status.idle": "2021-11-03T04:28:21.279412Z",
"shell.execute_reply": "2021-11-03T04:28:21.279817Z"
}
},
"outputs": [],
"source": [
"from sklearn.base import BaseEstimator, TransformerMixin\n",
"\n",
"class EmailToWordCounterTransformer(BaseEstimator, TransformerMixin):\n",
" def __init__(self, strip_headers=True, lower_case=True, remove_punctuation=True,\n",
" replace_urls=True, replace_numbers=True, stemming=True):\n",
" self.strip_headers = strip_headers\n",
" self.lower_case = lower_case\n",
" self.remove_punctuation = remove_punctuation\n",
" self.replace_urls = replace_urls\n",
" self.replace_numbers = replace_numbers\n",
" self.stemming = stemming\n",
" def fit(self, X, y=None):\n",
" return self\n",
" def transform(self, X, y=None):\n",
" X_transformed = []\n",
" for email in X:\n",
" text = email_to_text(email) or \"\"\n",
" if self.lower_case:\n",
" text = text.lower()\n",
" if self.replace_urls and url_extractor is not None:\n",
" urls = list(set(url_extractor.find_urls(text)))\n",
" urls.sort(key=lambda url: len(url), reverse=True)\n",
" for url in urls:\n",
" text = text.replace(url, \" URL \")\n",
" if self.replace_numbers:\n",
" text = re.sub(r'\\d+(?:\\.\\d*)?(?:[eE][+-]?\\d+)?', 'NUMBER', text)\n",
" if self.remove_punctuation:\n",
" text = re.sub(r'\\W+', ' ', text, flags=re.M)\n",
" word_counts = Counter(text.split())\n",
" if self.stemming and stemmer is not None:\n",
" stemmed_word_counts = Counter()\n",
" for word, count in word_counts.items():\n",
" stemmed_word = stemmer.stem(word)\n",
" stemmed_word_counts[stemmed_word] += count\n",
" word_counts = stemmed_word_counts\n",
" X_transformed.append(word_counts)\n",
" return np.array(X_transformed)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"이 변환기를 몇 개의 이메일에 적용해 보겠습니다:"
]
},
{
"cell_type": "code",
"execution_count": 150,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.304579Z",
"iopub.status.busy": "2021-11-03T04:28:21.301700Z",
"iopub.status.idle": "2021-11-03T04:28:21.307873Z",
"shell.execute_reply": "2021-11-03T04:28:21.308267Z"
}
},
"outputs": [
{
"data": {
"text/plain": [
"array([Counter({'chuck': 1, 'murcko': 1, 'wrote': 1, 'stuff': 1, 'yawn': 1, 'r': 1}),\n",
" Counter({'the': 11, 'of': 9, 'and': 8, 'all': 3, 'christian': 3, 'to': 3, 'by': 3, 'jefferson': 2, 'i': 2, 'have': 2, 'superstit': 2, 'one': 2, 'on': 2, 'been': 2, 'ha': 2, 'half': 2, 'rogueri': 2, 'teach': 2, 'jesu': 2, 'some': 1, 'interest': 1, 'quot': 1, 'url': 1, 'thoma': 1, 'examin': 1, 'known': 1, 'word': 1, 'do': 1, 'not': 1, 'find': 1, 'in': 1, 'our': 1, 'particular': 1, 'redeem': 1, 'featur': 1, 'they': 1, 'are': 1, 'alik': 1, 'found': 1, 'fabl': 1, 'mytholog': 1, 'million': 1, 'innoc': 1, 'men': 1, 'women': 1, 'children': 1, 'sinc': 1, 'introduct': 1, 'burnt': 1, 'tortur': 1, 'fine': 1, 'imprison': 1, 'what': 1, 'effect': 1, 'thi': 1, 'coercion': 1, 'make': 1, 'world': 1, 'fool': 1, 'other': 1, 'hypocrit': 1, 'support': 1, 'error': 1, 'over': 1, 'earth': 1, 'six': 1, 'histor': 1, 'american': 1, 'john': 1, 'e': 1, 'remsburg': 1, 'letter': 1, 'william': 1, 'short': 1, 'again': 1, 'becom': 1, 'most': 1, 'pervert': 1, 'system': 1, 'that': 1, 'ever': 1, 'shone': 1, 'man': 1, 'absurd': 1, 'untruth': 1, 'were': 1, 'perpetr': 1, 'upon': 1, 'a': 1, 'larg': 1, 'band': 1, 'dupe': 1, 'import': 1, 'led': 1, 'paul': 1, 'first': 1, 'great': 1, 'corrupt': 1}),\n",
" Counter({'url': 4, 's': 3, 'group': 3, 'to': 3, 'in': 2, 'forteana': 2, 'martin': 2, 'an': 2, 'and': 2, 'we': 2, 'is': 2, 'yahoo': 2, 'unsubscrib': 2, 'y': 1, 'adamson': 1, 'wrote': 1, 'for': 1, 'altern': 1, 'rather': 1, 'more': 1, 'factual': 1, 'base': 1, 'rundown': 1, 'on': 1, 'hamza': 1, 'career': 1, 'includ': 1, 'hi': 1, 'belief': 1, 'that': 1, 'all': 1, 'non': 1, 'muslim': 1, 'yemen': 1, 'should': 1, 'be': 1, 'murder': 1, 'outright': 1, 'know': 1, 'how': 1, 'unbias': 1, 'memri': 1, 'don': 1, 't': 1, 'html': 1, 'rob': 1, 'sponsor': 1, 'number': 1, 'dvd': 1, 'free': 1, 'p': 1, 'join': 1, 'now': 1, 'from': 1, 'thi': 1, 'send': 1, 'email': 1, 'egroup': 1, 'com': 1, 'your': 1, 'use': 1, 'of': 1, 'subject': 1})],\n",
" dtype=object)"
]
},
"execution_count": 150,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"X_few = X_train[:3]\n",
"X_few_wordcounts = EmailToWordCounterTransformer().fit_transform(X_few)\n",
"X_few_wordcounts"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"제대로 작동하는 것 같네요!"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"이제 단어 카운트를 벡터로 변환해야 합니다. 이를 위해서 또 다른 변환기를 만들겠습니다. 이 변환기는 (자주 나타나는 단어 순으로 정렬된) 어휘 목록을 구축하는 `fit()` 메서드와 어휘 목록을 사용해 단어를 벡터로 바꾸는 `transform()` 메서드를 가집니다. 출력은 희소 행렬이 됩니다."
]
},
{
"cell_type": "code",
"execution_count": 151,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.315765Z",
"iopub.status.busy": "2021-11-03T04:28:21.315161Z",
"iopub.status.idle": "2021-11-03T04:28:21.318010Z",
"shell.execute_reply": "2021-11-03T04:28:21.318398Z"
}
},
"outputs": [],
"source": [
"from scipy.sparse import csr_matrix\n",
"\n",
"class WordCounterToVectorTransformer(BaseEstimator, TransformerMixin):\n",
" def __init__(self, vocabulary_size=1000):\n",
" self.vocabulary_size = vocabulary_size\n",
" def fit(self, X, y=None):\n",
" total_count = Counter()\n",
" for word_count in X:\n",
" for word, count in word_count.items():\n",
" total_count[word] += min(count, 10)\n",
" most_common = total_count.most_common()[:self.vocabulary_size]\n",
" self.vocabulary_ = {word: index + 1 for index, (word, count) in enumerate(most_common)}\n",
" return self\n",
" def transform(self, X, y=None):\n",
" rows = []\n",
" cols = []\n",
" data = []\n",
" for row, word_count in enumerate(X):\n",
" for word, count in word_count.items():\n",
" rows.append(row)\n",
" cols.append(self.vocabulary_.get(word, 0))\n",
" data.append(count)\n",
" return csr_matrix((data, (rows, cols)), shape=(len(X), self.vocabulary_size + 1))"
]
},
{
"cell_type": "code",
"execution_count": 152,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.322292Z",
"iopub.status.busy": "2021-11-03T04:28:21.321726Z",
"iopub.status.idle": "2021-11-03T04:28:21.327139Z",
"shell.execute_reply": "2021-11-03T04:28:21.327637Z"
}
},
"outputs": [
{
"data": {
"text/plain": [
"<3x11 sparse matrix of type ''\n",
"\twith 20 stored elements in Compressed Sparse Row format>"
]
},
"execution_count": 152,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"vocab_transformer = WordCounterToVectorTransformer(vocabulary_size=10)\n",
"X_few_vectors = vocab_transformer.fit_transform(X_few_wordcounts)\n",
"X_few_vectors"
]
},
{
"cell_type": "code",
"execution_count": 153,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.331544Z",
"iopub.status.busy": "2021-11-03T04:28:21.329715Z",
"iopub.status.idle": "2021-11-03T04:28:21.334546Z",
"shell.execute_reply": "2021-11-03T04:28:21.334077Z"
}
},
"outputs": [
{
"data": {
"text/plain": [
"array([[ 6, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],\n",
" [99, 11, 9, 8, 3, 1, 3, 1, 3, 2, 3],\n",
" [67, 0, 1, 2, 3, 4, 1, 2, 0, 1, 0]])"
]
},
"execution_count": 153,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"X_few_vectors.toarray()"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"이 행렬은 무엇을 의미하나요? 세 번째 행의 첫 번째 열의 65는 세 번째 이메일이 어휘 목록에 없는 단어를 65개 가지고 있다는 뜻입니다. 그 다음의 0은 어휘 목록에 있는 첫 번째 단어가 한 번도 등장하지 않는다는 뜻이고 그 다음의 1은 한 번 나타난다는 뜻입니다. 이 단어들이 무엇인지 확인하려면 어휘 목록을 보면 됩니다. 첫 번째 단어는 \"the\"이고 두 번째 단어는 \"of\"입니다."
]
},
{
"cell_type": "code",
"execution_count": 154,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.339014Z",
"iopub.status.busy": "2021-11-03T04:28:21.338431Z",
"iopub.status.idle": "2021-11-03T04:28:21.341409Z",
"shell.execute_reply": "2021-11-03T04:28:21.341812Z"
},
"scrolled": true
},
"outputs": [
{
"data": {
"text/plain": [
"{'the': 1,\n",
" 'of': 2,\n",
" 'and': 3,\n",
" 'to': 4,\n",
" 'url': 5,\n",
" 'all': 6,\n",
" 'in': 7,\n",
" 'christian': 8,\n",
" 'on': 9,\n",
" 'by': 10}"
]
},
"execution_count": 154,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"vocab_transformer.vocabulary_"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"이제 스팸 분류기를 훈련시킬 준비를 마쳤습니다! 전체 데이터셋을 변환시켜보죠:"
]
},
{
"cell_type": "code",
"execution_count": 155,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:21.421052Z",
"iopub.status.busy": "2021-11-03T04:28:21.376325Z",
"iopub.status.idle": "2021-11-03T04:28:59.043544Z",
"shell.execute_reply": "2021-11-03T04:28:59.042934Z"
}
},
"outputs": [],
"source": [
"from sklearn.pipeline import Pipeline\n",
"\n",
"preprocess_pipeline = Pipeline([\n",
" (\"email_to_wordcount\", EmailToWordCounterTransformer()),\n",
" (\"wordcount_to_vector\", WordCounterToVectorTransformer()),\n",
"])\n",
"\n",
"X_train_transformed = preprocess_pipeline.fit_transform(X_train)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**Note**: to be future-proof, we set `solver=\"lbfgs\"` since this will be the default value in Scikit-Learn 0.22."
]
},
{
"cell_type": "code",
"execution_count": 156,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:59.049446Z",
"iopub.status.busy": "2021-11-03T04:28:59.048743Z",
"iopub.status.idle": "2021-11-03T04:28:59.908517Z",
"shell.execute_reply": "2021-11-03T04:28:59.908930Z"
}
},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.\n",
"[Parallel(n_jobs=1)]: Done 1 out of 1 | elapsed: 0.2s remaining: 0.0s\n"
]
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"[CV] END ................................ score: (test=0.981) total time= 0.2s\n",
"[CV] END ................................ score: (test=0.984) total time= 0.3s\n"
]
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"[Parallel(n_jobs=1)]: Done 2 out of 2 | elapsed: 0.5s remaining: 0.0s\n"
]
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"[CV] END ................................ score: (test=0.991) total time= 0.4s\n"
]
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"[Parallel(n_jobs=1)]: Done 3 out of 3 | elapsed: 0.9s finished\n"
]
},
{
"data": {
"text/plain": [
"0.9854166666666666"
]
},
"execution_count": 156,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"from sklearn.linear_model import LogisticRegression\n",
"from sklearn.model_selection import cross_val_score\n",
"\n",
"log_clf = LogisticRegression(solver=\"lbfgs\", max_iter=1000, random_state=42)\n",
"score = cross_val_score(log_clf, X_train_transformed, y_train, cv=3, verbose=3)\n",
"score.mean()"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"98.5%가 넘네요. 첫 번째 시도치고 나쁘지 않습니다! :) 그러나 이 데이터셋은 비교적 쉬운 문제입니다. 더 어려운 데이터셋에 적용해 보면 결과가 그리 높지 않을 것입니다. 여러개의 모델을 시도해 보고 제일 좋은 것을 골라 교차 검증으로 세밀하게 튜닝해 보세요.\n",
"\n",
"하지만 전체 내용을 파악했으므로 여기서 멈추겠습니다. 테스트 세트에서 정밀도/재현율을 출력해 보겠습니다:"
]
},
{
"cell_type": "code",
"execution_count": 157,
"metadata": {
"execution": {
"iopub.execute_input": "2021-11-03T04:28:59.911895Z",
"iopub.status.busy": "2021-11-03T04:28:59.911311Z",
"iopub.status.idle": "2021-11-03T04:29:11.793159Z",
"shell.execute_reply": "2021-11-03T04:29:11.793726Z"
}
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"정밀도: 95.88%\n",
"재현율: 97.89%\n"
]
}
],
"source": [
"from sklearn.metrics import precision_score, recall_score\n",
"\n",
"X_test_transformed = preprocess_pipeline.transform(X_test)\n",
"\n",
"log_clf = LogisticRegression(solver=\"lbfgs\", max_iter=1000, random_state=42)\n",
"log_clf.fit(X_train_transformed, y_train)\n",
"\n",
"y_pred = log_clf.predict(X_test_transformed)\n",
"\n",
"print(\"정밀도: {:.2f}%\".format(100 * precision_score(y_test, y_pred)))\n",
"print(\"재현율: {:.2f}%\".format(100 * recall_score(y_test, y_pred)))"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.3"
},
"nav_menu": {},
"toc": {
"navigate_menu": true,
"number_sections": true,
"sideBar": true,
"threshold": 6,
"toc_cell": false,
"toc_section_display": "block",
"toc_window_display": false
}
},
"nbformat": 4,
"nbformat_minor": 1
}
|
![](\"https://www.tensorflow.org/images/colab_logo_32px.png\"){kind=logo}
구글 코랩에서 실행하기\n",
"