{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# **10,000 개의 레시피 메뉴명 크롤링**\n",
    "```python\n",
    "from momukji import recipeMan\n",
    "recipe = recipeMan()\n",
    "recipe.menu_list(1)[:5]\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **1 분류용 Tag 데이터 수집 및 전처리**\n",
    "식재료 분류기준 Tag 수집\n",
    "1. 분석용인 만큼 빠르게 진행할 수 있도록 작업하기\n",
    "```python\n",
    "'<title.*?>(.+?)</title>'  # 특정태그\n",
    "\"<[^>]+>|[^<]+\"            # html 태그 내부의 한글 추출\n",
    "'<.*?>'                    # 모든 태그\n",
    "reg_table = '<table.*?>(.+?)</table>'\n",
    "reg_table = '<font.*?>(.+?)</font>'\n",
    "reg_table = '<.*?>'\n",
    "reg_table = \"<table.*?>(.*?)\"\n",
    "reg_table = '<table class=\"wtable3\" .*?>(.*?)</table>'\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "```\n",
    "계량법 안내\n",
    "1큰술(1T, 1Ts) = 1숟가락 \t15ml = 3t (밥숟가락 뜨면 1큰술)\n",
    "1작은술(1t, 1ts)              5ml (티스푼으로는 2스푼이 1작은술)\n",
    "1컵(1Cup, 1C) \t200ml = 16T (한국,중국,일본)\n",
    "(서양(미국)은 1C가 240~250ml\n",
    "1종이컵 \t180ml\n",
    "1oz \t28.3g\n",
    "1파운드(lb) \t약 0.453 킬로그램(kg)\n",
    "1갤런(gallon) \t약 3.78 리터(ℓ)\n",
    "1꼬집 \t약 2g 정도이며 '약간'이라고 표현하기도 함\n",
    "조금   \t약간의 2~3배\n",
    "적당량 \t기호에 따라 마음대로 조절해서 넣으란 표현\n",
    "1줌 \t    한손 가득\n",
    "(예시 : 멸치 1줌 = 국멸치인 경우 12~15마리, 나물 1줌은 50g)\n",
    "크게 1줌 = 2줌 \t1줌의 두배\n",
    "1주먹 \t여자 어른의 주먹크기, 고기로는 100g\n",
    "1토막 \t2~3cm두께 정도의 분량\n",
    "마늘 1톨 \t깐 마늘 한쪽\n",
    "생강 1쪽 \t마늘 1톨의 크기와 비슷\n",
    "생강 1톨 \t아기 손바닥만한 크기의 통생강 1개\n",
    "고기 1근 \t600g\n",
    "채소 1근 \t400g\n",
    "채소 1봉지 \t200g 정도\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 1/1 [00:00<00:00,  2.25it/s]\n"
     ]
    }
   ],
   "source": [
    "from urllib import parse, request\n",
    "from lxml.html import fromstring, tostring\n",
    "from tqdm import tqdm\n",
    "import time\n",
    "url = \"http://www.10000recipe.com/recipe/list.html?order=date&page=\"\n",
    "\n",
    "# 전체 페이지에서 메뉴명과 Link 수집하기\n",
    "def web_to_list(no):\n",
    "    resp = request.urlopen(url+str(no)).read().decode('utf-8')\n",
    "    resp_lxml  = fromstring(resp)\n",
    "    title_list = resp_lxml.xpath('.//div[@class=\"row\"]/div[@class=\"col-xs-3\"]/a[@class=\"thumbnail\"]')\n",
    "    return [(_.get('href'), _.xpath('./div[@class=\"caption\"]/h4//text()')[0])  for _ in title_list]\n",
    "\n",
    "result = []\n",
    "for _ in tqdm(range(1, 2)): # 3216\n",
    "    result += web_to_list(_)\n",
    "    time.sleep(0.3)\n",
    "# import pandas as pd\n",
    "# pd.DataFrame(result).to_csv(\"10000title.csv\", header=None, index=None)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **2 메뉴별 세부정보 수집 Type01**\n",
    "레시피와 Tag 정보를 중심으로 수집 및 전처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<Element html at 0x7fae2812c458>"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from urllib import parse\n",
    "# url = 'http://'+parse.urlsplit(url).netloc + result[10][0]\n",
    "url = 'http://www.10000recipe.com/recipe/6923645'\n",
    "resp = request.urlopen(url).read().decode('utf-8')\n",
    "resp_lxml = fromstring(resp)\n",
    "resp_lxml"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['',\n",
       " '',\n",
       " '[재료]',\n",
       " '',\n",
       " '핫도그파우더3컵, 찹쌀가루반컵, 우유(농도에 맞게 가감)2컵, 베이킹파우더미량, 소세지큰거3개, 미니소세지(300g)1봉, 모짜렐라치즈, 나무젓가락, 식용유, 빵가루',\n",
       " '',\n",
       " '']"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "xpath_ingre = '//div[@id=\"contents_area\"]/div[@class=\"view_cont\"]/div[@class=\"cont_ingre\"]//text()'\n",
    "cont_ingre = resp_lxml.xpath(xpath_ingre)\n",
    "# cont_ingre = [_.strip()   for _ in cont_ingre   if len(_.strip()) > 2]\n",
    "[_.strip() for _ in cont_ingre]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **3 메뉴별 세부정보 수집 Type 02**\n",
    "레시피와 Tag 정보를 중심으로 수집 및 전처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "('#소고기미역죽,#미역죽,#소고기,#죽 끓이기,#든든한 한그릇,#겨울보양죽,#김하진,#알토란,#tv요리',\n",
       " ['[재료]',\n",
       "  '소고기|300gm,불린쌀|2컵,참기름|5큰술,마른미역|30g,된장|1큰술,달걀노른자|,통깨|적당량',\n",
       "  '[육수재료]',\n",
       "  '대파|1대,통마늘|15개,무|100g,양파|1/2개,저민생강|10g,통후추|1큰술,물|20컵'])"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# url ='http://www.10000recipe.com/recipe/6923533'\n",
    "url = 'http://www.10000recipe.com/recipe/6923600'\n",
    "resp = request.urlopen(url).read().decode('utf-8')\n",
    "resp_lxml  = fromstring(resp)\n",
    "\n",
    "# 여러 줄 재료목록 수집기\n",
    "xpath_ingre = '//div[@id=\"divConfirmedMaterialArea\"]//ul'\n",
    "xpath_tag   = './/div[@id=\"contents_area\"]/div[@class=\"view_step\"]/div[@class=\"view_tag\"]/a//text()'\n",
    "cont_ingre  = resp_lxml.xpath(xpath_ingre)\n",
    "result = []\n",
    "if len(cont_ingre) != 0:\n",
    "    for _ in cont_ingre:\n",
    "        result.append(\"\".join(_.xpath('.//b//text()')))\n",
    "        result_temp = [\"\".join(item.xpath('./text()')).strip() +\\\n",
    "                                     \"|\"+ \"\".join(item.xpath('./span/text()')) \n",
    "                       for item in _.xpath('.//li')]\n",
    "        result.append(\",\".join(result_temp))\n",
    "\",\".join(resp_lxml.xpath(xpath_tag)), result"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## **4 Class 함수로 정리 및 묶기**\n",
    "작업 내용을 Class 함수로 묶기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "from urllib import parse, request\n",
    "from lxml.html import fromstring, tostring\n",
    "from tqdm import tqdm\n",
    "import time\n",
    "\n",
    "class recipeMan:\n",
    "    \n",
    "    def __init__(self):\n",
    "        #self.url = \"http://www.10000recipe.com/recipe/list.html?order=accuracy&page=\" # 정확도순\n",
    "        self.url = \"http://www.10000recipe.com/recipe/list.html?order=date&page=\" # 날짜 정렬순\n",
    "        self.url_base = \"http://www.10000recipe.com\"\n",
    "\n",
    "    # 전체 페이지에서 메뉴명과 Link 수집하기\n",
    "    def menu_list(self, no):\n",
    "        r\"\"\"만개의 레시피 Page 크롤링\n",
    "        개별 페이지의 메뉴제목과, Link URL 수집기\n",
    "        :param no: 페이지 번호\n",
    "        :return: [(/recipe/개별페이지, \"제목명\"), ... ]\"\"\"\n",
    "        resp = request.urlopen(self.url+str(no)).read().decode('utf-8')\n",
    "        resp_lxml  = fromstring(resp)\n",
    "        title_list = resp_lxml.xpath('.//div[@class=\"row\"]/div[@class=\"col-xs-3\"]/a[@class=\"thumbnail\"]')\n",
    "        return [(_.get('href'), _.xpath('./div[@class=\"caption\"]/h4//text()')[0])  for _ in title_list]\n",
    "    \n",
    "    # 개별 페이지 레시피와 Tag 수집\n",
    "    def menu_detail(self, add_url):\n",
    "        r\"\"\"개별 메뉴페이지에서 레시피와 Tag 수집\n",
    "        :xpath_ingre: 메뉴목록 xpath\n",
    "        :xpath_tag  : 메뉴의 구분용 Tag xpath\n",
    "        :return     : Tag묵음(,), 레시피 묶음(|)\n",
    "        \"\"\"\n",
    "        resp = request.urlopen(self.url_base+add_url).read().decode('utf-8')\n",
    "        resp_lxml = fromstring(resp)\n",
    "        xpath_ingre = '//div[@id=\"divConfirmedMaterialArea\"]//ul'\n",
    "        xpath_tag   = './/div[@id=\"contents_area\"]/div[@class=\"view_step\"]/div[@class=\"view_tag\"]/a//text()'\n",
    "        cont_ingre  = resp_lxml.xpath(xpath_ingre)\n",
    "        result = []\n",
    "        if len(cont_ingre) != 0:\n",
    "            for _ in cont_ingre:\n",
    "                result.append(\"\".join(_.xpath('.//b//text()')))\n",
    "                result_temp = [\"\".join(item.xpath('./text()')).strip() +\\\n",
    "                                             \"|\"+ \"\".join(item.xpath('./span/text()')) \n",
    "                               for item in _.xpath('.//li')]\n",
    "                result.append(\",\".join(result_temp))\n",
    "        return \",\".join(resp_lxml.xpath(xpath_tag)), result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('/recipe/6923656', '초간단배추찜'),\n",
       " ('/recipe/6923655', '푸짐하게 전부쳐먹자! 모듬전만들기!'),\n",
       " ('/recipe/6923654', '팽이버섯전 레시피 맛있는 팽이버섯 요리'),\n",
       " ('/recipe/6923653', '손님 초대요리 차돌박이 숙주볶음'),\n",
       " ('/recipe/6923652', '밤 무침 오도독 샐러드 같은 밤 생채')]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "recipe = recipeMan()\n",
    "recipe.menu_list(1)[:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<http.client.HTTPResponse at 0x7fb1e9565208>"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from urllib import request\n",
    "header = {\n",
    "#     'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13F69 Safari/601.1',\n",
    "    'User-Agent': 'Mozilla/5.0',\n",
    "    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',\n",
    "    'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',\n",
    "    'Accept-Encoding': 'none',\n",
    "    'Accept-Language': 'en-US,en;q=0.8',\n",
    "    'Connection': 'keep-alive'\n",
    "}\n",
    "url  = 'http://whois.domaintools.com/momukji.kr'\n",
    "resp = request.Request(url, headers = header);\n",
    "resp = request.urlopen(resp)#.read()\n",
    "resp"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}