\n", " IT\n", "
,\n", " \n", " \n", " \n", "
,\n", " \n", " Сложность\n", " 1.6\n", " \n", "
,Компания Microsoft купила веб-сервис для разработчиков GitHub. Сумма сделки составила 7,5 миллиарда долларов США. Об этом сообщается в пресс-релизе Microsoft.
,GitHub — открытый веб-сервис для хостинга и совместной разработки IT-проектов, которым пользуется примерно 27 миллионов разработчиков по всему миру, в том числе и крупные компании. Часть репозиториев Google, например, находится в открытом доступе: компания часто выкладывает в открытый доступ свои новые проекты.
,Впервые о начале переговоров о покупке со ссылкой на собственные источники в пятницу сообщило агенство Business Insider; подробности, также со ссылкой на собственные источники, далее представили в Bloomberg: в частности, издание сообщило о том, что Microsoft ведет переговоры о покупке компании уже несколько лет, а одной из причин успешной сделки стал генеральный директор Microsoft Сатья Наделла (Satya Nadella): совет директоров GitHub впечатлен его решениями в области стратегического развития компании.
,В 2015 году стоимость GitHub оценивали в 2 миллиарда долларов. Несмотря на крупные потери (более 60 миллионов долларов) в 2016 году, а также то, что с августа 2017 года компания находится в поисках нового генерального директора, на момент появления информации о возможной сделке стоимость GitHub оценивали в 5 миллиардов долларов. Как сообщается в пресс-релизе, стоимость сделки составит 7,5 миллиарда долларов
,В марте этого года сервера GitHub подверглись крупнейшей в истории DDoS-атаке в истории интернета: на пике трафик достигал 1,35 терабит в секунду.
,Елизавета Ивтушок
,Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
,Оставьте ваш e-mail, чтобы получать
наш научный дайджест
Предоставляя адрес электронной почты, вы принимаете условия соглашения о персональных данных.
,Как выглядят стадионы Чемпионата мира — 2018 с высоты полета спутника
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,Коэффициент сложности
,© 2018 N+1 Интернет-издание Свидетельство о регистрации СМИ Эл № ФС77-67614
,Использование всех текстовых материалов без изменений в некоммерческих целях разрешается со ссылкой на N+1. \n", " Все аудиовизуальные произведения являются собственностью своих авторов и правообладателей и используются \n", " только в образовательных и информационных целях. Если вы являетесь собственником того или иного произведения \n", " и не согласны с его размещением на нашем сайте, пожалуйста, напишите на kirill@nplus1.ru
,Сайт может содержать контент, не предназначенный для лиц младше 18 лет.
,\n", " Политика обработки персональных данных пользователей сайта\n", "
,\n", " \n", " Change privacy settings\n", "
,\n", "
]" ] }, "execution_count": 14, "metadata": {}, "output_type": "execute_result" } ], "source": [ "soup0.find_all('p')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Выберем из полученного списка первый элемент и найдем в нем все тэги ``:" ] }, { "cell_type": "code", "execution_count": 15, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "[IT]" ] }, "execution_count": 15, "metadata": {}, "output_type": "execute_result" } ], "source": [ "soup0.find_all('p')[0].find_all('a')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Получился список из двух элементов. Применим списковые включения ‒ вытащим из каждого элемента текст и поместим его в новый список `rubrics`." ] }, { "cell_type": "code", "execution_count": 16, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "['IT']" ] }, "execution_count": 16, "metadata": {}, "output_type": "execute_result" } ], "source": [ "rubrics = [r.text for r in soup0.find_all('p')[0].find_all('a')]\n", "rubrics" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Осталась только сложность. Возьмем соответствующий кусок кода:" ] }, { "cell_type": "code", "execution_count": 17, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "[1.6]" ] }, "execution_count": 17, "metadata": {}, "output_type": "execute_result" } ], "source": [ "soup0.find_all('span', {'class' : 'difficult-value'})" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "И выберем оттуда текст." ] }, { "cell_type": "code", "execution_count": 18, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "'1.6'" ] }, "execution_count": 18, "metadata": {}, "output_type": "execute_result" } ], "source": [ "diff = soup0.find_all('span', {'class' : 'difficult-value'})[0].text\n", "diff" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Теперь перейдем к тексту самой новости. Как можно заметить, текст сохранен в абзацах ``, причем безо всяких атрибутов. Сообщим Python, что нас интересуют куски с пустым атрибутом `class`:" ] }, { "cell_type": "code", "execution_count": 19, "metadata": {}, "outputs": [], "source": [ "text_list = soup0.find_all('p', {'class' : None})" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "\"Выцепим\" все тексты (без тэгов) из полученного списка:" ] }, { "cell_type": "code", "execution_count": 20, "metadata": {}, "outputs": [], "source": [ "text = [t.text for t in text_list]" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Склеим все элементы списка `text` через пробел:" ] }, { "cell_type": "code", "execution_count": 21, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "'Компания Microsoft купила веб-сервис для разработчиков GitHub. Сумма сделки составила 7,5 миллиарда долларов США. Об этом сообщается в пресс-релизе Microsoft. GitHub — открытый веб-сервис для хостинга и совместной разработки IT-проектов, которым пользуется примерно 27 миллионов разработчиков по всему миру, в том числе и крупные компании. Часть репозиториев Google, например,\\xa0находится в открытом доступе: компания часто выкладывает в открытый доступ свои новые проекты. Впервые о начале переговоров о покупке со ссылкой на собственные источники в пятницу сообщило агенство Business Insider; подробности, также со ссылкой на собственные источники, далее представили в Bloomberg: в частности, издание сообщило о том, что Microsoft ведет переговоры о покупке компании уже несколько лет, а одной из причин успешной сделки стал генеральный директор Microsoft Сатья Наделла (Satya Nadella): совет директоров GitHub впечатлен его решениями в области стратегического развития компании. В 2015 году стоимость GitHub оценивали в 2 миллиарда долларов. Несмотря на крупные потери (более 60 миллионов долларов) в 2016 году, а также то, что с августа 2017 года компания находится в поисках нового генерального директора, на момент появления информации о возможной сделке стоимость GitHub оценивали в 5 миллиардов долларов. Как сообщается в пресс-релизе, стоимость сделки составит 7,5 миллиарда долларов\\xa0 В марте этого года сервера GitHub подверглись крупнейшей в истории DDoS-атаке в истории интернета: на пике трафик достигал 1,35 терабит в секунду.\\xa0 Елизавета Ивтушок Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter. Оставьте ваш e-mail, чтобы получатьнаш научный дайджест Предоставляя адрес электронной почты, вы принимаете условия соглашения о персональных данных. Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности © 2018 N+1 Интернет-издание \\xa0 Свидетельство о регистрации СМИ Эл № ФС77-67614 Использование всех текстовых материалов без изменений в некоммерческих целях разрешается со ссылкой на N+1. \\n Все аудиовизуальные произведения являются собственностью своих авторов и правообладателей и используются \\n только в образовательных и информационных целях. Если вы являетесь собственником того или иного произведения \\n и не согласны с его размещением на нашем сайте, пожалуйста, напишите на kirill@nplus1.ru Сайт может содержать контент, не предназначенный для лиц младше 18 лет. \\nПолитика обработки персональных данных пользователей сайта\\n \\n\\nChange privacy settings\\n \\n'" ] }, "execution_count": 21, "metadata": {}, "output_type": "execute_result" } ], "source": [ "final_text = ' '.join(text)\n", "final_text" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Все здорово, только мешают отступы-переходы на новую строку `\\n`. Заменим их на пробелы с помощью метода `.replace`:" ] }, { "cell_type": "code", "execution_count": 22, "metadata": {}, "outputs": [], "source": [ "final_text = final_text.replace('\\n', ' ')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Не прошло и двух пар, как мы разобрались со всем :) Теперь осталось совсем чуть-чуть. Написать готовую функцию для всех проделанных нами действий и применить ее в цикле для всех ссылок в списке `full_urls`. Напишем! Аргументом функции будет ссылка на новость, а возвращать она будет текст новости и всю необходимую информацию (дата, автор, сложность и проч.). Скопируем все строки кода выше." ] }, { "cell_type": "code", "execution_count": 23, "metadata": {}, "outputs": [], "source": [ "def GetNews(url0):\n", " \"\"\"\n", " Returns a tuple with url0, date, author, description, title, final_text, rubrics, diff.\n", " Parameters:\n", " \n", " url0 is a link to the news (string)\n", " \"\"\"\n", " page0 = requests.get(url0)\n", " soup0 = BeautifulSoup(page0.text, 'lxml')\n", " author = soup0.find_all('meta', {'name' : 'author'})[0].attrs['content']\n", " date = soup0.find_all('meta', {'itemprop' : 'datePublished'})[0].attrs['content']\n", " title = soup0.find_all('meta', {'property' : 'og:title'})[0].attrs['content']\n", " description = soup0.find_all('meta', {'name' : 'description'})[0].attrs['content']\n", " rubrics = [r.text for r in soup0.find_all('p')[0].find_all('a')]\n", " diff = soup0.find_all('span', {'class' : 'difficult-value'})[0].text\n", " text_list = soup0.find_all('p', {'class' : None})\n", " text = [t.text for t in text_list]\n", " final_text = ' '.join(text)\n", " final_text = final_text.replace('\\n', ' ')\n", " \n", " return url0, date, author, description, title, final_text, rubrics, diff" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Уфф. Осталось применить ее в цикле. Но давайте не будем спешить: импортируем функцию `sleep` для задержки, чтобы на каждой итерации цикла, прежде чем перейти к следующей новости, Python ждал несколько секунд. Во-первых, это нужно, чтобы сайт \"не понял\", чтобы мы его грабим, да еще автоматически. Во-вторых, с небольшой задержкой всегда есть гарантия, что страница прогрузится (сейчас это пока не очень важно, но особенно актуально будет, когда будем обсуждать встраивание в браузер с Selenium). Приступим." ] }, { "cell_type": "code", "execution_count": 24, "metadata": {}, "outputs": [], "source": [ "from time import sleep" ] }, { "cell_type": "code", "execution_count": 25, "metadata": {}, "outputs": [], "source": [ "news = [] # это будет список из кортежей, в которых будут храниться данные по каждой новости\n", "\n", "for link in full_urls:\n", " res = GetNews(link)\n", " news.append(res)\n", " sleep(3) # задержка в 3 секунды" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Так теперь выглядит первый элемент списка:" ] }, { "cell_type": "code", "execution_count": 26, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "('https://nplus1.ru/news/2018/06/04/wwdc',\n", " '2018-06-04',\n", " 'Григорий Копиев',\n", " 'Apple представила новые версии iOS и macOS',\n", " 'Apple представила новые версии iOS и macOS',\n", " 'Компания Apple представила на\\xa0конференции WWDC 2018 новые версии операционных систем своих устройств\\xa0— iOS, macOS, watchOS и\\xa0tvOS. Трансляция первого дня конференции велась на\\xa0сайте компании. Компания представила операционную систему iOS 12. В\\xa0ней разработчики значительно улучшили быстродействие\\xa0— по\\xa0их\\xa0заявлениям, на\\xa0запуск приложений будет уходить до\\xa040\\xa0процентов меньше времени. Голосовой помощник Siri получил поддержку действий из\\xa0приложений, причем он\\xa0сможет отслеживать популярные действия в\\xa0приложениях и\\xa0предлагать их\\xa0пользователю в\\xa0нужный момент. Кроме того, пользователи смогут самостоятельно создавать наборы действий. К\\xa0примеру, после рабочего дня человек может сказать Siri, что он\\xa0направляется домой, а\\xa0ассистент самостоятельно включит музыку для дороги, повысит температуру термостата в\\xa0доме и\\xa0отправит сообщение супругу. Компания создала отдельное приложение, в\\xa0котором пользователи смогут собирать простые наборы действий из\\xa0стандартных блоков. iOS 12\\xa0будет отслеживать использование устройства пользователем и\\xa0показывать ему статистику для конкретных приложений и\\xa0системы в\\xa0целом. Пользователь сможет устанавливать ограничения на\\xa0время использования приложений для себя, а\\xa0также для устройств своих детей. Кроме того, система научилась группировать уведомления от\\xa0одного приложения и\\xa0получила новую версию фреймворка дополненной реальности ARKit с\\xa0поддержкой одновременного использования дополненной реальности. Помимо мобильной операционной системы Apple представила обновленную систему для компьютеров\\xa0— macOS 10.14\\xa0Mojave. Часть изменений коснулись оформления системы. В\\xa0ней появилась темная тема оформления приложений, а\\xa0также динамические обои рабочего стола, в\\xa0которых освещение объектов меняется в\\xa0течение дня. Несколько новых функций получил файловый менеджер Finder. Например, теперь файлы на\\xa0рабочем столе можно будет автоматически группировать по\\xa0их\\xa0типам. Также Finder получил поддержку пользовательских скриптов, создаваемых через программу Automator. Одно из\\xa0самых важных изменений вряд\\xa0ли будет заметно обычному пользователю. Apple портировала в\\xa0macOS фреймворк графического интерфейса UIKit, используемый при создании приложений для iOS. Это значительно упростит разработчикам портирование iOS-приложений на\\xa0macOS. Сторонним разработчикам эта возможность пока недоступна, но\\xa0с\\xa0ее\\xa0помощью Apple сама перенесла некоторые приложения из\\xa0iOS\\xa0— Apple News, «Диктофон», «Акции» и\\xa0приложение «Дом» для управления умным домом. Как и\\xa0в\\xa0случае с\\xa0iOS, публичная бета-версия системы станет доступна в\\xa0июне, а\\xa0финальная версия выйдет осенью Недавно компания Google провела ежегодную конференцию I/O и\\xa0представила на\\xa0свои последние разработки. Например, компания рассказала о\\xa0новой версии операционной системы Android с\\xa0обновленным интерфейсом, а\\xa0также функциями для учета времени, проведенного за\\xa0устройством. Кроме того, Google представила обновления голосового помощника Google Assistant, который скоро заработает в\\xa0России, а\\xa0в\\xa0будущем сможет самостоятельно записывать пользователя в\\xa0парикмахерскую или другое заведение. Григорий Копиев Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter. Оставьте ваш e-mail, чтобы получатьнаш научный дайджест Предоставляя адрес электронной почты, вы принимаете условия соглашения о персональных данных. Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности Коэффициент сложности © 2018 N+1 Интернет-издание \\xa0 Свидетельство о регистрации СМИ Эл № ФС77-67614 Использование всех текстовых материалов без изменений в некоммерческих целях разрешается со ссылкой на N+1. Все аудиовизуальные произведения являются собственностью своих авторов и правообладателей и используются только в образовательных и информационных целях. Если вы являетесь собственником того или иного произведения и не согласны с его размещением на нашем сайте, пожалуйста, напишите на kirill@nplus1.ru Сайт может содержать контент, не предназначенный для лиц младше 18 лет. Политика обработки персональных данных пользователей сайта Change privacy settings ',\n", " ['IT', 'Гаджеты'],\n", " '3.2')" ] }, "execution_count": 26, "metadata": {}, "output_type": "execute_result" } ], "source": [ "news[0]" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Импортируем `pandas` и создадим датафрейм из списка кортежей: " ] }, { "cell_type": "code", "execution_count": 27, "metadata": {}, "outputs": [], "source": [ "import pandas as pd" ] }, { "cell_type": "code", "execution_count": 28, "metadata": {}, "outputs": [], "source": [ "df = pd.DataFrame(news)" ] }, { "cell_type": "code", "execution_count": 29, "metadata": {}, "outputs": [ { "data": { "text/html": [ "| \n", " | 0 | \n", "1 | \n", "2 | \n", "3 | \n", "4 | \n", "5 | \n", "6 | \n", "7 | \n", "
|---|---|---|---|---|---|---|---|---|
| 0 | \n", "https://nplus1.ru/news/2018/06/04/wwdc | \n", "2018-06-04 | \n", "Григорий Копиев | \n", "Apple представила новые версии iOS и macOS | \n", "Apple представила новые версии iOS и macOS | \n", "Компания Apple представила на конференции WWDC... | \n", "[IT, Гаджеты] | \n", "3.2 | \n", "
| 1 | \n", "https://nplus1.ru/news/2018/06/04/proterozoic-... | \n", "2018-06-04 | \n", "Александр Дубов | \n", "Геологи уточнили длительность суток полтора ми... | \n", "Геологи уточнили длительность суток полтора ми... | \n", "Американские геологи обнаружили, что что в про... | \n", "[Геология, Астрономия] | \n", "3.6 | \n", "
| \n", " | link | \n", "date | \n", "author | \n", "desc | \n", "title | \n", "text | \n", "rubric | \n", "diffc | \n", "
|---|---|---|---|---|---|---|---|---|
| 0 | \n", "https://nplus1.ru/news/2018/06/04/wwdc | \n", "2018-06-04 | \n", "Григорий Копиев | \n", "Apple представила новые версии iOS и macOS | \n", "Apple представила новые версии iOS и macOS | \n", "Компания Apple представила на конференции WWDC... | \n", "[IT, Гаджеты] | \n", "3.2 | \n", "
| 1 | \n", "https://nplus1.ru/news/2018/06/04/proterozoic-... | \n", "2018-06-04 | \n", "Александр Дубов | \n", "Геологи уточнили длительность суток полтора ми... | \n", "Геологи уточнили длительность суток полтора ми... | \n", "Американские геологи обнаружили, что что в про... | \n", "[Геология, Астрономия] | \n", "3.6 | \n", "