{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# 使用自定义评分函数进行关键词提取、词频统计、词云图可视化" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 导入必要的包" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [], "source": [ "import pandas as pd\n", "import jieba.analyse\n", "import math\n", "import numpy as np\n", "import jieba.posseg as pseg\n", "from tqdm import tqdm\n", "import pandas as pd\n", "import jieba.analyse\n", "import jieba.posseg as psg\n", "from os import path\n", "import matplotlib.pyplot as plt\n", "from wordcloud import WordCloud\n", "import jieba.analyse\n", "import pandas as pd\n", "import jieba" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "## 读取数据与数据基础信息查看" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "raw_df = pd.read_csv(r'rawdata_reprocessed.csv')" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
| \n", " | weibo_username | \n", "weibo_verification | \n", "weibo_content | \n", "weibo_content_preprocessed | \n", "submit_time | \n", "forward_counts | \n", "comments_counts | \n", "points_times | \n", "
|---|---|---|---|---|---|---|---|---|
| 0 | \n", "辣子鸡谁做的好吃 | \n", "NaN | \n", "好像可以在自己幻想的元宇宙里过一辈子好像已经过完了一辈子双鱼座的脑子要不得 | \n", "好像 幻想 元宇宙 里 一辈子 好像 完 一辈子 双鱼座 脑子 要不得 | \n", "01月10日 23:59 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 1 | \n", "远古的刀 | \n", "NaN | \n", "反正闭关锁宇宙我们将会面临下一次的闭关锁国融入不了全球经济王峻涛跟你们讲我相信这个元宇宙真的... | \n", "反正 闭关 锁 宇宙 将会 面临 闭关锁国 融入 全球 经济 王峻涛 讲 元宇宙 真的 一下... | \n", "01月10日 23:58 | \n", "32 | \n", "3 | \n", "0 | \n", "
| 2 | \n", "暮景烟_深浅 | \n", "NaN | \n", "周深先生之夜元宇宙周深拥有了生米就像拥有了梦的翅膀卡布叻周深放心飞吧生米永相随时尚先生元宇宙... | \n", "周深 之夜 元宇宙 周深 拥有 生米 拥有 梦 翅膀 卡布 叻 周深 放心 飞 生米 永 相... | \n", "01月10日 23:58 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 3 | \n", "东辉毅恒传媒 | \n", "NaN | \n", "王峻涛其实吧你有空可以再看看这个视频跟你们讲我相信这个元宇宙真的会来虽然不是一下子就到来还需... | \n", "王峻涛 有空 视频 讲 元宇宙 真的 一下子 到来 技术 突破 社会 讲 玩 后果 人会 分... | \n", "01月10日 23:57 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 4 | \n", "在寒蝉鸣泣中等待夏日重现 | \n", "NaN | \n", "敬元宇宙让基尔希斯坦的女朋友的微博视频 | \n", "敬 元宇宙 基尔 希斯 坦 女朋友 微博 视频 | \n", "01月10日 23:57 | \n", "0 | \n", "0 | \n", "5 | \n", "
| 5 | \n", "北北红牛一号 | \n", "微博个人认证 | \n", "我们在玩股票的时候首先要明白当前的市场环境大势第一顺势而为整个市场的高度从龙精药业的板并且给... | \n", "玩 股票 明白 市场 环境 大势 第一 顺势 市场 高度 从龙精 药业 板 给出 一线 逃命... | \n", "01月10日 23:56 | \n", "0 | \n", "0 | \n", "2 | \n", "
| 6 | \n", "-玫瑰骑士夢 | \n", "微博个人认证 | \n", "朝元気芋泥萄萄宇宙小居民黄仁俊元气活泼跑起来会扬起耳朵的小帕恰签售时挑战的可爱笨笨金色卷卷珍... | \n", "元 気 芋 泥 萄 萄 宇宙 居民 黄仁俊 元气 活泼 跑 扬起 耳朵 小帕恰 签售 时 挑... | \n", "01月10日 23:56 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 7 | \n", "成都仁寿商会 | \n", "NaN | \n", "元宇宙成苹果禁区将发布首款头显月日消息苹果公司预计将于今年发布其首款混合现实头戴设备彭博社记... | \n", "元宇宙 成 苹果 禁区 发布 首款 头显 月 日 消息 苹果公司 预计 发布 首款 混合 现... | \n", "01月10日 23:56 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 8 | \n", "是个吃货叻 | \n", "NaN | \n", "帅帅帅冲浪的紅豆鯊啊啊啊太帅了卡布叻周深周深星星瞭望塔周深时尚先生周深先生之夜元宇宙勇敢突破... | \n", "帅帅帅 冲浪 紅豆 鯊 啊啊啊 太帅 卡布 叻 周深 周深 星星 瞭望 塔周 深 时尚 周深... | \n", "01月10日 23:55 | \n", "0 | \n", "0 | \n", "1026193 | \n", "
| 9 | \n", "是个吃货叻 | \n", "NaN | \n", "周深啊啊啊啊冲浪的紅豆鯊啊啊啊太帅了卡布叻周深周深星星瞭望塔周深时尚先生周深先生之夜元宇宙勇... | \n", "周深 啊啊啊 冲浪 紅豆 鯊 啊啊啊 太帅 卡布 叻 周深 周深 星星 瞭望 塔周 深 时尚... | \n", "01月10日 23:55 | \n", "0 | \n", "0 | \n", "1026193 | \n", "
| 10 | \n", "山东大A | \n", "NaN | \n", "今晚和怡宝一起玩了人类一败涂地在元宇宙也想邀请你跳一支交谊舞 | \n", "今晚 怡宝 玩 人类 一败涂地 元宇宙 想 邀请 跳 一支 交谊舞 | \n", "01月10日 23:53 | \n", "0 | \n", "3 | \n", "3 | \n", "
| 11 | \n", "养绫波的猫空 | \n", "NaN | \n", "设圈到底是本身就低龄还是有人割低龄韭菜镁基夜师傅说虚拟图片我还以为元宇宙结果又是设还不如元宇... | \n", "设圈 低龄 有人 割 低龄 韭菜 镁 基夜 师傅 说 虚拟 图片 元宇宙 设 元宇宙 炒孽 ... | \n", "01月10日 23:52 | \n", "0 | \n", "0 | \n", "71750 | \n", "
| 12 | \n", "云啸- | \n", "NaN | \n", "周深先生之夜元宇宙往事都随风而散你的歌声也飘远但是我的心不会为你而散卡布叻周深时尚先生元宇宙... | \n", "周深 之夜 元宇宙 往事 随风 而散 歌声 飘远 心 散卡布 叻 周深 时尚 元宇宙 梅涩 ... | \n", "01月10日 23:52 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 13 | \n", "yu兔去看烸 | \n", "微博个人认证 | \n", "一个人的时候喜欢沉浸式唱歌尽力把感情音调动作表情等等都用上细细地把自己融入你会发现在一首歌里... | \n", "喜欢 沉浸 式 唱歌 尽力 感情 音调 动作 表情 细细地 融入 发现 一首歌 里 深层 东... | \n", "01月10日 23:51 | \n", "0 | \n", "2 | \n", "3 | \n", "
| 14 | \n", "馍中王 | \n", "NaN | \n", "利好东北意思一边在东北开澡堂子一边玩元宇宙实体虚拟都赢麻了 | \n", "利好 东北 东北 开 澡堂子 玩 元宇宙 实体 虚拟 赢 麻 | \n", "01月10日 23:51 | \n", "0 | \n", "0 | \n", "34 | \n", "
| 15 | \n", "遂昌快活林 | \n", "微博个人认证 | \n", "元宇宙金融时报如果银行也来元宇宙你怎么看月日央行主管的金融时报官微发文虚拟品牌官艾雅正式入职... | \n", "元宇宙 金融时报 银行 元宇宙 月 日 央行 主管 金融时报 官微 发文 虚拟 品牌 官艾雅... | \n", "01月10日 23:50 | \n", "1 | \n", "0 | \n", "8 | \n", "
| 16 | \n", "元味儿冰淇淋 | \n", "NaN | \n", "一往无前的蓝张嘉元宇宙没有伏笔海里没有潮汐请问你是在搜张嘉元的宇宙海吗既然来了那就了解一下元... | \n", "一往无前 蓝 张嘉 元宇宙 伏笔 海里 潮汐 请问 搜 张嘉元 宇宙 海 元气 满满的 指弹... | \n", "01月10日 23:49 | \n", "0 | \n", "0 | \n", "0 | \n", "
| 17 | \n", "见闻实时新闻 | \n", "微博官方认证 | \n", "人民日报评论无论元宇宙和人工智能多么精彩但或许最难冲击甚至取代洗浴行业经历过竞奢赛豪的误区如... | \n", "人民日报 评论 元宇宙 人工智能 精彩 难 冲击 取代 洗浴 行业 经历 竞奢赛 豪 误区 ... | \n", "01月10日 23:48 | \n", "18 | \n", "13 | \n", "34 | \n", "
| 18 | \n", "拉诺西亚香橙 | \n", "NaN | \n", "镁基夜师傅说虚拟图片我还以为元宇宙结果又是设还不如元宇宙呢那个还能炒孽孽没有猫迷惑行為大賞小... | \n", "镁 基夜 师傅 说 虚拟 图片 元宇宙 设 元宇宙 炒孽 孽 猫 迷惑 行為 大賞 幽困 呼... | \n", "01月10日 23:48 | \n", "0 | \n", "0 | \n", "71750 | \n", "
| 19 | \n", "心台怡的怡4 | \n", "NaN | \n", "繁體君周深时尚先生卡布叻周深周深星轨记录仪周深周深年度先生走过荆棘丛生夜色茫茫仍有理想滚烫心... | \n", "繁體 君 周深 时尚 卡布 叻 周深 周深 星轨 记录仪 周深 周深 年度 走过 荆棘丛生 ... | \n", "01月10日 23:48 | \n", "0 | \n", "0 | \n", "1026193 | \n", "