Scrapy项目 |
您所在的位置：网站首页 › 斗鱼情感之王 › Scrapy项目 |
Scrapy项目
|
一、数据分析截图(weka数据分析截图 2-3个图，作业文字描述) 本次将所爬取的数据信息，如：房间数，直播类别和人气，导入Weka 3.7工具进行数据分析。有关本次的数据分析详情详见下图所示：
对于本例实验，以下将以直播类型为例分别进行分类和聚类运算，具体如下图所示：
图1-2 ZeroR分类运算界面
图1-3 EM聚类运算界面 二、数据分析结论：（将数据之间的关系用文字性描述） 如图2-1所示，直播类型的热度数散点往往聚集在较为热门的几款游戏上，同时，游戏的直播类型也往往与热度数相互依赖。这说明，如果存在某个游戏直播的热度数突增，那么这款游戏的直播类型将得到快速的发展壮大，越来越多的游戏主播将会为了吸引粉丝和增加自己的关注度而投身其中。
图2-1 直播类型与热度数的关系
图2-2 直播类型的Visualize 三、数据及处理内容 1、部分原始数据集内容： 热度数,主播名,直播类型 2820000,早安酱ii,颜值 2620000,彡彡九户外,户外 523000,艺帝帝,刺激战场 377000,童话哥哥呀,刺激战场 2470000,王者荣耀官方赛事,王者荣耀 2340000,冯提莫,英雄联盟 530000,妃凌雪,绝地求生 330000,温柚,王者荣耀 40000,芜湖大司马丶,英雄联盟 70000,长沙乡村敢死队,户外 50000,英雄联盟官方赛事,英雄联盟 972000,王者荣耀韩国官方赛事,王者荣耀 945000,yjjimpaopao,绝地求生 873000,微笑,英雄联盟 756000,狐狸不太Sao,绝地求生 73000,林蒙m,王者荣耀 59000,恩基爱萌萌哒的狗贼,炉石传说 49000,MQ丶孙悟空,英雄联盟 438000,我是大坤坤啊,DNF 436000,余小C真的很强,英雄联盟 49000,斗鱼绝地赛事,绝地求生 396000,少年不太冷Rex,王者荣耀 392000,二哥又在吹牛,欢乐麻将 378000,魅力生活i,美食2、数据处理内容： douyu-classifiers.rules.ZeroR === Run information === Scheme: weka.classifiers.rules.ZeroR Relation: douyu Instances: 11652 Attributes: 3 热度数 主播名 直播类型 Test mode: 10-fold cross-validation === Classifier model (full training set) === ZeroR predicts class value: 刺激战场 Time taken to build model: 0.01 seconds === Stratified cross-validation === === Summary === Correctly Classified Instances 1508 12.962 % Incorrectly Classified Instances 10126 87.038 % Kappa statistic 0 Mean absolute error 0.008 Root mean squared error 0.063 Relative absolute error 100 % Root relative squared error 100 % Total Number of Instances 11634 Ignored Class Unknown Instances 18 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure ROC Area Class 0 0 0 0 0 0.498 颜值 0 0 0 0 0 0.495 户外 1 1 0.13 1 0.229 0.499 刺激战场 0 0 0 0 0 0.499 王者荣耀 0 0 0 0 0 0.499 英雄联盟 0 0 0 0 0 0.497 绝地求生 0 0 0 0 0 0.487 炉石传说 0 0 0 0 0 0.498 DNF 0 0 0 0 0 0.484 欢乐麻将 0 0 0 0 0 0.491 美食 0 0 0 0 0 0.499 主机游戏 0 0 0 0 0 0.45 超次元战姬 0 0 0 0 0 0.487 ATLAS 0 0 0 0 0 0.477 明日之后 0 0 0 0 0 0.494 DOTA2 0 0 0 0 0 0.492 数码科技 0 0 0 0 0 0.495 堡垒之夜 0 0 0 0 0 0.419 三国杀 0 0 0 0 0 0.481 CF手游 0 0 0 0 0 0.494 CS:GO 0 0 0 0 0 0.497 穿越火线 0 0 0 0 0 0.486 无限法则 0 0 0 0 0 0.414 中国象棋 0 0 0 0 0 0.489 二次元 0 0 0 0 0 0.496 魔兽世界 0 0 0 0 0 0.484 音乐电台 0 0 0 0 0 0.45 狼人杀专区 0 0 0 0 0 0.493 鱼教 0 0 0 0 0 0.478 热门手游 0 0 0 0 0 0.45 第5人格 0 0 0 0 0 0.5 正能量 0 0 0 0 0 0.5 Artifact 0 0 0 0 0 0.5 FM233 0 0 0 0 0 0.455 神途 0 0 0 0 0 0.492 守望先锋 0 0 0 0 0 0.471 棋牌娱乐 0 0 0 0 0 0.489 全军出击 0 0 0 0 0 0.492 DOTA 0 0 0 0 0 0.492 音乐 0 0 0 0 0 0.45 捕鱼休闲 0 0 0 0 0 0.5 率土之滨 0 0 0 0 0 0.493 魔兽争霸 0 0 0 0 0 0.489 逆战 0 0 0 0 0 0.498 视听点评 0 0 0 0 0 0.35 原创IP 0 0 0 0 0 0.484 新游中心 0 0 0 0 0 0.49 天涯明月刀 0 0 0 0 0 0.45 火影忍者 0 0 0 0 0 0.487 逆水寒 0 0 0 0 0 0.475 跑跑卡丁车 0 0 0 0 0 0.45 汽车 0 0 0 0 0 0.49 怀旧游戏 0 0 0 0 0 0.495 传奇 0 0 0 0 0 0.485 阴阳师 0 0 0 0 0 0.5 梦幻模拟战 0 0 0 0 0 0.438 我的世界 0 0 0 0 0 0.485 梦幻西游 0 0 0 0 0 0.25 SCUM 0 0 0 0 0 0.472 剑网3 0 0 0 0 0 0.5 QQ飞车端游 0 0 0 0 0 0.479 战地风云 0 0 0 0 0 0.491 军事游戏 0 0 0 0 0 0.468 欢乐斗地主 0 0 0 0 0 0.45 皇室战争 0 0 0 0 0 0.481 跳伞行动 0 0 0 0 0 0.5 FIFAONLINE4 0 0 0 0 0 0.483 QQ飞车 0 0 0 0 0 0.4 艾兰岛 0 0 0 0 0 0.478 航海王：燃烧意志 0 0 0 0 0 0.433 球球大作战 0 0 0 0 0 0.433 侍魂 0 0 0 0 0 0.454 暗黑破坏神3 0 0 0 0 0 0.464 梦幻西游手游 0 0 0 0 0 0.484 科普 0 0 0 0 0 0.475 怪物猎人 0 0 0 0 0 0.454 街头篮球 0 0 0 0 0 0.25 全面战争 0 0 0 0 0 0.25 流星蝴蝶剑 0 0 0 0 0 0.464 连麦互动 0 0 0 0 0 0.489 古剑奇谭网络版 0 0 0 0 0 0.45 武侠乂 0 0 0 0 0 0.438 荒野行动 0 0 0 0 0 0.15 神都夜行录 0 0 0 0 0 0.465 纪录片 0 0 0 0 0 0.3 手游酒馆 0 0 0 0 0 0.433 魂斗罗归来 0 0 0 0 0 0.2 圣斗士星矢 0 0 0 0 0 0.476 军事 0 0 0 0 0 0.438 NBA2K 0 0 0 0 0 0.4 街篮 0 0 0 0 0 0.486 热门网游 0 0 0 0 0 0.15 奇迹觉醒 0 0 0 0 0 0.45 二次元手游 0 0 0 0 0 0.483 流放之路POE 0 0 0 0 0 0.416 饥荒 0 0 0 0 0 0.485 NBA2KOL2 0 0 0 0 0 0.489 星际争霸 0 0 0 0 0 0.5 问道电脑版 0 0 0 0 0 0.484 设计师 0 0 0 0 0 0.45 方舟：生存进化 0 0 0 0 0 0.25 全境封锁 0 0 0 0 0 0.478 格斗游戏 0 0 0 0 0 0.5 复古传奇 0 0 0 0 0 0.25 猎魂觉醒 0 0 0 0 0 0.455 风暴英雄 0 0 0 0 0 0.419 火影忍者OL 0 0 0 0 0 0.417 贪婪洞窟2 0 0 0 0 0 0.25 灵山奇缘 0 0 0 0 0 0.2 交友 0 0 0 0 0 0.459 最终幻想4 0 0 0 0 0 0.459 部落冲突 0 0 0 0 0 0.2 一人之下 0 0 0 0 0 0.25 300专区 0 0 0 0 0 0.1 主播名:咿陌会发光呀 0 0 0 0 0 0.1 灵魂筹码 0 0 0 0 0 0.414 神武系列 0 0 0 0 0 0.45 高达文化区 0 0 0 0 0 0.2 赛尔号星球大战 0 0 0 0 0 0.474 RPG手游 0 0 0 0 0 0.25 风暴对决 0 0 0 0 0 0.15 情感调频 0 0 0 0 0 0.2 风之大陆 0 0 0 0 0 0.2 梦想世界 0 0 0 0 0 0.25 综合手游 0 0 0 0 0 0.2 口袋妖怪复刻 0 0 0 0 0 0.419 特色手游 0 0 0 0 0 0.5 劲舞团 0 0 0 0 0 0.3 骑马与砍杀 0 0 0 0 0 0.414 问道 0 0 0 0 0 0.2 光明勇士 0 0 0 0 0 0.25 星际战甲 0 0 0 0 0 0.416 使命召唤OL 0 0 0 0 0 0.05 战就战 0 0 0 0 0 0.15 仙境传说 0 0 0 0 0 0.35 忍者必须死3 0 0 0 0 0 0.05 刀锋铁骑 0 0 0 0 0 0.459 怪物猎人ol 0 0 0 0 0 0.425 竞速游戏 0 0 0 0 0 0.15 实况足球 0 0 0 0 0 0.25 非人学园 0 0 0 0 0 0.25 精灵宝可梦 0 0 0 0 0 0.15 决斗之城2 0 0 0 0 0 0.2 剑灵 0 0 0 0 0 0.5 无尽战区 0 0 0 0 0 0.15 时空召唤 0 0 0 0 0 0.438 大话西游2口袋版 0 0 0 0 0 0.05 主播名:八幡I烟火 0 0 0 0 0 0.45 魔域口袋版 0 0 0 0 0 0.05 战争艺术·赤潮 0 0 0 0 0 0.25 口袋对决 0 0 0 0 0 0.05 逃跑吧少年 0 0 0 0 0 0.2 楚留香 0 0 0 0 0 0.15 新倩女幽魂 0 0 0 0 0 0.5 忍者村大战2 0 0 0 0 0 0.35 泰亚史诗 0 0 0 0 0 0.2 英魂口袋版 0 0 0 0 0 0.25 英雄杀 0 0 0 0 0 0.3 潮人篮球 0 0 0 0 0 0.05 永恒之塔 0 0 0 0 0 0.15 剑侠情缘2：剑歌行 0 0 0 0 0 0.1 万智牌 0 0 0 0 0 0.1 我叫MT4 0 0 0 0 0 0.25 英魂之刃 0 0 0 0 0 0.1 麻将来了 0 0 0 0 0 0.2 脱口秀 0 0 0 0 0 0.1 赛尔号 0 0 0 0 0 0.15 迷你世界 0 0 0 0 0 0.3 龙之谷 0 0 0 0 0 0.2 RPG网游专区 0 0 0 0 0 0.4 万王之王3D 0 0 0 0 0 0.419 群雄逐鹿 0 0 0 0 0 0.1 天天象棋 0 0 0 0 0 0.3 权力与纷争 0 0 0 0 0 0.1 巫师之昆特牌 0 0 0 0 0 0.1 太吾绘卷 0 0 0 0 0 0.3 魔力宝贝 0 0 0 0 0 0.3 辐射 0 0 0 0 0 0.05 神之浩劫 0 0 0 0 0 0.15 QQ炫舞手游 0 0 0 0 0 0.478 星娱 0 0 0 0 0 0.1 冒险岛2 0 0 0 0 0 0.25 斗破苍穹：斗帝之路 0 0 0 0 0 0.15 影之诗 0 0 0 0 0 0.35 决斗之城 0 0 0 0 0 0.1 红莲之王 0 0 0 0 0 0.15 诛仙3 0 0 0 0 0 0.2 香肠派对 0 0 0 0 0 0.15 自由幻想 0 0 0 0 0 0.05 征途2手游 0 0 0 0 0 0.1 火源 0 0 0 0 0 0.05 红警OL手游 0 0 0 0 0 0.1 武林外传 0 0 0 0 0 0.05 醉逍遥 0 0 0 0 0 0.2 激战2 0 0 0 0 0 0.2 反恐精英 0 0 0 0 0 0.1 命运2 0 0 0 0 0 0.1 终结者2审判日 0 0 0 0 0 0.05 战塔英雄 0 0 0 0 0 0.478 游戏陪玩 0 0 0 0 0 0.05 魂武者 0 0 0 0 0 0.15 九阴真经 0 0 0 0 0 0.45 新天龙八部 0 0 0 0 0 0.1 枪林弹雨 0 0 0 0 0 0.05 坦克大决战 0 0 0 0 0 0.05 蛇蛇争霸 0 0 0 0 0 0.05 植物大战僵尸 0 0 0 0 0 0.1 枪火游侠 0 0 0 0 0 0.05 寻仙 0 0 0 0 0 0.05 火箭联盟 0 0 0 0 0 0.05 蜀门 0 0 0 0 0 0.05 王国纪元 0 0 0 0 0 0.481 企鹅直播 0 0 0 0 0 0.1 乐高无限 0 0 0 0 0 0.05 弹弹堂 0 0 0 0 0 0.15 天龙八部 0 0 0 0 0 0.05 仙剑4 0 0 0 0 0 0.1 JJ斗地主 0 0 0 0 0 0.1 天谕 0 0 0 0 0 0.15 NBA2K欢乐竞技场2 0 0 0 0 0 0.1 不思议迷宫 0 0 0 0 0 0.1 魔灵召唤 0 0 0 0 0 0.1 斗鱼游戏 0 0 0 0 0 0.05 虚幻争霸 0 0 0 0 0 0.05 体育游戏 0 0 0 0 0 0.05 主播名:丿灬菟爺丶 0 0 0 0 0 0.05 音乐游戏 0 0 0 0 0 0.1 最强NBA 0 0 0 0 0 0.05 拳皇命运 0 0 0 0 0 0.05 梦幻诛仙 0 0 0 0 0 0.15 天天酷跑 0 0 0 0 0 0.05 NBAlive 0 0 0 0 0 0.05 欢乐升级 0 0 0 0 0 0.05 绝地求生手机版 0 0 0 0 0 0.05 境界死神激斗 0 0 0 0 0 0.05 全民枪战2 0 0 0 0 0 0.05 野蛮人大作战 0 0 0 0 0 0.05 正当防卫 0 0 0 0 0 0.15 FIFA足球世界 0 0 0 0 0 0.05 一起来飞车 Weighted Avg. 0.13 0.13 0.017 0.13 0.03 0.483 === Confusion Matrix === a b c d e f g h i j k l m n o p q r s t u v w x y z aa ab ac ad ae af ag ah ai aj ak al am an ao ap aq ar as at au av aw ax ay az ba bb bc bd be bf bg bh bi bj bk bl bm bn bo bp bq br bs bt bu bv bw bx by bz ca cb cc cd ce cf cg ch ci cj ck cl cm cn co cp cq cr cs ct cu cv cw cx cy cz da db dc dd de df dg dh di dj dk dl dm dn do dp dq dr ds dt du dv dw dx dy dz ea eb ec ed ee ef eg eh ei ej ek el em en eo ep eq er es et eu ev ew ex ey ez fa fb fc fd fe ff fg fh fi fj fk fl fm fn fo fp fq fr fs ft fu fv fw fx fy fz ga gb gc gd ge gf gg gh gi gj gk gl gm gn go gp gq gr gs gt gu gv gw gx gy gz ha hb hc hd he hf hg hh hi hj hk hl hm hn ho hp hq hr hs ht hu hv hw hx hy hz ia ib ic id ie |
![clip_image002[6]](https://img2018.cnblogs.com/blog/1669870/201907/1669870-20190715105143999-61270578.jpg "clip_image002[6]")
图1-1 数据分析Preprocess界面![clip_image002[8]](https://img2018.cnblogs.com/blog/1669870/201907/1669870-20190715105156876-909267511.jpg "clip_image002[8]")
![clip_image002[10]](https://img2018.cnblogs.com/blog/1669870/201907/1669870-20190715105209759-1955869172.jpg "clip_image002[10]")
![clip_image002[12]](https://img2018.cnblogs.com/blog/1669870/201907/1669870-20190715105223256-1365608962.jpg "clip_image002[12]")
![clip_image002[14]](https://img2018.cnblogs.com/blog/1669870/201907/1669870-20190715105236812-1903352989.jpg "clip_image002[14]")
【本文地址】