完整代码：（数据处理部分）

1、随着科技的发展，现在人们观看电视节目的方式越来越多，给人们带了很多便利。人们不仅可以使用传统的电视机观看电视节目，而且可以通过网络观看电视节目，这样使得运营商、用户、网络之间产生了一些交互关系。为了更改的为用户提供服务，并提高收益和收视率，需要对广电数据进行分析。

2、目前某广播电视网络运营集团已建成完整覆盖广东省各区（县级市）的有线传输与无线传输互为延伸、互为补充的广电宽带信息网络，实现了城区全程全网的双向覆盖，为广大市民提供有线数字电视、互联网接入服务、高清互动电视、移动数字电视、手机电视、信息内容集成等多样化、跨平台的信息服务。

3、每个家庭收看电视节目都需要通过机顶盒进行收视节目的接收和交互行为（如点播行为、回看行为）的发送，并将交互行为数据发送至每个区域的光机设备（进行数据传递的中介），光机设备会汇集该区域的信息数据，再发送至数据中心进行整合、存储。信息数据的收集过程如图所示。

4、由于已建成的大数据平台积累了大量用户基础信息和用户观看记录信息等数据，所以在此基础上进一步挖掘出数据价值，可以提升客户体验，并提出精准的营销建议，采取有效应对措施，实现增加用户黏度，从而使用户与企业之间建立稳定交互关系，实现客户链式反应增值。

1、在大数据平台中存有用户的基础信息（安装地址等）、订单数据（产品订购、退订信息）、工单数据（报装、故障、投诉、咨询等工单信息）、收费数据（缴费、托收等各渠道支付信息）、账单数据（月租账单收入数据）、双向互动电视平台收视行为数据（直播、点播、回看、广告的收视数据）、用户上网设备的指标状态数据(上下行电平、信噪比、流量等)，共7种数据。

2、由于每个用户收视习惯、兴趣爱好存在差异性，本次抽取了2000个样本用户在2018年5月12日至2018年6月12日的收视行为信息数据和收费数据，并对两份数据表进行脱敏处理。 

3、各数据表及特征说明如表所示。

如何将丰富的电视产品与用户个性化需求实现最优匹配，是广电行业急需解决的重要问题。用户对电视产品的需求不同，在挑选搜寻想要的信息过程中，需要花费大量的时间，这种情况的出现造成了用户的不断流失，对企业造成巨大的损失。广电大数据可视化的主要步骤如下。

1、抽取2000个用户在2018年5月12日至2018年6月12日的收视行为信息数据和收费数据

2、对抽取的数据进行数据清洗

3、对清洗后的数据进行可视化分析，包括用户分析、频道分析、时长分析、周时长分析和用户支付方式分析等

4、撰写项目分析报告  

1、在项目的原始数据中可能会出现部分噪声数据，如重复值、异常值、冗余数据等，将会对后续的可视化分析结果造成影响。因此，需要在Python中读取广播电视数据，并对数据进行清洗。

2、通过pandas库中的read_csv()函数读取用户收视行为数据和收费数据。结果如表所示。 

1、通过读取数据的运行结果可知，用户收视行为数据和收费数据存在的数据量相对较多，其中可能存在一定的缺失值、异常值等数据，且不同的数据存在的问题可能会不一致。

2、因此需要根据不同数据中存在的不同情况，分别对行为信息数据和收费数据进行清洗处理 。

1、在用户的收视行为信息数据（media_index）中存在直播频道名称（station_name）中含有“-高清”字段，如“江苏卫视-高清”与“江苏卫视”等。由于本项目中暂不分开考虑是否为高清频道的情况，所以需要将直播频道名称中“-高清”字段替换为空。“广州电视”与“广州电视-高清”

2、从业务角度分析，该广电运营商主要面向的对象是众多的普通家庭，而收视行为信息数据中存在特殊线路和政企类的用户，即用户等级号（owner_code）为02、09、10的数据与用户等级名称（owner_name）为EA级、EB级、EC级、ED级、EE级的数据。因为特殊线路主要是起到演示、宣传等作用，这部分数据对于分析用户行为意义不大，并且会影响分析结果的准确性，所以需要将这部分数据删除。而政企类数据暂时不做分析，同样也需要删除。 

 3、在收视行为信息数据中存在有同一用户开始观看时间（origin_time）结束观看时间（end_time）重复的记录数据，而且观看的节目不同，如图所示，这可能是由于数据收集设备导致的。经过与广电运营商的业务人员沟通之后，默认保留第一条收视记录，因此需要基于数据中开始观看时间（origin_time）和结束时间（end_time）的记录进行去重。

 4、在收视行为信息数据中存在跨夜的记录数据，如开始观看时间和结束观看时间分别为05-12 23:45:00和05-13 00:31:00，如图所示。

5、在对用户收视行为信息数据进行分析时发现，存在用户的观看时间极短的现象，如图所示 ，这部分观看时间过短可能是因为用户在观看中换频道。经过与广电运营商的业务人员沟通之后，选择观看时长小于4秒作为时间极短的判断阈值，将小于阈值的数据称为异常行为数据，统一进行删除处理。

 6、此外，还存在用户较长时间观看同一频道的现象，这部分观看时间过长可能是因为用户在收视行为结束后，未能及时关闭机顶盒或其他原因造成。这类用户在广电运营大数据平台中数据记录中，未进行收视互动的情况下，节目开始观看时间和结束观看时间的单位秒为00的整点（秒）播放。经过与广电运营商的业务人员沟通之后，选择将直播收视数据中开始观看时间和结束观看时间的单位秒为00的记录删除。

7、最后，发现数据有下次观看的开始观看时间小于上一次观看的结束观看时间的记录，这种异常数据的产生是由于数据收集设备异常导致的，需要进行删除处理

8、综合上述业务数据处理方法，清洗收视行为信息数据的具体步骤如下。

代码：3分钟左右

结果

对于收费数据（mmconsume-payevents），只需删除特殊线路和政企类的用户即可，具体步骤如下。

代码：

 结果：

1、根据读取与处理广播电视数据只能简单的对数据进行了解，并不能明确的看出数据中蕴含的信息

2、因此，需要对清洗后的数据进行可视化分析，清晰的展示出广播电视数据中用户的观看信息，为运营商决策提供一定的参考

贡献度分析又称帕累托分析，它的原理是帕累托法则又称20/80定律。同样的投入放在不同的地方会产生不同的效益。例如，对一个公司而言，80%的利润常来自于20%最畅销的产品，而其他80%的产品只产生了20%的利润。为更好的了解观众最热衷哪些节目或哪些频道最受欢迎，提高收视率，因此需要对所有收视频道名称的观看时长与观看次数进行贡献度分析。

为了使运营商清楚的了解在一周时间内每天的观看时长，从而有针对性的投放受欢迎的节目，增加用户的使用黏度。需要分别绘制了频道周观看时长分布图以及付费频道与点播回看的周观看时长分布图。 

传统广播电视企业如果在互联网时代脱颖而出，那么不仅要在电视节目以及电视节目投放安排上进行分析，还要开发一些产品的周边服务，为用户带来全新的体验。通过绘制用户支付方式分析图，观察用户的支付方式情况，从而方便传统广播电视企业为用户开展一些便民服务，吸引更多的用户使用，增加收益。 

新零售智能销售设备以线上经营的理念，

了解销售的整体情况，为新零售智能销售设备商家提供相关的建议。

由图可知，大部分用户的观看总时长主要集中在100小时~400小时之间。且随着收视用户的增多，电视节目的观看时长也在稳步增长。一个月平均每天观看10小时左右，这说明用户对广电节目有一定的依赖性，同时也说明了广电节目对用户有一定的吸引力，但仍然有一定的增长空间。

由图可知，随着观看各频道次数增多，观看时长也在随之增多，且后面近28%的频道带来了80%的观看时长贡献度。出现这种情况的原因可能是也部分频道具有地方特色，或播放的节目比较受欢迎。

由图可知，排名前15的频道名称为翡翠台、中央3台、中央新闻、广东体育、中央8台、CCTV5+体育赛事、广东珠江、广东南方卫视、江苏卫视、中央6台、凤凰中文、中央4台、广州电视、中央1台、中央5台。其中，广东体育、广东珠江、广东南方卫视、广州电视都相对具有地方特色，而翡翠台则是广东话（粤语）广播为主的综合娱乐频道，也相对符合广东人民的喜好。同时这也从侧面证明了所有收视频道名称的观看时长与观看次数图的分析结果。

由图可知，周末的观看时长占观看总时长的52.5%，而工作日的观看时长的占比为47.5%;周末观看的用户时长集中在20小时~100小时之间，工作日观看的用户时长集中在50小时~250小时之间。虽然在比例图中，周末与工作日的比例相差不大，但是在分布图中工作日的观看总时长仍比周末的观看总时长多，并且两者分布图形状相似。出现这种情况的原因可能是因为周末用户可支配的时间更多，有更多的时间可用于观看电视节目。但是周末只有2天，工作日有5天，所以工作日的观看总时长会比周末的观看总时长多。

由以下两图可知，在一周中，周一、周六、周日的观看时间较长，其中周日观看时间最长。这说明人们更喜欢在周末且倾向于付费观看，在周二到周五忙于工作，无暇顾及电视节目，可能在周末点播回看。 

由图可知，大多数用户选择现金支付，其次是翼支付托收、人行托收，选择网厅网银、短信支付、支付宝、支票、建行龙支付、微信等方式的用户极少。说明用户还是受传统思想影响，倾向于使用现金支付，但是现金携带不便，也带来一定的安全隐患。同时加强宣传，引导用户选择掌上支付，业务也加强集成，方便终端绑定，一键式便捷支付。

通过对广电大数据可视化分析，提出以下总结与建议。