Hadoop项目案例：电影网站用户性别预测

您所在的位置：网站首页 › 数据预处理实训目的是什么意思 › Hadoop项目案例：电影网站用户性别预测

Hadoop项目案例：电影网站用户性别预测

2024-07-09 22:20| 来源: 网络整理| 查看: 265

文章目录 Hadoop源代码数据预处理获取数据数据变换数据清洗划分数据集实现用户性别分类

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算

源代码

源代码，在我电脑上可以成功运行，我也是改了好久

数据预处理获取数据 hdfs dfs -mkdir /movie hdfs dfs -put /opt/users.dat /movie hdfs dfs -put /opt/ratings.dat /movie

在这里插入图片描述

数据变换 hadoop jar /opt/ratings_users.jar demo.RatingsAndUsers /movie/users.dat /movie/ratings.dat /movie/ratings_users

在这里插入图片描述

hdfs dfs -put /opt/movies.dat /movie hadoop jar /opt/users_movies.jar demo01.UsersAndMovies /movie/movies.dat /movie/ratings_users/part-m-00000 /movie/users_movies

在这里插入图片描述对每个用户看过的电影类型进行统计。