大数据实验二

您所在的位置:网站首页 实验2熟悉常用的hdfs操作过程包括 大数据实验二

大数据实验二

2024-07-03 15:32| 来源: 网络整理| 查看: 265

一.实验内容

HDFS编程实践:

1)使用HDFS文件操作的常用Shell命令;

2)利用Hadoop提供的Java API进行基本的文件操作。

二.实验目的

1、理解HDFS在Hadoop体系结构中的角色。

2、熟练使用HDFS操作常用的Shell命令。

3、熟悉HDFS操作常用的JavaAPI。

三.实验过程截图及说明 1、使用命令对文件进行基本的操作:

(1)创建一个text.txt文件并查看它的行数

(2)追加到原文件末尾

(3)使用HDFS命令创建一个文件夹,并查看是否创建成功:

(4)在本地创建一个文件,将其上传到HDFS:

(5)使用cat命令读取里面的内容:

(6)将HDFS中的文件拉取到本地上:

(7)删除刚刚上传到HDFS的文件:

2、使用Hadoop提供的javaAPI对文件进行基本的操作:

(1)安装配置好idea后,启动idea,创建一个maven项目,先导入需要用到的Hadoop的依赖:

(2)在source文件夹下创建com.ecjtu.hadoop包(一层一层创),接着在里面创建一个fileOP.java文件:

(3)引入需要用到的包:

(4)写一个创建文件的方法:

(5)编写一个写入文件的方法:

(6)编写一个读取文件信息的方法:

(7)编写一个删除文件的方法:

(8)最后写main方法,分别调用这四个方法,测试结果:

(9)点击运行,运行结果如下:

3、完整报告在开头资源绑定中,也可联系q:3226627884 获取


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3