原标题：大数据基础教程（教学大纲）

《大数据基础教程》

课程教学大纲

课程名称

大数据基础

课程英文名称

Big data basic tutorial

学时/学分

32学时/2学分

适用专业

数据科学与大数据技术、计算机科学与技术、软件工程等

先修课程

程序设计基础、数据库原理、面向对象的程序设计、计算机网络、操作系统原理

01

课程描述

“大数据基础”是一门介绍大数据基础理论并与实践相结合的课程，本课程在注重大数据时代应用环境前提下，从初学者角度出发，以轻量级理论、丰富实例对比性地介绍大数据常用的各种基础工具。本课程以CentOS 7、Eclipse等作为实验开发环境和工具，搭建包括Hadoop、HBase、ZooKeeper、Spark等Hadoop生态圈的实验集群，通过经典的相关实验，巩固学生的大数据基础理论知识，使学生由浅入深、由点到面地逐步提高，能结合具体实验熟悉大数据基础技术，提高学生的综合实践能力。

02.

教学目标

知识贡献：掌握扎实的大数据基础知识和大数据开发技术方法、工具和环境。

能力贡献：具备一定的大数据处理技术开发能力，培养独立思考和判断、分析问题和解决问题以及较强的实践动手能力。

素质贡献：培养学生勤奋踏实，适应大数据行业快速发展的素质，具备良好的大数据处理技术职业道德。

03

教学方法

1.以实践大数据技术基础为主线，将本课程所涉及的各项知识点学习贯穿起来，方便学生的理解和记忆。

2. 总结复杂知识点的执行步骤，对于复杂的知识点，总结规律并把它的实现过程归纳出具体的步骤。

3.采用大数据工具实践驱动，案例教学方法，加强学生实践动手能力的培养。

4.以机房授课方式将教学过程从教学向学习转换，改变传统的以教为中心的教学方式，让学生边学边练，培养学习兴趣，构建自己的经验和知识体系。

04

教学内容、基本要求与学时分配

理论课授课内容，32学时

1.了解大数据的发展背景

2.掌握大数据的基本特点和基本应用流程

3.了解大数据在行业中的应用

4.了解大数据在发展中的机遇和挑战

1.掌握Apache Hadoop的基本概念

2.了解Hadoop的安全性流程

3.掌握Hadoop环境的搭建步骤

1.掌握Apache Hadoop的基本概念

2.了解HDFS的概念和工作原理

3.了解HDFS的工作原理

4.了解HDFS的读、写、删除操作

5.了解HDFS的常用命令

6.掌握HDFS的简单实验

1.了解YARN的基本架构

2.掌握YARN的工作流程

3.掌握YARN协议

4.了解YARN优点

1.了解MapReduce的Map过程

2.了解MapReduce的Reduce过程

3.了解搭建使用MapReduce需要的环境

4.了解简单的MapReduce实验

1.掌握Hive的概念和基本特点

2.了解HiveQL的基本概念

3.掌握Hive实验环境的搭建以及简单实验操作

1.掌握HBase的基本概念、数据模型、访问接口

2.了解HBase的安装配置过程

3.掌握HBase的简单实验

1.了解Zookeeper的发展背景

2.掌握Zookeeper的特点，原理以及关键算法

3.掌握Zookeeper的部署和简单的实验应用

4.掌握Zookeeper工作原理

1.了解Spark的基本概念，组件组成，工作原理及基本特性

2.掌握Spark的部署

3.掌握Spark的简单的实验应用

1.了解Kafka结构

2.了解Kafka中两个基本的概念，包括Producer和Consumer

3.了解Kafka的特性

4.了解对Kafka消息日志的操作

5.掌握Kafka集群搭建的过程以及使用Kafka进行消息发送/接收的练习

实验课授课内容， 24-32学时

实验项目名称

1.配置CentOS系统

2.配置JDK环境

3.配置Hadoop

1.安装与配置Hive

2.Hive的基本操作实验

1.安装与配置HBase

2.HBase操作实验

1.安装Spark

2.基于Spark的实验应用

1.Kafka集群搭建

2.基于Kafka的消息发送与接收实验

05.

考核及成绩评定方式

本课程采用考试方式，成绩评定为理论考试60%、上机实验报告30%、平时成绩10%。

06.

使用教材

《大数据基础教程》

王成良 廖军 编著

定价：59元

编辑推荐

本书以Centos 7、Eclipse等为实验开发工具，搭建了Hadoop、HBase、ZooKeeper、Spark等相应的实验集群，通过相关经典实验案例，使学生能较快掌握大数据基础理论知识和综合实践能力。本书配套实验演示视频，增强学习效果。

目 录

上下滚动查看 ↓

第1章大数据概述

1.1大数据发展背景

1.1.1引言

1．1．2发展历程

1．2大数据相关概念及特点

1．2．1大数据特点

1．2．2相关概念介绍

1．3大数据应用过程

1．3．1数据采集

1．3．2预处理

1．3．3数据存储管理

1．3．4数据挖掘分析

1．4大数据技术

1．4．1大数据集群

1．4．2大数据技术架构

1．5大数据行业应用

1．5．1互联网与电子商务行业

1．5．2医疗健康行业

1．5．3交通行业大数据应用

1．5．4金融行业

1．5．5政府机构

1．5．6零售业

1．5．7其他应用领域

1．6大数据的挑战和机遇

1．6．1大数据的挑战

1．6．2大数据的机遇

1．7本书内容结构介绍

第2章Hadoop基础

2．1概念介绍

2．1．1架构

2．1．2Apache Hadoop概述

2．2Hadoop的安全性

2．2．1安全问题

2．2．2Simple机制

2．2．3Kerberos机制

2．2．4委托令牌

2．3实验环境准备

2．3．1虚拟机安装

2．3．2CentOS 7 系统安装

2．3．3其他软件安装

2．4搭建Hadoop

2．4．1CentOS 7系统配置

2．4．2SSH免密码登录

2．4．3配置JDK

2．4．4解压Hadoop

2．4．5配置Hadoop

2．4．6启动Hadoop

第3章HDFS的介绍和简单操作

3．1Hadoop分布式文件系统(HDFS)

3．2HDFS的原理

3．3HDFS写操作

3．4HDFS读操作

3．5HDFS删除操作

3．6HDFS常用命令

3．7实验

3．7．1创建目录

3．7．2上传文件命令

3．7．3罗列HDFS上的文件

3．7．4查看HDFS里某一个文件

3．7．5将HDFS中的文件复制到本地

3．7．6递归删除HDFS下的文档

第4章YARN的原理和操作

4．1YARN简介

4．1．1YARN的概念及背景

4．1．2YARN的使用

4．1．3YARN介绍

4．2YARN的基本架构

4．3YARN的工作流程

4．4YARN协议

4．5YARN的优点

第5章MapReduce的介绍和简单使用

5．1MapReduce简介

5．2Map过程

5．3Reduce过程

5．4开发环境的搭建

5．5实验

5．5．1单词计数

5．5．2二次排序实验

5．5．3计数器实验

第6章Hive

6．1Hive 简介

6．1．1Hive基础

6．1．2Hive的工作原理

6．1．3Hive与传统数据库

6．2HiveQL基础

6．3Hive的安装与配置

6．3．1搭建Hive

6．3．2安装配置MySQL

6．3．3配置Hive

6．4实验

第7章HBase

7．1HBase简介

7．1．1HBase基础

7．1．2HBase数据模型

7．1．3HBase访问接口

7．2HBase与RDBMS

7．3HBase的安装与配置

7．3．1伪分布式安装

7．3．2完全分布式

7．4实验

第8章ZooKeeper基础

8．1ZooKeeper简介

8．1．1概念简介

8．1．2主要特点

8．2ZooKeeper体系结构

8．3关键算法ZAB

8．4ZooKeeper集群搭建

8．5ZooKeeper四字命令

8．6实验

8．6．1ZooKeeper客户端

8．6．2ZooKeeper Java API的使用

第9章Spark基础

9．1Spark介绍

9．1．1概念介绍

9．1．2组件介绍

9．1．3特性

9．2Spark主要架构

9．3Spark计算模型

9．4Spark运行模式

9．5Spark SQL

9．5．1Hive and Shark

9．5．2Shark和Spark SQL

9．5．3Spark SQL运行架构

9．5．4sqlContext和hiveContext的运行过程

9．6Spark Steaming

9．6．1术语定义

9．6．2Storm与Spark Streaming的比较

9．6．3运行原理

9．7安装Spark

9．8实验

第10章Apache Kafka

10．1基础概念介绍

10．1．1消息队列

10．1．2消息中间件

10．2Kafka结构

10．3Producer和Consumer

10．3．1Kafka Producer

10．3．2Kafka Consumer

10．3．3消费状态跟踪

10．4Kafka的特性

10．5消息与日志

10．5．1写操作

10．5．2读操作

10．5．3删除操作

10．5．4消息可靠性

10．6实验

10．6．1Kafka集群搭建

10．6．2消息发送与接收

参考文献返回搜狐，查看更多

责任编辑：