《Hadoop大数据技术原理与运用》知识点总结 |
您所在的位置:网站首页 › 黑马程序员hadoop大数据技术原理与应用课后答案 › 《Hadoop大数据技术原理与运用》知识点总结 |
Hadoop学习过程中的一些笔记 参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著 1.什么是大数据?大数据的四个特征是什么? 答:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合 具有海量数据规模、快速数据流转、多样数据类型一级价值密度四大特征。 2.另外,在Hadoop架构里面,元数据的含义是什么? 答:文件的大小、位置、权限 3.本书里面使用的Hadoop是哪个发行版本? 答:apache版本,优点:版本更迭快; 缺点:更迭快带来的版本维护、兼容性、补丁不周到。 4.在1.x版本中,namenode和datanode作用? 答:namenode:集群中的主节点,管理元数据,主要用于管理集群中的各种数据; datanode:集群当中的从节点,主要用于储存集群当中的各种数据。 配置集群时的一些命令: ssh-keygen -t rsa //启用ssh ssh-copy-id hadoop01 chkconfig iptables off //关防火墙 mac地址文件 vi /etc/udev/rules.d/70-persistent-net.rules第三章HDFS Hadoop的核心是HDFS和MapReduce。其中,HDFS是解决海量大数据文件存储的问题,是目前应用最广泛的分布式文件系统。 HDFS 源于 Google 在2003年10月份发表的GFS(Google File System)论文。 解决传统文件储存瓶颈问题–》纵向扩容:加磁盘和内存。横向扩容:增加服务器数量。 基本概念:HDFS(Hadoop Distributed Filesystem)是一个易于扩展的分布式文件系统,运行在成百上千台低成本的机器上。它与现有的分布式文件系统有许多相似之处,都是用来存储数据的系统工具,而区别于HDFS具有高度容错能力,旨在部署在低成本机器上。HDFS主要用于对海量文件信息进行存储和管理,也就是解决大数据文件(如TB乃至PB级)的存储问题。 Namenode:NameNode是HDFS集群的主服务器。一旦NameNode关闭,就无法访问Hadoop集群。NameNode主要以元数据的形式进行管理和存储,用于维护文件系统名称并管理客户端对文件的访问;NameNode记录对文件系统名称空间或其属性的任何更改操作;HDFS负责整个数据集群的管理,并且在配置文件中可以设置备份数量,这些信息都由NameNode存储。 Datanode:DataNode是HDFS集群中的从服务器。文件系统存储文件的方式是将文件切分成多个数据块,这些数据块实际上是存储在DataNode节点中的,因此DataNode机器需要配置大量磁盘空间。它与NameNode保持不断的通信,DataNode在客户端或者NameNode的调度下,存储并检索数据块,对数据块进行创建、删除等操作,并且定期向NameNode发送所存储的数据块列表。 Block:每个磁盘都有默认的数据块大小,这是磁盘进行数据读/写的最小单位,HDFS同样也有块(block)的概念,它是抽象的块,而非整个文件作为存储单元,在Hadoop2.x版本下,默认大小是128M,且备份3份,每个 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |