hadoop的概念及特点

您所在的位置:网站首页 大数据的定义与特点是什么 hadoop的概念及特点

hadoop的概念及特点

2024-07-14 15:27| 来源: 网络整理| 查看: 265

1、什么是Hadoop?

Hadoop,简单而言,就是一个用于处理海量数据的分布式框架。他是将一堆海量的数据分发至不同的电脑上进行存储和处理分析,这样就避免了因数据量太大,导致在一台电脑处理数据时出现宕机或者崩溃的情况,不仅提高了海量数据的处理速度,还具有极高的安全性。

他解决了两大难题:海量数据的存储和海量数据的处理分析,这也构成了hadoop的两大核心:HDFS和MapReduce。

2、Hadoop的特点

(1)高可靠性:在处理数据时,Hadoop往往会将数据备份多份分发至不同的机器进行保存,这样就避免了在处理数据时,机器宕机导致数据丢失的麻烦,保证了数据的安全性、可靠性。 (2)高扩展性:在处理数据时,如果当前集群的资源(比如存储能力和运算能力)不足以完成数据处理和分析任务,可以通过快速扩充集群规模进行扩容和加强集群的运算能力。 (3)高效性:相比传统的单台机器处理数据,效率是极高的。 (4)高容错性:Hadoop能自动保存数据的多个副本,当某个节点宕机时,它可以自动的将副本复制给其他机器,保证数据的完整性,并且可以将失败的任务重新分发。 (5)低成本:Hadoop集群可以将程序运行在廉价的机器上并发的进行处理,成本低、效率高,是处理海量数据的最佳选择。

3、Hadoop的组件

(1)HDFS:Hadoop Distribute File System,分布式文件系统,用于存储海量数据。 (2)MapReduce:Hadoop的分布式运算框架。 (3)Yarn:分布式资源调度和任务监控和分配的平台。 (4)commons:Hadoop底层的技术支持。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3