大数据技术之Hadoop介绍

您所在的位置:网站首页 hadoop大数据的两大核心技术 大数据技术之Hadoop介绍

大数据技术之Hadoop介绍

2023-08-16 17:27| 来源: 网络整理| 查看: 265

1.大数据概述

大数据是指无法利用传统计算技术进行处理的大规模数据集合。大数据概念不再只是数据,大数据已经成为一个全面的主题概念,包含各类工具、技术以及框架。

大数据包括各类信息设备以及应用程序所产生的数据。大数据所涵盖的一些数据领域如下:

 

黑盒子数据:是指直升机、普通飞机及喷气式飞机等的组成部分。该数据采集了飞行机组人员的声音、麦克风和耳机的录音以及飞机的性能信息。

社交媒体数据:社交媒体诸如Facebook和Twitter,拥有人们发布的信息和观点。

证券交易数据:证券交易数据包括不同公司客户做出的“买入”和“卖出”决策信息。

电网数据:电网数据是指一个特定节点相对于基站的耗电信息。

搜索引擎数据:搜索引擎从不同数据库中抽取的大规模数据。

 

因此,大数据包括巨大规模、超高速度、类型可扩展的数据。大数据包括三种类型的数据:

 

结构化数据:关系型数据。

半结构化数据:XML数据。

非结构化数据:Word文档、PDF文档、文本、媒体日志。

 

2.大数据技术

 

大数据技术对于提供更精确分析是非常重要的。更精确地分析将会导致更具体地决策,从而大大提高工作效率、降低成本,减少业务风险。

 

要充分利用大数据,就需要一个基础架构,能够实时管理和处理大规模结构化、非结构化数据,并能够保障数据隐私和安全。

 

市场上存在有不同公司提供的技术,用来处理大数据。下面介绍其中的两类技术:

 

(1)运营大数据

这类技术产品,如MongoDB,针对已采集和存储的数据,提供实时管理、交互式处理功能。

 

NoSQL大数据系统,充分利用过去十年流行的新型云计算架构,支持大规模计算,提供高效、廉价的计算能力。基于这种方案,大数据管理的实施工作更容易、更便宜、更快速。

 

一些NoSQL系统能够支持模式识别、实时数据处理,就不再需要数据专家和其他基础架构的支持。

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3