什么是大数据?

您所在的位置:网站首页 大数据技术是 什么是大数据?

什么是大数据?

2024-06-13 05:57| 来源: 网络整理| 查看: 265

大数据技术提供了可满足整个数据管理周期需求的新工具,因此具有技术上和经济上的可行性,不仅能够收集并存储更大的数据集,还能对其进行分析,以发掘有价值的新见解。在大多数情况下,大数据处理包含一种常见的数据流 – 从收集原始数据到使用可付诸行动的信息。

收集。收集原始数据(事务、日志、移动设备等)是众多组织在应对大数据时所面临的第一个难题。优秀的大数据平台可使这一步事半功倍,让开发人员能够以任意速度(从实时处理到批处理)摄取多种数据(从结构化数据到非结构化数据)。

存储。任何大数据平台都需要一个安全、可控制且持久耐用的存储库,用于在处理任务之前(甚至之后)存储数据。根据具体需求,您可能还需要临时存储来存储传输过程中的数据。

处理和分析。在这一步中,数据将从其原始状态转换为可使用的格式,实现的方法通常是排序、聚合、合并,甚至是执行更高级的函数和算法。随后,将存储转换后产生的数据集以供进一步处理,或者通过商业智能和数据可视化工具向用户提供这些数据集。

使用和可视化。大数据解决方案的意义就在于从您的数据集中获取高价值、可付诸行动的见解。理想情况下,您可通过自助式商业智能工具和灵活的数据可视化工具向相关人员提供数据,他们可利用这些工具轻松快速地浏览这些数据集。根据分析的类型,最终用户还可能以统计“预测”(预测分析)或建议行动(规范分析)的形式使用分析结果数据。

大数据处理的发展历程

大数据生态系统一直在以惊人的速度向前发展。如今,有多种分析类型可满足组织中众多职能的需求。

描述分析可帮助用户回答以下问题:“发生了什么,为何会发生?”示例包括带有记分卡和控制面板的传统查询和报告环境。

预测分析可帮助用户预估某个给定事件在未来发生的几率。示例包括早期的警报系统、欺诈检测、预防性维护应用程序和预测。

规范性分析可为用户提供具体(规范)建议。它们可回答用户的以下问题:“如果发生‘x’,我该怎么做?”

最初,Hadoop 之类的大数据框架只支持批处理工作负载,它们在指定的时间段(通常为数小时乃至数天)内批量处理大型数据集。然而,随着“获得见解的时间”变得越来越重要,大数据的“高速”特点已经促使许多新的框架(例如 Apache Spark、Apache Kafka、Amazon Kinesis 等)做出改进以支持实时和流式数据处理。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3