阅读量：

200

作者：

丁慧娟

展开

摘要：

大数据技术改变了人类的生活,为处理生活中的问题带来了极大的便利。我国农产品市场交易一直处于不稳定状态,尤其对于农产品的价格来说浮动比较大。在实践中,随着时间的增长数据量积累增多,农产品市场交易数据呈多样性,传统数据库对于庞大数据存储存在缺陷,导致部分数据丢失,数据统计不准确。大数据技术弥补了传统数据库存储的不足,能够处理海量的数据,不再仅限于单台机的操作,通过集群的方式扩大了可处理数据的数据量,大数据技术还解决了数据类型存在不同形式的问题。大数据技术还可以对数据进行实时采集、处理,处理的过程中是并行处理,并行处理优势在于能够提高数据处理的速度,海量的数据处理能够大大的缩减数据操作时间,实时的数据处理能够及时提供准确的数据分析,进行决策。大数据技术提供精准的预测分析,为农产品市场交易在贸易中赢得了竞争的关键。利用大数据技术的优势,本文运用大数据技术对数据进行了处理。本文大数据技术主要是基于Hadoop平台对农产品市场交易进行海量数据处理分析,Hadoop平台的核心是MapReduce和DHFS。在本文的数据存储过程中,HDFS对农产品市场交易价格数据进行了分布式存储;为了简化系统操作过程,在hadoop平台上增添了HBase模块,能够对数据进行随机、实时的读写操作,在数据的预测结果中运用HBase完成了数据结果存储操作;在数据处理中,MapReduce对数据进行了处理,通过map()和reduce()两个函数完成了数据处理;同时在Hadoop平台添加了Hive模块,在进行数据抽取时,Hive利用SQL查询简化了数据抽取的过程。为了能够对数据更为直观的分析,在Hadoop平台上加入了R语言,构成了Hadoop在农产品市场交易数据分析中完整的Hadoop+HBase+Hive+R语言开发平台,R语言使数据的建模过程更为简单,利用R语言的可视化特性,本文通过折线图对数据进行直观分析。同时,本文运用ARIMA模型和指数模型在搭建的平台上进行了模型分析,对ARIMA模型和指数模型进行了建模和模型预测,根据本文的抽样数据与预测数据编程计算出模型精度,通过精度分析以及数据的折线图分析验证了ARIMA模型对辣椒交易价格中长期预测为较好预测模型。通过模型的预测,可以运用在农产品市场交易大数据分析中。根据不同模型的预测特点,找出合适模型对农产品市场交易做出中长期或短期的预测,通过中长期或短期预测,做出合理的分析,对农产品的贸易以及政府调控农产品培育做出合理决策。

展开

关键词：

大数据 农产品交易 Hadoop R语言 ARIMA模型 指数模型