离线数据和业务量的急剧增长使得传统数据库技术及单纯基于Hadoop的分布式计算方法需耗费巨大开销,且报表查询页面等待时间长,严重影响用户的体验。本文提出一种基于Hadoop和Hive的离线数据处理方法,采用Java定时任务触发处理作业的启动,利用不同作业对实时性要求的差异,将运行时间分散到不同时间段,实现系统性能的平衡。首先将每种离线数据的处理均视为一个作业,每个作业又被分为若干个子任务；作业依据其标识、启动时间、循环间隔等信息由Java定时任务触发；定时任务每分钟查询待启动的作业,并根据不同的作业类型,进入到相应的执行流程。提出复杂报表数据统计作业的多维度统计方法；抽象出作业执行流程较为相似的各个子任务模板,提高可复用性。将所提出方法应用于能力开放平台,实例结果表明该方法可减少离线冗余数据的空间消耗；通过预测用户欺诈行为,可提高对消费者权益的保障；报表数据的多维度统计结果拆分,可大大缩短报表查询的时间开销；通过减少页面等待时间  (本文共59页) 本文目录 | 阅读全文>>

文章通过对移动应用中离线数据技术的研究,结合电力、公路等外业管理系统的业...  (本文共2页) 阅读全文>>

为了解决常规RSS服务离线环境下无法提供网络服务的问题,提出了一种新的基于RSS的离线数据库应用系统模型:RSS...  (本文共4页) 阅读全文>>

随着传感器、电子技术的进步以及对系统本身故障预测和诊断的需求,大型设备监测的数据参数越来越多,通过数...  (本文共3页) 阅读全文>>

在分析北京谱仪离线数据处理系统的任务和结构的基础上,使用软件配置管理的方法,采用CMT(configuration man...  (本文共4页) 阅读全文>>

Hive是一种建立在Hadoop上的数据仓库基础构架。Hive系统结构中的解析器,可以将用户编写...  (本文共2页) 阅读全文>>