HBase

您所在的位置:网站首页 hbase是如何存数据的,为什么读得快 HBase

HBase

2024-07-16 02:21| 来源: 网络整理| 查看: 265

需求分析:

1)百亿数据:证明数据量非常大; 2)存入HBase:证明是跟HBase的写入数据有关; 3)保证数据的正确:要设计正确的数据结构保证正确性; 4)在规定时间内完成:对存入速度是有要求的。

解决思路:

1)数据量百亿条,什么概念呢?假设一整天60x60x24 = 86400秒都在写入数据,那么每秒的写入条数高达100万条,HBase当然是支持不了每秒百万条数据的,所以这百亿条数据可能不是通过实时地写入,而是批量地导入。 批量导入推荐使用BulkLoad方式(推荐阅读:Spark之读写HBase),性能是普通写入方式几倍以上;

2)存入HBase:普通写入是用JavaAPI put来实现,批量导入推荐使用BulkLoad;

3)保证数据的正确:这里需要考虑RowKey的设计、预建分区和列族设计等问题;

4)在规定时间内完成也就是存入速度不能过慢,并且当然是越快越好,使用BulkLoad。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3