HBase |
您所在的位置:网站首页 › hbase是如何存数据的,为什么读得快 › HBase |
需求分析: 1)百亿数据:证明数据量非常大; 2)存入HBase:证明是跟HBase的写入数据有关; 3)保证数据的正确:要设计正确的数据结构保证正确性; 4)在规定时间内完成:对存入速度是有要求的。 解决思路: 1)数据量百亿条,什么概念呢?假设一整天60x60x24 = 86400秒都在写入数据,那么每秒的写入条数高达100万条,HBase当然是支持不了每秒百万条数据的,所以这百亿条数据可能不是通过实时地写入,而是批量地导入。 批量导入推荐使用BulkLoad方式(推荐阅读:Spark之读写HBase),性能是普通写入方式几倍以上; 2)存入HBase:普通写入是用JavaAPI put来实现,批量导入推荐使用BulkLoad; 3)保证数据的正确:这里需要考虑RowKey的设计、预建分区和列族设计等问题; 4)在规定时间内完成也就是存入速度不能过慢,并且当然是越快越好,使用BulkLoad。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |