头条ABase调研报告 |
您所在的位置：网站首页 › 均衡设计构成 › 头条ABase调研报告 |
头条ABase调研报告
架构 ABase采用典型的中心化架构设计，总共有三部分组成： Master：负责元数据的存储和集群的负载均衡调度，类似TiDB中的PD Store：存储节点，底层采用头条自研KV引擎Terarkdb Proxy：负责对外提供Redis server服务。 ABase数据采用主从模式，异步复制。同时支持基于CRDT的多写模式，数据冲突使用HLC进行冲突处理。 特性数据分片模式Hash模式兼容Redis协议基于Terarkdb的分布式存储系统:Terarkdb兼容RocksDB，通过内置Key级别的Cache提升了读性能。 Terarkdb支持直接读取压缩模式下的SST，避免Block解压，也可以提升读性能。 Terarkdb支持KV分离，对于大value存储有优势 内部反馈对Terarkdb负面评价较多，之前主推的succinct已经废弃（业界落地的很少） 基于文件的全量复制和基于rocksdb自身WAL的增量复制;内建和back storage强一致的key级别LRU cache ;这是Terarkdb提升读性能的关键措施之一 基于bucket的sharding和migration ;基于compaction filter的延迟过期策略;数据量:压缩后,单副本85T ;QPS :读360w、写40w ;性能数据背景不详，目前单机Terarkdb读性能是69W，写性能21W（官方数据，跟不同的负载有关）  图片来源：https://github.com/bytedance/terarkdb/blob/dev.1.4/docs/images/compare_rocksdb.png 开源版本的数据跟之前宣传的数据不一样，之前宣传的性能数据如下：  图片来源：https://zhuanlan.zhihu.com/p/21493877 内建Cache命中率: 66% ;延时: avg 1ms、pct99 4ms;分析 整体架构上没有特别需要说明的地方因为采用主从模型，只能保证数据最终一致支持多写，方案跟快手kiwi类似Terarkdb并没有解决LSM-tree读写放大的问题，数据规模特别大的时候，面临跟RocksDB同样的问题 |
【本文地址】