ClickHouse实战

您所在的位置:网站首页 clickhouse应用实践电子书 ClickHouse实战

ClickHouse实战

2024-07-05 06:12| 来源: 网络整理| 查看: 265

注意:我们需要在每台节点中部署ClickHouse部署方式详见ClickHouse安装部署

我们一般配置ClickHouse集群只需要修改Zookeeper存储和节点添加即可。

节点信息 主机 IP ck1 10.10.0.1 ck2 10.10.0.2 ck3 10.10.0.3 配置Zookeeper

在/etc/clickhouse-server/config.xml文件中添加以下配置信息

zk1 2181 zk2 2181 zk3 2181

改配置文件主要配置连接Zookeeper的信息,每个节点的index不可重复

注意要添加到yandex节点中

配置ClickHouse集群

配置ClickHouse集群节点需要配置remote_servers节点

在/etc/clickhouse-server/config.xml文件中添加以下配置信息

1 true ck1 9000 ck2 9000 1 true ck2 9000 ck3 9000 1 true ck3 9000 ck1 9000 ck_cluster 集群标识,可以自行规定,在创建分布式表(引擎为Distributed)时需要用到。 weight 每个分片的写入权重值,数据写入时会有较大概率落到weight值较大的分片,这里全部设为1。 internal_replication 是否启用内部复制,即写入数据时只写入到一个副本,其他副本的同步工作靠复制表和ZooKeeper异步进行。

我们在shard分片中设置的是循环分片这样保证我们复制的节点某一个宕机后可以正常运行将配置分发到所有部署ClickHouse的节点中进行服务重启

此时我们的ClickHouse集群已经搭建完成!

我们还可以使用以下方式构建CK集群(也可以实现多集群构建)

修改集群配置 修改vim /etc/clickhouse-server/config.xml配置文件 zk1 2181 zk2 2181 zk3 2181 1 true ck1 9000 ck2 9000 1 true ck2 9000 ck3 9000 1 true ck3 9000 ck1 9000

删除以上两个配置信息,新增以下内容

/etc/clickhouse-server/ck-cluster.xml remote_servers 标志我们在外部文件中引用的集群配置节点是clickhouse_remote_servers zookeeper 标志我们在外部文件引用的ZK集群配置节点是zookeeper-servers include_from 标志我们引用的外部配置文件,指定文件的绝对路径 新建集群配置文件

刚刚我们指定了/etc/clickhouse-server/ck-cluster.xml配置文件,此时我们需要去对该文件做配置

创建新的配置文件 touch /etc/clickhouse-server/ck-cluster.xml

在新的配置文件中增加zookeeper和clickhouse集群信息

zk1 2181 zk2 2181 zk3 2181 1 true ck1 9000 ck2 9000 1 true ck2 9000 ck3 9000 1 true ck3 9000 ck1 9000 ::/0

此处需要注意的是在yandex中配置的相关节点一定到和config.xml中的

这两个属性的incl一致,否则会扫描不到集群标志

修改配置后我们不需要重启服务,ClickHouse会自动加载修改后的配置信息我们配置多个集群使用多个配置文件即可,多个replica节点配置多个也是可以的



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3