MinIO分布式集群的扩展方案及实现

您所在的位置:网站首页 分布式存储服务器增加磁盘 MinIO分布式集群的扩展方案及实现

MinIO分布式集群的扩展方案及实现

2024-07-13 05:50| 来源: 网络整理| 查看: 265

目录一、命令行方式扩展1. MinIO扩展集群支持的命令语法2. 扩容示例二、etcd扩展方案1. 环境变量2. 运行多个集群3. 示例相关链接 MinIO 支持两种扩展方式:

通过修改命令行,在命令行上指定新的集群集来扩展 通过引入第三方组件etcd,在不动原有集群的基础上实现动态扩展方案 一、命令行方式扩展

MinIO 支持通过在命令行上指定新的集群集来扩展分布式集群,多个节点的存储容量和就是分布式MinIO的存储容量。

1. MinIO扩展集群支持的命令语法

支持扩容的命令行如下:

export MINIO_ACCESS_KEY= export MINIO_SECRET_KEY= minio server http://host{1...m}/export{1...m} http://host{n...z}/export{1...m}

注意:针对此语法,推荐使用连续的节点IP。

2. 扩容示例

假如,我们的初始集群为

export MINIO_ACCESS_KEY= export MINIO_SECRET_KEY= minio server http://host{1...4}/export{1...16}

那么,集群扩容命令行如下:

export MINIO_ACCESS_KEY= export MINIO_SECRET_KEY= minio server http://host{1...4}/export{1...16} http://host{5...8}/export{1...16}

现在整个集群就扩展了64个磁盘,总磁盘变为128个,新的对象上传请求会自动分配到最少使用的集群上。通过以上扩展策略,就可以按需扩展集群。重新配置后重启集群,会立即在集群中生效,并对现有集群无影响。如上命令中,我们可以把原来的集群看做一个集群池,新增集群看做另一个集群池,新对象按每个集群池中的可用空间比例放置在集群池中。在每个集群池内,基于确定性哈希算法确定位置。

注意: 添加的每个集群池必须具有与原始集群池相同的磁盘数量(纠删码集)大小,以便维持相同的数据冗余SLA。 例如,第一个集群池有8个磁盘,就可以将集群扩展为16个、32个或1024个磁盘的集群池,只需确保部署的SLA是原始集群池的倍数即可。

注:命令行方式扩展的集群,各个节点都能访问到数据,每块硬盘都存在相同的 bucket,但上传的数据并不是都存在于每块硬盘上。

二、etcd扩展方案

etcd 用于存储桶DNS服务记录

image

image etcd简介及集群安装部署使用

1. 环境变量 MINIO_ETCD_ENDPOINTS

这是您要用作MinIO联合后端的etcd服务器的逗号分隔列表。 在整个联合部署中,这应该是相同的,即联合部署中的所有MinIO实例都应使用相同的 etcd后端。

MINIO_DOMAIN

这是用于联合设置的顶级域名。理想情况下,该域名应解析为 在所有联合MinIO实例之前运行的负载均衡器。域名用于创建etcd的子域条目。对于 例如,如果域名设置为 domain.com,水桶 bucket1,bucket2 将作为访问 bucket1.domain.com 和 bucket2.domain.com。

MINIO_PUBLIC_IPS

这是用逗号分隔的IP地址列表,此MinIO实例上创建的存储桶将解析为这些IP地址。例如, 可以 bucket1 在访问当前MinIO实例上创建的存储区 bucket1.domain.com,并且DNS条目 bucket1.domain.com 将指向中设置的IP地址MINIO_PUBLIC_IPS。

注意:

这个字段在独立和纠删码MinIO服务器部署时是必需的,以启用联邦模式。 对于分布式部署,此字段是可选的。如果没有在联合设置中设置此字段,则使用传递给MinIO服务器启动的主机的IP地址,并将其用于DNS条目。 2. 运行多个集群

集群1

export MINIO_ETCD_ENDPOINTS="http://remote-etcd1:2379,http://remote-etcd2:4001" export MINIO_DOMAIN=domain.com export MINIO_PUBLIC_IPS=44.35.2.1,44.35.2.2,44.35.2.3,44.35.2.4 minio server http://rack{1...4}.host{1...4}.domain.com/mnt/export{1...32}

集群2

export MINIO_ETCD_ENDPOINTS="http://remote-etcd1:2379,http://remote-etcd2:4001" export MINIO_DOMAIN=domain.com export MINIO_PUBLIC_IPS=44.35.1.1,44.35.1.2,44.35.1.3,44.35.1.4 minio server http://rack{5...8}.host{5...8}.domain.com/mnt/export{1...32}

在此配置中,你可以看到 MINIO_ETCD_ENDPOINTS 指向管理MinIO配置的etcd后端。该后端管理MinIO config.json 和 存储桶DNS SRV记录。MINIO_DOMAIN 表示存储桶的域名后缀,用于通过DNS解析存储桶。例如,如果您有一个像mybucket这样的bucket,那么客户机现在可以使用 mybucket.domain.com 直接将其自身解析到正确的集群。MINIO_PUBLIC_IPS 指向可以访问每个集群的公共IP地址,这对于每个集群是唯一的。

注意:mybucket只存在于一个集群cluster1或cluster2中,这是随机的,由domain.com的解析方式决定,如果存在循环DNS,domain.com则将随机选择哪个群集提供存储桶。

注:etcd方式扩展的集群,上传到某个集群池的数据,虽然其它集群池也可访问到,但 bucket 和 数据 只存在于上传到的集群池中。

3. 示例 #!/bin/sh function start() { export MINIO_ETCD_ENDPOINTS="http://192.168.199.140:2379,http://192.168.199.141:2379,http://192.168.199.142:2379" export MINIO_DOMAIN=domain.com export MINIO_PUBLIC_IPS=192.168.199.140,192.168.199.141 export MINIO_ACCESS_KEY=minioadmin export MINIO_SECRET_KEY=minioadmin nohup /opt/minio/minio server http://192.168.199.14{0...1}/data/minio/export{1...4} \ > /opt/minio/minio.log 2>&1 & # > /dev/null 2>&1 & } NUM=`ps -C "minio" --no-header | wc -l` ID=$(ps -ef | grep "minio" | grep -v "grep" | grep -v "sh" | awk '{print $2}') if [ "start" = $1 ]; then if [ 0 -eq $NUM ]; then start fi elif [ "restart" = $1 ]; then if [ 0 -ne $NUM ]; then kill -9 $ID | start else start fi elif [ "stop" = $1 ]; then if [ 0 -ne $NUM ]; then kill -9 $ID fi else echo "No sush command '$1'" fi

扩展

#!/bin/sh function start() { export MINIO_ETCD_ENDPOINTS="http://192.168.199.140:2379,http://192.168.199.141:2379,http://192.168.199.142:2379" export MINIO_DOMAIN=domain.com export MINIO_PUBLIC_IPS=192.168.199.142,192.168.199.143 export MINIO_ACCESS_KEY=minioadmin export MINIO_SECRET_KEY=minioadmin nohup /opt/minio/minio server http://192.168.199.14{2...3}/data/minio/export{1...4} \ > /opt/minio/minio.log 2>&1 & # > /dev/null 2>&1 & } NUM=`ps -C "minio" --no-header | wc -l` ID=$(ps -ef | grep "minio" | grep -v "grep" | grep -v "sh" | awk '{print $2}') if [ "start" = $1 ]; then if [ 0 -eq $NUM ]; then start fi elif [ "restart" = $1 ]; then if [ 0 -ne $NUM ]; then kill -9 $ID | start else start fi elif [ "stop" = $1 ]; then if [ 0 -ne $NUM ]; then kill -9 $ID fi else echo "No sush command '$1'" fi 相关链接

image etcd简介及集群安装部署使用 image 对象存储服务MinIO安装部署分布式及Spring Boot项目实现文件上传下载

╭☞ 笔记有误之处还请多多指正

本文来自博客园,作者:莫忘归,转载请注明原文链接:https://www.cnblogs.com/lishen2021/p/14693136.html



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3