5.5 ceph 集群状态说明 |
您所在的位置：网站首页 › nerfull › 5.5 ceph 集群状态说明 |
5.5 ceph 集群状态说明
|
1 集群监控管理
1.1 集群整体运行状态
1 查看集群状态可以快速了解 Ceph 集群的 clusterID，health状况，以及 monitor、OSD、PG 的 map 概况。[root@ceph-deploy my-cluster]# ceph -s cluster: id: 14912382-3d84-4cf2-9fdb-eebab12107d8 health: HEALTH_OK services: mon: 3 daemons, quorum ceph-node01,ceph-node02,ceph-node03 (age 21m) mgr: ceph-node01(active, since 21m), standbys: ceph-node03, ceph-node02 osd: 6 osds: 6 up (since 21m), 6 in (since 4w) data: pools: 1 pools, 1 pgs objects: 0 objects, 0 B usage: 6.0 GiB used, 114 GiB / 120 GiB avail pgs: 1 active+clean 注: 参数说明id # 集群IDhealth # 集群运行状态。mon # Monitors运行状态。mgr # Managers运行状态。osd # OSDs运行状态。pools # 存储池与PGs的数量。objects # 存储对象的数量。usage # 存储的理论用量。pgs # PGs的运行状态2 观看实时群集状态更改[root@ceph-deploy my-cluster]# ceph -w3 查看集群健康状态如果集群处于健康状态，会输出 HEALTH_OK，如果输出 HEALTH_WARN 甚至 HEALTH_ERR，表明 Ceph 处于一个不正常状态，可以加上"detail"选项帮助排查问题。[root@ceph-deploy my-cluster]# ceph health detailHEALTH_OK
1.2 PG状态
查看pg状态通常使用下面两个命令即可，dump可以查看更详细信息，如 [root@ceph-deploy my-cluster]# ceph pg stat1 pgs: 1 active+clean; 0 B data, 35 MiB used, 114 GiB / 120 GiB availPG状态概述: 一个 PG 在它的生命周期的不同时刻可能会处于以下几种状态中(1) Creating(创建中)在创建 POOL 时，需要指定 PG 的数量，此时 PG 的状态便处于 creating，意思是 Ceph 正在创建 PG。(2) Peering(互联中)peering 的作用主要是在 PG 及其副本所在的 OSD 之间建立互联，并使得 OSD 之间就这些 PG 中的 object 及其元数据达成一致。(3) Active(活跃的)处于该状态意味着数据已经完好的保存到了主 PG 及副本 PG 中，并且 Ceph 已经完成了 peering 工作。(4) Clean(整洁的)当某个 PG 处于 clean 状态时，则说明对应的主 OSD 及副本 OSD 已经成功互联，并且没有偏离的PG。也意味着 Ceph 已经将该 PG 中的对象按照规定的副本数进行了复制操作。(5) Degraded(降级的)当某个 PG 的副本数未达到规定个数时，该 PG 便处于 degraded 状态，例如，在客户端向主 OSD 写入 object 的过程，object 的副本是由主OSD 负责向副本 OSD 写入的，直到副本 OSD 在创建 object 副本完成，并向主 OSD 发出完成信息前，该 PG 的状态都会一直处于 degraded 状态。又或者是某个 OSD 的状态变成了 down，那么该 OSD 上的所有 PG 都会被标记为 degraded。当 Ceph 因为某些原因无法找到某个 PG 内的一个或多个 object 时，该 PG 也会被标记为 degraded 状态。此时客户端不能读写找不到的对象，但是仍然能访问位于该 PG 内的其他object。(6) Recovering(恢复中)当某个 OSD 因为某些原因 down 了，该 OSD 内 PG 的 object 会落后于它所对应的 PG 副本。而在该 OSD 重新 up 之后，该 OSD 中的内容必须更新到当前状态，处于此过程中的 PG 状态便是 recovering。(7) Backfilling(回填)当有新的 OSD 加入集群时，CRUSH 会把现有集群内的部分 PG 分配给它。这些被重新分配到新 OSD 的 PG 状态便处于 backfilling。(8) Remapped(重映射)当负责维护某个 PG 的 acting set 变更时，PG 需要从原来的 acting set 迁移至新的 acting set。这个过程需要一段时间，所以在此期间，相关 PG 的状态便会标记为 remapped。(9) Stale(陈旧的)默认情况下，OSD 守护进程每半秒钟便会向 Monitor 报告其 PG 等相关状态，如果某个 PG 的主 OSD 所在 acting set 没能向 Monitor 发送报告，或者其他的 Monitor 已经报告该 OSD 为 down 时，该 PG 便会被标记为stale。# 获取状态不正常的 PG 的状态，可以使用如下命令[root@ceph-deploy ~]# ceph pg dump_stuck inactive|unclean|stale|undersized|degraded [--format ]# 获取集群里 PG 的统计信息[root@ceph-deploy my-cluster]# ceph pg dump图示:
图示:
图示:
图示:
有时候需要更改服务的配置，但不想重启服务，或者是临时修改。这时候就可以使用tell和daemon子命令来完成此需求。 2.1 查看运行配置 命令格式:# ceph daemon {daemon-type}.{id} config show命令举例(在角色所在的主机上进行操作):[root@ceph-node01 ~]# ceph daemon osd.0 config show 2.2 tell子命令格式使用 tell 的方式适合对整个集群进行设置，使用 * 号进行匹配就可以对整个集群的角色进行设置，当出现节点异常无法设置的时候，只会在命令 行当中进行报错，不太便于查找。 命令格式:# ceph tell {daemon-type}.{daemon id or *} injectargs --{name}={value} [--{name}={value}]注: 参数说明daemon-type # 要操作的对象类型如osd、mon、mds等。daemon id # 该对象的名称，osd通常为0、1等，mon为"ceph -s"显示的名称，这里可以输入'*'表示全部。injectargs # 表示参数注入，后面必须跟一个参数，也可以跟多个。命令举例:[root@ceph-deploy my-cluster]# ceph tell osd.0 injectargs --debug-osd 20 --debug-ms 1{}[root@ceph-node01 ~]# ceph daemon osd.0 config show | egrep 'debug_osd|debug_ms'"debug_ms": "1/1","debug_osd": "20/20", 2.3 daemon子命令使用 daemon 进行设置的方式就是一个个的去设置，这样可以比较好的反馈，此方法是需要在设置的角色所在的主机上进行设置。 命令格式:# ceph daemon {daemon-type}.{id} config set {name}={value}命令举例:[root@ceph-node01 ~]# ceph daemon mon.ceph-node01 config set mon_allow_pool_delete false{ "success": "mon_allow_pool_delete = 'false' "} 3 集群操作命令包含start(启动服务)、stop(停止服务)、restart(重启服务)、status(服务状态)、enable(默认服务开机自启动) 、disable(服务器开机不自启动)，需要在角色所在的主机上进行操作。 3.1 启动所有守护进程 [root@ceph-node01 ~]# systemctl start ceph.target 3.2 按类型启动守护进程 [root@ceph-node01 ~]# systemctl start ceph-mgr.target# 根据osd编号启动osd服务(一个osd进程对应一块硬盘，一个节点上可以有多个osd)[root@ceph-node01 ~]# systemctl start [email protected][root@ceph-node01 ~]# systemctl start ceph-mon.target[root@ceph-node01 ~]# systemctl start ceph-mds.target[root@ceph-node01 ~]# systemctl start ceph-radosgw.target |
【本文地址】