[译]走进Kubernetes集群的大脑:Etcd

您所在的位置:网站首页 etcd存储最大大小 [译]走进Kubernetes集群的大脑:Etcd

[译]走进Kubernetes集群的大脑:Etcd

2023-10-17 06:21| 来源: 网络整理| 查看: 265

英文原文:A Closer Look at Etcd: The Brain of a Kubernetes Cluster

译文原文:[译]走进Kubernetes集群的大脑:Etcd

译者:野生程序元

Etcd是Kubernetes用于存储集群各种状态信息(配置信息,运行)一个很重要的组件,这篇文章,我们带领大家掀开Etcd的神秘面纱,理解他是如何存储这些各种各样的碎片信息的。

Etcd的概况

Etcd 是一个分布式的,依赖key-value存储的,最重要的分布式数据存储系统 

-- etcd.io

在Kubernetes的世界里面,etcd是服务发现,集群状态存储以及其配置的基石。

Etcd以集群部署,节点间通信是通过Raft算法处理。在生产环境中,集群包含至少3个节点。在 thesecretlivesofdata.com/ 中使用动画很好地地解释了Raft算法如何运作以及整个集群的生命周期,包含以下几点

leader节点的选举 日志的复制与同步

Kubernetes中的Etcd

在Kubernetes集群的背景下,etcd实例可以作为Pod被部署在master节点上。下面是我们这篇文章会使用的Kubernetes模型。

如果想增加安全校验与弹性伸缩的功能的话,也可以将etcd部署成一个内部集群。

下面这个时序图来自Hepio的博客,展示了当一个Pod被创建的时候,Kubernetes内部模块之间的处理流程,形象地阐述了API Server和etcd之间的相互作用。

Kubernetes测试集群

这个部分我们使用在DigitalOcean的kubeadm创建一个3节点的Kubernetes测试集群,选择weavenet作为网络附加组件。这个集群的etcd运行在master节点上。我们并没有配置一个真实环境的HA集群,但已经足够我们去探索etcd的数据存储功能了。

$ kubectl get nodes NAME STATUS ROLES AGE VERSION node-01 Ready master 56m v1.15.2 node-02 Ready 2m17 v1.15.2 node-03 Ready 2m17 v1.15.2

Etcd Pod

首先,我们将集群中所有正在运行的Pods先列出来:

$ kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTART AGE kube-system coredns-5c98db65d4–5kjjv 1/1 Running 0 57m kube-system coredns-5c98db65d4–88hkq 1/1 Running 0 57m kube-system etcd-node-01 1/1 Running 0 56m kube-system kube-apiserver-node-01 1/1 Running 0 56m kube-system kube-controller-manager-node-01 1/1 Running 0 56m kube-system kube-proxy-7642v 1/1 Running 0 3m kube-system kube-proxy-jsp4r 1/1 Running 0 3m kube-system kube-proxy-xj8qm 1/1 Running 0 57m kube-system kube-scheduler-node-01 1/1 Running 0 56m kube-system weave-net-2hvbx 2/2 Running 0 87s kube-system weave-net-5mrjl 2/2 Running 0 87s kube-system weave-net-c76fx 2/2 Running 0 87s

当一个集群刚被初始化的时候,只有在namespace为kube-system中的Pod是运行状态的。这些Pod是用来作为集群的任务管理的。我们比较关心的Pod是etcd-node-01,他是一个ectd的实例,用于存储集群状态。

我们运行一个shell命令,进入到这个Pod里面并且查看这个ctcd container的配置

通过使用--advertise-client-urls标识我们可以拿到所有的key/value对,通过etcdctl命令将他们保存到etcd-kv.json中

$ ADVERTISE_URL="https://134.209.178.162:2379" $ kubectl exec etcd-node-01 -n kube-system -- sh -c \ "ETCDCTL_API=3 etcdctl \ --endpoints $ADVERTISE_URL \ --cacert /etc/kubernetes/pki/etcd/ca.crt \ --key /etc/kubernetes/pki/etcd/server.key \ --cert /etc/kubernetes/pki/etcd/server.crt \ get \"\" --prefix=true -w json" > etcd-kv.json

我们快速查看一下这个文件,所有的key对应的values,并且所有都编码成了base64。

我们先获取所有的key到一个text文件里面看看他们都长什么样子,我将所有的key都列出来了,所以有点点长。

$ for k in $(cat etcd-kv.json | jq '.kvs[].key' | cut -d '"' -f2); do echo $k | base64 --decode; echo; done /registry/apiregistration.k8s.io/apiservices/v1. /registry/apiregistration.k8s.io/apiservices/v1.apps /registry/apiregistration.k8s.io/apiservices/v1.authentication.k8s.io /registry/apiregistration.k8s.io/apiservices/v1.authorization.k8s.io /registry/apiregistration.k8s.io/apiservices/v1.autoscaling /registry/apiregistration.k8s.io/apiservices/v1.batch /registry/apiregistration.k8s.io/apiservices/v1.coordination.k8s.io /registry/apiregistration.k8s.io/apiservices/v1.networking.k8s.io /registry/apiregistration.k8s.io/apiservices/v1.rbac.authorization.k8s.io /registry/apiregistration.k8s.io/apiservices/v1.scheduling.k8s.io /registry/apiregistration.k8s.io/apiservices/v1.storage.k8s.io /registry/apiregistration.k8s.io/apiservices/v1beta1.admissionregistration.k8s.io /registry/apiregistration.k8s.io/apiservices/v1beta1.apiextensions.k8s.io /registry/apiregistration.k8s.io/apiservices/v1beta1.apps /registry/apiregistration.k8s.io/apiservices/v1beta1.authentication.k8s.io /registry/apiregistration.k8s.io/apiservices/v1beta1.authorization.k8s.io /registry/apiregistration.k8s.io/apiservices/v1beta1.batch # 后面有很多,已省略 ...

上面显示了一共342个定义在配置文件中的key,包含所有在集群里面的资源:

Nodes Namespaces ServiceAccounts Roles,RolesBindings, ClusterRoles/ClusterRoleBindings ConfigMaps Secrets Workloads: Deployments, DaemonSets, Pods, … Cluster’s certificates The resources within each apiVersion The events that bring the cluster in the current state

如果我们选择以上其中一个key,我们可以得到具体与之关联的value通过以下命令:

$ kubectl exec etcd-node-01 -n kube-system —- sh -c \ "ETCDCTL_API=3 etcdctl \ --endpoints $ADVERTISE_URL \ --cacert /etc/kubernetes/pki/etcd/ca.crt \ --key /etc/kubernetes/pki/etcd/server.key \ --cert /etc/kubernetes/pki/etcd/server.crt \ get \"KEY\" -w json"

举个例子,我们想获得/registry/deployments/kube-system/coredns这个key的value

如果我们将这个对应的value解码出来发现信息其实可读性不高,一些图表不能被正常解码显示,但当然,Kubernetes内部是知道如何正确处理他们的。

从这个结果上看,我们可以推断出这个key是用来存储credns这个Pod的规则以及部署状态的。

创建一个Pod

让我们一起来创建一个Pod,看看集群的状态修改了什么以及有什么新的key的增加。

$ cat /registry/events/default/www.15b9e3056b8ce3f0 > /registry/events/default/www.15b9e306918312ea > /registry/events/default/www.15b9e306a32beb6d > /registry/events/default/www.15b9e306b5892b60 > /registry/pods/default/www

5个event以及一个pod被创建了,并且看上去也十分合理。我们更深入地看一下,从解码event key所对应的value开始,按照时间排序,我们可以看到他们做了下面的事情:

成功指派default/www到node-02 拉取镜像nginx:1.16-alpine 成功拉取镜像nginx:1.16-alpine 创建nginxcontainer 启动这个container

这些事件可以通过下面命令查看:

kubectl describe pod www

最后一个key,/registry/pods/default/www,提供了这个新创建的pod的所有信息

最后使用的配置 关联的token 状态 ...

(依然解码出来可读性很糟糕。)

总结

这篇文章的目的不是深入etcd,而是解释了一小部分Kubernetes内部包含了什么信息以及这些信息是怎么被组织起来的。希望能填补你对Kubernetes的一小片空白。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3