Ansible自动化部署高可用K8S集群 |
您所在的位置：网站首页 › ansible集群部署 › Ansible自动化部署高可用K8S集群 |
Ansible自动化部署高可用K8S集群
|
1.1 Ansible介绍
Ansible 是一种IT自动化工具。它可以配置系统，部署软件以及协调更高级的IT任务，例如持续部署，滚动更新。Ansible 适用于管理企业IT基础设施，从具有少数主机的小规模到数千个实例的企业环境。Ansible 也是一种简单的自动化语言，可以完美地描述IT应用程序基础结构。 具备以下三个特点： 简单：减少学习成本强大：协调应用程序生命周期无代理：可预测，可靠和安全使用文档：https://releases.ansible.com/ansible/ 安装 Ansible： yum -y install ansible
SSH密码认证： [webservers] 192.168.56.11:22 ansible_ssh_user=root ansible_ssh_pass=centos 192.168.56.12:22 ansible_ssh_user=root ansible_ssh_pass=centos 192.168.56.13 [dbservers] 192.168.56.13SSH密钥对认证： [webservers] 192.168.56.11:22 ansible_ssh_user=root ansible_ssh_key=/root/.ssh/id_rsa 192.168.56.12:22 ansible_ssh_user=root 也可以在配置文件中指定： [defaults] private_key_file = /root/.ssh/id_rsa # 默认路径 2、常用选项 选项描述-C, --check运行检查，不执行任何操作-e EXTRA_VARS,--extra-vars=EXTRA_VARS设置附加变量 key=value-u REMOTE_USER, --user=REMOTE_USERSSH连接用户，默认None-k, --ask-passSSH连接用户密码-b, --become提权，默认root-K, --ask-become-pass提权密码 3、命令行使用 ansible all -m ping ansible all -m shell -a "ls /root" -u root -k 1.4 常用模块 1、shell在目标主机执行shell命令。 ansible master -m shell -a "date" -k 2、copy将文件复制到远程主机。 ansible master -m copy -a "src=./test.txt dest=/root" -k 3、file管理文件和文件属性。 // 创建目录 ansible master -m file -a "path=/tmp/test state=directory" -k // 删除文件 ansible master -m file -a "path=/root/test.txt state=absent" -k //删除目录 ansible master -m file -a "path=/tmp/test state=absent" -k 4、yum软件包管理 present，latest：表示安装 absent：表示卸载 ansible master -m yum -a "name=wget state=present" -k ansible master -m yum -a "name=wget state=absent" -k 5、service/systemd管理服务 ansible master -m systemd -a "name=NetworkManager state=restarted enabled=no daemon_reload=yes" -k #state: started #state: stopped #state: restarted #state: reloaded 6、unarchive ansible master -m file -a "path=/tmp/python state=directory" -k ansible master -m unarchive -a "src=/opt/software/Python-3.7.10.tgz dest=/tmp/python" -k ansible master -m file -a "path=/tmp/python state=absent" -k 7、debug执行过程中打印语句。 ansible localhost -m debug -a "msg={{ hostvars }}" -k ansible master -m debug -a "msg={% for host in master %}ip={{ host.host.ip }}{% if not loop.last %},{% endif %}{% endfor %}" -k ansible localhost -m debug -a "msg={{ name }}" -k 1.5 变量变量是应用于多个主机的便捷方式； 实际在主机执行之前，变量会对每个主机添加，然后在执行中引用。 1、主机变量与组变量 [master] 192.168.56.11 ansible_ssh_user=root hostname=master1 192.168.56.12 ansible_ssh_user=root hostname=master2 [master:vars] ansible_ssh_user=root hostname=master1 2、Register变量 - shell: date register: result - debug: var: result 1.6 PlaybookPlaybooks是Ansible的配置，部署和编排语言。他们可以描述您希望在远程机器做哪些事或者描述IT流程中一系列步骤。使用易读的YAML格式组织Playbook文件。 如果Ansible模块是您工作中的工具，那么Playbook就是您的使用说明书，而您的主机资产文件就是您的原材料。 与命令行执行模式相比，Playbooks使用ansible是一种完全不同的方式，并且功能特别强大。 https://docs.ansible.com/ansible/latest/user_guide/playbooks.html --- - hosts: master vars: http_port: 80 remote_user: root gather_facts: false tasks: - name: 安装wget最新版 yum: name=wget state=latest - name: 打印变量 debug: msg: http_port 1、主机和用户 - hosts: webservers remote_user: root 2、定义变量Ansible中的首选做法是不将变量存储在Inventory中。 除了将变量直接存储在Inventory文件之外，主机和组变量还可以存储在相对于Inventory文件的单个文件中。 - hosts: webservers vars: http_port: 80 3、任务列表每个play包含一系列任务。这些任务按照顺序执行，在play中，所有主机都会执行相同的任务指令。play目的是将选择的主机映射到任务。 tasks: - name: 安装wget最新版 yum: name=nginx state=latest 4、语法检查与调试语法检查：ansible-playbook --check $path/playbook.yaml 测试运行，不实际操作：ansible-playbook -C $path/playbook.yaml debug模块在执行期间打印语句，对于调试变量或表达式，而不必停止play。与'when：'指令一起调试更佳。 - hosts: master remote_user: root gather_facts: false tasks: - debug: msg: "{{group_names}}" - debug: msg: "{{inventory_hostname}}" 5、任务控制如果你有一个大的剧本，那么能够在不运行整个剧本的情况下运行特定部分可能会很有用。 tasks: - name: 查看文件 shell: cat /etc/passwd tags: cat - name: 查看服务器时间 shell: date tags: date使用： ansible-playbook test.yml --tags "cat" ansible-playbook test.yml --tags "date" ansible-playbook test.yml --skip-tags "cat" 6、流程控制条件： - hosts: master remote_user: root gather_facts: false tasks: - name: 只在192.168.56.11运行任务 debug: msg={{ inventory_hostname }} when: inventory_hostname == '192.168.56.11'循环： - hosts: master remote_user: root gather_facts: false tasks: - name: 批量复制文件 copy: src=/etc/ansible/{{ item }} dest=/tmp with_items: - test1 - test2 - test3常用循环语句： 语句描述with_items标准循环with_fileglob遍历目录文件with_dict遍历字典 7、模板 - hosts: localhost remote_user: root gather_facts: false tasks: - name: template template: src=/etc/ansible/test.conf.j2 dest=/etc/ansible/test.conf定义变量： {% set local_ip = inventory_hostname %}条件和循环： {% set list=['one', 'two', 'three'] %} {% for i in list %} {% if i == 'two' %} -> two {% elif loop.index == 3 %} -> 3 {% else %} {{i}} {% endif %} {% endfor %}例如：生成连接etcd字符串 {% for host in groups['etcd'] %} https://{{ hostvars[host].inventory_hostname }}:2379 {% if not loop.last %},{% endif %} {% endfor %}里面也可以用ansible的变量。 1.7 RolesRoles是基于已知文件结构自动加载某些变量文件，任务和处理程序的方法。按角色对内容进行分组，适合构建复杂的部署环境。 1、定义RolesRoles目录结构： site.yml webservers.yml fooservers.yml roles/ common/ tasks/ handlers/ files/ templates/ vars/ defaults/ meta/ webservers/ tasks/files files/ templates/ tasks -包含角色要执行的任务的主要列表。handlers -包含处理程序，此角色甚至在此角色之外的任何地方都可以使用这些处理程序。defaults-角色的默认变量vars-角色的其他变量files -包含可以通过此角色部署的文件。templates -包含可以通过此角色部署的模板。meta-为此角色定义一些元数据。请参阅下面的更多细节。通常的做法是从tasks/main.yml文件中包含特定于平台的任务： # roles/webservers/tasks/main.yml - name: added in 2.4, previously you used 'include' import_tasks: redhat.yml when: ansible_facts['os_family']|lower == 'redhat' - import_tasks: debian.yml when: ansible_facts['os_family']|lower == 'debian' # roles/webservers/tasks/redhat.yml - yum: name: "httpd" state: present # roles/webservers/tasks/debian.yml - apt: name: "apache2" state: present 2、使用角色 # site.yml - hosts: webservers roles: - common - webservers 定义多个： - name: 0 gather_facts: false hosts: all roles: - common - name: 1 gather_facts: false hosts: all roles: - webservers 3、角色控制 - name: 0.系统初始化 gather_facts: false hosts: all roles: - common tags: common 4、定义变量组变量： group_vars 存放的是组变量 group_vars/all.yml 表示所有主机有效，等同于[all:vars] grous_vars/etcd.yml 表示etcd组主机有效，等同于[etcd:vars] 1.8 自动化部署K8S 1、 熟悉二进制部署K8S步骤服务器规划 IP角色虚拟机配置组件192.168.56.11master、node2C 4Gkube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、keepalived、haproxy192.168.56.12master、node2C 3Gkube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、keepalived、haproxy192.168.56.13master、node2C 3Gkube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、keepalived、haproxy系统初始化 主要包括：关闭防火墙、关闭NetworkManager、关闭selinux、关闭swap分区、时间同步、优化参数等 生成自签证书 k8s推荐的通信方式是双认证通信，也就是客户端与服务端双向认证 需要生成的证书有：etcd证书、k8s证书、以及kube-controller-manager和kube-scheduler与kube-apiserver通信的配置文件等 部署docker docker建议采用离线包安装 Etcd集群部署 创建目录 --> 分发二进制文件 --> 分发证书 --> 分发配置文件 --> 启动etcd --> 查看状态 部署高可用 keepalived + haproxy 部署Master 部署kube-apiserver、kube-controller-manager、kube-scheduler组件 部署bootstrap bootstrap主要是用来自动给node颁发证书用的，之前用的都是手动颁发证书，每加入一台node节点需要颁发一次证书 部署Node 部署kubelet和kube-proxy 部署addons 部署Calico、CoreDNS、Dashboard、Metrics 2、Roles组织K8S各组件部署解析编写建议： 梳理流程和Roles结构如果配置文件有不固定内容，使用jinja渲染人工干预改动的内容应统一写到一个文件中 3、下载所需文件下载Ansible部署文件： etcd版本：3.4 kubernetes组件版本：1.20.2 cfssl cfssljson etcd etcdctl kube-apiserver kube-controller-manager kubectl kubelet kube-proxy kube-scheduler 4、修改Ansible文件修改hosts文件，根据规划修改对应IP和名称。 # vim hosts [master] 192.168.56.11 node_name=k8s-master1 192.168.56.12 node_name=k8s-master2 192.168.56.13 node_name=k8s-master3 [node] 192.168.56.11 node_name=k8s-master1 192.168.56.12 node_name=k8s-master2 192.168.56.13 node_name=k8s-master3 [etcd] 192.168.56.11 etcd_name=etcd-1 192.168.56.12 etcd_name=etcd-2 192.168.56.13 etcd_name=etcd-3 [lb] 192.168.56.11 lb_name=lb-master 192.168.56.12 lb_name=lb-backup 192.168.56.13 lb_name=lb-backup [k8s:children] master node修改group_vars/all.yml文件，修改软件包目录和证书可信任IP。 # vim group_vars/all.yml # 相关目录 tools_dir: '/root/binary_tools' # 二进制文件存放目录 etcd_work_dir: '/opt/etcd' # ETCD工作目录 k8s_work_dir: '/opt/k8s' # K8S master节点工作目录 k8s_node_dir: '/opt/k8s_node' # K8S node节点工作目录 home_dir: '/root' # 用户home目录 tmp_dir: '/tmp/k8s' # 临时目录 # 时间同步服务器 time_server: '192.168.56.118' # crontab文件 cron: /var/spool/cron/root # 安装docker docker: docker # 集群网络 service_cidr: '10.96.0.0/16' # service网段 cluster_first_ip: '10.96.0.1' # service网段第一个IP cluster_dns: '10.96.0.10' # dns IP pod_cidr: '172.16.0.0/16' # pod网段 service_nodeport_range: '30000-32767' # 端口范围 cluster_domain: 'cluster.local' # 集群域名 # bootstrap信息 token_id: c8ad9c token_secret: 2e4d610cf3e7426e 5、一键部署架构图
部署命令 ansible-playbook -i hosts deploy.yml -uroot -k集群清理命令clean ansible-playbook -i hosts clean.yml -uroot -k 6、部署控制如果安装某个阶段失败，可针对性测试. 例如：只运行部署插件 ansible-playbook -i hosts deploy.yml -uroot -k --tags addons 7、注意事项1 验证集群 安装集群之后，第一时间先验证集群是否正常 创建一个pod cat |
【本文地址】
今日新闻 |
推荐新闻 |