1.1 什么是DevOps？
DevOps中的Dev是Devlopment（开发），Ops是Operation（运维），用一句话来说 DevOps 就是打通开发运维的壁垒，实现开发运维一体化。DevOps整个流程包括敏捷开发->持续集成->持续交付->持续部署。
1.1.1 敏捷开发
提高开发效率，及时跟进用户需求，缩短开发周期。
敏捷开发包括编写代码和构建代码两个阶段，可以使用git或者svn来管理代码，用maven对代码进行构建
1.1.2 持续集成（CI）
持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。
常见的持续集成工具：
1. Jenkins
Jenkins是用Java语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用Jenkins，可以自动监测到git或者svn存储库代码的更新，基于最新的代码进行构建，把构建好的源码或者镜像发布到生产环境。Jenkins还有个非常好的功能：它可以在多台机器上进行分布式地构建和负载测试
2. TeamCity
3. Travis CI
4. GoCD
5. Bamboo
6. GitLab CI
7. Codeship
它的好处主要有以下几点：
1）较早的发现错误：每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，哪个环节出现问题都可以较早的发现。
2）快速的发现错误：每完成一部分代码的更新，就会把代码集成到主干中，这样就可以快速的发现错误，比较容易的定位错误。
3）提升团队绩效：持续集成中代码更新速度快，能及时发现小问题并进行修改，使团队能创造出更好的产品。
4）防止分支过多的偏离主干：经常持续集成，会使分支代码经常向主干更新，当单元测试失败或者出现bug，如果开发者需要在没有调试的情况下恢复仓库的代码到没有bug的状态，只有很小部分的代码会丢失。
持续集成的目的是提高代码质量，让产品快速的更新迭代。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。
Martin Fowler说过，"持续集成并不能消除Bug，而是让它们非常容易发现和改正。"
互动：Martin Fowler是谁？
马丁·福勒
马丁·福勒是一个软件开发方面的著作者和国际知名演说家，专注于面向对象分析与设计，统一建模语言，领域建模，以及敏捷软件开发方法，包括极限编程。
与持续集成相关的还有持续交付和持续部署。
1.1.3 持续交付
持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。交付给质量团队或者用户，以供评审。如果评审通过，代码就进入生产阶段。如果所有的代码完成之后一起交付，会导致很多问题爆发出来，解决起来很麻烦，所以持续集成，也就是每更新一次代码，都向下交付一次，这样可以及时发现问题，及时解决，防止问题大量堆积。
1.1.4 持续部署
持续部署是指当交付的代码通过评审之后，自动部署到生产环境中。持续部署是持续交付的最高阶段。Puppet，SaltStack和Ansible是这个阶段使用的流行工具。容器化工具在部署阶段也发挥着重要作用。Docker和k8s是流行的工具，有助于在开发，测试和生产环境中实现一致性。除此之外，k8s还可以实现自动扩容缩容等功能。
1.2 k8s在DevOps中可实现的功能
1.2.1 自动化
敏捷开发->持续集成->持续交付->持续部署。
1.2.2 多集群管理
可以根据客户需求对开发，测试，生产环境部署多套kubernetes集群，每个环境使用独立的物理资源，相互之间避免影响。
1.2.3 多环境一致性
Kubernetes是基于docker的容器编排工具，因为容器的镜像是不可变的，所以镜像把OS、业务代码、运行环境、程序库、目录结构都包含在内，镜像保存在我们的私有仓库，只要用户从我们提供的私有仓库拉取镜像，就能保证环境的一致性。
1.2.4 实时反馈和智能化报表
每次集成或交付，都会第一时间将结果通过多途径的方式反馈给你，也可以定制适合企业专用的报表平台。
1.3 Jenkins+K8S+harbor+git+sonarqube+nexus构建DevOps容器云平台流程
Jenkins是开源的CI&CD工具， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要。完整的DevOps流程：
开发提交代码到代码仓库gitlab-àjenkins检测到代码更新-à调用k8s api在k8s中创建jenkins slave pod：
d拉取代码---à通过maven把拉取的代码进行构建成war包或者jar包--->上传代码到Sonarqube，进行静态代码扫描- -->基于war包构建docker image-->把镜像上传到harbor镜像仓库-->基于镜像部署应用到开发环境-->部署应用到测试环境--->部署应用到生产环境。
实战1：基于Jenkins+k8s+Git等技术链构建企业级DevOps自动化容器云平台
1、安装Jenkins
可用如下两种方法
1）通过docker直接下载jenkins镜像，基于镜像启动服务
2）在k8s中部署Jenkins服务
2、安装nfs服务
#选择自己的任意一台机器，我选择k8s的控制节点master1
1）、在master1上安装nfs，作为服务端
[root@master1 ~]# yum install nfs-utils -y
[root@master1 ~]# systemctl start nfs
[root@master1 ~]# systemctl enable nfs
2）、在node2和node1上安装nfs，作为客户端
yum install nfs-utils -y
systemctl start nfs
systemctl enable nfs
3）、在master1上创建一个nfs共享目录
[root@master1 ~]# mkdir /data/v1 -p
[root@master1 ~]# cat /etc/exports
/data/v1 192.168.40.0/24(rw,no_root_squash)
#使配置文件生效
[root@master1 ~]# exportfs -arv
[root@master1 ~]# systemctl restart nfs
3、在kubernetes中部署jenkins
（1）创建名称空间
[root@master1 ~]# kubectl create namespace jenkins-k8s
（2）创建pv
[root@master1 ~]# cat pv.yaml
#跟新资源清单文件
[root@master1 ~]# kubectl apply -f pv.yaml
（3）创建pvc
[root@master1 ~]# cat pvc.yaml
#更新资源清单文件
[root@master1 ~]# kubectl apply -f pvc.yaml
#查看pvc和pv绑定是否成功
[root@master1 ~]# kubectl get pvc -n jenkins-k8s
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS
jenkins-k8s-pvc Bound jenkins-k8s-pv 10Gi RWX
（4）创建一个sa账号
[root@master1 ~]# kubectl create sa jenkins-k8s-sa -n jenkins-k8s
（5）把上面的sa账号做rbac授权
[root@master1 ~]# kubectl create clusterrolebinding jenkins-k8s-sa-cluster -n jenkins-k8s --clusterrole=cluster-admin --serviceaccount=jenkins-k8s:jenkins-k8s-sa
（6）通过deployment部署jenkins
注：下面实验用到的镜像是jenkins.tar.gz和jenkins-jnlp.tar.gz，把这两个压缩包上传到k8s的node1和node2节点，用如下方法手动解压：
docker load -i jenkins.tar.gz
docker load -i jenkins-jnlp.tar.gz
[root@master1 ~]# cat jenkins-deployment.yaml
#更新资源清单文件
kubectl apply -f jenkins-deployment.yaml
[root@master1 ~]# kubectl get pods -n jenkins-k8s
NAME READY STATUS RESTARTS AGE
jenkins-74b4c59549-qvmrt 0/1 CrashLoopBackOff 1 15s
#上面可以看到CrashLoopBackOff，解决方法如下：
#查看jenkins-74b4c59549-qvmrt日志
[root@master1 ~]# kubectl logs jenkins-74b4c59549-qvmrt -n jenkins-k8s
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
#上面问题是因为/data/v1目录权限问题，按如下方法解决：
[root@master1 ~]# chown -R 1000.1000 /data/v1/
[root@master1 ~]# kubectl delete -f jenkins-deployment.yaml
[root@master1 ~]# kubectl apply -f jenkins-deployment.yaml
[root@master1 ~]# kubectl get pods -n jenkins-k8s
NAME READY STATUS RESTARTS AGE
jenkins-74b4c59549-gp95l 1/1 Running 0 16s
（7）把jenkins前端加上service，提供外部网络访问
[root@master1 ~]# cat jenkins-service.yaml
#更新资源清单文件
[root@master1 ~]# kubectl apply -f jenkins-service.yaml
[root@master1 ~]# kubectl get svc -n jenkins-k8s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S)
jenkins-service NodePort 10.110.34.67 8080:30002/TCP,50000:32331/TCP
4、配置Jenkins
在浏览器访问jenkins的web界面：
http://192.168.40.130:30002/login?from=%2F
1）获取管理员密码
在nfs服务端，也就是我们的master1节点获取密码：
[root@master1 ~]# cat /data/v1/jenkins-home/secrets/initialAdminPassword
f9b0b4400c4a4d6eaec6762616db6d63
把获取到的密码拷贝到上面管理员密码下的方框里
点击继续，出现如下界面
2）安装插件
安装推荐的插件
插件安装好之后显示如下
3）创建第一个管理员用户
用户名和密码都设置成admin，线上环境需要设置成复杂的密码
修改好之后点击保存并完成，出现如下界面
点击保存并完成，出现如下界面
点击保存并完成，出现如下界面
点击开始使用Jenkins
5、测试jenkins的CI/CD
#在Jenkins中安装kubernetes插件
（1）在jenkins中安装k8s插件
ManageJnekins------>插件管理------>可选插件------>搜索kubernetes------>出现如下
选中kubernetes之后------>点击下面的直接安装------>安装之后选择重新启动jenkins---> http://192.168.40.130:30002/restart-->重启之后登陆jenkins即可
#配置jenkins连接到我们存在的k8s集群
（1）访问http://192.168.40.130:30002/configureClouds/
新增一个云,在下拉菜单中选择kubernets并添加
（2）填写云kubernetes配置内容
kubernetes
https://192.168.40.130:6443
（3）测试jenkins和k8s是否可以通信
点击连接测试，如果显示Connection test successful或者显示Connected to Kubernetes 1.20
说明测试成功，Jenkins可以和k8s进行通信
配置k8s集群的时候jenkins地址需要写上面域名的形式，配置之后执行如下：
http://jenkins-service.jenkins-k8s.svc.cluster.local:8080
应用------>保存
（1）配置pod template
访问http://192.168.40.130:30002/configureClouds/
添加Pod模板------>KubernetesPod Template--->按如下配置
（2）在上面的podtemplate下添加容器
添加容器------>Container Template------>按如下配置------>
Docker镜像：使用jenkins-jnlp.tar.gz解压出来的镜像，把这个镜像上传到k8s的各node节点，手动解压：docker load -ijenkins-jnlp.tar.gz
解压出来的镜像是xianchao/jenkins-jnlp:v1
在每一个pod template右下脚都有一个Advanced，点击Advanced，出现如下
在ServiceAccount处输入jenkins-k8s-sa，这个sa就是我们最开始安装jenkins时的sa
（3）给上面的podtemplate添加卷
添加卷------>选择Host Path Volume
/var/run/docker.sock
/var/run/docker.sock
/root/.kube
/home/jenkins/.kube
上面配置好之后，应用------>保存
#添加dockerhub凭据
注意：下面需要用到dockerhub存放镜像，大家如果没有dockerhub可以自己申请一个
首页------>系统管理----à管理凭据--à全局--à添加凭据
username：xianchao
password：1989*****
ID：dockerhub
描述：这个地方随便写
上面修改好之后选择确定即可
#测试通过Jenkins发布代码到k8s开发环境、测试环境、生产环境
在k8s的控制节点创建名称空间：
[root@master1 ~]# kubectl create ns devlopment
namespace/devlopment created
[root@master1 ~]# kubectl create ns production
namespace/production created
[root@master1 ~]# kubectl create ns qatest
namespace/qatest created
回到首页：
新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy------>流水线------>确定------>在Pipeline script处输入如下内容
node('testhan') {
stage('Clone') {
echo "1.Clone Stage"
git url: "https://github.com/luckylucky421/jenkins-sample.git"
script {
build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
}
}
stage('Test') {
echo "2.Test Stage"
}
stage('Build') {
echo "3.Build Docker Image Stage"
sh "docker build -t xianchao/jenkins-demo:${build_tag} ."
}
stage('Push') {
echo "4.Push Docker Image Stage"
withCredentials([usernamePassword(credentialsId: 'dockerhub', passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) {
sh "docker login -u ${dockerHubUser} -p ${dockerHubPassword}"
sh "docker push xianchao/jenkins-demo:${build_tag}"
}
}
stage('Deploy to dev') {
echo "5. Deploy DEV"
sh "sed -i 's//${build_tag}/' k8s-dev.yaml"
sh "sed -i 's//${env.BRANCH_NAME}/' k8s-dev.yaml"
// sh "bash running-devlopment.sh"
sh "kubectl apply -f k8s-dev.yaml --validate=false"
}
stage('Promote to qa') {
def userInput = input(
id: 'userInput',
message: 'Promote to qa?',
parameters: [
[
$class: 'ChoiceParameterDefinition',
choices: "YES\nNO",
name: 'Env'
]
]
)
echo "This is a deploy step to ${userInput}"
if (userInput == "YES") {
sh "sed -i 's//${build_tag}/' k8s-qa.yaml"
sh "sed -i 's//${env.BRANCH_NAME}/' k8s-qa.yaml"
// sh "bash running-qa.sh"
sh "kubectl apply -f k8s-qa.yaml --validate=false"
sh "sleep 6"
sh "kubectl get pods -n qatest"
} else {
//exit
}
}
stage('Promote to pro') {
def userInput = input(
id: 'userInput',
message: 'Promote to pro?',
parameters: [
[
$class: 'ChoiceParameterDefinition',
choices: "YES\nNO",
name: 'Env'
]
]
)
echo "This is a deploy step to ${userInput}"
if (userInput == "YES") {
sh "sed -i 's//${build_tag}/' k8s-prod.yaml"
sh "sed -i 's//${env.BRANCH_NAME}/' k8s-prod.yaml"
// sh "bash running-production.sh"
sh "cat k8s-prod.yaml"
sh "kubectl apply -f k8s-prod.yaml --record --validate=false"
}
}
}
应用------>保存------>立即构建
在左侧可以看到构建任务，如下所示：
点击Input request，部署应用到预生产环境
点击Input request，部署应用到生产环境
看到Finished：SUCCESS,，说明pipeline构建任务完成
6、验证开发、预生产、生产环境部署的应用是否正常运行
[root@master1 ~]# kubectl get pods -n devlopment
NAME READY STATUS RESTARTS AGE
jenkins-demo-784885d9c9-b4jkg 1/1 Running 0 6m18s
[root@master1 ~]# kubectl get pods -n qatest
NAME READY STATUS RESTARTS AGE
jenkins-demo-784885d9c9-59tsm 1/1 Running 0 5m19s
[root@master1 ~]# kubectl get pods -n production
NAME READY STATUS RESTARTS AGE
jenkins-demo-784885d9c9-42hz4 1/1 running 0 5m38s
实战2：Jenkins管理插件BlueOcean配置和使用
# BlueOcean是什么？
为了适应Jenkins Pipeline和 Freestyle jobs任务，Jenkins推出了BlueOcean UI，其目的就是让程序员执行任务时，降低工作流程的复杂度和提升工作流程的清晰度，它具有如下特征：
1、清晰的可视化：对CI/CD pipelines, 可以快速直观的观察项目pipeline状态。
2、pipeline可编辑：引导用户通过直观的、可视化的过程来创建Pipeline，从而使Pipeline的创建变得平易近人。
3、pipeline精确度：通过UI直接介入pipeline的中间问题。
#安装BlueOcean插件
主页—>系统管理插件管理可选插件—>过滤BlueOcean直接安装
安装完成后，重启jenkins
http://192.168.40.130:30002/restart
重启进入jenkins之后，在主页左侧可以看到打开Blue Ocean
实战3：Jenkins实现k8s应用按照指定版本回滚
回到首页：
新建一个任务------>输入一个任务名称处输入jenkins-variable-test-deploy-rollout------>流水线------>确定------>在Pipeline script处输入如下内容
node('testhan') {
stage('git clone') {
git url: "https://github.com/luckylucky421/jenkins-rollout"
sh "ls -al"
sh "pwd"
}
stage('select env') {
def envInput = input(
id: 'envInput',
message: 'Choose a deploy environment',
parameters: [
[
$class: 'ChoiceParameterDefinition',
choices: "devlopment\nqatest\nproduction",
name: 'Env'
]
]
)
echo "This is a deploy step to ${envInput}"
sh "sed -i 's//${envInput}/' getVersion.sh"
sh "sed -i 's//${envInput}/' rollout.sh"
sh "bash getVersion.sh"
// env.WORKSPACE = pwd()
// def version = readFile "${env.WORKSPACE}/version.csv"
// println version
}
stage('select version') {
env.WORKSPACE = pwd()
def version = readFile "${env.WORKSPACE}/version.csv"
println version
def userInput = input(id: 'userInput',
message: '选择回滚版本',
parameters: [
[
$class: 'ChoiceParameterDefinition',
choices: "$version\n",
name: 'Version'
]
]
)
sh "sed -i 's//${userInput}/' rollout.sh"
}
stage('rollout deploy') {
sh "bash rollout.sh"
}
}
点击应用->保存-立即构建
END
精彩文章推荐
从0开始轻松玩转k8s，助力企业实现智能化转型+世界500强实战项目汇总
Nginx如何限流？
使用 root 用户执行Docker、K8s命令？No!
GitLab 持续集成
使用k3s部署轻量Kubernetes集群快速教程
K8S 常见面试题总结
K8s 超详细总结！
两大容器管理平台，Kubernetes与OpenShift有什么区别？
从0开始轻松玩转k8s，助力企业实现智能化转型+世界500强实战项目汇总
容器运行时Containerd基础
Docker+k8s+DevOps+CKA+k8s故障排查训练营
技术交流
为了大家更快速的学习知识，掌握技术，随时沟通交流问题，特组建了技术交流群，大家在群里可以分享自己的技术栈，抛出日常问题，群里会有很多大佬及时解答的，这样我们就会结识很多志同道合的人，长按或者扫描下图二维码可加我微信，备注运维或者k8s或者devops即可进群，让我们共同的努力，向着美好的未来出发吧~~，想要免费获取linux、k8s、DevOps、Openstack、Openshift、运维、开发、测试、架构师、Python、Go、面试文档、容器、岗位内推等资料也可进群获取哈~~
微信： luckylucky421302
 点击阅读原文 | 即刻学习
微信公众号
点亮，服务器10年不宕机
点击阅读原文即可了解更多信息
|