public/learn-tech
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

first commit

Browse Source
This commit is contained in:
张乾
2024-10-16 06:37:41 +08:00
parent 633f45ea20
commit 206fad82a2
3590 changed files with 680090 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

573
专栏/Kubernetes从上手到实践/09应用发布：部署实际项目.md Normal file
View File

@ -0,0 +1,573 @@
因收到Google相关通知，网站将会择期关闭。相关通知内容
09 应用发布：部署实际项目
本节我们开始学习如何将实际项目部署至 K8S 中，开启生产实践之路。
整体概览
本节所用示例项目是一个混合了 Go，NodeJS，Python 等语言的项目，灵感来自于知名程序员 Kenneth Reitz 的 Say Thanks 项目。本项目实现的功能主要有两个：1. 用户通过前端发送感谢消息 2. 有个工作进程会持续的计算收到感谢消息的排行榜。项目代码可在 GitHub 上获得。接下来几节中如果需要用到此项目我会统一称之为 saythx 项目。
saythx 项目的基础结构如下图：
构建镜像
前端
我们使用了前端框架 Vue，所以在做生产部署时，需要先在 Node JS 的环境下进行打包构建。包管理器使用的是 Yarn。然后使用 Nginx 提供服务，并进行反向代理，将请求正确的代理至后端。
FROM node:10.13 as builder
WORKDIR /app
COPY . /app
RUN yarn install \
&& yarn build
FROM nginx:1.15
COPY nginx.conf /etc/nginx/conf.d/default.conf
COPY --from=builder /app/dist /usr/share/nginx/html/
EXPOSE 80
Nginx 的配置文件如下：
upstream backend-up {
server saythx-backend:8080;
}
server {
listen 80;
server_name localhost;
charset utf-8;
location / {
root /usr/share/nginx/html;
try_files $uri $uri/ /index.html;
}
location ~ ^/(api) {
proxy_pass http://backend-up;
}
}
将 API 的请求反向代理到后端服务上。其余请求全部留给前端进行处理。
后端
后端是使用 Golang 编写的 API 服务，对请求进行相应处理，并将数据存储至 Redis 当中。依赖管理使用的是 dep。由于 Golang 是编译型语言，编译完成后会生成一个二进制文件，为了让镜像尽可能小，所以 Dockerfile 和前端的差不多，都使用了多阶段构建的特性。
FROM golang:1.11.1 as builder
WORKDIR /go/src/be
COPY . /go/src/be
RUN go get -u github.com/golang/dep/cmd/dep \
&& dep ensure \
&& go build
FROM debian:stretch-slim
COPY --from=builder /go/src/be/be /usr/bin/be
ENTRYPOINT ["/usr/bin/be"]
EXPOSE 8080
注意这里会暴露出来后端服务所监听的端口。
Work
Work 端使用的是 Python，用于计算已经存储至 Redis 当中的数据，并生成排行榜。依赖使用 pip 进行安装。对于 Python 的镜像选择，我做了一组性能对比的测试 有兴趣可以了解下。
FROM python:3.7-slim
WORKDIR /app
COPY . /app
RUN pip install -r requirements.txt
ENTRYPOINT ["python", "work.py"]
构建发布
接下来，我们只要在对应项目目录中，执行 docker build [OPTIONS] PATH 即可。一般我们会使用 -t name:tag 的方式打 tag。
# 以下分别是在各模块自己的目录内
➜ be docker build -t taobeier/saythx-be .
➜ fe docker build -t taobeier/saythx-fe .
➜ work docker build -t taobeier/saythx-work .
需要注意的是，前端项目由于目录内包含开发时的 node_modules 等文件，需要注意添加 .dockerignore 文件，忽略一些非预期的文件。关于 Docker 的 build 原理，有想深入理解的，可参考我之前写的 Docker 深入篇之 Build 原理 。 当镜像构建完成后，我们需要将它们发布至镜像仓库。这里我们直接使用官方的 Docker Hub，执行 docker login 输入用户名密码验证成功后便可进行发布（需要先去 Docker Hub 注册帐号）。
登录成功后，默认情况下在 $HOME/.docker/config.json 中会存储用户相关凭证。
接下来进行发布只需要执行 docker push 即可。
➜ ~ docker push taobeier/saythx-be
➜ ~ docker push taobeier/saythx-fe
➜ ~ docker push taobeier/saythx-work
容器编排 Docker Compose
Docker Compose 是一种较为简单的可进行容器编排的技术，需要创建一个配置文件，通常情况下为 docker-compose.yml 。在 saythx 项目的根目录下我已经创建好了 docker-compose.yml 的配置文件。
version: '3'
services:
saythx-frontend:
build:
context: fe/.
image: taobeier/saythx-fe
ports:
- "8088:80"
depends_on:
- saythx-backend
networks:
- saythx
saythx-backend:
build:
context: be/.
image: taobeier/saythx-be
depends_on:
- saythx-redis
networks:
- saythx
environment:
- REDIS_HOST=saythx-redis
saythx-work:
build:
context: work/.
image: taobeier/saythx-work
depends_on:
- saythx-redis
networks:
- saythx
environment:
- REDIS_HOST=saythx-redis
- REDIS_PORT=6379
saythx-redis:
image: "redis:5"
networks:
- saythx
networks:
saythx:
在项目的根目录下执行 docker-compose up 即可启动该项目。在浏览器中访问 http://127.0.0.1:8088/ 即可看到项目的前端界面。如下图：
打开另外的终端，进入项目根目录内，执行 docker-compose ps 命令即可看到当前的服务情况。
➜ saythx git:(master) ✗ docker-compose ps
Name Command State Ports
----------------------------------------------------------------------------------------
saythx_saythx-backend_1 /usr/bin/be Up 8080/tcp
saythx_saythx-frontend_1 nginx -g daemon off; Up 0.0.0.0:8088->80/tcp
saythx_saythx-redis_1 docker-entrypoint.sh redis ... Up 6379/tcp
saythx_saythx-work_1 python work.py Up
可以看到各组件均是 Up 的状态，相关端口也已经暴露出来。
可在浏览器直接访问体验。由于 Docker Compose 并非本册的重点，故不做太多介绍，可参考官方文档进行学习。接下来进入本节的重点内容，将项目部署至 K8S 中。
编写配置文件并部署
在 K8S 中进行部署或者说与 K8S 交互的方式主要有三种：
命令式
命令式对象配置
声明式对象配置
第 7 节介绍过的 kubectl run redis --image='redis:alpine' 这种方式便是命令式，这种方式很简单，但是可重用性低。毕竟你的命令执行完后，其他人也并不清楚到底发生了什么。
命令式对象配置，主要是编写配置文件，但是通过类似 kubectl create 之类命令式的方式进行操作。
再有一种便是声明式对象配置，主要也是通过编写配置文件，但是使用 kubectl apply 之类的放好似进行操作。与第二种命令式对象配置的区别主要在于对对象的操作将会得到保留。但同时这种方式有时候也并不好进行调试。
接下来，为 saythx 项目编写配置文件，让它可以部署至 K8S 中。当然，这里我们已经创建过了 docker-compose.yml 的配置文件，并且也验证了其可用性，可以直接使用 Kompose 工具将 docker-compose.yml 的配置文件进行转换。
但这里采用直接编写的方式。同时，我们部署至一个新的名为 work 的 Namespace 中。
Namespace
apiVersion: v1
kind: Namespace
metadata:
name: work
指定了 Namespace name 为 work。然后进行部署
➜ conf git:(master) ✗ kubectl apply -f namespace.yaml
namespace/work created
Redis 资源
从前面的 docker-compose.yml 中也能发现，saythx 中各个组件，只有 Redis 是无任何依赖的。我们先对它进行部署。
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: redis
name: saythx-redis
namespace: work
spec:
selector:
matchLabels:
app: redis
replicas: 1
template:
metadata:
labels:
app: redis
spec:
containers:
- image: redis:5
name: redis
ports:
- containerPort: 6379
由于这是本册内第一次出现完整的 Deployment 配置文件，故而进行重点介绍。
apiVersion ：指定了 API 的版本号，当前我们使用的 K8S 中， Deployment 的版本号为 apps/v1，而在 1.9 之前使用的版本则为 apps/v1beta2，在 1.8 之前的版本使用的版本为 extensions/v1beta1。在编写配置文件时需要格外注意。
kind ：指定了资源的类型。这里指定为 Deployment 说明是一次部署。
metadata ：指定了资源的元信息。例如其中的 name 和 namespace 分别表示资源名称和所归属的 Namespace。
spec ：指定了对资源的配置信息。例如其中的 replicas 指定了副本数当前指定为 1 。template.spec 则指定了 Pod 中容器的配置信息，这里的 Pod 中只部署了一个容器。
配置文件已经生产，现在对它进行部署。
➜ conf git:(master) ✗ kubectl -n work get all
No resources found.
➜ conf git:(master) ✗ kubectl apply -f redis-deployment.yaml
deployment.apps/saythx-redis created
➜ conf git:(master) ✗ kubectl -n work get all
NAME READY STATUS RESTARTS AGE
pod/saythx-redis-79d8f9864d-x8fp9 1/1 Running 0 4s
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
deployment.apps/saythx-redis 1 1 1 1 4s
NAME DESIRED CURRENT READY AGE
replicaset.apps/saythx-redis-79d8f9864d 1 1 1 4s
可以看到 Pod 已经在正常运行了。我们进入 Pod 内进行测试。
➜ conf git:(master) ✗ kubectl -n work exec -it saythx-redis-79d8f9864d-x8fp9 bash
root@saythx-redis-79d8f9864d-x8fp9:/data# redis-cli
127.0.0.1:6379> ping
PONG
响应正常。
Redis service
由于 Redis 是后端服务的依赖，我们将它作为 Service 暴露出来。
apiVersion: v1
kind: Service
metadata:
labels:
app: redis
name: saythx-redis
namespace: work
spec:
ports:
- protocol: TCP
port: 6379
targetPort: 6379
selector:
app: redis
type: NodePort
关于 Service 的内容，可参考第 7 节，我们详细做过解释。这里直接使用配置文件进行部署。
➜ conf git:(master) ✗ kubectl apply -f redis-service.yaml
service/saythx-redis created
➜ conf git:(master) ✗ kubectl get svc -n work
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
saythx-redis NodePort 10.107.31.242 <none> 6379:31467/TCP 1m
后端服务
接下来，我们对后端服务进行部署。
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: backend
name: saythx-backend
namespace: work
spec:
selector:
matchLabels:
app: backend
replicas: 1
template:
metadata:
labels:
app: backend
spec:
containers:
- env:
- name: REDIS_HOST
value: saythx-redis
image: taobeier/saythx-be
name: backend
ports:
- containerPort: 8080
可以看到这里通过环境变量的方式，将 REDIS_HOST 传递给了后端服务。
➜ conf git:(master) ✗ kubectl apply -f backend-deployment.yaml
deployment.apps/saythx-backend created
➜ conf git:(master) ✗ kubectl -n work get all
NAME READY STATUS RESTARTS AGE
pod/saythx-backend-c5f9f6d95-lmtxn 0/1 ContainerCreating 0 5s
pod/saythx-redis-8558c7d7d-kcmzk 1/1 Running 0 17m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/saythx-redis NodePort 10.107.31.242 <none> 6379:31467/TCP 1m
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
deployment.apps/saythx-backend 1 1 1 0 5s
deployment.apps/saythx-redis 1 1 1 1 17m
NAME DESIRED CURRENT READY AGE
replicaset.apps/saythx-backend-c5f9f6d95 1 1 0 5s
replicaset.apps/saythx-redis-8558c7d7d 1 1 1 17m
后端 Service
后端服务是前端项目的依赖，故而我们也将其作为 Service 暴露出来。
apiVersion: v1
kind: Service
metadata:
labels:
app: backend
name: saythx-backend
namespace: work
spec:
ports:
- protocol: TCP
port: 8080
targetPort: 8080
selector:
app: backend
type: NodePort
通过配置文件进行部署。
➜ conf git:(master) ✗ kubectl apply -f backend-service.yaml
service/saythx-backend created
➜ conf git:(master) ✗ kubectl get svc -n work
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/saythx-backend NodePort 10.104.0.47 <none> 8080:32051/TCP 8s
service/saythx-redis NodePort 10.107.31.242 <none> 6379:31467/TCP 3m
我们同样使用 NodePort 将其暴露出来，并在本地进行测试。
➜ conf git:(master) ✗ curl http://127.0.0.1:32051/api/v1/list
{"HonorDatas":null}
服务可正常响应。
前端
接下来我们编写前端的配置文件。
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: frontend
name: saythx-frontend
namespace: work
spec:
selector:
matchLabels:
app: frontend
template:
metadata:
labels:
app: frontend
spec:
containers:
- image: taobeier/saythx-fe
name: frontend
ports:
- containerPort: 80
需要注意的是，我们必须在后端 Service 暴露出来后才能进行前端的部署，因为前端镜像中 Nginx 的反向代理配置中会去检查后端是否可达。使用配置文件进行部署。
➜ conf git:(master) ✗ kubectl apply -f frontend-deployment.yaml
deployment.apps/saythx-frontend created
➜ conf git:(master) ✗ kubectl -n work get all
NAME READY STATUS RESTARTS AGE
pod/saythx-backend-c5f9f6d95-lmtxn 1/1 Running 0 16m
pod/saythx-frontend-678d544b86-wp9gr 1/1 Running 0 30s
pod/saythx-redis-8558c7d7d-kcmzk 1/1 Running 0 34m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/saythx-backend NodePort 10.104.0.47 <none> 8080:32051/TCP 15m
service/saythx-redis NodePort 10.107.31.242 <none> 6379:31467/TCP 18m
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
deployment.apps/saythx-backend 1 1 1 1 16m
deployment.apps/saythx-frontend 1 1 1 1 30s
deployment.apps/saythx-redis 1 1 1 1 34m
NAME DESIRED CURRENT READY AGE
replicaset.apps/saythx-backend-c5f9f6d95 1 1 1 16m
replicaset.apps/saythx-frontend-678d544b86 1 1 1 30s
replicaset.apps/saythx-redis-8558c7d7d 1 1 1 34m
前端 Service
接下来，我们需要让前端可以被直接访问到，同样的需要将它以 Service 的形式暴露出来。
apiVersion: v1
kind: Service
metadata:
labels:
app: frontend
name: saythx-frontend
namespace: work
spec:
ports:
- name: "80"
port: 80
targetPort: 80
selector:
app: frontend
type: NodePort
创建 Service 。
➜ conf git:(master) ✗ kubectl apply -f frontend-service.yaml
service/saythx-frontend created
➜ conf git:(master) ✗ kubectl -n work get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
saythx-backend NodePort 10.104.0.47 <none> 8080:32051/TCP 17m
saythx-frontend NodePort 10.96.221.71 <none> 80:32682/TCP 11s
saythx-redis NodePort 10.107.31.242 <none> 6379:31467/TCP 20m
我们可以直接通过 Node 的 32682 端口进行访问。
Work
最后，是我们的 Work 组件，为它编写配置文件。
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: work
name: saythx-work
namespace: work
spec:
selector:
matchLabels:
app: work
replicas: 1
template:
metadata:
labels:
app: work
spec:
containers:
- env:
- name: REDIS_HOST
value: saythx-redis
- name: REDIS_PORT
value: "6379"
image: taobeier/saythx-work
name: work
同样的，我们通过环境变量的方式传递了 Redis 相关的配置进去。
➜ conf git:(master) ✗ kubectl apply -f work-deployment.yaml
deployment.apps/saythx-work created
➜ conf git:(master) ✗ kubectl -n work get all
NAME READY STATUS RESTARTS AGE
pod/saythx-backend-c5f9f6d95-lmtxn 1/1 Running 0 22m
pod/saythx-frontend-678d544b86-wp9gr 1/1 Running 0 5m
pod/saythx-redis-8558c7d7d-kcmzk 1/1 Running 0 39m
pod/saythx-work-6b9958dc47-hh9td 0/1 ContainerCreating 0 7s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/saythx-backend NodePort 10.104.0.47 <none> 8080:32051/TCP 20m
service/saythx-frontend NodePort 10.96.221.71 <none> 80:32682/TCP 3m
service/saythx-redis NodePort 10.107.31.242 <none> 6379:31467/TCP 23m
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
deployment.apps/saythx-backend 1 1 1 1 22m
deployment.apps/saythx-frontend 1 1 1 1 5m
deployment.apps/saythx-redis 1 1 1 1 39m
deployment.apps/saythx-work 1 1 1 0 7s
NAME DESIRED CURRENT READY AGE
replicaset.apps/saythx-backend-c5f9f6d95 1 1 1 22m
replicaset.apps/saythx-frontend-678d544b86 1 1 1 5m
replicaset.apps/saythx-redis-8558c7d7d 1 1 1 39m
replicaset.apps/saythx-work-6b9958dc47 1 1 0 7s
现在均已经部署完成。并且可直接通过 Node 端口进行访问。
扩缩容
如果我们觉得排行榜生成效率较低，则可通过扩容 Work 来得到解决。具体做法是可修改 work 的 Deployment 配置文件，将 spec.replicas 设置为预期的数值，之后执行 kubectl -f work-deployment.yaml 即可。
或者可直接通过命令行进行操作
➜ conf git:(master) ✗ kubectl -n work scale --replicas=2 deployment/saythx-work
上面的命令是将 saythx-work 的部署副本数设置为 2 。缩容也差不多是类似的操作。
总结
通过本节的学习，我们已经学习到了如何将项目实际部署至 K8S 中，可以手动编写配置也可以利用一些工具进行辅助。同时也了解到了如何应对应用的扩缩容。
但如果应用需要进行升级的话，则需要去更改配置文件中相关的配置，这个过程会较为繁琐，并且整体项目线上的版本管理也是个问题：比如组件的个人升级，回滚之间如果有依赖的话，会比较麻烦。我们在接下来的两节来学习如何解决这个问题。