Nacos集群部署

一、什么是 Nacos

Nacos 是阿里开源的服务注册中心与配置中心组件，能够帮助开发人员快速实现动态服务发现、服务配置、服务元数据及流量管理。同时能够与 SpringCloud、Kubernetes、Dubbo 等开源生态无缝集成。

Nacos 支持如下核心特性：

  • 服务发现： 支持 DNS 与 RPC 服务发现，也提供原生 SDK 、OpenAPI 等多种服务注册方式和 DNS、HTTP 与 API 等多种服务发现方式。
  • 服务健康监测： Nacos 提供对服务的实时的健康检查，阻止向不健康的主机或服务实例发送请求。
  • 动态配置服务： Nacos 提供配置统一管理功能，能够帮助我们将配置以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。
  • 动态 DNS 服务： Nacos 支持动态 DNS 服务权重路由，能够让我们很容易地实现中间层负载均衡、更灵活的路由策略、流量控制以及数据中心内网的简单 DNS 解析服务。
  • 服务及其元数据管理： Nacos 支持从微服务平台建设的视角管理数据中心的所有服务及元数据，包括管理服务的描述、生命周期、服务的静态依赖分析、服务的健康状态、服务的流量管理、路由及安全策略、服务的 SLA 以及最首要的 metrics 统计数据。

二、提前部署 Mysql

Nacos 需要提前部署 Mysql，目前支持 5.7 及 8.0 版本。关于如何部署 Mysql 可以参考之前本人写的一篇文章 Kubernetes 部署 Mysql 数据库。

三、导入 SQL 相关数据

等数据库创建完成后，还需要导入 SQL 文件来创建它的表结构和一些基础数据。操作如下，我们进入 Mysql 客户端，执行 source 命令导入 SQL 文件。

1
2
3
$ mysql -uroot -p123456

mysql> source /data/nacos.sql

你也可以通过 Navicat 等可视化工具进行快捷导入。

四、部署 Nacos

这里我们部署 Nacos 集群模式，整体如下示意图，会在 Kubernetes 中创建一个 Service，该 Service 关联 Nacos 中的多个 Pod，一个 Pod 就是 Nacos 节点，Pod 之间通过该 Service 进行交互。最后我们会配置一个 NodePort 方式对外访问。当然，你如果你的 Kubernetes 集群已经部署了 Ingress Controller 则可以创建 Ingress 规则对外提供访问。

img

0、部署系统环境

  1. 软件环境
  • Nacos 版本：1.4.1
  • Mysql 版本：8.0.19
  • Kubernetes 版本：1.20.1
  1. 项目示例地址

1、创建 RBAC 资源

nacos-rbac.yaml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nacos-admin
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nacos-admin-clusterrole
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumeclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
  verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nacos-admin-binding
subjects:
- kind: ServiceAccount
  name: nacos-admin
  namespace: devops
roleRef:
  kind: ClusterRole
  name: nacos-admin-clusterrole
  apiGroup: rbac.authorization.k8s.io

执行部署 Nacos RBAC 资源

  • -n：指定部署的 Namespace
1
$ kubectl apply -f nacos-rbac.yaml -n mydlqcloud

2、创建数据库配置 ConfigMap 资源

nacos-config.yaml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
apiVersion: v1
kind: ConfigMap
metadata:
  name: nacos-config
data:
  SERVICE_NAME: "nacos-headless"
  DOMAIN_NAME: "cluster.local"
  NACOS_REPLICAS: "3"
  PREFER_HOST_MODE: "hostname"
  NACOS_SERVER_PORT: "8848"
  NACOS_APPLICATION_PORT: "8848"
  JVM_XMX: "2g"
  JVM_XMS: "2g"
  JVM_XMN: "1g"
  MYSQL_SERVICE_HOST: "mysql"
  MYSQL_SERVICE_DB_NAME: "nacos_config_cluster"
  MYSQL_SERVICE_PORT: "3306"
  MYSQL_SERVICE_USER: "root"
  MYSQL_SERVICE_PASSWORD: "123456"

参数说明：

  • MYSQL_SERVICE_HOST：数据库地址（这里使用上面部署的 Mysql，由于部署在 K8S 里面，所以使用 Mysql Service 提供的 K8S 内部地址）
  • MYSQL_SERVICE_PORT: 数据库端口。
  • MYSQL_SERVICE_DB_NAME: 指定使用的库名称。
  • MYSQL_SERVICE_USER: 数据库用户名。
  • MYSQL_SERVICE_PASSWORD: 数据库密码。
  • NACOS_APPLICATION_PORT：指定 Nacos 端口号。
  • PREFER_HOST_MODE：配置 Nacos 集群节点间服务发现使用的模式，支持 hostname、ip 两种模式。
  • JVM_XMS: 设置 JVM 最大堆内存大小。
  • JVM_XMX: 设置 JVM 最初是堆内存大小。
  • JVM_XMN: 设置 JVM 堆内新生代的内存大小。
  • SERVICE_NAME：指定 Nacos 部署在 K8S 中的 Service 名称。
  • DOMAIN_NAME：指定 k8s domain 配置，一般默认即可。

执行部署 Nacos 数据库 ConfigMap 资源

  • -n：指定部署的 Namespace
1
$ kubectl apply -f nacos-config.yaml -n mydlqcloud

3、创建 Nacos 应用

nacos-deploy.yaml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
apiVersion: v1
kind: Service
metadata:
  name: nacos-headless
  labels:
    app: nacos
spec:
  ports:
    - name: server
      port: 8848
      targetPort: 8848
    - name: rpc
      port: 7848
      targetPort: 7848
  clusterIP: None
  selector:
    app: nacos
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: nacos
spec:
  serviceName: nacos-headless
  replicas: 3
  template:
    metadata:
      labels:
        app: nacos
    spec:
      terminationGracePeriodSeconds: 10  #配置优雅停机时间
      serviceAccountName: nacos-admin    #分配服务账户给应用，方便应用能够获取一定的权限
      initContainers:                    #初始化镜像执行初始化操作
        - name: peer-finder-plugin-install
          image: nacos/nacos-peer-finder-plugin:1.0
          volumeMounts:
            - mountPath: "/home/nacos/plugins/peer-finder"
              name: plugindir
      affinity:    #配置Pod反亲和性，放置Pod都起在同一节点上（如果都在一个节点，节点宕机将会使全部实例不可用）       
        podAntiAffinity:    
          # requiredDuringSchedulingIgnoredDuringExecution: #硬策略，pod一定不能启在同一个节点上
          #   - topologyKey: "kubernetes.io/hostname"
          #     labelSelector:
          #       matchExpressions:
          #         - key: "app"
          #           operator: In
          #           values:
          #             - nacos
          preferredDuringSchedulingIgnoredDuringExecution:  #软策略，尽可能pod不启在同一个节点上
            - weight: 100 
              podAffinityTerm:
                topologyKey: "kubernetes.io/hostname"
                labelSelector:
                  matchExpressions:
                    - key: app
                      operator: In
                      values:
                        - nacos  
      containers:
        - name: nacos
          image: nacos/nacos-server:1.4.1
          resources:
            limits:
              cpu: 2
              memory: "2Gi"
            requests:
              cpu: 100m
              memory: "1Gi"
          ports:
            - name: client-port
              containerPort: 8848
            - name: rpc
              containerPort: 7848
          envFrom:
            - configMapRef:
                name: nacos-config
          env:
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.namespace
          volumeMounts:
            - name: plugindir
              mountPath: /home/nacos/plugins/peer-finder
            - name: datadir
              mountPath: /home/nacos/data
            - name: logdir
              mountPath: /home/nacos/logs
  volumeClaimTemplates:
    - metadata:
        name: plugindir
      spec:
        storageClassName: nfs-storage #指定storageclass名称，这里需要根据你的K8S集群进行修改
        accessModes: ["ReadWriteMany"]
        resources:
          requests:
            storage: 5Gi
    - metadata:
        name: datadir
      spec:
        storageClassName: nfs-storage  
        accessModes: ["ReadWriteMany"]
        resources:
          requests:
            storage: 5Gi
    - metadata:
        name: logdir
      spec:
        storageClassName: nfs-storage
        accessModes: ["ReadWriteMany"]
        resources:
          requests:
            storage: 5Gi
  selector:
    matchLabels:
      app: nacos

上面配置中使用的是 StatefulSet 资源创建的 Nacos，所以需要存储驱动支持 StorageClass 来动态创建 PVC，这里使用的 NFS，并且使用 nfs-client-provisioner 插件来动态创建 PVC，不同的存储驱动有不同的插件，需要自行根据存储来配置。

执行部署 Nacos 应用

  • -n：指定部署的 Namespace
1
$ kubectl apply -f nacos-deploy.yaml -n mydlqcloud

4、暴露 Nacos 对外访问

这里我们再创建一个 Service 资源，设置其类型为 NodePort 方式，提供 NodePort 端口为 30848，方便后续我们对 Nacos Dashboard 进行访问。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
kind: Service
apiVersion: v1
metadata:
  name: nacos
  namespace: devops
  labels:
    app: nacos
spec:
  ports:
    - name: server
      port: 8848
      targetPort: 8848
      nodePort: 30848
  selector:
    app: nacos
  type: NodePort

这里使用 NodePort 方式暴露服务。当然，如果你的 Kubernetes 集群部署了 Ingress Controller，也可以配置 Ingress 路由规则，来让外部访问你的服务。

五、访问 Nacos 进行测试

本人这里的 Kubernetes 地址 IP 为 192.168.2.11，而上面配置的 Nacos Service 中指定 NodePort 端口为 30848，又由于 Nacos 默认会带上前缀 /nacos，所以我们可以输入地址 http://192.168.2.11:30848/nacos 访问 Nacos 页面。

img

输入用户名/密码： nacos/nacos ，登录 Nacos 后会看到如下页面：

img

六、Nacos 变量参数及其说明

Nacos 提供了很多可以配置的参数，以环境变量的方式让我们进行配置，部分参数如下所示：

参数名称 默认值 参数描述
SERVER_SERVLET_CONTEXTPATH /nacos 指定 Nacos 服务前缀。
NACOS_APPLICATION_PORT 8848 指定 Nacos 端口。
TOMCAT_ACCESSLOG_ENABLED false 是否开启访问日志。
SPRING_DATASOURCE_PLATFORM 指定数据库平台，目前只支持 mysql。
MYSQL_DATABASE_NUM 1 数据库数量。
MYSQL_SERVICE_HOST 指定数据库主机地址。
MYSQL_SERVICE_PORT 3306 指定数据库端口。
MYSQL_SERVICE_DB_NAME 指定数据库名称。
MYSQL_SERVICE_USER 指定连接数据库的用户名。
MYSQL_SERVICE_PASSWORD 指定连接数据库的密码。
MYSQL_SERVICE_DB_PARAM characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true 指定数据库连接参数。
JVM_XMS 2g JVM 的 -Xms 参数配置。
JVM_XMX 2g JVM 的 -Xmx 参数配置。
JVM_XMN 1g JVM 的 -Xmn 参数配置。
JVM_MS 128m JVM 的 -XX:MetaspaceSize 参数配置。
JVM_MMS 320m JVM 的 -XX:MaxMetaspaceSize 参数配置。
NACOS_DEBUG 支持y/n，默认为n 是否启用远程调试。
NACOS_AUTH_ENABLE false 是否启用系统鉴权。
NACOS_AUTH_SYSTEM_TYPE nacos 指定 Nacos 系统鉴权认证类型。
NACOS_AUTH_TOKEN SecretKey012345678901234567890123456789012345678901234567890123456789 指定 Nacos 安全认证 Token。
NACOS_AUTH_CACHE_ENABLE false 指定 Nacos 是否开启身份验证信息的缓存。
NACOS_AUTH_TOKEN_EXPIRE_SECONDS 18000 指定 Nacos Token 超时时间，单位（秒）。
NACOS_AUTH_USER_AGENT_AUTH_WHITE_ENABLE false 指定 Nacos 是否使用 user-agent 判断服务端请求并放行鉴权的功能。
NACOS_AUTH_IDENTITY_KEY serverIdentity 指定 Nacos 自定义身份识别的 key。
NACOS_AUTH_IDENTITY_VALUE security 指定 Nacos 自定义身份识别的 value。
PREFER_HOST_MODE ip 指定通信模式，支持hostname和ip两种。
NACOS_SERVERS 指定 Nacos 集群地址。
NACOS_APPLICATION_PORT 8848 指定 Nacos 服务端口。
NACOS_SERVER_IP 在存在多网卡时，指定使用的 IP。

七、参考文档

本文转载自：「 小豆丁个人博客 」，原文：http://www.mydlq.club/article/104/ ，版权归原作者所有。欢迎投稿，投稿邮箱: editor@hi-linux.com。