全部产品
Search

搜索本产品

    微服务引擎MSE：基于消息队列RocketMQ版实现全链路灰度

    文档中心

    微服务引擎MSE：基于消息队列RocketMQ版实现全链路灰度

    更新时间：Mar 06, 2023

    通过消息队列这类异步场景下的流量控制，您可以在不需要修改任何业务代码的情况下，实现全链路灰度。本文介绍MSE基于消息队列RocketMQ版实现全链路灰度。

    前提条件

    步骤一：将应用接入MSE微服务治理

    1. 在ACK中安装MSE治理中心组件

      1. 登录容器服务控制台。

      2. 在左侧导航栏单击市场 > 应用目录。

      3. 在应用目录页面搜索并单击ack-onepilot。

      4. 在详情页面选择开通该组件的集群，然后单击创建。

        说明

        命名空间为ack-onepilot，不可修改。

        创建mse组件

      安装完成后，在命名空间ack-onepilot中出现ack-onepilot应用，表示安装成功。

    2. 为ACK集群指定的命名空间开启MSE微服务治理

      1. 登录MSE治理中心控制台。

      2. 在左侧导航栏选择微服务治理中心 > K8s集群列表。

      3. 在K8s集群列表页面搜索目标集群，单击搜索图标图标，然后单击目标集群操作列下方的管理。

      4. 在集群详情页面命名空间列表区域，单击目标命名空间操作列下方的开启微服务治理。

        开启微服务治理

      5. 在开启微服务治理对话框中单击确认。

    步骤二：部署应用，模拟线上场景

    分别部署spring-cloud-zuul、spring-cloud-a、spring-cloud-b、spring-cloud-c这四个业务应用，以及注册中心Nacos Server和消息服务RocketMQ Server，模拟出一个真实的调用链路。您也可以直接在Demo中获取对应的源码。

    Demo应用的结构图下图，应用之间的调用，既包含了Spring Cloud的调用，也包含了Dubbo的调用，覆盖了当前市面上最常用的两种微服务框架。其中C应用会生产出RocketMQ消息，由A应用进行消费，A应用在消费消息时，也会发起新的调用。这些应用都是基础的Spring Cloud、Dubbo和RocketMQ的标准用法。

    调用关系图

    部署之前，简单介绍一下Demo示例的调用链路：spring-cloud-zuul应用在收到/A/dubbo的请求时，会把请求转发给spring-cloud-a，然后 spring-cloud-a通过Dubbo协议去访问spring-cloud-b，spring-cloud-b也通过Dubbo协议去访问spring-cloud-c，spring-cloud-c在收到请求后，会生产一个消息，并返回自己的环境标签和IP。这些生产出来的消息会由spring-cloud-a应用消费，spring-cloud-a应用在消费消息的时候，会通过spring cloud去调用spring-cloud-b，spring-cloud-b进而通过spring cloud去调用spring-cloud-c，并且将结果输出到自己的日志中。

    #当我们访问/A/dubbo的时候
#返回值是这样A[10.25.xx.xx] -> B[10.25.xx.xx] -> C[10.25.xx.xx]
#同时，A应用在接收到消息之后，输出的日志如下

2021-12-28 10:58:50.301  INFO 1 --- [essageThread_15] c.a.mse.demo.service.MqConsumer
          : topic:TEST_MQ,producer:C[10.25.xx.xx],invoke result:A[10.25.xx.xx] -> B[10.25.xx.xx] -> C[10.25.xx.xx]

    本章将以容器服务控制台部署应用为例进行说明，您也可以使用kubectl的方式部署应用。

    1. 在容器服务控制台左侧导航栏中，单击集群。

    2. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。
    3. 在集群管理页左侧导航栏，选择工作负载 > 无状态。

    4. 在无状态页面选择命名空间，然后单击使用YAML创建资源。

      部署所使用的YAML文件如下：

      # 部署Nacos Server

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nacos-server
spec:
  selector:
    matchLabels:
      app: nacos-server
  template:
    metadata:
      annotations:
      labels:
        app: nacos-server
    spec:
      containers:
        - env:
            - name: MODE
              value: "standalone"
          image: registry.cn-shanghai.aliyuncs.com/yizhan/nacos-server:latest
          imagePullPolicy: IfNotPresent
          name: nacos-server
          ports:
            - containerPort: 8848

---
apiVersion: v1
kind: Service
metadata:
  name: nacos-server
spec:
  type: ClusterIP
  selector:
    app: nacos-server
  ports:
    - name: http
      port: 8848
      targetPort: 8848

# 部署业务应用
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-zuul
spec:
  selector:
    matchLabels:
      app: spring-cloud-zuul
  template:
    metadata:
      labels:
        app: spring-cloud-zuul
        msePilotCreateAppName: spring-cloud-zuul
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
            - name: enable.mq.invoke
              value: 'true'
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-zuul:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-zuul
          ports:
            - containerPort: 20000

---
apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: slb.s1.small
    service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet
  name: zuul-slb
spec:
  ports:
    - port: 80
      protocol: TCP
      targetPort: 20000
  selector:
    app: spring-cloud-zuul
  type: LoadBalancer
status:
  loadBalancer: {}

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a
spec:
  selector:
    matchLabels:
      app: spring-cloud-a
  template:
    metadata:
      labels:
        app: spring-cloud-a
        msePilotCreateAppName: spring-cloud-a
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-a
          ports:
            - containerPort: 20001
          livenessProbe:
            tcpSocket:
              port: 20001
            initialDelaySeconds: 10
            periodSeconds: 30


---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b
spec:
  selector:
    matchLabels:
      app: spring-cloud-b
  template:
    metadata:
      labels:
        app: spring-cloud-b
        msePilotCreateAppName: spring-cloud-b
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-b
          ports:
            - containerPort: 20002
          livenessProbe:
            tcpSocket:
              port: 20002
            initialDelaySeconds: 10
            periodSeconds: 30

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c
spec:
  selector:
    matchLabels:
      app: spring-cloud-c
  template:
    metadata:
      labels:
        app: spring-cloud-c
        msePilotCreateAppName: spring-cloud-c
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-c
          ports:
            - containerPort: 20003
          livenessProbe:
            tcpSocket:
              port: 20003
            initialDelaySeconds: 10
            periodSeconds: 30
---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rockectmq-broker
spec:
  selector:
    matchLabels:
      app: rockectmq-broker
  template:
    metadata:
      labels:
        app: rockectmq-broker
    spec:
      containers:
        - command:
            - sh
            - mqbroker
            - '-n'
            - 'mqnamesrv:9876'
            - '-c /home/rocketmq/rocketmq-4.5.0/conf/broker.conf'
          env:
            - name: ROCKETMQ_HOME
              value: /home/rocketmq/rocketmq-4.5.0
          image: registry.cn-shanghai.aliyuncs.com/yizhan/rocketmq:4.5.0
          imagePullPolicy: Always
          name: rockectmq-broker
          ports:
            - containerPort: 9876
              protocol: TCP
            - containerPort: 10911
              protocol: TCP
            - containerPort: 10912
              protocol: TCP
            - containerPort: 10909

---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: rocketmq-name-server
spec:
  selector:
    matchLabels:
      app: rocketmq-name-server
  template:
    metadata:
      labels:
        app: rocketmq-name-server
    spec:
      containers:
        - command:
            - sh
            - mqnamesrv
          env:
            - name: ROCKETMQ_HOME
              value: /home/rocketmq/rocketmq-4.5.0
          image: registry.cn-shanghai.aliyuncs.com/yizhan/rocketmq:4.5.0
          imagePullPolicy: Always
          name: rocketmq-name-server
          ports:
            - containerPort: 9876
              protocol: TCP
            - containerPort: 10911
              protocol: TCP
            - containerPort: 10912
              protocol: TCP
            - containerPort: 10909
              protocol: TCP

---

apiVersion: v1
kind: Service
metadata:
  name: mqnamesrv
spec:
  type: ClusterIP
  selector:
    app: rocketmq-name-server
  ports:
    - name: mqnamesrv-9876-9876
      port: 9876
      targetPort: 9876

      执行以下命令：

      kubectl get svc,deploy

      预期输出：

      ➜  ~ kubectl get svc,deploy
NAME                   TYPE           CLUSTER-IP        EXTERNAL-IP    PORT(S)        AGE
service/kubernetes     ClusterIP      192.168.xx.xx       <none>         4xx/TCP        7d
service/mqnamesrv      ClusterIP      192.168.xx.xx    <none>         98xx/TCP       47h
service/nacos-server   ClusterIP      192.168.xx.xx    <none>         88xx/TCP       47h
service/zuul-slb       LoadBalancer   192.168.xx.xx   123.56.xx.xx   80:302xxx/TCP   47h

NAME                                   READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/nacos-server           1/1     1            1           4m
deployment.apps/rockectmq-broker       1/1     1            1           4m
deployment.apps/rocketmq-name-server   1/1     1            1           5m
deployment.apps/spring-cloud-a         1/1     1            1           5m
deployment.apps/spring-cloud-b         1/1     1            1           5m
deployment.apps/spring-cloud-c         1/1     1            1           5m
deployment.apps/spring-cloud-zuul      1/1     1            1           5m

    步骤三：为应用开启RocketMQ消息灰度

    假设spring-cloud-c、spring-cloud-a应用为消息的生产者和消费者，为其开启RocketMQ消息灰度。

    说明

    • RocketMQ消息灰度功能开启和关闭需要容器服务控制台重新部署应用后才能生效。

    • 消息的生产者和消息的消费者，需要同时开启RocketMQ消息灰度，消息的灰度功能才能生效。

    • 消息类型目前只支持RocketMQ，包含开源版本和阿里云商业版。

      • 如果您使用开源RocketMQ，则RocketMQ Server和RocketMQ Client都需要使用4.5.0及以上版本。

      • 如果您使用阿里云RocketMQ，需要使用铂金版，且Ons Client使用1.8.0.Final及以上版本。

    • 开启RocketMQ消息灰度后，MSE会修改消息的Consumer Group。例如原来的Consumer Group为group1，环境标签为gray，开启RocketMQ消息灰度后，则group会被修改成group1_gray，如果您使用的是阿里云RocketMQ ，请提前创建好group。

    • MSE默认使用SQL92的过滤方式，如果您使用开源RocketMQ，需要在服务端开启SQL92过滤功能（即在broker.conf中配置enablePropertyFilter=true）。

    1. 登录MSE治理中心控制台。

    2. 在左侧导航栏选择微服务治理中心 > 应用列表。

    3. 在应用列表页面单击目标应用名称，进入应用详情页。

    4. 在应用详情页单击RocketMQ消息灰度页签，打开开启RocketMQ消息灰度开关，单击确定。

      消息灰度

    5. 在容器服务控制台重新部署应用使配置生效。

    步骤四：部署新版本应用

    在K8s集群中部署新版本的spring-cloud-a-gray、spring-cloud-b-gray和spring-cloud-c-gray。

    1. 在容器服务控制台左侧导航栏中，单击集群。

    2. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。
    3. 在集群管理页左侧导航栏，选择工作负载 > 无状态。

    4. 在无状态页面选择命名空间，然后单击使用YAML创建资源。

      部署所使用的YAML文件如下：

      apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a-gray
spec:
  selector:
    matchLabels:
      app: spring-cloud-a-gray
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
      labels:
        app: spring-cloud-a-gray
        msePilotCreateAppName: spring-cloud-a
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-a-gray
          ports:
            - containerPort: 20001
          livenessProbe:
            tcpSocket:
              port: 20001
            initialDelaySeconds: 10
            periodSeconds: 30
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b-gray
spec:
  selector:
    matchLabels:
      app: spring-cloud-b-gray
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray 
      labels:
        app: spring-cloud-b-gray
        msePilotCreateAppName: spring-cloud-b
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-b-gray
          ports:
            - containerPort: 20002
          livenessProbe:
            tcpSocket:
              port: 20002
            initialDelaySeconds: 10
            periodSeconds: 30

---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c-gray
spec:
  selector:
    matchLabels:
      app: spring-cloud-c-gray
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
      labels:
        app: spring-cloud-c-gray
        msePilotCreateAppName: spring-cloud-c
    spec:
      containers:
        - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
          image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0
          imagePullPolicy: Always
          name: spring-cloud-c-gray
          ports:
            - containerPort: 20003
          livenessProbe:
            tcpSocket:
              port: 20003
            initialDelaySeconds: 10
            periodSeconds: 30

    步骤五：引入流量并进行验证

    1. 在MSE治理中心控制台左侧导航栏选择微服务治理中心 > 应用列表。

    2. 在应用列表页面单击目标应用spring-cloud-a，进入应用详情页，可以看到，所有的流量请求都是去往spring-cloud-a应用未打标的版本，即稳定版本。

      消息路由

    3. 在应用详情页面下方选择标签路由页签，在打了gray标签的应用流量规则下方单击添加。

    4. 在创建标签路由面板中配置流量规则，然后单击确定。

      本文示例中设置的流量规则条件为name=xiaoming。

      为spring-cloud-a配置流量规则

      关于流量规则的配置，请参见配置标签路由。

      流量规则生效后，在应用详情页面可以查看流量分布结果。流量规则生效结果

    5. 在spring-cloud-a的应用详情页面下方选择标签路由页签，在打了gray标签的应用流量规则下方单击目标规则名称，打开链路透传的开关，然后单击确定。

      说明

      打开链路透传开关后，name=xiaoming的灰度流量能在全链路里进行透传，且无需重复地配置规则。

      为spring-cloud-a应用配置流量规则

    6. 在容器服务控制台集群详情页面左侧导航栏选择网络 > 服务。

    7. 单击zuul-slb服务所对应的外部端点地址。

    8. 在服务调用页面输入/A/a?name=xiaoming，然后单击开始调用。

      全链路金丝雀发布已经生效。服务调用结果

      此时，spring-cloud-b应用的请求数据如下：

      spring cloud b应用流量曲线

    步骤六：调整消息的标签过滤规则，并进行验证

    1. 在MSE治理中心控制台左侧导航栏选择微服务治理中心 > 应用列表。

    2. 在应用列表页面单击目标应用spring-cloud-a，进入应用详情页。

    3. 在应用详情页面下方的RocketMQ消息灰度页签中找到未打标环境忽略的标签参数，在标签列表中选择gray，单击确定。

      在未打标环境忽略的标签中，选择gray，意味着带着gray环境标的消息，只能由spring-cloud-a-gray消费，不能由spring-cloud-a来消费。未打标环境忽略的标签参数配置完成后动态生效，您不需要进行重启的操作。

      说明

      默认情况下，未打标节点将消费所有环境的消息，如果需要指定某个未打标环节点不消费某个标签环境生产出来的消息，只需配置未打标环境忽略的标签参数即可。

    4. 登录容器服务控制台，查看spring-cloud-a应用的日志，验证配置。

      从下图日志中，可以看到，此时基线环境可以同时消费gray和基线环境生产出来的消息，而且在消费对应环境消息时产生的Spring Cloud调用分别路由到gray和基线环境中。

      日志