Function Compute:Function Compute を使用した RocketMQ のメッセージデータのクレンジング

例えば、元の学生リストメッセージ [Jack, Male, Class 4|Alice, Female, Class 3|John, Male, Class 4] を 3 つの個別のメッセージに分割し、これらの 3 つのメッセージをそれぞれの宛先サービスに送信する必要があります。これを実装するには、コンテンツ分割オペレーターを使用します。分割されたメッセージは次のとおりです。

message:
    [Jack, Male, Class 4]
message:
    [Alice, Female, Class 3]
message:
    [John, Male, Class 4]

次の図にプロセスを示します。

次のメッセージには、3 つのブランドの歯磨き粉に関する情報が含まれています。

message:
[BrandA, toothpaste, $12.98, 100g
 BrandB, toothpaste, $7.99, 80g
 BrandC, toothpaste, $1.99, 100g]

このリストは、カスタムの動的ルールに基づいて宛先 Topic に送信する必要があります。ルールは次のとおりです。

• BrandA で始まるメッセージを BrandA-item-topic と BrandA-discount-topic の Topic に送信します。

• BrandB で始まるメッセージを BrandB-item-topic と BrandB-discount-topic の Topic に送信します。

• その他のメッセージを Unknown-brand-topic の Topic に送信します。

次のサンプルコードは、ルールの JSON 形式を示しています。

{
  "defaultTopic": "Unknown-brand-topic",
  "rules": [
    {
      "regex": "^BrandA",
      "targetTopics": [
        "BrandA-item-topic",
        "BrandA-discount-topic"
      ]
    },
    {
      "regex": "^BrandB",
      "targetTopics": [
        "BrandB-item-topic",
        "BrandB-discount-topic"
      ]
    }
  ]
}

この例では、CIDR ブロックがエンリッチされます。次のサンプルコードは、サービスのアクセスログの例です。

{
  "accountID": "164901546557****",
  "hostIP": "192.168.XX.XX"
}

次のサンプルコードは、IP アドレスのソースをクエリし、マッピング関係を MySQL データベースに格納する方法の例です。

CREATE TABLE `tb_ip` (
    ->      `IP` VARCHAR(256) NOT NULL,
    ->     `Region` VARCHAR(256) NOT NULL,
    ->      `ISP` VARCHAR(256) NOT NULL,
    ->      PRIMARY KEY (`IP`)
    -> );

次のサンプルコードは、処理されたメッセージの例です。

{
  "accountID": "164901546557****",
  "hostIP": "192.168.XX.XX",
  "region": "beijing"
}

次の図にプロセスを示します。

次のメッセージには、会社の従業員の登録情報が含まれています。

Zhang San, 従業員ID 1, 131 1111 1111
Li Si, 従業員ID 2, 132 2222 2222
Wang Wu, 従業員ID 3, 133 3333 3333

上記のメッセージに含まれる従業員の名前、ID、電話番号は機密情報です。そのため、メッセージを宛先サービスに送信する前に、名前、ID、電話番号をマスクする必要があります。次のサンプルコードに例を示します。

Ja*, Employee ID *, ***********
Ma*, Employee ID *, ***********
Dav*, Employee ID *, *********** 

次の図にプロセスを示します。