Function Compute:Function Compute を使用した RocketMQ のメッセージデータのクレンジング

例えば、元の学生リストメッセージ [Jack, Male, Class 4|Alice, Female, Class 3|John, Male, Class 4] を 3 つの個別のメッセージに分割し、これらの 3 つのメッセージをそれぞれの送信先サービスに送信する必要があるとします。これを実装するには、コンテンツ分割オペレーターを使用します。分割されたメッセージは次のとおりです。

message:
    [Jack, Male, Class 4]
message:
    [Alice, Female, Class 3]
message:
    [John, Male, Class 4]

次のメッセージには、3 つのブランドの歯磨き粉に関する情報が含まれています。

message:
[BrandA, toothpaste, $12.98, 100g
 BrandB, toothpaste, $7.99, 80g
 BrandC, toothpaste, $1.99, 100g]

このリストは、カスタムの動的ルールに基づいて送信先 Topic に送信する必要があります。ルールは次のとおりです。

• BrandA で始まるメッセージを BrandA-item-topic と BrandA-discount-topic に送信します。

• BrandB で始まるメッセージを BrandB-item-topic と BrandB-discount-topic に送信します。

• その他のメッセージを Unknown-brand-topic に送信します。

次のサンプルコードは、ルールの JSON 形式を示しています。

{
  "defaultTopic": "Unknown-brand-topic",
  "rules": [
    {
      "regex": "^BrandA",
      "targetTopics": [
        "BrandA-item-topic",
        "BrandA-discount-topic"
      ]
    },
    {
      "regex": "^BrandB",
      "targetTopics": [
        "BrandB-item-topic",
        "BrandB-discount-topic"
      ]
    }
  ]
}

この例では、CIDR ブロックがエンリッチされます。次のサンプルコードは、サービスのアクセスログの例です。

{
  "accountID": "164901546557****",
  "hostIP": "192.168.XX.XX"
}

次のサンプルコードは、IP アドレスのソースをクエリし、マッピング関係を MySQL データベースに保存する方法の例です。

CREATE TABLE `tb_ip` (
    ->      `IP` VARCHAR(256) NOT NULL,
    ->     `Region` VARCHAR(256) NOT NULL,
    ->      `ISP` VARCHAR(256) NOT NULL,
    ->      PRIMARY KEY (`IP`)
    -> );

次のサンプルコードは、処理されたメッセージの例です。

{
  "accountID": "164901546557****",
  "hostIP": "192.168.XX.XX",
  "region": "beijing"
}

次のメッセージには、ある会社の従業員の登録情報が含まれています。

Zhang San, Employee ID 1, 131 1111 1111
Li Si, Employee ID 2, 132 2222 2222
Wang Wu, Employee ID 3, 133 3333 3333

上記のメッセージに含まれる従業員の名前、ID、電話番号は機密情報です。そのため、メッセージを送信先サービスに送信する前に、名前、ID、電話番号をマスクする必要があります。次のサンプルコードに例を示します。

Ja*, 従業員 ID *, ***********
Ma*, 従業員 ID *, ***********
Dav*, 従業員 ID *, ***********