ApsaraMQ for Kafka:データクレンジング

次のメッセージには、生徒のリストが含まれています。

message:
[Jack, Male, Class 4; Alice, Female, Class 3; John, Male, Class 4]

メッセージを指定された宛先サービスに送信する前に、メッセージを次のメッセージに分割します。各メッセージには、1 人の生徒の情報が含まれています。

message:
    [Jack, Male, Class 4]
message:
    [Alice, Female, Class 3]
message:
    [John, Male, Class 4]

次の図はプロセスを示しています。

次のメッセージには、歯磨き粉のリストが含まれています。

message:
[BrandA, toothpaste, $12.98, 100g
 BrandB, toothpaste, $7.99, 80g
 BrandC, toothpaste, $1.99, 100g]

カスタム動的ルールに基づいて、リストを指定された宛先トピックに送信する必要があります。ルールは以下のとおりです。

• BrandA で始まるメッセージを BrandA-item-topic および BrandA-discount-topic トピックに送信します。

• BrandB で始まるメッセージを BrandB-item-topic および BrandB-discount-topic トピックに送信します。

• その他のメッセージを Unknown-brand-topic トピックに送信します。

次のサンプルコードは、ルールのJSON形式を示しています。

{
  "defaultTopic": "Unknown-brand-topic",
  "rules": [
    {
      "regex": "^BrandA",
      "targetTopics": [
        "BrandA-item-topic",
        "BrandA-discount-topic"
      ]
    },
    {
      "regex": "^BrandB",
      "targetTopics": [
        "BrandB-item-topic",
        "BrandB-discount-topic"
      ]
    }
  ]
}

この例では、IPアドレスセグメントがエンリッチされます。次のコードスニペットは、サービスのアクセスログを示しています。

{
  "accountID": "164901546557****",
  "hostIP": "192.168.XX.XX"
}

IPアドレスのソースをクエリし、マッピング関係をMySQLデータベースに格納する必要があります。

CREATE TABLE `tb_ip` (
    ->      `IP` VARCHAR(256) NOT NULL,  // IPアドレス
    ->     `Region` VARCHAR(256) NOT NULL, // リージョン
    ->      `ISP` VARCHAR(256) NOT NULL,   // ISP
    ->      PRIMARY KEY (`IP`)           // プライマリキー
    -> );

次のコードスニペットは、処理されたメッセージを示しています。

{
  "accountID": "164901546557****",
  "hostIP": "192.168.XX.XX",
  "region": "beijing"
}

次の図はプロセスを示しています。

次のメッセージには、会社の従業員の登録情報が含まれています。情報には、従業員 ID や携帯電話番号などの機密コンテンツが含まれています。

James, Employee ID 1, 131 1111 1111
Mary, Employee ID 2, 132 2222 2222
David, Employee ID 3, 133 3333 3333

上記のメッセージの機密コンテンツは、宛先サービスに送信される前にマスクする必要があります。次のサンプルコードは例を示しています。

Ja*, Employee ID *, ***********
Ma*, Employee ID *, ***********
Dav*, Employee ID *, *********** 

次の図はプロセスを示しています。