Elasticsearch:PolarDB for MySQL データベースから Alibaba Cloud Elasticsearch に DTS を使用してデータを同期する

注意事項

• DTS は、DDL 操作によって生成されたデータ変更を同期しません。データ同期中にソースデータベースのテーブルで DDL 操作が実行された場合は、次の操作を実行する必要があります。データ同期タスクからテーブルを削除し、Elasticsearch クラスタからテーブルのインデックスを削除してから、テーブルをデータ同期タスクに再度追加します。詳細については、「データ同期タスクからオブジェクトを削除する」および「データ同期タスクにオブジェクトを追加する」をご参照ください。

• ソーステーブルに列を追加する場合は、テーブルに対応するインデックスのマッピングを変更します。次に、ソーステーブルで関連する DDL 操作を実行し、データ同期タスクを一時停止してから、タスクを再開します。

• DTS は、初期のフルデータ同期中にソースとデスティネーションの読み取りおよび書き込みリソースを使用します。これにより、ソースとデスティネーションの負荷が増加する可能性があります。ソースまたはデスティネーションのパフォーマンスが良くない場合、ソースまたはデスティネーションの仕様が低い場合、またはデータ量が大きい場合、ソースまたはデスティネーションが使用できなくなる可能性があります。たとえば、ソースで多数のスロー SQL クエリが実行されている場合、1 つ以上のテーブルにプライマリキーがない場合、またはデスティネーションでデッドロックが発生した場合、DTS は多数の読み取りおよび書き込みリソースを占有します。この問題を防ぐには、データ同期前に、データ同期がソースとデスティネーションのパフォーマンスに及ぼす影響を評価する必要があります。オフピーク時にデータを同期することをお勧めします。たとえば、ソースとデスティネーションの CPU 使用率が 30% 未満のときにデータを同期できます。

  • ピーク時にフルデータを同期すると、同期が失敗する可能性があります。この場合は、同期タスクを再起動します。

  • ピーク時に増分データを同期すると、データ同期の遅延が発生する可能性があります。

手順 1: 準備を行う

この例では、エンタープライズエディションの PolarDB for MySQL 8.0.1 クラスタと Alibaba Cloud Elasticsearch V7.10 クラスタが準備されています。

手順 2: データ同期タスクを作成して実行する

1. 新しい DTS コンソールのデータ同期ページに移動します。

2. [タスクの作成] をクリックします。

3. 表示されるページで、プロンプトに従ってデータ同期タスクを作成および設定します。

   以下の手順に関連するパラメータについては、「PolarDB for MySQL クラスタからデータを同期する」をご参照ください。

   1. ソースとデスティネーションを設定します。ページの下部にある [接続テストと続行] をクリックします。

      

   2. データを同期するオブジェクトを設定します。

      

   3. 詳細設定を行います。この例では、デフォルトの詳細設定が使用されます。

   4. [データ検証] サブステップで、[_routing ポリシーをテーブルに適用しない] を選択します。

      説明

      デスティネーション Elasticsearch クラスタが V7.X の場合は、[_routing ポリシーをテーブルに適用しない] を選択する必要があります。

4. 設定が完了したら、データ同期タスクを保存し、タスクの事前チェックを実行し、DTS インスタンスを購入してデータ同期タスクを開始します。

   DTS インスタンスが購入されると、データ同期タスクの実行が開始されます。データ同期ページでタスクのデータ同期進捗状況を表示できます。フルデータが同期されると、Elasticsearch クラスタでフルデータを表示できます。

   

手順 3: (オプション) データ同期結果を確認する

1. Elasticsearch クラスタの Kibana コンソールにログインします。

   詳細については、「Kibana コンソールにログインする」をご参照ください。

2. Kibana コンソールの左上隅で、 > [管理] > [開発ツール] を選択します。表示されるページで、[コンソール] タブをクリックします。

3. フルデータの同期結果を確認します。

   次のコマンドを実行します。

   GET /product/_search
   // フルデータの同期結果を確認する

   コマンドが正常に実行されると、次の結果が返されます。

   {
     "took" : 3,
     "timed_out" : false,
     "_shards" : {
       "total" : 5,
       "successful" : 5,
       "skipped" : 0,
       "failed" : 0
     },
     "hits" : {
       "total" : {
         "value" : 5,
         "relation" : "eq"
       },
       "max_score" : 1.0,
       "hits" : [
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "3",
           "_score" : 1.0,
           "_source" : {
             "id" : 3,
             "name" : "mobile phone C",
             "price" : "2600",
             "code" : "cmp",
             "color" : "black"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "5",
           "_score" : 1.0,
           "_source" : {
             "id" : 5,
             "name" : "mobile phone E",
             "price" : "2800",
             "code" : "emp",
             "color" : "silvery"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "4",
           "_score" : 1.0,
           "_source" : {
             "id" : 4,
             "name" : "mobile phone D",
             "price" : "2700",
             "code" : "dmp",
             "color" : "red"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "2",
           "_score" : 1.0,
           "_source" : {
             "id" : 2,
             "name" : "mobile phone B",
             "price" : "2200",
             "code" : "bmp",
             "color" : "white"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "1",
           "_score" : 1.0,
           "_source" : {
             "id" : 1,
             "name" : "mobile phone A",
             "price" : "2000",
             "code" : "amp",
             "color" : "golden"
           }
         }
       ]
     }
   }

4. 増分データの同期結果を確認します。

   1. 次のステートメントを実行して、ソーステーブルにデータレコードを挿入します。

      INSERT INTO `test_polardb`.`product` (`id`,`name`,`price`,`code`,`color`) VALUES (6,'mobile phone F','2750','fmp','white');
      // データレコードを挿入する

   2. データレコードが同期された後、GET /product/_search コマンドを実行します。

      コマンドが正常に実行されると、次の結果が返されます。

      {
        "took" : 439,
        "timed_out" : false,
        "_shards" : {
          "total" : 5,
          "successful" : 5,
          "skipped" : 0,
          "failed" : 0
        },
        "hits" : {
          "total" : {
            "value" : 6,
            "relation" : "eq"
          },
          "max_score" : 1.0,
          "hits" : [
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "3",
              "_score" : 1.0,
              "_source" : {
                "id" : 3,
                "name" : "mobile phone C",
                "price" : "2600",
                "code" : "cmp",
                "color" : "black"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "5",
              "_score" : 1.0,
              "_source" : {
                "id" : 5,
                "name" : "mobile phone E",
                "price" : "2800",
                "code" : "emp",
                "color" : "silvery"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "4",
              "_score" : 1.0,
              "_source" : {
                "id" : 4,
                "name" : "mobile phone D",
                "price" : "2700",
                "code" : "dmp",
                "color" : "red"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "2",
              "_score" : 1.0,
              "_source" : {
                "id" : 2,
                "name" : "mobile phone B",
                "price" : "2200",
                "code" : "bmp",
                "color" : "white"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "6",
              "_score" : 1.0,
              "_source" : {
                "code" : "fmp",
                "color" : "white",
                "price" : "2750",
                "name" : "mobile phone F",
                "id" : 6
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "1",
              "_score" : 1.0,
              "_source" : {
                "id" : 1,
                "name" : "mobile phone A",
                "price" : "2000",
                "code" : "amp",
                "color" : "golden"
              }
            }
          ]
        }
      }