Elasticsearch:DTS を使用した PolarDB for MySQL から Alibaba Cloud Elasticsearch へのデータ同期

注意事項

• DTS は、DDL 操作によって生成されたデータの変更を同期しません。データ同期中にソースデータベースのテーブルに対して DDL 操作が実行された場合は、次の操作が必要です：データ同期タスクからテーブルを削除し、Elasticsearch クラスターからテーブルのインデックスを削除してから、再度データ同期タスクにテーブルを追加します。詳細については、「データ同期タスクからのオブジェクトの削除」および「データ同期タスクへのオブジェクトの追加」をご参照ください。

• ソーステーブルに列を追加する場合は、テーブルに対応するインデックスのマッピングを変更します。次に、ソーステーブルで関連する DDL 操作を実行し、データ同期タスクを一時停止してから、再度タスクを開始します。

• DTS がフルデータ同期を実行すると、ソースデータベースと宛先データベースの両方で読み取りおよび書き込みリソースが消費され、データベースの負荷が増加する可能性があります。データベースのパフォーマンスが低い、仕様が低い、またはワークロードが重い (たとえば、ソースデータベースに多数のスロークエリやプライマリキーのないテーブルがある、または宛先データベースでデッドロックが発生するなど) 場合、データベースの負荷が増加し、サービスが利用できなくなる可能性があります。データを同期する前に、ソースデータベースと宛先データベースのパフォーマンスを評価してください。両方のデータベースの CPU 使用率が 30% 未満であるオフピーク時にデータ同期を実行してください。

  • ピーク時にフルデータ同期タスクが失敗した場合は、再起動できます。

  • ピーク時に増分データ同期を実行すると、データ同期の遅延が発生する可能性があります。

ステップ 1：準備

この例では、PolarDB for MySQL 8.0.1 の Enterprise Edition クラスターと Alibaba Cloud Elasticsearch V7.10 クラスターを準備します。

ステップ 2：データ同期タスクの作成と実行

1. DTS データ同期タスクリストページ (新バージョン) にログインします。

2. タスクの作成 をクリックします。

3. 表示されたページで、プロンプトに従ってデータ同期タスクを作成して設定します。

   次の手順の関連パラメーターについては、「PolarDB for MySQL クラスターからのデータ同期」をご参照ください。

   1. ソースデータベースと宛先データベースを設定し、接続をテストして続行 をクリックします。

      

   2. データを同期するオブジェクトを設定します。

      

   3. 詳細設定を行います。この例では、デフォルトの詳細設定を使用します。

   4. [データベース/テーブル/列の設定] ページで、[すべてを非ルーティングポリシーに設定] をクリックします。

      宛先の Elasticsearch クラスターが 7.x バージョンである場合、すべてのテーブルのルーティングポリシーを非ルーティングに設定する必要があります。

4. 設定が完了したら、データ同期タスクを保存し、タスクの事前チェックを実行し、DTS インスタンスを購入してデータ同期タスクを開始します。

   DTS インスタンスの購入後、データ同期タスクは自動的に開始されます。[データ同期] ページでタスクの進捗状況を確認できます。フルデータの同期が完了したら、Elasticsearch クラスターでデータを確認できます。

   

ステップ 3 (オプション)：データ同期結果の検証

1. Elasticsearch クラスターの Kibana コンソールにログインします。

   詳細については、「Kibana コンソールへのログイン」をご参照ください。

2. Kibana ページで、 > [管理] > [開発ツール] に移動します。 [コンソール] で、次のコマンドを実行します。

3. フルデータの同期結果の検証

   次のコマンドを実行します：

   GET /product/_search

   コマンドが正常に実行されると、次の結果が返されます：

   {
     "took" : 3,
     "timed_out" : false,
     "_shards" : {
       "total" : 5,
       "successful" : 5,
       "skipped" : 0,
       "failed" : 0
     },
     "hits" : {
       "total" : {
         "value" : 5,
         "relation" : "eq"
       },
       "max_score" : 1.0,
       "hits" : [
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "3",
           "_score" : 1.0,
           "_source" : {
             "id" : 3,
             "name" : "mobile phone C",
             "price" : "2600",
             "code" : "cmp",
             "color" : "black"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "5",
           "_score" : 1.0,
           "_source" : {
             "id" : 5,
             "name" : "mobile phone E",
             "price" : "2800",
             "code" : "emp",
             "color" : "silvery"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "4",
           "_score" : 1.0,
           "_source" : {
             "id" : 4,
             "name" : "mobile phone D",
             "price" : "2700",
             "code" : "dmp",
             "color" : "red"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "2",
           "_score" : 1.0,
           "_source" : {
             "id" : 2,
             "name" : "mobile phone B",
             "price" : "2200",
             "code" : "bmp",
             "color" : "white"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "1",
           "_score" : 1.0,
           "_source" : {
             "id" : 1,
             "name" : "mobile phone A",
             "price" : "2000",
             "code" : "amp",
             "color" : "golden"
           }
         }
       ]
     }
   }

4. 増分データの同期結果の検証

   1. 次のステートメントを実行して、ソーステーブルにデータレコードを挿入します：

      INSERT INTO `test_polardb`.`product` (`id`,`name`,`price`,`code`,`color`) VALUES (6,'mobile phone F','2750','fmp','white');

   2. 増分データ同期が完了したら、GET /product/_search コマンドを再度実行して結果を確認します。

      コマンドが正常に実行されると、次の結果が返されます：

      {
        "took" : 439,
        "timed_out" : false,
        "_shards" : {
          "total" : 5,
          "successful" : 5,
          "skipped" : 0,
          "failed" : 0
        },
        "hits" : {
          "total" : {
            "value" : 6,
            "relation" : "eq"
          },
          "max_score" : 1.0,
          "hits" : [
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "3",
              "_score" : 1.0,
              "_source" : {
                "id" : 3,
                "name" : "mobile phone C",
                "price" : "2600",
                "code" : "cmp",
                "color" : "black"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "5",
              "_score" : 1.0,
              "_source" : {
                "id" : 5,
                "name" : "mobile phone E",
                "price" : "2800",
                "code" : "emp",
                "color" : "silvery"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "4",
              "_score" : 1.0,
              "_source" : {
                "id" : 4,
                "name" : "mobile phone D",
                "price" : "2700",
                "code" : "dmp",
                "color" : "red"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "2",
              "_score" : 1.0,
              "_source" : {
                "id" : 2,
                "name" : "mobile phone B",
                "price" : "2200",
                "code" : "bmp",
                "color" : "white"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "6",
              "_score" : 1.0,
              "_source" : {
                "code" : "fmp",
                "color" : "white",
                "price" : "2750",
                "name" : "mobile phone F",
                "id" : 6
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "1",
              "_score" : 1.0,
              "_source" : {
                "id" : 1,
                "name" : "mobile phone A",
                "price" : "2000",
                "code" : "amp",
                "color" : "golden"
              }
            }
          ]
        }
      }