Elasticsearch:DTS を使用した PolarDB for MySQL から Alibaba Cloud Elasticsearch へのデータ同期

注意事項

• DTS は、DDL 操作によって生成されたデータ変更を同期しません。データ同期中にソースデータベースのテーブルに対して DDL 操作が実行された場合、次の操作を実行する必要があります：データ同期タスクからテーブルを削除し、Elasticsearch クラスターからテーブルに対応するインデックスを削除してから、再度テーブルをデータ同期タスクに追加します。詳細については、「データ同期タスクからオブジェクトを削除」および「データ同期タスクにオブジェクトを追加」をご参照ください。

• ソーステーブルに列を追加する場合は、テーブルに対応するインデックスのマッピングを変更してください。その後、ソーステーブルに対して関連する DDL 操作を実行し、データ同期タスクを一時停止してから再度開始してください。

• フルデータ同期は、ソースデータベースと宛先データベースの両方で読み書きリソースを消費するため、データベース負荷が増加する可能性があります。データベースのパフォーマンスが低い、仕様が低い、またはワークロードが重い (例えば、SQL クエリが遅い、主キーのないテーブル、宛先でのデッドロックなど) 場合、負荷の増加によってサービス利用不可となる可能性があります。事前にデータベースのパフォーマンスを評価し、両方のデータベースの CPU 使用率が 30% 未満のオフピーク時にデータ同期を実行してください。

  • ピーク時にフルデータ同期タスクが失敗した場合は、再起動できます。

  • ピーク時に増分データ同期を実行すると、データ同期のレイテンシが発生する可能性があります。

ステップ 1: 準備

この例では、PolarDB for MySQL 8.0.1 Enterprise Edition クラスターと Alibaba Cloud Elasticsearch V7.10 クラスターが準備されています。

ステップ 2: データ同期タスクの作成と実行

1. DTS の データ同期タスクリストページ (新バージョン) にログインします。

2. タスクの作成 をクリックします。

3. 表示されたページで、画面の指示に従ってデータ同期タスクを作成および設定します。

   以降の手順で設定する各パラメーターの詳細については、「PolarDB for MySQL クラスターからのデータ同期」をご参照ください。

   1. ソースデータベースと宛先データベースを設定し、次に接続をテストして続行をクリックします。

      ソースデータベース情報：

      • [データベースタイプ] を [PolarDB for MySQL] に設定します

      • [アクセス方法] を [クラウドインスタンス] に、[インスタンスリージョン] を [中国 (杭州)] に設定します

      • [クロスアカウント] を [いいえ] に設定します

      • [PolarDB インスタンス ID] を選択し、[データベースアカウント] と [データベースパスワード] を入力します

      • [接続タイプ] を [非暗号化接続] に設定します

      宛先データベース情報：

      • [データベースタイプ] を [Elasticsearch] に設定します

      • [アクセス方法] を [クラウドインスタンス] に、[インスタンスリージョン] を [中国 (杭州)] に設定します

      • [タイプ] を [クラスター] に設定します

      • [インスタンス ID] を選択し、[データベースアカウント] を [elastic] に設定し、[データベースパスワード] を入力します

   2. 同期対象のオブジェクトを設定します。

      • [同期タイプ]：[スキーマ同期]、[全量データ同期]、[増分データ同期] を選択します

      • [インデックス名]: [TableName] を選択します

      • [競合テーブルの処理モード]: [事前チェックとエラー報告] を選択します

      • [移行先データベースのオブジェクト名の大文字と小文字の区別ポリシー]：[DTS デフォルトポリシー] を選択します

      • [ソースオブジェクト] セクションで、test_polardb データベースの [product] テーブルを [選択されたオブジェクト] セクションに移動します

   3. 詳細設定を構成します。この例では、デフォルトの詳細設定が使用されます。

   4. [データベース/テーブル/列の設定] ページで、[すべてを非ルーティングポリシーに設定] をクリックします。

      宛先の Elasticsearch クラスターが 7.x バージョンを実行している場合は、すべてのテーブルのルーティングポリシーを非ルーティングに設定する必要があります。

4. 設定が完了したら、データ同期タスクを保存し、タスクの事前チェックを実行し、DTS インスタンスを購入してデータ同期タスクを開始します。

   DTS インスタンスを購入すると、データ同期タスクが自動的に開始されます。進行状況は、[データ同期] ページで確認できます。フルデータ同期が完了すると、同期されたデータを Elasticsearch クラスターでクエリできます。

   [実行フェーズ情報] 列で、[スキーマ同期]、[完全データ同期]、および [増分データ同期] の 3 つのフェーズを含む同期の進捗を確認できます。各フェーズが完了すると、緑色のチェックマークが表示されます。

ステップ 3 (オプション): データ同期結果の検証

1. Elasticsearch クラスターの Kibana コンソールにログインします。

   詳細については、「Kibana コンソールへのログイン」をご参照ください。

2. Kibana ページで、 > [管理] > [開発ツール]に移動し、[コンソール]で次のコマンドを実行します。

3. フルデータ同期の結果を検証します。

   次のコマンドを実行します。

   GET /product/_search

   コマンドが正常に実行されると、次の結果が返されます。

   {
     "took" : 3,
     "timed_out" : false,
     "_shards" : {
       "total" : 5,
       "successful" : 5,
       "skipped" : 0,
       "failed" : 0
     },
     "hits" : {
       "total" : {
         "value" : 5,
         "relation" : "eq"
       },
       "max_score" : 1.0,
       "hits" : [
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "3",
           "_score" : 1.0,
           "_source" : {
             "id" : 3,
             "name" : "mobile phone C",
             "price" : "2600",
             "code" : "cmp",
             "color" : "black"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "5",
           "_score" : 1.0,
           "_source" : {
             "id" : 5,
             "name" : "mobile phone E",
             "price" : "2800",
             "code" : "emp",
             "color" : "silvery"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "4",
           "_score" : 1.0,
           "_source" : {
             "id" : 4,
             "name" : "mobile phone D",
             "price" : "2700",
             "code" : "dmp",
             "color" : "red"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "2",
           "_score" : 1.0,
           "_source" : {
             "id" : 2,
             "name" : "mobile phone B",
             "price" : "2200",
             "code" : "bmp",
             "color" : "white"
           }
         },
         {
           "_index" : "product",
           "_type" : "product",
           "_id" : "1",
           "_score" : 1.0,
           "_source" : {
             "id" : 1,
             "name" : "mobile phone A",
             "price" : "2000",
             "code" : "amp",
             "color" : "golden"
           }
         }
       ]
     }
   }

4. 増分データ同期の結果を検証します。

   1. 次のステートメントを実行して、ソーステーブルにデータレコードを挿入します。

      INSERT INTO `test_polardb`.`product` (`id`,`name`,`price`,`code`,`color`) VALUES (6,'mobile phone F','2750','fmp','white');

   2. 増分データ同期が完了したら、再度 GET /product/_search コマンドを実行して結果を確認します。

      コマンドが正常に実行されると、次の結果が返されます。

      {
        "took" : 439,
        "timed_out" : false,
        "_shards" : {
          "total" : 5,
          "successful" : 5,
          "skipped" : 0,
          "failed" : 0
        },
        "hits" : {
          "total" : {
            "value" : 6,
            "relation" : "eq"
          },
          "max_score" : 1.0,
          "hits" : [
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "3",
              "_score" : 1.0,
              "_source" : {
                "id" : 3,
                "name" : "mobile phone C",
                "price" : "2600",
                "code" : "cmp",
                "color" : "black"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "5",
              "_score" : 1.0,
              "_source" : {
                "id" : 5,
                "name" : "mobile phone E",
                "price" : "2800",
                "code" : "emp",
                "color" : "silvery"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "4",
              "_score" : 1.0,
              "_source" : {
                "id" : 4,
                "name" : "mobile phone D",
                "price" : "2700",
                "code" : "dmp",
                "color" : "red"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "2",
              "_score" : 1.0,
              "_source" : {
                "id" : 2,
                "name" : "mobile phone B",
                "price" : "2200",
                "code" : "bmp",
                "color" : "white"
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "6",
              "_score" : 1.0,
              "_source" : {
                "code" : "fmp",
                "color" : "white",
                "price" : "2750",
                "name" : "mobile phone F",
                "id" : 6
              }
            },
            {
              "_index" : "product",
              "_type" : "product",
              "_id" : "1",
              "_score" : 1.0,
              "_source" : {
                "id" : 1,
                "name" : "mobile phone A",
                "price" : "2000",
                "code" : "amp",
                "color" : "golden"
              }
            }
          ]
        }
      }