Data Transmission Service (DTS) を使用して、PolarDB for MySQL インスタンスから Elasticsearch インスタンスにデータを移行できます。
前提条件
移行先の Elasticsearch インスタンスを作成します。 詳細については、「初心者ガイド: インスタンスの作成からデータ取得まで」をご参照ください。
移行先の Elasticsearch インスタンスには、ソースの PolarDB for MySQL インスタンスよりも多くのストレージ容量が必要です。
注
タイプ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
その他の注意事項 | DTS は、ソースデータベースで定期的に CREATE DATABASE IF NOT EXISTS `test` コマンドを実行して、バイナリログのオフセットを進めます。 |
課金
移行タイプ | インスタンス構成料金 | インターネットトラフィック料金 |
スキーマ移行と完全なデータ移行 | 無料です。 | ターゲットデータベースの アクセス方法 パラメーターが パブリック IP アドレス に設定されている場合、インターネットトラフィック料金が請求されます。 詳細については、「課金の概要」をご参照ください。 |
増分データ移行 | 有料です。 詳細については、「課金の概要」をご参照ください。 |
移行タイプの説明
スキーマ移行
DTS は、選択したオブジェクトのスキーマをソースデータベースからターゲットデータベースに移行します。
完全なデータ移行
DTS は、必要なオブジェクトの既存データをソースデータベースからターゲットデータベースに移行します。
増分データ移行
完全なデータ移行が完了すると、DTS は増分データをソースデータベースからターゲットデータベースに移行します。 増分データ移行により、データ移行中に自己管理アプリケーションのサービスを中断することなく、データをスムーズに移行できます。
増分移行でサポートされる SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、DELETE 説明 UPDATE 文を使用してフィールドを削除する操作はサポートされていません。 |
データベースアカウントの権限
データベース | 必要な権限 | アカウントの作成と権限の付与方法 |
PolarDB for MySQL クラスター | 移行するオブジェクトに対する読み取り権限 |
データ型マッピング
ソースデータベースと Elasticsearch インスタンスではサポートされる型が異なるため、データの型の直接マッピングが常に可能とは限りません。 初期スキーマ同期中、DTS は Elasticsearch インスタンスでサポートされる型に基づいてデータの型をマッピングします。 詳細については、「初期スキーマ同期のデータ型マッピング」をご参照ください。
説明DTS はスキーマ移行中に
dynamicパラメーターのmappingを設定しません。 パラメーターの動作は、Elasticsearch インスタンスの設定に依存します。 ソースデータが JSON 形式の場合、テーブル内のすべての行で同じキーの値が同じデータの型であることを確認してください。 そうしないと、DTS で同期エラーが発生する可能性があります。 詳細については、「dynamic」をご参照ください。次の表に、Elasticsearch とリレーショナルデータベースのマッピングを示します。
Elasticsearch
リレーショナルデータベース
インデックス
データベース
タイプ
テーブル
ドキュメント
行
フィールド
列
マッピング
スキーマ
手順
次のいずれかの方法でデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソールにログインします。
左側のナビゲーションウィンドウで、データの移行 をクリックします。
ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。 詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。
DMS コンソールにログインします。
上部のナビゲーションバーで、ポインターを に移動します。
[データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースとターゲットデータベースを構成します。 次の表にパラメーターを示します。
セクション
構成
説明
N/A
タスク名
DTS タスクの名前。 DTS は自動的にタスク名を生成します。 タスクを簡単に識別できるような、わかりやすい名前を指定することをお勧めします。 一意のタスク名を指定する必要はありません。
ソースデータベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。 DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。 詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
PolarDB for MySQL を選択します。
アクセス方法
[クラウドインスタンス] を選択します。
インスタンスリージョン
ソースの PolarDB for MySQL インスタンスが存在するリージョンを選択します。
Alibaba Cloudアカウント全体でのデータの複製
この例では、同じ Alibaba Cloud アカウント内でデータを移行します。 [いいえ] を選択します。
PolarDB インスタンス ID
ソースの PolarDB for MySQL インスタンスの ID を選択します。
データベースアカウント
ソースの PolarDB for MySQL インスタンスのデータベースアカウントを入力します。 必要な権限については、「データベースアカウントの権限」をご参照ください。
データベースパスワード
データベースインスタンスへのアクセスに使用されるパスワード。
暗号化
ソースデータベースへの接続を暗号化するかどうかを指定します。 このパラメーターは、ビジネス要件に基づいて構成できます。 SSL 暗号化機能の詳細については、「SSL 暗号化の構成」をご参照ください。
宛先データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。 DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。 詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
[Elasticsearch] を選択します。
アクセス方法
[クラウドインスタンス] を選択します。
インスタンスリージョン
移行先の Elasticsearch インスタンスが存在するリージョンを選択します。
タイプ
必要に応じて [クラスター] または [サーバーレス] を選択します。
インスタンス ID
移行先の Elasticsearch インスタンスの ID を選択します。
データベースアカウント
Elasticsearch インスタンスのデータベースアカウントを入力します。 デフォルトのアカウントは [elastic] です。
データベースパスワード
Elasticsearch インスタンスを作成したときに設定したログインパスワードを入力します。
暗号化
必要に応じて HTTP または HTTPS を選択します。
ページの下部で、[接続性のテストと次へ] をクリックします。
説明DTS サーバーの CIDR ブロックが、ソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加され、DTS サーバーからのアクセスが許可されることを確認してください。 詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。
ソースまたはターゲットデータベースが自己管理データベースであり、その アクセス方法 が Alibaba Cloud インスタンス に設定されていない場合は、DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックします。
移行するオブジェクトを構成します。
オブジェクト設定 ページで、移行するオブジェクトを構成します。
構成
説明
移行タイプ
完全なデータ移行のみを実行するには、[スキーマ移行] と [完全なデータ移行] を選択します。
データ移行中のサービスの継続性を確保するには、[スキーマ移行]、[完全なデータ移行]、および [増分データ移行] を選択します。
説明[スキーマ移行] を選択しない場合は、ターゲットデータベースにデータを受信するためのデータベースとテーブルが作成され、[選択したオブジェクト] でオブジェクト名マッピング機能が有効になっていることを確認してください。
[増分データ移行] を選択しない場合は、データ移行中にソースデータベースにデータを書き込まないことをお勧めします。 これにより、ソースデータベースとターゲットデータベース間のデータ整合性が確保されます。
競合テーブルの処理モード
[事前チェックしてエラーを報告]: ターゲットデータベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかをチェックします。 同じ名前のテーブルが存在しない場合、事前チェックは合格します。 同じ名前のテーブルが存在する場合、事前チェック中にエラーが報告され、移行タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、それらを異なる名前にマッピングできます。 詳細については、「テーブル名と列名のマッピング」をご参照ください。
[エラーを無視して続行]: ターゲットデータベースで同じ名前のテーブルのチェックをスキップします。
警告[エラーを無視して続行] を選択すると、データに不整合が生じ、ビジネスにリスクをもたらす可能性があります。 例:
テーブルスキーマが一致し、ターゲットデータベースのレコードがソースデータベースのレコードと同じプライマリキー値を持つ場合:
完全移行中、DTS はターゲットクラスターにレコードを保持します。 ソースデータベースのレコードはターゲットデータベースに移行されません。
増分移行中、DTS はターゲットクラスターにレコードを保持しません。 ソースデータベースのレコードはターゲットデータベースのレコードを上書きします。
テーブルスキーマが一致しない場合、データ初期化が失敗したり、データの一部の列のみが移行されたり、移行が失敗したりする可能性があります。
インデックス名
[テーブル名]
[テーブル名] を選択すると、移行先の Elasticsearch インスタンスで作成されるインデックスはテーブルと同じ名前になります。
データベース名_テーブル名
[データベース名_テーブル名] を選択すると、移行先の Elasticsearch インスタンスで作成されるインデックスは `データベース名_テーブル名` の形式で名前が付けられます。
宛先インスタンスでのオブジェクト名の大文字化
宛先インスタンスの移行オブジェクトのデータベース、テーブル、および列の名前の大文字と小文字を区別するポリシーを構成できます。 デフォルトでは、[DTS デフォルトポリシー] が選択されています。 ソースまたはターゲットデータベースと一致するポリシーを選択することもできます。 詳細については、「宛先データベースのオブジェクト名の大文字と小文字の区別」をご参照ください。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。
アイコンをクリックし、オブジェクトを [選択したオブジェクト] セクションに追加します。説明移行オブジェクトは、データベースまたはテーブルにすることができます。 移行オブジェクトとしてテーブルを選択した場合、ビュー、トリガー、ストアドプロシージャなどの他のオブジェクトはターゲットデータベースに移行されません。
[選択済みオブジェクト]
宛先インスタンスに移行するオブジェクトの名前を変更するには、[選択したオブジェクト] セクションでオブジェクトを右クリックします。 詳細については、「単一オブジェクトの名前をマッピングする」をご参照ください。
一度に複数のオブジェクトの名前を変更するには、[選択したオブジェクト] セクションの右上隅にある [一括編集] をクリックします。 詳細については、「一度に複数のオブジェクト名をマッピングする」をご参照ください。
説明データをフィルターするための WHERE 句を設定したり、移行後のインデックス名、タイプ名、列名などの情報を設定したりするには、[選択したオブジェクト] ボックスでテーブルを右クリックし、表示されるダイアログボックスで設定を構成します。 詳細については、「フィルター条件の設定」をご参照ください。
データベースまたはテーブルレベルで移行する SQL 操作を選択するには、[選択したオブジェクト] ボックスで移行オブジェクトを右クリックし、表示されるダイアログボックスで目的の SQL 操作を選択します。 サポートされている操作については、「増分移行でサポートされる SQL 操作」をご参照ください。
詳細設定へ をクリックして、詳細設定を構成します。
構成
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスターを指定しない場合、DTS はデータ移行タスクを共有クラスターにスケジュールします。 データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。 詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
失敗した接続のリトライ時間範囲。 データ移行タスクの開始後にソースまたはターゲットデータベースへの接続に失敗した場合、DTS はリトライ時間範囲内に直ちに接続をリトライします。 有効値: 10～1,440。 単位: 分。 デフォルト値: 720。 パラメーターを 30 より大きい値に設定することをお勧めします。 指定されたリトライ時間範囲内に DTS がソースおよびターゲットデータベースに再接続されると、DTS はデータ移行タスクを再開します。 そうでない場合、データ移行タスクは失敗します。
説明同じソースまたはターゲットデータベースを共有する複数のデータ移行タスクに異なるリトライ時間範囲を指定した場合、後で指定した値が優先されます。
DTS が接続をリトライすると、DTS インスタンスに対して課金されます。 ビジネス要件に基づいてリトライ時間範囲を指定することをお勧めします。 ソースデータベースと宛先インスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題のリトライ時間範囲。 たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS はリトライ時間範囲内に直ちに操作をリトライします。 有効値: 1～1440。 単位: 分。 デフォルト値: 10。 パラメーターを 10 より大きい値に設定することをお勧めします。 指定されたリトライ時間範囲内に失敗した操作が正常に実行されると、DTS はデータ移行タスクを再開します。 そうでない場合、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
完全移行率を制限するかどうか
完全なデータ移行のスロットリングを有効にするかどうかを指定します。 完全なデータ移行中、DTS はソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これにより、データベースサーバーの負荷が増加する可能性があります。 ビジネス要件に基づいて、完全なデータ移行のスロットリングを有効にできます。 スロットリングを構成するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを構成する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターに 完全データ移行 を選択した場合にのみ構成できます。
増分移行率を制限するかどうか
増分データ移行のスロットリングを有効にするかどうかを指定します。 スロットリングを構成するには、1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを構成する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターに 増分データ移行 を選択した場合にのみ構成できます。
環境タグ
必要に応じて、インスタンスを識別するための環境タグを選択できます。 この例では、選択は不要です。
シャード構成
移行先の Elasticsearch インスタンスのインデックスの最大シャード構成に基づいて、インデックスのプライマリシャードとレプリカシャードの数を設定します。
文字列インデックス
移行先の Elasticsearch インスタンスに移行される文字列のインデックス作成方法を指定します。
[分析済み]: インデックスを作成する前に文字列を分析します。 特定のアナライザを選択する必要もあります。 アナライザのタイプとその機能については、「アナライザ」をご参照ください。
[未分析]: 文字列を分析しません。 元の値を使用してインデックスを作成します。
[なし]: 文字列のインデックスを作成しません。
タイムゾーン
DTS が DATETIME や TIMESTAMP などの時間関連のデータの型を移行先の Elasticsearch インスタンスに移行する場合、含めるタイムゾーンを選択できます。
説明宛先インスタンスの時間関連のデータの型にタイムゾーンが不要な場合は、移行前に宛先インスタンスでこれらのデータの型のドキュメントタイプ (type) を設定する必要があります。
DOCID
DOCID はデフォルトでテーブルのプライマリキーになります。 テーブルにプライマリキーがない場合、DOCID は Elasticsearch によって自動的に生成される ID 列になります。
順方向および逆方向タスクのハートビートテーブル SQL を削除
DTS インスタンスの実行中に、ハートビートテーブルに対する SQL 操作をソースデータベースに書き込むかどうかを指定します。 有効値:
[はい]: ハートビートテーブルに対する SQL 操作を書き込みません。 この場合、DTS インスタンスの遅延が表示されることがあります。
[いいえ]: ハートビートテーブルに対する SQL 操作を書き込みます。 この場合、ソースデータベースの物理バックアップやクローン作成などの機能が影響を受ける可能性があります。
ETL の設定
抽出・変換・書き出し (ETL) 機能を有効にするかどうかを指定します。 詳細については、「ETL とは」をご参照ください。 有効値:
[はい]: ETL 機能を構成します。 コードエディタにデータ処理文を入力できます。 詳細については、「データ移行またはデータ同期タスクで ETL を構成する」をご参照ください。
[いいえ]: ETL 機能を構成しません。
監視アラート
データ移行タスクのアラートを構成するかどうかを指定します。 タスクが失敗した場合、または移行遅延が指定されたしきい値を超えた場合、アラート連絡先は通知を受け取ります。 有効値:
[いいえ]: アラートを構成しません。
[はい]: アラートを構成します。 この場合、アラートのしきい値と アラート通知設定も構成する必要があります。 詳細については、「モニタリングとアラートの構成」トピックの「DTS タスク作成時のモニタリングとアラートの構成」セクションをご参照ください。
構成が完了したら、[次へ: データベースとテーブルフィールドの構成] をクリックして、移行先の Elasticsearch インスタンスに移行するテーブルの _routing ポリシーと _id 値を設定します。
名前
説明
_routing の設定
_routing を設定すると、移行先の Elasticsearch インスタンスの指定されたシャードにドキュメントをルーティングして保存できます。 詳細については、「_routing」をご参照ください。
[はい] を選択して、ルーティングにカスタム列を使用します。
[いいえ] を選択して、ルーティングに _id を使用します。
説明作成した移行先の Elasticsearch インスタンスがバージョン 7.x の場合は、[いいえ] を選択します。
_id 値
主キー列
複合プライマリキーは単一の列にマージされます。
[ビジネスキー]
[ビジネスキー] を選択した場合は、対応する [ビジネスキー列] も設定する必要があります。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを構成する際に指定するパラメーターを表示するには、ポインターを 次：タスク設定の保存と事前チェック に移動し、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、または表示済みの場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。
説明データ移行タスクを開始する前に、DTS は事前チェックを実行します。 タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。 その後、再度事前チェックを実行します。
事前チェック中に項目に対してアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして問題をトラブルシューティングします。 その後、再度事前チェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されるメッセージで、[OK] をクリックします。 次に、[再度事前チェック] をクリックして、再度事前チェックを実行します。 アラート項目を無視すると、データに不整合が生じ、ビジネスに潜在的なリスクがもたらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。 次に、[次へ: インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを構成します。 次の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
[リソースグループ]
データ移行インスタンスが属するリソースグループ。 デフォルト値: [デフォルトのリソースグループ]。 詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、移行速度が異なるインスタンスクラスを提供します。 ビジネスシナリオに基づいてインスタンスクラスを選択できます。 詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
[Data Transmission Service (従量課金) サービス規約] を読んで同意し、チェックボックスをオンにします。
[購入して開始] をクリックします。 表示されるメッセージで、 をクリックします[OK]。
[データ移行] ページでタスクの進行状況を表示できます。
説明データ移行タスクが増分データの移行に使用できない場合、タスクは自動的に停止します。 [ステータス] セクションに [完了] が表示されます。
データ移行タスクが増分データの移行に使用できる場合、タスクは自動的に停止しません。 増分データ移行タスクは停止も完了もしません。 [ステータス] セクションに [実行中] が表示されます。