Data Transmission Service (DTS) を使用すると、自己管理型 MariaDB データベースから ApsaraDB RDS for MariaDB インスタンスへリアルタイムでデータを同期できます。このトピックでは、スキーマ同期、完全データ同期、および増分データ同期をカバーする同期タスクを構成する方法について説明します。
前提条件
開始する前に、以下を確認してください。
ApsaraDB RDS for MariaDB 宛先インスタンス。詳細については、「ApsaraDB RDS for MariaDB インスタンスの作成」をご参照ください。
宛先インスタンスに十分なストレージ容量があること。利用可能な容量は、ソースデータベースの合計データサイズを超える必要があります。
課金
| 同期タイプ | 料金 |
|---|---|
| スキーマ同期と完全データ同期 | 無料 |
| 増分データ同期 | 有料です。詳細については、「課金概要」をご参照ください。 |
サポートされている同期トポロジ
一方向一対一同期
一方向一対多同期
一方向カスケード同期
一方向多対一同期
双方向一対一同期
詳細については、「同期トポロジ」をご参照ください。
同期可能な SQL 操作
| 操作タイプ | SQL ステートメント |
|---|---|
| DML | INSERT, UPDATE, DELETE |
| DDL | ALTER TABLE, ALTER VIEW, CREATE FUNCTION, CREATE INDEX, CREATE PROCEDURE, CREATE TABLE, CREATE VIEW, DROP INDEX, DROP TABLE, RENAME TABLE, TRUNCATE TABLE |
RENAME TABLE 操作は、データの不整合を引き起こす可能性があります。同期中に同期されたテーブルの名前が変更された場合、そのデータは宛先への同期を停止します。これを防ぐには、個々のテーブルではなく、データベース全体を同期オブジェクトとして選択します。リネーム前とリネーム後の両方のデータベースが選択されたオブジェクトに含まれていることを確認してください。
必要な権限
DTS が使用するデータベースアカウントに次の権限を付与します。
| データベース | 必要な権限 | 目的 |
|---|---|---|
| ソースの自己管理型 MariaDB データベース | REPLICATION CLIENT | DTS が SHOW MASTER STATUS および SHOW BINARY LOGS を使用してバイナリログステータスをチェックできるようにします。 |
| REPLICATION SLAVE | DTS がソースデータベースに接続し、増分同期のためにバイナリログを読み取れるようにします。 | |
| SHOW VIEW | DTS がスキーマ同期中にビュー定義を読み取れるようにします。 | |
| SELECT | DTS が完全データ同期中にテーブルデータを読み取れるようにします。 | |
| 宛先 ApsaraDB RDS for MariaDB インスタンス | 読み取りおよび書き込み | DTS が同期されたデータを宛先インスタンスに書き込めるようにします。 |
アカウントの作成と権限の付与については、以下をご参照ください。
ソースデータベース: MariaDB ドキュメントの CREATE USER および GRANT をご参照ください。
宛先インスタンス: 「アカウントの作成」および「アカウント権限の変更またはリセット」をご参照ください。
制限事項
スキーマ同期中、DTS はソースから宛先データベースに外部キーを同期します。完全同期および増分同期中、DTS はセッションレベルで外部キー制約チェックとカスケード操作を一時的に無効にします。同期中にソースデータベースでカスケード更新または削除操作を実行すると、データの不整合が発生する可能性があります。
ソースデータベースの制限事項
| 制限事項 | 適用対象 |
|---|---|
| テーブルには PRIMARY KEY または UNIQUE 制約が必要であり、すべてのフィールドは一意である必要があります。これがない場合、宛先データベースに重複レコードが含まれる可能性があります。 | 完全データ同期、増分データ同期 |
| 個々のテーブル (データベース全体ではない) を同期する場合: タスクは最大 1,000 テーブルをサポートします。この制限を超えると、リクエストエラーが発生します。ワークロードを複数のタスクに分割するか、代わりにデータベース全体を同期してください。 | すべての同期タイプ |
バイナリロギングを有効にし、binlog_row_image を full に設定する必要があります。正しく構成されていない場合、事前チェックが失敗し、タスクを開始できません。 | 増分データ同期 |
| バイナリログは少なくとも 7 日間保持する必要があります。保持期間が短いと、タスクが失敗したり、データの不整合や損失が発生したりする可能性があります。この要件が満たされていない場合、DTS SLA は信頼性またはパフォーマンスをカバーしません。 | 増分データ同期 |
必要なバイナリログ構成 (MariaDB 構成ファイルに追加):
log_bin = mariadb-bin
binlog_row_image = FULL| パラメーター | 必須値 | 説明 |
|---|---|---|
log_bin | 任意の有効なパスまたは名前 | バイナリロギングを有効にします。増分同期に必要です。 |
binlog_row_image | FULL | 変更された各行のすべての列値をログに記録します。DTS は正確なレプリケーションのためにこれを必要とします。 |
パラメーター構成の詳細については、「インスタンスパラメーターの変更」をご参照ください。
その他の制限事項
| 制限事項 | 適用対象 |
|---|---|
| 宛先データベースのバージョンは、ソースバージョンと同じかそれ以降である必要があります。宛先バージョンが古い場合、互換性の問題が発生する可能性があります。 | すべての同期タイプ |
| ソースおよび宛先データベースサーバーへの負荷を最小限に抑えるため、オフピーク時間中に同期してください。完全データ同期中、DTS は両端で読み取りおよび書き込みリソースを使用します。負荷を制御するには、[詳細設定] (ステップ 6 を参照) で速度制限を構成します。 | 完全データ同期 |
| 完全データ同期が完了すると、同時 INSERT 操作による断片化のため、宛先表領域はソースよりも大きくなります。 | 完全データ同期 |
個々のテーブル (データベース全体ではない) が同期オブジェクトとして選択されている場合、DDL 操作に pt-online-schema-change などのツールを使用しないでください。代わりに、オンライン DDL には Data Management (DMS) を使用してください。 | すべての同期タイプ |
| 同期中は DTS を介してのみ宛先データベースにデータを書き込みます。他のツールを使用してデータを書き込む場合、DMS を介してオンライン DDL 操作を実行しないでください。これにより、データ損失が発生する可能性があります。 | すべての同期タイプ |
| 宛先で DDL ステートメントの実行が失敗しても、タスクは引き続き実行されます。失敗した DDL ステートメントは「タスクログ」で確認できます。 | すべての同期タイプ |
同期タスクの設定
ステップ 1: データ同期タスクページへの移動
Data Management (DMS) コンソールにログインします。
上部ナビゲーションバーで、[Data + AI] をクリックします。
左側のナビゲーションウィンドウで、DTS (DTS)>データ同期 を選択します。
コンソール操作は、ご利用の DMS モードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。または、DTS コンソールのデータ同期タスクページに直接移動することもできます。
ステップ 2: リージョンの選択
「[データ同期タスク]」ページで、データ同期インスタンスが存在するリージョンを選択します。
新しい DTS コンソールでは、上部ナビゲーションバーからリージョンを選択します。
ステップ 3: ソースデータベースと宛先データベースの構成
「[タスクの作成]」をクリックします。「[タスクの作成]」ページで、ソースデータベースおよびターゲットデータベースを設定します。
ソースデータベースと宛先データベースを構成した後、ページに表示される[使用制限] をお読みください。このステップをスキップすると、タスクが失敗したり、データの不整合が発生したりする可能性があります。
ソースデータベース
| パラメーター | 値 |
|---|---|
| タスク名 | タスクの説明的な名前。DTS は名前を自動的に生成します。変更できます。タスク名は一意である必要はありません。 |
| データベースタイプ | MariaDB を選択します。 |
| アクセス方法 | ECS 上のセルフマネージドデータベース を選択します。 |
| インスタンスリージョン | ECS インスタンスが存在するリージョン。 |
| Alibaba Cloud アカウント間でのデータレプリケーション | いいえソースデータベースと宛先データベースが同じ Alibaba Cloud アカウントの下にある場合は、 を選択します。 |
| ECS インスタンス ID | ソース MariaDB データベースをホストしている ECS インスタンスの ID。 |
| ポート番号 | ソース MariaDB データベースのサービスポート。デフォルト: 3306。 |
| データベースアカウント | ソース MariaDB データベースのアカウント。「必要な権限」をご参照ください。 |
| データベースパスワード | データベースアカウントのパスワード。 |
| 暗号化 | デフォルト: 非暗号化。 |
宛先データベース
| パラメーター | 値 |
|---|---|
| データベースタイプ | MariaDB を選択します。 |
| アクセス方法 | Alibaba Cloud インスタンス を選択します。 |
| インスタンスリージョン | 宛先 ApsaraDB RDS for MariaDB インスタンスが存在するリージョン。 |
| RDS インスタンス ID | 宛先 ApsaraDB RDS for MariaDB インスタンスの ID。 |
| データベースアカウント | 宛先データベースのアカウント。このアカウントには読み取りおよび書き込み権限が必要です。 |
| データベースパスワード | データベースアカウントのパスワード。 |
| 暗号化 | デフォルト: 非暗号化。 |
ステップ 4: 接続性のテスト
[接続をテストして次に進む]をクリックします。
DTS は、そのサーバー IP 範囲を Alibaba Cloud データベースインスタンスのホワイトリストと ECS インスタンスのセキュリティグループルールに自動的に追加します。複数の ECS インスタンスにデプロイされている自己管理データベースの場合、DTS サーバー IP 範囲を各インスタンスのセキュリティグループルールに手動で追加します。データセンターまたはサードパーティクラウドプロバイダーでホストされているデータベースの場合、DTS サーバー IP 範囲をデータベースホワイトリストに手動で追加します。詳細については、「DTS サーバーの CIDR ブロック」をご参照ください。
DTS サーバー IP 範囲をホワイトリストまたはセキュリティグループルールに追加すると、潜在的なセキュリティリスクが発生する可能性があります。続行する前に、アカウント認証情報の強化、公開ポートの制限、API 呼び出しの認証、ホワイトリストルールの定期的な監査、Express Connect、VPN Gateway、または Smart Access Gateway を介した DTS への接続などの対策を講じてください。
ステップ 5: 同期オブジェクトの選択と設定
| パラメーター | 説明 |
|---|---|
| 同期タイプ | [スキーマ同期]、[フルデータ同期]、および[増分データ同期]を選択します。増分同期はデフォルトで選択されています。フルデータ同期は、増分同期のデータベースラインを確立します。 |
| ソースデータベースのトリガーを移行する方法 | ソースデータベースからのトリガーを処理する方法を選択します。トリガーを同期する必要がある場合にのみ構成します。このパラメーターは、[スキーマ同期] が選択されている場合にのみ表示されます。詳細については、「ソースデータベースからトリガーを同期または移行する」をご参照ください。 |
| 競合するテーブルの処理モード | [事前チェックとエラー報告]: タスクを開始する前に、ソースデータベースと宛先データベースで同名のテーブルをチェックします。競合が見つからない場合にのみタスクが開始されます。競合が存在し、テーブルを削除またはリネームできない場合は、「オブジェクト名マッピング」を使用して宛先テーブルの名前を変更します。[エラーを無視して続行]: 競合チェックをスキップします。宛先のレコードがソースレコードと同じプライマリキーまたは一意キーを持つ場合、完全同期中は宛先レコードが保持され、増分同期中は宛先レコードが上書きされます。スキーマが異なる場合、データ初期化が失敗する可能性があります。 |
| 宛先インスタンスにおけるオブジェクト名の大文字小文字の区別 | デフォルト: DTS デフォルトポリシー。宛先がソースまたは宛先データベースの大文字/小文字と一致する必要がある場合は調整します。詳細については、「オブジェクト名の大文字/小文字を指定する」をご参照ください。 |
| ソースオブジェクト | [ソースオブジェクト] セクションからオブジェクトを選択し、矢印アイコンをクリックして [選択したオブジェクト] セクションに移動します。列、テーブル、またはデータベースを選択します。テーブルまたは列を選択した場合、DTS はビュー、トリガー、またはストアドプロシージャを同期しません。 |
| 選択されたオブジェクト | オブジェクトを右クリックして、その名前を変更するか、WHERE 条件でデータをフィルターします。[バッチ編集] をクリックして、複数のオブジェクトの名前を一度に変更します。詳細については、「オブジェクト名のマッピング」および「フィルター条件の指定」をご参照ください。注: オブジェクトの名前を変更すると、依存オブジェクトの同期に失敗する可能性があります。 |
ステップ 6: 詳細設定の構成
[次へ: 詳細設定] をクリックします。
| パラメーター | 説明 |
|---|---|
| タスクスケジューリング用の専用クラスター | デフォルトでは、DTS は共有クラスターでタスクをスケジュールします。より高い安定性のために、専用クラスターを購入して指定してください。詳細については、「DTS 専用クラスターとは」をご参照ください。 |
| モニタリングとアラート | [はい]タスクが失敗した場合、または同期遅延がしきい値を超えた場合に通知を受け取るには、 を選択します。アラートのしきい値と通知設定を構成します。詳細については、「モニタリングとアラートの構成」をご参照ください。 |
| 失敗した接続の再試行時間 | DTS が失敗した接続を再試行する時間範囲。範囲: 10~1,440 分。デフォルト: 720。これを少なくとも 30 分に設定してください。この期間内に接続が復元された場合、タスクは再開されます。そうでない場合、タスクは失敗します。複数のタスクが同じソースまたは宛先データベースを共有する場合、最短の再試行時間が優先されます。DTS は再試行中にインスタンスに対して課金します。 |
| その他の問題の再試行時間 | DTS が失敗した DDL または DML 操作を再試行する時間範囲。範囲: 1~1,440 分。デフォルト: 10。これを少なくとも 10 分に設定してください。この値は、[失敗した接続の再試行時間] より小さい必要があります。 |
| 完全データ移行の速度制限を有効にする | [ソースデータベースへの 1 秒あたりのクエリ数 (QPS)]、[完全データ移行の RPS]、および [完全移行のデータ移行速度 (MB/秒)] を構成することで、完全同期中のデータベースへの読み取り/書き込み負荷を制限します。このパラメーターは、[完全データ同期] が選択されている場合にのみ表示されます。 |
| 増分データ移行の速度制限を有効にする | [増分データ同期の RPS] および [増分同期のデータ同期速度 (MB/秒)] を構成することで、増分同期中の負荷を制限します。 |
| 環境タグ | タスクに環境ラベルをタグ付けします。オプションです。 |
| ETL の構成 | はい抽出、変換、書き出し (ETL) 処理を有効にするには、 を選択します。コードエディタにデータ処理ステートメントを入力します。詳細については、「ETL とは」および「ETL の構成」をご参照ください。 |
ステップ 7: 事前チェックの実行
[次へ: タスク設定の保存と事前チェック] をクリックします。
このタスク構成の OpenAPI パラメーターをプレビューするには、続行する前に、ボタンにカーソルを合わせ、[OpenAPI パラメーターのプレビュー] をクリックします。
DTS は、タスクを開始する前に事前チェックを実行します。
確認項目が失敗した場合、[詳細の表示] をクリックして原因を確認し、問題を修正してから、事前チェックを再実行します。
確認項目がアラートを生成した場合:
アラートを無視できない場合は、問題を修正して事前チェックを再度実行します。
アラートを無視できる場合は、[アラートの詳細を確認] をクリックし、[詳細を表示] ダイアログで [無視] をクリックして、OK で確認し、[再事前チェック] をクリックします。
アラート項目を無視すると、データの不整合が発生したり、ビジネスがリスクにさらされたりする可能性があります。
ステップ 8: 同期インスタンスの購入
「成功率」が100%に達するまで待ち、その後、[次へ: インスタンスの購入]をクリックします。
「[購入]」ページで、以下のパラメーターを設定します。
| パラメーター | 説明 |
|---|---|
| 課金方法 | [サブスクリプション]: 固定期間の前払い。長期利用に費用対効果が高いです。[従量課金]: 時間単位で課金されます。短期利用に適しています。不要になったらインスタンスをリリースして課金を停止します。 |
| リソースグループ設定 | 同期インスタンスのリソースグループ。デフォルト: デフォルトのリソースグループ。詳細については、「Resource Management とは |
| インスタンスクラス | インスタンスクラスは同期速度を決定します。詳細については、「データ同期チャネルのインスタンスクラス」をご参照ください。 |
| サブスクリプション期間 | [サブスクリプション] 課金方法でのみ利用可能です。オプション: 1~9か月、1年、2年、3年、または5年。 |
ステップ 9: タスクの開始
読み、[Data Transmission Service (Pay-as-you-go) サービス利用規約] を選択します。
[購入して開始] をクリックし、確認ダイアログで [OK] をクリックします。
タスクはタスクリストに表示されます。そこから進行状況を監視してください。