このトピックでは、Data Transmission Service (DTS) を使用して PolarDB for PostgreSQL クラスターから SelectDB インスタンスにデータを同期する方法について説明します。このプロセスは、大規模なデータ分析に役立ちます。
前提条件
宛先の SelectDB インスタンスを作成済みであること。宛先インスタンスは、ソースの PolarDB for PostgreSQL クラスターが使用する量よりも多くのディスク領域を持つ必要があります。詳細については、「インスタンスの作成」をご参照ください。
ソースの PolarDB for PostgreSQL クラスターの wal_level パラメーターを logical に設定済みであること。詳細については、「クラスターパラメーターの設定」をご参照ください。
注意事項
タイプ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
課金
| 同期タイプ | タスク構成料金 |
| スキーマ同期と完全データ同期 | 無料です。 |
| 増分データ同期 | 課金されます。詳細については、「課金の概要」をご参照ください。 |
サポートされる SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、DELETE |
DDL | ADD COLUMN、DROP COLUMN |
データベースアカウントの権限
データベース | 必要な権限 | アカウントの作成と権限付与の方法 |
ソース PolarDB for PostgreSQL クラスター | 同期するデータベースを所有する特権アカウント。 | データベースアカウントの作成 および データベース管理。 |
宛先 SelectDB インスタンス | クラスターアクセス権限 (Usage_priv) およびデータベースアクセス権限 (Select_priv、Load_priv、Alter_priv、Create_priv、および Drop_priv)。 |
操作手順
ターゲットリージョンのデータ同期タスクリストページに移動します。以下のいずれかの方法を使用できます。
DTS コンソールから
DTS コンソールにログインします。
左側のナビゲーションウィンドウで、データ同期 をクリックします。
ページの左上隅で、同期インスタンスが配置されているリージョンを選択します。
DMS コンソールから
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。
DMS コンソールにログインします。
上部のメニューバーから、 を選択します。
データ同期タスク の右側で、同期インスタンスのリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースとターゲットデータベースを構成します。次の表にパラメーターを示します。
カテゴリ
構成
説明
なし
タスク名
DTS は自動的にタスク名を生成します。簡単に識別できるように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
移行元データベース
既存の接続情報の選択
システムに登録されているデータベースインスタンス (新規作成または保存済み) を使用するには、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報は自動的に構成されます。
説明DMS コンソールでは、この設定項目は DMS データベースインスタンスの選択 です。
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用する必要がない場合は、以下のデータベース情報を手動で構成します。
データベースタイプ
PolarDB for PostgreSQL を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ソースの PolarDB for PostgreSQL クラスターが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウント下のデータベースインスタンスを使用します。× を選択します。
インスタンス ID
ソースの PolarDB for PostgreSQL クラスターの ID を選択します。
データベース名
ソースの PolarDB for PostgreSQL クラスターで同期するオブジェクトを含むデータベースの名前を入力します。
データベースアカウント
ソースの PolarDB for PostgreSQL クラスターのデータベースアカウントを入力します。権限要件については、「データベースアカウントの権限」をご参照ください。
データベースのパスワード
データベースアカウントに対応するパスワードを入力します。
移行先データベース
既存の接続情報の選択
システムに登録されているデータベースインスタンス (新規作成または保存済み) を使用するには、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報は自動的に構成されます。
説明DMS コンソールでは、この設定項目は DMS データベースインスタンスの選択 です。
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用する必要がない場合は、以下のデータベース情報を手動で構成します。
データベースタイプ
[SelectDB] を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
宛先の SelectDB インスタンスが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウント下のデータベースインスタンスを使用します。× を選択します。
インスタンス ID
宛先の SelectDB インスタンスの ID を選択します。
データベースアカウント
宛先の SelectDB インスタンスのデータベースアカウントを入力します。権限要件については、「データベースアカウントの権限」をご参照ください。
データベースのパスワード
データベースアカウントに対応するパスワードを入力します。
構成が完了したら、ページ下部の 接続をテストして続行 をクリックします。
説明DTS サーバーからのアクセスを許可するために、DTS サービスの IP アドレスブロックが、自動または手動でソースデータベースとターゲットデータベースのセキュリティ設定に追加されていることを確認してください。詳細については、「DTS サーバーの IP アドレスホワイトリストを追加する」をご参照ください。
タスクオブジェクトを構成します。
オブジェクト設定 ページで、同期するオブジェクトを構成できます。
構成
説明
同期タイプ
[増分同期] がデフォルトで選択されています。また、[スキーマ同期] と [完全データ同期] を選択する必要があります。事前チェックが完了すると、DTS はソースインスタンスからの完全データで宛先クラスターの同期オブジェクトを初期化します。このデータは、後続の増分同期のベースラインとして機能します。
競合するテーブルの処理モード
エラーの事前チェックと報告:ターゲットデータベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、チェックは成功します。同じ名前のテーブルが存在する場合、事前チェックは失敗し、データ同期タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、ターゲットデータベースで別のテーブル名にマッピングできます。詳細については、「スキーマ、テーブル、および列のマッピング」をご参照ください。
エラーを無視して続行:ターゲットデータベースで同じ名前のテーブルのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データ不整合が発生し、ビジネスにリスクをもたらす可能性があります。例:
テーブルスキーマが同じで、ターゲットデータベースのレコードがソースデータベースのレコードと同じプライマリキーまたは一意キーの値を持つ場合、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
テーブルスキーマが異なる場合、データの初期化に失敗したり、一部の列のデータしか同期できなかったり、同期が失敗したりする可能性があります。注意して進めてください。
移行先インスタンスでのオブジェクト名の大文字化
宛先インスタンスのデータベース、テーブル、および列オブジェクトの名前の大文字/小文字ポリシーを構成できます。デフォルトでは、[DTS デフォルトポリシー] が選択されています。ソースまたはターゲットデータベースのデフォルトポリシーを使用することも選択できます。詳細については、「宛先オブジェクト名の大文字/小文字ポリシー」をご参照ください。
ソースオブジェクト
ソースオブジェクト ボックスでオブジェクトをクリックし、
をクリックして 選択中のオブジェクト ボックスに移動します。説明スキーマ、テーブル、および列レベルでオブジェクトを選択できます。
選択中のオブジェクト
宛先インスタンスで同期オブジェクトの名前を設定するには、選択中のオブジェクト ボックスでオブジェクトを右クリックして変更します。詳細については、「オブジェクト名のマッピング」をご参照ください。
同期オブジェクトを削除するには、選択中のオブジェクト ボックスでオブジェクトをクリックし、
をクリックして ソースオブジェクト ボックスに移動します。同期タイプ で スキーマ同期 を選択し、テーブルレベルでオブジェクトを選択し、バケット数 (
bucket_countパラメーター) を設定する必要がある場合は、選択中のオブジェクト ボックスでテーブルを右クリックします。パラメーター設定 エリアで、パラメーター設定の有効化 を ○ に設定します。必要に応じて パラメーター値 を設定し、[OK] をクリックします。
説明オブジェクト名マッピング機能を使用する場合、マッピングされたオブジェクトに依存する他のオブジェクトの同期が失敗する可能性があります。
テーブルのデータをフィルタリングするための WHERE 条件を設定するには、選択中のオブジェクト ボックスでテーブルを右クリックし、表示されるダイアログボックスでフィルター条件を設定します。詳細については、「フィルター条件の設定」をご参照ください。
増分同期の SQL 操作を選択するには、選択中のオブジェクト ボックスで同期オブジェクトを右クリックし、ダイアログボックスから目的の操作を選択します。
詳細設定へ をクリックします。
構成
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、DTS は共有クラスターでタスクをスケジュールするため、選択する必要はありません。タスクの安定性を高めるために、DTS 同期タスクを実行するための専用クラスターを購入できます。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
同期タスクの開始後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続のリトライを開始します。デフォルトのリトライ時間は 720 分です。リトライ時間を 10 分から 1,440 分の値にカスタマイズできます。30 分以上の設定を推奨します。DTS が指定されたリトライ時間内に再接続すると、タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
説明同じソースまたは宛先を持つ複数の DTS インスタンス (DTS インスタンス A と DTS インスタンス B など) の場合、A のネットワークリトライ時間が 30 分、B が 60 分に設定されている場合、短い方の 30 分が適用されます。
DTS は接続リトライ中のタスク実行時間に対して課金するため、ビジネスニーズに基づいてリトライ時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることを推奨します。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
同期タスクの開始後、ソースまたはターゲットデータベースで接続以外の問題 (DDL または DML 実行エラーなど) が発生した場合、DTS はエラーを報告し、直ちに連続的なリトライ操作を開始します。デフォルトのリトライ時間は 10 分です。リトライ時間を 1 分から 1,440 分の値にカスタマイズすることもできます。10 分以上の設定を推奨します。設定されたリトライ時間内に関連する操作が成功すると、同期タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
完全同期レートを制限するかどうか
完全データ同期フェーズ中、DTS はソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを消費し、それらの負荷を増加させる可能性があります。1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS を構成することで、完全データ同期タスクのレート制限を設定し、ターゲットデータベースへの圧力を軽減できます。
説明この設定項目は、同期タイプ が 完全データ同期 に設定されている場合にのみ利用可能です。
同期インスタンスの実行後に、完全データ同期のレートを調整することもできます。
増分同期率を制限するかどうか
1 秒あたりの増分同期の行数 RPS と 1 秒あたりの増分同期データ量 (MB) BPS を設定することで、増分同期タスクのレート制限を設定し、ターゲットデータベースへの圧力を軽減することもできます。
環境タグ
必要に応じて、インスタンスを識別するための環境タグを選択できます。この例では選択は不要です。
ETL 機能の設定
抽出、変換、ロード (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値:
[はい]:ETL 機能を構成します。コードエディタにデータ処理文を入力できます。詳細については、「データ移行またはデータ同期タスクで ETL を構成する」をご参照ください。
[いいえ]:ETL 機能を構成しません。
監視アラート
アラートを構成するかどうかを指定します。同期が失敗した場合や、レイテンシが指定されたしきい値を超えた場合に、アラート連絡先に通知が送信されます。
設定しない:アラートは設定されません。
[設定]:アラートを構成します。アラートしきい値とアラート通知も設定する必要があります。詳細については、「タスク構成中のモニタリングとアラートの構成」をご参照ください。
オプション:次:データベースおよびテーブルのフィールド設定 をクリックして、ターゲットデータベースのテーブルの プライマリキー列の追加、配布キー、および エンジンの選択 を設定します。
説明このステップは、同期タイプ で スキーマ同期 を選択した場合にのみ利用可能です。定義ステータス を すべて に設定して変更を行うことができます。
プライマリキー列の追加 フィールドで複数の列を複合プライマリキーとして選択できます。配布キー として機能させるには、プライマリキー列の追加 から 1 つ以上の列を選択する必要があります。
プライマリキーも UNIQUE 制約もないテーブルについては、エンジンの選択 を duplicate に設定する必要があります。そうしないと、同期が失敗したり、データが失われたりする可能性があります。
タスクを保存して事前チェックを実行します。
API 操作用にこのインスタンスを構成するためのパラメーターを表示するには、次:タスク設定の保存と事前チェック ボタンにマウスを移動し、ツールチップの OpenAPI パラメーターのプレビュー をクリックします。
API パラメーターの表示が完了したら、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。
説明同期ジョブが開始される前に、事前チェックが実行されます。ジョブは事前チェックに合格した後にのみ開始できます。
事前チェックが失敗した場合は、失敗した項目の横にある 詳細を表示 をクリックし、プロンプトに従って問題を解決してから、事前チェックを再実行します。
事前チェック中に警告が生成された場合:
チェック項目が失敗し、無視できない場合は、項目の横にある 詳細を表示 をクリックします。次に、指示に従って問題を修正し、事前チェックを再実行します。
無視できるチェック項目については、アラートの詳細を確認、無視、OK、再度事前チェックを実行 の順にクリックして警告をスキップし、事前チェックを再実行します。チェック項目の警告を遮蔽すると、データ不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。
インスタンスを購入します。
成功率 が 100% になったら、次:インスタンスの購入 をクリックします。
購入 ページで、データ同期インスタンスの課金方法とリンク仕様を選択します。詳細については、次の表をご参照ください。
カテゴリ
パラメーター
説明
新しいインスタンスクラス
課金方法
サブスクリプション:インスタンス作成時にお支払いいただきます。長期的なニーズに適しており、従量課金よりも手頃で、サブスクリプション期間が長いほど割引率が高くなります。
従量課金:時間単位で課金されます。短期的なニーズに適しています。使用後すぐにインスタンスをリリースしてコストを節約できます。
リソースグループ構成
インスタンスが属するリソースグループ。デフォルトは デフォルトリソースグループ です。詳細については、「Resource Management とは」をご参照ください。
リンク仕様
DTS は、異なるパフォーマンスレベルの同期仕様を提供します。リンク仕様は同期レートに影響します。ビジネスシナリオに基づいて選択できます。詳細については、「データ同期リンク仕様」をご参照ください。
サブスクリプション期間
サブスクリプションモードでは、サブスクリプションインスタンスの期間と数量を選択します。月間サブスクリプションでは 1〜9 ヶ月、年間サブスクリプションでは 1、2、3、または 5 年から選択できます。
説明このオプションは、課金方法が サブスクリプション の場合にのみ表示されます。
構成が完了したら、Data Transmission Service (従量課金) 利用規約 を読んで選択します。
購入して起動 をクリックし、OK ダイアログボックスで [OK] をクリックします。
データ同期ページでタスクの進捗状況を確認できます。
データ型マッピング
カテゴリ | PolarDB for PostgreSQL クラスターのデータ型 | SelectDB インスタンスのデータ型 |
NUMERIC | SMALLINT | SMALLINT |
INTEGER | INT | |
BIGINT | BIGINT | |
DECIMAL | DECIMAL | |
NUMERIC | DECIMAL | |
REAL | DOUBLE | |
DOUBLE | DOUBLE | |
SMALLSERIAL | SMALLINT | |
SERIAL | INT | |
BIGSERIAL | BIGINT | |
MONETARY | MONEY | STRING |
CHARACTER |
| VARCHAR 重要 データ損失を防ぐため、CHAR(n) および VARCHAR(n) 型のデータは、SelectDB インスタンスに同期された後、VARCHAR(4*n) に変換されます。
|
TEXT | STRING | |
BINARY | BYTEA | STRING |
DATE AND TIME | TIMESTAMP [(P)] [WITHOUT TIME ZONE] | DATETIMEV2 |
TIMESTAMP [(P)] WITH TIME ZONE | DATETIMEV2 | |
DATE | DATEV2 | |
TIME [(P)] [WITHOUT TIME ZONE] | VARCHAR(50) | |
TIME [(P)] WITH TIME ZONE | VARCHAR(50) | |
INTERVAL [FIELDS] [(P)] | STRING | |
BOOLEAN | BOOLEAN | BOOLEAN |
GEOMETRIC |
| STRING |
NETWORK ADDRESS |
| STRING |
TEXT SEARCH | TSVECTOR | STRING |
XML | XML | STRING |
JSON | JSON | JSON |
追加の列情報
次の表は、DTS が自動的に追加するか、Duplicate モデルを使用するターゲットテーブルに手動で追加する必要がある追加の列について説明しています。
名前 | データ型 | デフォルト値 | 説明 |
_is_deleted | Int | 0 | データが削除されたかどうかを示します。
|
_version | Bigint | 0 |
|
_record_id | Bigint | 0 |
|
