Data Transmission Service (DTS) は、自主管理 PostgreSQL データベースや RDS for PostgreSQL インスタンスなどの PostgreSQL データベースから、大規模データ分析のための SelectDB インスタンスへのデータ同期をサポートしています。このトピックでは、ソースの RDS for PostgreSQL インスタンスを例に、その手順を説明します。
前提条件
ターゲットの SelectDB インスタンスが作成済みであること。ターゲットインスタンスのストレージ領域は、ソースの RDS for PostgreSQL インスタンスが使用するストレージ領域よりも大きい必要があります。詳細については、「インスタンスの作成」をご参照ください。
ソースの RDS for PostgreSQL インスタンスの
wal_levelパラメーターがlogicalに設定されていること。詳細については、「インスタンスパラメーターの設定」をご参照ください。
注意事項
タイプ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
特殊なケース |
|
課金
同期タイプ | 料金 |
スキーマ同期と完全データ同期 | 無料です。 |
増分データ同期 | 有料です。詳細については、「課金の概要」をご参照ください。 |
同期でサポートされる SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、DELETE |
DDL | ADD COLUMN、DROP COLUMN |
データベースアカウントに必要な権限
データベース | 必要な権限 | 作成と権限付与の方法 |
ソースの RDS for PostgreSQL インスタンス | 同期するデータベースの Owner である特権アカウント (権限付与済みアカウント)。 | |
ターゲットの SelectDB インスタンス | クラスターアクセス権限 (Usage_priv) およびデータベースの読み書き権限 (Select_priv、Load_priv、Alter_priv、Create_priv、Drop_priv)。 |
操作手順
ターゲットリージョンの同期タスクのリストに移動します。以下のいずれかの方法を使用できます：
DTS コンソールからページに移動する
左側のナビゲーションウィンドウで、データ同期 をクリックします。
ページの左上隅で、同期インスタンスが存在するリージョンを選択します。
DMS コンソールからページに移動する
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS UI のレイアウトとスタイルのカスタマイズ」をご参照ください。
Data Management (DMS) にログインします。
トップメニューバーで、 を選択します。
データ同期タスク の右側で、同期インスタンスが配置されているリージョンを選択します。
タスクの作成 をクリックして、タスク設定ページに移動します。
ソースデータベースとターゲットデータベースを設定します。
カテゴリ
構成
説明
なし
タスク名
DTS は自動的にタスク名を生成します。簡単に識別できるように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
移行元データベース
既存の接続情報の選択
システムに追加された (新規作成または保存された) データベースインスタンスを使用したい場合は、ドロップダウンリストからデータベースインスタンスを選択します。データベース情報は自動的に設定されます。
説明DMS コンソールでは、この設定項目は DMS データベースインスタンスの選択 という名前です。
データベースインスタンスをシステムに追加していない場合、または既に追加されているインスタンスを使用する必要がない場合は、以下のデータベース情報を手動で設定する必要があります。
データベースタイプ
PostgreSQL を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ソースの RDS for PostgreSQL インスタンスが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウントに属するデータベースインスタンスが使用されます。× を選択します。
インスタンス ID
ソースの RDS for PostgreSQL インスタンスの ID を選択します。
データベース名
ソースの RDS for PostgreSQL インスタンスで同期するオブジェクトを含むデータベースの名前を入力します。
データベースアカウント
ソースの RDS for PostgreSQL インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースアカウントに対応するパスワードを入力します。
移行先データベース
既存の接続情報の選択
システムに追加された (新規作成または保存された) データベースインスタンスを使用したい場合は、ドロップダウンリストからデータベースインスタンスを選択します。データベース情報は自動的に設定されます。
説明DMS コンソールでは、この設定項目は DMS データベースインスタンスの選択 という名前です。
データベースインスタンスをシステムに追加していない場合、または既に追加されているインスタンスを使用する必要がない場合は、以下のデータベース情報を手動で設定する必要があります。
データベースタイプ
[SelectDB] を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ターゲットの SelectDB インスタンスが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウントに属するデータベースインスタンスが使用されます。× を選択します。
インスタンス ID
ターゲットの SelectDB インスタンスの ID を選択します。
データベースアカウント
ターゲットの SelectDB インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースアカウントに対応するパスワードを入力します。
設定が完了したら、ページ下部の 接続をテストして続行 をクリックします。
説明DTS サーバーからのアクセスを許可するために、DTS サーバーの IP アドレスブロックがソースおよびターゲットデータベースのセキュリティ設定に追加されていることを確認してください。これは自動または手動で行うことができます。詳細については、「DTS サーバーの IP アドレスブロックをホワイトリストに追加する」をご参照ください。
ソースまたはターゲットデータベースが自己管理データベースである場合 (アクセス方法 が Alibaba Cloud インスタンス ではない場合)、DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックする必要もあります。
タスクオブジェクトを設定します。
オブジェクト設定 ページで、同期するオブジェクトを設定できます。
構成
説明
同期タイプ
増分データ同期 がデフォルトで選択されています。スキーマ同期 と 完全データ同期 も選択する必要があります。事前チェックが完了すると、DTS は同期するオブジェクトの完全データをソースインスタンスからターゲットクラスターに初期化し、これが後続の増分同期のベースラインデータとして機能します。
重要PostgreSQL データベースから SelectDB インスタンスにデータを同期する場合、データ型が変換されます。スキーマ同期 チェックボックスを選択しない場合は、事前にターゲットの SelectDB インスタンスに適切なスキーマを持つ Unique または Duplicate モデルのテーブルを作成する必要があります。詳細については、「データ型のマッピング」、「」、および「データモデル」をご参照ください。
競合するテーブルの処理モード
エラーの事前チェックと報告：ターゲットデータベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、チェックは成功します。同じ名前のテーブルが存在する場合、事前チェックは失敗し、データ同期タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、ターゲットデータベースで別のテーブル名にマッピングできます。詳細については、「スキーマ、テーブル、列のマッピング」をご参照ください。
エラーを無視して続行：ターゲットデータベースで同じ名前のテーブルのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスにリスクをもたらす可能性があります。例：
テーブルスキーマが同じで、ターゲットデータベースのレコードがソースデータベースのレコードと同じプライマリキーまたは一意キーの値を持つ場合、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
テーブルスキーマが異なる場合、データの初期化に失敗したり、一部の列のデータしか同期できなかったり、同期が失敗したりする可能性があります。注意して進めてください。
移行先インスタンスでのオブジェクト名の大文字化
ターゲットインスタンスに同期されるデータベース、テーブル、および列オブジェクト名の大文字/小文字の区別ポリシーを設定できます。デフォルトでは、DTS のデフォルトポリシー が選択されています。ソースおよびターゲットデータベースのデフォルトポリシーを使用することも選択できます。詳細については、「ターゲットオブジェクト名の大文字/小文字の区別ポリシー」をご参照ください。
ソースオブジェクト
ソースオブジェクト ボックスで、同期するオブジェクトをクリックし、
をクリックして 選択中のオブジェクト ボックスに移動します。説明スキーマまたはテーブルレベルでオブジェクトを選択できます。
選択中のオブジェクト
ターゲットインスタンスでの同期オブジェクトの名前を設定したり、データを受信するオブジェクトを指定したりするには、選択中のオブジェクト ボックスで同期オブジェクトを右クリックして変更します。詳細については、「テーブル名と列名のマッピング」をご参照ください。
同期オブジェクトを削除するには、選択中のオブジェクト ボックスでオブジェクトをクリックし、
をクリックして ソースオブジェクト ボックスに移動します。同期タイプ で スキーマ同期 チェックボックスを選択し、テーブルレベルでオブジェクトを選択した場合、バケット数 (
bucket_countパラメーター) を設定できます。これを行うには、選択中のオブジェクト ボックスでテーブルを右クリックします。パラメーター設定 セクションで、パラメーター設定の有効化 を ○ に設定し、パラメーター値 を指定して、[OK] をクリックします。
説明オブジェクト名マッピング機能を使用すると、マッピングされたオブジェクトに依存する他のオブジェクトの同期が失敗する可能性があります。
データをフィルタリングするための WHERE 句を設定するには、選択中のオブジェクト ボックスで同期するテーブルを右クリックします。表示されるダイアログボックスで、フィルター条件を設定します。詳細については、「フィルター条件の設定」をご参照ください。
増分同期の SQL 操作を選択するには、選択中のオブジェクト ボックスで同期オブジェクトを右クリックし、表示されるダイアログボックスから目的の操作を選択します。
詳細設定へ をクリックします。
構成
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、DTS は共有クラスターでタスクをスケジュールするため、クラスターを選択する必要はありません。より安定したパフォーマンスを得るために、DTS 同期タスクを実行するための専用クラスターを購入できます。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
同期タスクが開始された後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、すぐに接続のリトライを開始します。デフォルトのリトライ時間は 720 分です。10 分から 1,440 分の範囲でカスタムのリトライ時間を指定することもできます。30 分以上に設定することを推奨します。指定された時間内に DTS がデータベースに正常に再接続した場合、同期タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
説明同じソースまたはターゲットを共有する複数の DTS インスタンス (たとえば、インスタンス A とインスタンス B) があり、インスタンス A のネットワークリトライ時間を 30 分、インスタンス B を 60 分に設定した場合、両方に短い方の 30 分が使用されます。
DTS は接続リトライ期間中のタスク実行時間に対して課金するため、ビジネスニーズに基づいてリトライ時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスがリリースされた後できるだけ早く DTS インスタンスをリリースすることを推奨します。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
同期タスクが開始された後、ソースまたはターゲットデータベースで接続以外の問題 (DDL または DML 実行例外など) が発生した場合、DTS はエラーを報告し、すぐに連続的なリトライ操作を開始します。デフォルトのリトライ時間は 10 分です。1 分から 1,440 分の範囲でカスタムのリトライ時間を指定することもできます。10 分以上に設定することを推奨します。設定されたリトライ時間内に関連操作が成功した場合、同期タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
完全同期レートを制限するかどうか
完全同期フェーズ中、DTS はソースおよびターゲットデータベースの読み取りおよび書き込みリソースを使用するため、データベースの負荷が増加する可能性があります。ターゲットデータベースの負荷を軽減するために、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定することで、完全同期タスクのレート制限を設定できます。
説明この設定項目は、同期タイプ が 完全データ同期 に設定されている場合にのみ利用可能です。
同期インスタンスの実行後に 完全同期レートを調整する こともできます。
増分同期率を制限するかどうか
増分同期タスクにもレート制限を設定できます。ターゲットデータベースへの圧力を軽減するために、1 秒あたりの増分同期の行数 RPS と 1 秒あたりの増分同期データ量 (MB) BPS を設定します。
環境タグ
インスタンスを識別するために環境タグを選択できます。この設定はオプションです。
ETL 機能の設定
抽出、変換、書き出し (ETL) 機能を有効にするかどうかを選択します。詳細については、「ETL とは」をご参照ください。有効な値：
○：ETL 機能を有効にします。コードエディタにデータ処理文を入力します。詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。
×：ETL 機能を無効にします。
監視アラート
アラートを設定するかどうかを指定します。同期が失敗した場合や、レイテンシが指定されたしきい値を超えた場合に、アラート連絡先に通知が送信されます。
×: アラートは設定されていません。
○：アラートを設定します。アラートのしきい値とアラート通知も指定する必要があります。詳細については、「タスク設定中のモニタリングとアラートの設定」をご参照ください。
オプション：上記の設定を完了した後、次：データベースおよびテーブルのフィールド設定 をクリックして、ターゲットテーブルの プライマリキー列の追加、配布キー、および エンジンの選択 を設定します。
説明このステップは、同期タイプ で スキーマ同期 チェックボックスを選択した場合にのみ利用可能です。定義ステータス を すべて に設定して設定を変更できます。
プライマリキー列の追加 に複合プライマリキーを形成するために複数の列を選択できます。プライマリキー列の追加 から 1 つ以上の列を 配布キー として選択する必要があります。
プライマリキーまたは一意制約のないテーブルの場合、エンジンの選択 を [duplicate] に設定する必要があります。そうしないと、同期タスクが失敗したり、データが失われたりする可能性があります。
タスクを保存し、事前チェックを実行します。
このインスタンスを設定するための API パラメーターを表示するには、次：タスク設定の保存と事前チェック ボタンにカーソルを合わせ、バブル内の OpenAPI パラメーターのプレビュー をクリックします。
API パラメーターの表示が完了したら、ページ下部の 次：タスク設定の保存と事前チェック をクリックします。
説明同期ジョブが開始される前に、DTS は事前チェックを実行します。ジョブは、すべての事前チェック項目が合格した後にのみ開始できます。
事前チェックが失敗した場合は、失敗した項目の 詳細を表示 をクリックします。プロンプトに従って問題を修正し、再度事前チェックを実行します。
事前チェックで警告が生成された場合：
チェック項目が失敗し、無視できない場合は、項目の横にある 詳細を表示 をクリックします。指示に従って問題を修正し、再度事前チェックを実行します。
無視できるチェック項目については、アラートの詳細を確認、無視、OK、再度事前チェックを実行 を順にクリックして警告をスキップし、事前チェックを再実行できます。警告項目を無視することを選択した場合、データの不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。
インスタンスを購入します。
成功率 が 100% になったら、次：インスタンスの購入 をクリックします。
購入 ページで、データ同期インスタンスの課金方法とリンク仕様を選択します。次の表で、これらのオプションについて詳しく説明します。
カテゴリ
パラメーター
説明
新しいインスタンスクラス
課金方法
サブスクリプション：インスタンス作成時にお支払いいただきます。長期的なニーズに適しており、従量課金よりもコスト効率が高いです。サブスクリプション期間が長いほど、割引率が高くなります。
従量課金：時間単位で課金されます。短期的なニーズに適しています。使用後すぐにインスタンスをリリースしてコストを節約できます。
リソースグループ設定
インスタンスが属するリソースグループ。デフォルトはデフォルトリソースグループです。詳細については、「Resource Management とは」をご参照ください。
リンク仕様
DTS は、異なるパフォーマンスレベルの同期仕様を提供します。同期リンク仕様は同期レートに影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ同期リンク仕様」をご参照ください。
サブスクリプション期間
サブスクリプションモードでは、サブスクリプションインスタンスの期間と数量を選択します。1 か月から 9 か月までの月次サブスクリプション、または 1 年、2 年、3 年、5 年の年次サブスクリプションを選択できます。
説明このオプションは、課金方法が サブスクリプション の場合にのみ表示されます。
設定が完了したら、Data Transmission Service (従量課金) 利用規約 を読んで確認します。
購入して起動 をクリックします。OK ダイアログボックスで、[OK] をクリックします。
[データ同期] ページでタスクの進捗状況を確認できます。
データ型のマッピング
カテゴリ | PostgreSQL データ型 | SelectDB データ型 |
NUMERIC | SMALLINT | SMALLINT |
INTEGER | INT | |
BIGINT | BIGINT | |
DECIMAL | DECIMAL | |
NUMERIC | DECIMAL | |
REAL | DOUBLE | |
DOUBLE | DOUBLE | |
SMALLSERIAL | SMALLINT | |
SERIAL | INT | |
BIGSERIAL | BIGINT | |
MONETARY | MONEY | STRING |
CHARACTER |
| VARCHAR 重要 データ損失を防ぐため、CHAR(n) および VARCHAR(n) 型のデータは、SelectDB インスタンスに同期される際に VARCHAR(4*n) に変換されます。
|
TEXT | STRING | |
BINARY | BYTEA | STRING |
DATE AND TIME | TIMESTAMP [(P)] [WITHOUT TIME ZONE] | DATETIMEV2 |
TIMESTAMP [(P)] WITH TIME ZONE | DATETIMEV2 | |
DATE | DATEV2 | |
TIME [(P)] [WITHOUT TIME ZONE] | VARCHAR(50) | |
TIME [(P)] WITH TIME ZONE | VARCHAR(50) | |
INTERVAL [FIELDS] [(P)] | STRING | |
BOOLEAN | BOOLEAN | BOOLEAN |
GEOMETRIC |
| STRING |
NETWORK ADDRESS |
| STRING |
TEXT SEARCH | TSVECTOR | STRING |
XML | XML | STRING |
JSON | JSON | JSON |
追加列情報
次の表は、DTS が自動的に追加するか、Duplicate モデルを使用するターゲットテーブルに手動で追加する必要がある追加列について説明しています。
名前 | データ型 | デフォルト値 | 説明 |
_is_deleted | Int | 0 | データが削除されたかどうかを示します。
|
_version | Bigint | 0 |
|
_record_id | Bigint | 0 |
|