このトピックでは、Data Transmission Service (DTS) を使用して、PolarDB for PostgreSQL クラスターから SelectDB インスタンスにデータを移行し、大規模なデータセットでデータ分析を行う方法について説明します。
前提条件
宛先の SelectDB インスタンスを作成する必要があります。インスタンスの利用可能なストレージ領域は、ソースの PolarDB for PostgreSQL クラスターが使用するストレージ領域よりも大きい必要があります。詳細については、「インスタンスの作成」をご参照ください。
注意
タイプ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
課金
移行タイプ | リンク構成料金 | データ転送料金 |
スキーマ移行と完全なデータ移行 | 無料。 | この例は無料です。 |
増分データ移行 | 有料です。詳細については、「課金の概要」をご参照ください。 |
増分移行をサポートする SQL 操作
操作タイプ | SQL 文 |
DML | INSERT, UPDATE, DELETE |
DDL | ADD COLUMN, DROP COLUMN |
データベースアカウントに必要な権限
データベース | 必要な権限 | 作成と権限付与の方法 |
ソース PolarDB for PostgreSQL クラスター | 移行するデータベースのオーナーである特権アカウント。 | データベースアカウントの作成 および データベース管理。 |
宛先 SelectDB インスタンス | クラスターアクセス権限 (Usage_priv) およびデータベースの読み取り/書き込み権限 (Select_priv, Load_priv, Alter_priv, Create_priv, Drop_priv)。 |
手順
次のいずれかの方法でデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソールにログインします。
左側のナビゲーションウィンドウで、データの移行 をクリックします。
ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。
DMS コンソールにログインします。
上部のナビゲーションバーで、 にポインターを合わせます。
[データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースとターゲットデータベースを構成します。次の表にパラメーターを示します。
カテゴリ
構成
説明
N/A
タスク名
DTS タスクの名前。DTS は自動的にタスク名を生成します。タスクを簡単に識別できるわかりやすい名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
移行元データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
PolarDB for PostgreSQL を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ソースの PolarDB for PostgreSQL クラスターが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウントのデータベースインスタンスが使用されます。× を選択します。
インスタンス ID
ソースの PolarDB for PostgreSQL クラスターの ID を選択します。
データベース名
ソースの PolarDB for PostgreSQL クラスターで移行するオブジェクトを含むデータベースの名前を入力します。
データベースアカウント
ソースの PolarDB for PostgreSQL クラスターのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースへのアクセスに使用されるパスワード。
移行先データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスの選択] ドロップダウンリストからデータベースインスタンスを選択できます。
DTS へのインスタンスの登録に失敗した場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
宛先データベースのタイプ。[SelectDB] を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
宛先の SelectDB インスタンスが存在するリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウントのデータベースインスタンスが使用されます。× を選択します。
インスタンス ID
宛先の SelectDB インスタンスの ID を選択します。
データベースアカウント
宛先の SelectDB インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースインスタンスへのアクセスに使用されるパスワード。
ページの下部で、[接続性のテストと次へ] をクリックします。
説明DTS サーバーの CIDR ブロックが、ソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加され、DTS サーバーからのアクセスが許可されていることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。
移行するオブジェクトを構成します。
オブジェクト設定 ページで、移行するオブジェクトを構成します。
構成
説明
移行タイプ
完全なデータ移行のみを実行する必要がある場合は、スキーマ移行 と 完全データ移行 を選択します。
ダウンタイムなしの移行を実行するには、スキーマ移行、完全データ移行、および 増分データ移行 を選択します。
競合するテーブルの処理モード
エラーの事前チェックと報告: システムは、同じ名前のテーブルがターゲットデータベースに存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、タスクはこの事前チェック項目に合格します。同じ名前のテーブルが存在する場合、事前チェック中にエラーが報告され、データ移行タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、ターゲットデータベースでテーブル名を変更できます。詳細については、「テーブル名と列名をマッピングする」をご参照ください。
エラーを無視して続行: ターゲットデータベースで同じ名前のテーブルのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスにリスクをもたらす可能性があります。例:
テーブルスキーマが一致する場合、DTS がターゲットデータベースでソースデータベースのレコードと同じプライマリキー値を持つレコードを検出すると、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
テーブルスキーマが一致しない場合、一部の列のデータのみが移行されるか、移行が失敗する可能性があります。注意して進めてください。
移行先インスタンスでのオブジェクト名の大文字化
宛先インスタンスのデータベース名、テーブル名、および列名の大文字/小文字。デフォルトでは、[DTS デフォルトポリシー] が選択されています。他のオプションを選択して、オブジェクト名の大文字/小文字がソースまたは宛先データベースのものと一致するようにすることができます。詳細については、「宛先インスタンスのオブジェクト名の大文字/小文字を指定する」をご参照ください。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。
アイコンをクリックして、オブジェクトを 選択中のオブジェクト セクションに追加します。説明スキーマ、テーブル、および列を移行オブジェクトとして選択できます。
選択中のオブジェクト
宛先インスタンスで移行するオブジェクトの名前を指定したり、宛先インスタンスでデータを受信するオブジェクトを指定したりするには、選択中のオブジェクト セクションでオブジェクトを右クリックします。詳細については、「オブジェクト名のマッピング」をご参照ください。
移行対象として選択されている 1 つ以上のオブジェクトを削除するには、選択中のオブジェクト セクションでオブジェクトをクリックし、
アイコンをクリックしてオブジェクトを ソースオブジェクト セクションに移動します。移行タイプ で スキーマ移行 を選択し、移行するオブジェクトとしてテーブルを選択し、バケット数 (
bucket_countパラメーター) を設定する必要がある場合は、選択中のオブジェクト セクションで移行するテーブルを右クリックし、パラメーター設定 エリアで パラメーター設定の有効化 を ○ に設定し、必要に応じて パラメーター値 を設定して、[OK] をクリックします。
説明オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。
データをフィルタリングするための WHERE 条件を指定するには、選択中のオブジェクト セクションでテーブルを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、「フィルター条件の設定」をご参照ください。
増分移行の SQL 操作を選択するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、移行する SQL 操作を選択します。
詳細設定へ をクリックして、詳細設定を構成します。
構成
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスターを指定しない場合、DTS はデータ移行タスクを共有クラスターにスケジュールします。データ移行タスクの安定性を向上させたい場合は、専用クラスターを購入してください。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
失敗した接続のリトライ時間範囲。データ移行タスクの開始後にソースまたは宛先データベースへの接続に失敗した場合、DTS はリトライ時間範囲内にすぐに接続をリトライします。有効な値: 10 から 1,440。単位: 分。デフォルト値: 720。パラメーターを 30 より大きい値に設定することをお勧めします。指定されたリトライ時間範囲内に DTS がソースおよび宛先データベースに再接続されると、DTS はデータ移行タスクを再開します。そうでない場合、データ移行タスクは失敗します。
説明同じソースまたは宛先データベースを共有する複数のデータ移行タスクに異なるリトライ時間範囲を指定した場合、後で指定された値が優先されます。
DTS が接続をリトライすると、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間範囲を指定することをお勧めします。ソースデータベースと宛先インスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題のリトライ時間範囲。たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS はリトライ時間範囲内にすぐに操作をリトライします。有効な値: 1 から 1440。単位: 分。デフォルト値: 10。パラメーターを 10 より大きい値に設定することをお勧めします。指定されたリトライ時間範囲内に失敗した操作が正常に実行されると、DTS はデータ移行タスクを再開します。そうでない場合、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
完全移行率を制限するかどうか
完全なデータ移行のスロットリングを有効にするかどうかを指定します。完全なデータ移行中、DTS はソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。ビジネス要件に基づいて、完全なデータ移行のスロットリングを有効にすることができます。スロットリングを構成するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを構成する必要があります。これにより、宛先データベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 完全データ移行 を選択した場合にのみ構成できます。
増分移行率を制限するかどうか
増分データ移行のスロットリングを有効にするかどうかを指定します。スロットリングを構成するには、1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを構成する必要があります。これにより、宛先データベースサーバーの負荷が軽減されます。
説明このパラメーターは、移行タイプ パラメーターで 増分データ移行 を選択した場合にのみ構成できます。
環境タグ
必要に応じて、インスタンスを識別するための環境タグを選択できます。この例では、環境タグは選択されていません。
ETL の設定
抽出、変換、ロード (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値:
[はい]: ETL 機能を構成します。コードエディタにデータ処理文を入力できます。詳細については、「データ移行またはデータ同期タスクで ETL を構成する」をご参照ください。
[いいえ]: ETL 機能を構成しません。
監視アラート
データ移行タスクのアラートを構成するかどうかを指定します。タスクが失敗した場合、または移行遅延が指定されたしきい値を超えた場合、アラート連絡先は通知を受け取ります。有効な値:
[いいえ]: アラートを構成しません。
[はい]: アラートを構成します。この場合、アラートのしきい値と アラート通知設定も構成する必要があります。詳細については、「モニタリングとアラートの設定」トピックの「DTS タスク作成時のモニタリングとアラートの設定」セクションをご参照ください。
オプション: 上記の構成を完了した後、次:データベースおよびテーブルのフィールド設定 をクリックします。宛先データベースで移行するテーブルの プライマリキー列の追加、配布キー、および エンジンの選択 パラメーターを設定します。
説明このステップは、タスクオブジェクトを構成するときに スキーマ移行 を選択した場合にのみ表示されます。定義ステータス を すべて に設定して変更を行うことができます。
複数の プライマリキー列の追加 を組み合わせて複合プライマリキーを形成できます。プライマリキー列の追加 の 1 つ以上を 配布キー として選択する必要があります。
プライマリキーも UNIQUE 制約もないテーブルの場合、エンジンの選択 を [duplicate] に設定する必要があります。そうしないと、インスタンスの障害やデータの損失が発生する可能性があります。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを構成するときに指定するパラメーターを表示するには、次:タスク設定の保存と事前チェック にポインターを合わせ、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、または表示済みの場合は、ページの下部にある 次:タスク設定の保存と事前チェック をクリックします。
説明データ移行タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、再度事前チェックを実行します。
事前チェック中に項目のアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして問題をトラブルシューティングします。その後、再度事前チェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。[詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。次に、[再度事前チェック] をクリックして再度事前チェックを実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスに潜在的なリスクがもたらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを構成します。次の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
リソースグループ
データ移行インスタンスが属するリソースグループ。デフォルト値: [デフォルトリソースグループ]。詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
チェックボックスをオンにして、[Data Transmission Service (従量課金) サービス規約] を読んで同意します。
[購入して開始] をクリックします。表示されるメッセージで、[OK] をクリックします。
[データ移行] ページでタスクの進行状況を表示できます。
説明データ移行タスクを使用して増分データを移行できない場合、タスクは自動的に停止します。[ステータス] セクションに [完了] が表示されます。
データ移行タスクを使用して増分データを移行できる場合、タスクは自動的に停止しません。増分データ移行タスクは停止したり完了したりすることはありません。[ステータス] セクションに [実行中] が表示されます。
データ型マッピング
カテゴリ | PolarDB for PostgreSQL クラスターのデータの型 | SelectDB インスタンスのデータの型 |
数値 | SMALLINT | SMALLINT |
INTEGER | INT | |
BIGINT | BIGINT | |
DECIMAL | DECIMAL | |
NUMERIC | DECIMAL | |
REAL | DOUBLE | |
DOUBLE | DOUBLE | |
SMALLSERIAL | SMALLINT | |
SERIAL | INT | |
BIGSERIAL | BIGINT | |
通貨 | MONEY | STRING |
文字 |
| VARCHAR 重要 データの損失を防ぐため、CHAR(n) および VARCHAR(n) 型のデータは、SelectDB インスタンスに移行された後、VARCHAR(4*n) に変換されます。
|
TEXT | STRING | |
バイナリ | BYTEA | STRING |
日付と時刻 | TIMESTAMP [(P)] [WITHOUT TIME ZONE] | DATETIMEV2 |
TIMESTAMP [(P)] WITH TIME ZONE | DATETIMEV2 | |
DATE | DATEV2 | |
TIME [(P)] [WITHOUT TIME ZONE] | VARCHAR(50) | |
TIME [(P)] WITH TIME ZONE | VARCHAR(50) | |
INTERVAL [FIELDS] [(P)] | STRING | |
ブール | BOOLEAN | BOOLEAN |
幾何 |
| STRING |
ネットワークアドレス |
| STRING |
テキスト検索 | TSVECTOR | STRING |
XML | XML | STRING |
JSON | JSON | JSON |
追加の列
次の表は、DTS が自動的に追加する、または Duplicate データモデルを使用する宛先テーブルに手動で追加する必要がある追加の列について説明しています。
名前 | データの型 | デフォルト値 | 説明 |
_is_deleted | Int | 0 | データが削除されたかどうかを示します。
|
_version | Bigint | 0 |
|
_record_id | Bigint | 0 |
|