Data Transmission Service:自主管理 PostgreSQL データベースから PolarDB for PostgreSQL クラスターへのデータ移行

PostgreSQL 10.1 以降

1. 自主管理 PostgreSQL データベースを実行しているサーバーにログインします。

2. postgresql.conf を編集します。wal_level を logical に設定し、max_wal_senders と max_replication_slots を、現在使用中のレプリケーションスロットの数と、このデータベースをソースとして使用する DTS インスタンスの数の合計よりも大きい値に設定します。たとえば、現在 2 つのレプリケーションスロットが使用中で、このデータベースに対して 3 つの DTS インスタンスを実行する予定がある場合、両方のパラメーターを 5 より大きい値 (例: 10) に設定します。

   変更を有効にするには、postgresql.conf を変更した後、PostgreSQL データベースを再起動してください。

   # - Settings -
   
   wal_level = logical           # minimal, replica, or logical
                                 # (change requires restart)
   
   ......
   
   # - Sending Server(s) -
   
   max_wal_senders = 10          # max number of walsender processes
                                 # (change requires restart)
   #wal_keep_segments = 0        # in logfile segments, 16MB each; 0 disables
   #wal_sender_timeout = 60s     # in milliseconds; 0 disables
   
   max_replication_slots = 10    # max number of replication slots
                                 # (change requires restart)

3. DTS サーバーの CIDR ブロックを pg_hba.conf に追加します。ターゲットデータベースが存在するリージョンの CIDR ブロックのみを追加してください。「DTS サーバー IP アドレスをホワイトリストに追加する」をご参照ください。

   pg_hba.conf を変更した後、SELECT pg_reload_conf(); を実行するか、データベースを再起動して変更を有効にしてください。pg_hba.conf で IP アドレスをすでに 0.0.0.0/0 に設定している場合は、この手順をスキップしてください。pg_hba.conf の詳細については、「The pg_hba.conf File」をご参照ください。

   

4. 移行するソースオブジェクトと一致するように、ターゲットクラスターにターゲットデータベースとスキーマを作成します。

PostgreSQL 9.4.8 から 10.0

1. ソースから PostgreSQL をダウンロードしてインストールします。

   1. PostgreSQL 公式ウェブサイトから、ご利用のバージョンの PostgreSQL ソースコードをダウンロードします。

   2. 次のコマンドを実行して、構成、コンパイル、およびインストールを行います。

   重要

   - PostgreSQL の OS バージョンは、GNU Compiler Collection (GCC) のバージョンと一致する必要があります。 - sudo ./configure が readline library not found. Use --without-readline to disable readline support. で失敗した場合、代わりに sudo ./configure --without-readline を実行してください。 - 別のインストール方法を使用する場合は、同じ OS および GCC バージョンのテスト環境で ali_decoding プラグインをコンパイルしてください。

   sudo ./configure
   sudo make
   sudo make install

2. DTS が提供する ali_decoding プラグインをダウンロード、コンパイル、およびインストールします。

   1. 出力ファイルを必要なディレクトリにコピーします。

   # contrib/ali_decoding/Makefile
   MODULE_big = ali_decoding
   MODULES = ali_decoding
   OBJS    = ali_decoding.o
   
   DATA = ali_decoding--0.0.1.sql ali_decoding--unpackaged--0.0.1.sql
   
   EXTENSION = ali_decoding
   
   NAME = ali_decoding
   
   #subdir = contrib/ali_decoding
   #top_builddir = ../..
   #include $(top_builddir)/src/Makefile.global
   #include $(top_srcdir)/contrib/contrib-global.mk
   
   #PG_CONFIG = /usr/pgsql-9.6/bin/pg_config
   #pgsql_lib_dir := $(shell $(PG_CONFIG) --libdir)
   #PGXS := $(shell $(PG_CONFIG) --pgxs)
   #include $(PGXS)
   
   # Run the following commands to install the ali_decoding plug-in:
   ifdef USE_PGXS
   PG_CONFIG = pg_config
   PGXS := $(shell $(PG_CONFIG) --pgxs)
   include $(PGXS)
   else
   subdir = contrib/ali_decoding
   top_builddir = ../..
   include $(top_builddir)/src/Makefile.global
   include $(top_srcdir)/contrib/contrib-global.mk
   endif

   sudo make
   sudo make install

   

   

3. 移行するソースオブジェクトと一致するように、ターゲットクラスターにターゲットデータベースとスキーマを作成します。

ステップ 1: データ移行ページへの移動

ステップ 2: ソースデータベースとターゲットデータベースの構成

1. [タスクの作成] をクリックします。

2. ソースデータベースとターゲットデータベースを構成します。

   警告

   ソースインスタンスとターゲットインスタンスを選択した後、タスク構成の問題を避けるために、ページ上部に表示される [使用制限] を確認してください。

   ソースデータベース (ECS 上の自主管理 PostgreSQL)

   パラメーター	説明
   タスク名	DTS が自動的に名称を生成します。タスクを識別しやすいように、意味のある名称を指定してください。タスク名は一意である必要はありません。
   既存の接続を選択	ドロップダウンリストから登録済みのインスタンスを選択するか、手動で接続設定を行ってください。
   データベースタイプ	PostgreSQL を選択します。
   アクセス方法	ソースデータベースのデプロイメント場所を選択します。本例では Self-managed Database on ECS を使用します。その他のアクセス方法については、「事前準備」をご参照ください。
   インスタンスリージョン	ソース PostgreSQL データベースが配置されているリージョンです。
   ECS インスタンス ID	ソースデータベースをホストしている ECS インスタンスの ID です。
   ポート番号	サービスポートです。デフォルト値： 5432。
   データベース名	移行対象のオブジェクトを含むデータベースの名称です。
   データベースアカウント	ソースデータベースのアカウントです。「必要な権限」をご参照ください。
   データベースパスワード	データベースアカウントのパスワードです。
   暗号化	非暗号化 または SSL 暗号化 を選択します。SSL を使用する場合：必須となる CA 証明書 をアップロードし、任意で クライアント証明書、クライアント証明書の秘密鍵、および クライアント証明書の秘密鍵パスワード をアップロードします。

   ターゲットデータベース (PolarDB for PostgreSQL)

   パラメーター	説明
   既存の接続を選択	ドロップダウンリストから登録済みのインスタンスを選択するか、接続を手動で構成します。
   データベースタイプ	PolarDB for PostgreSQL を選択します。
   アクセス方式	Alibaba Cloud インスタンス を選択します。
   インスタンスリージョン	ターゲット PolarDB for PostgreSQL クラスターが存在するリージョン。
   インスタンス ID	ターゲット PolarDB for PostgreSQL クラスターの ID。
   データベース名	移行されたオブジェクトを受け取るターゲットデータベースの名前。
   データベースアカウント	ターゲットデータベースアカウント。「必要な権限」をご参照ください。
   データベースパスワード	データベースアカウントのパスワード。

3. [接続性のテストと続行] をクリックします。

   - DTS サーバーの CIDR ブロックを、ソースデータベースとターゲットデータベースのセキュリティ設定に追加する必要があります。「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。 - ソースデータベースまたはターゲットデータベースが自己管理型であり、[アクセス方法] が [Alibaba Cloud インスタンス] でない場合は、[DTS サーバーの CIDR ブロック] ダイアログボックスで [接続をテスト] をクリックします。

ステップ 3: 移行オブジェクトの選択と詳細設定の構成

1. ［オブジェクトの設定］ページで、移行設定を構成します。

   ・「スキーマ移行」が選択されていない場合は、開始前に送信先でターゲットデータベースおよびテーブルを作成し、「[選択されたオブジェクト]」でオブジェクト名マッピングを有効化します。・テーブルに SERIAL 列が含まれており、「スキーマ移行」が選択されている場合は、「[シーケンス]」も選択するか、スキーマ全体を移行します。

   パラメーター	説明
   移行タイプ	シナリオに合った移行タイプを選択します。詳細については、「移行タイプの選択」をご参照ください。
   競合するテーブルの処理モード	[事前チェックとエラーの報告]: ソースと送信先に同名のテーブルがある場合、事前チェックに失敗します。移行前にオブジェクト名マッピングを使用して競合を解決してください。[エラーを無視して続行]: 競合チェックをスキップします。完全移行中は、DTS が既存の送信先レコードを保持します。増分移行中は、DTS が送信先レコードを上書きします。スキーマが異なる場合、一致する列のみが移行されるか、タスクが失敗します。
   ソースオブジェクト	移行するスキーマまたはテーブルを選択します。「[矢印アイコン]」をクリックして、[選択済みオブジェクト] に追加します。テーブルを選択した場合、DTS はビュー、トリガー、およびストアドプロシージャを移行しません。
   選択されたオブジェクト	オブジェクトを右クリックすると、名前を変更したり (単一オブジェクトの名前をマップするをご参照ください)、WHERE フィルター条件を設定したり、移行する SQL 操作を選択したりできます。複数のオブジェクトの名前を一度に変更するには、[一括編集] をクリックします (一度に複数のオブジェクト名をマップするをご参照ください)。オブジェクトの名前を変更すると、依存オブジェクトが移行に失敗する可能性があります。

2. [次へ: 詳細設定] をクリックし、詳細オプションを設定します。

   パラメーター	説明
   タスクスケジューリング用の専用クラスター	デフォルトでは、DTS はタスクを共有クラスターにスケジュールします。安定性を向上させるには、専用クラスターを購入してください。「DTS 専用クラスターとは」をご参照ください。
   接続失敗時の再試行時間	接続失敗時に DTS が再試行する時間。範囲: 10～1,440 分。デフォルト: 720。30 分以上に設定してください。この期間内に再接続が成功した場合、DTS はタスクを再開します。それ以外の場合、タスクは停止します。複数のタスクが同じソースまたはターゲットを共有する場合、最後に設定された値が適用されます。再試行中も DTS 料金は継続します。
   その他の問題の再試行時間	DDL または DML の失敗時に DTS が再試行する期間。有効範囲：1～1,440 分。デフォルト値：10。10 分より大きい値を設定してください。[接続失敗時の再試行時間] より小さい値にする必要があります。
   完全なデータ移行のスロットリングを有効にする	ソースと送信先のロードを軽減するために、完全移行の速度を制限します。[ソースデータベースへの QPS (1 秒あたりのクエリ数)]、[完全データ移行の RPS (1 秒あたりの行数)]、および [完全移行のデータ移行速度 (MB/s)] を設定します。[完全データ移行] が選択されている場合にのみ利用可能です。
   増分データ移行のスロットリングを有効にする	増分移行の速度を制限します。「[増分データ移行の RPS]」および「[増分移行のデータ移行速度 (MB/s)]」を設定します。これは、「[増分データ移行]」が選択されている場合にのみ利用可能です。
   環境タグ	オプション。インスタンスに環境ラベルをタグ付けします。
   ETL の構成	[はい]アラート通知設定 を選択して、コードエディタにステートメントを入力します。「データ移行またはデータ同期タスクで ETL を構成する」をご参照ください。
   モニタリングとアラート	[はい]タスクが失敗した場合、または移行遅延がしきい値を超えた場合にアラートを受信するには、 を選択します。アラートのしきい値と通知連絡先を構成します。「DTS タスクを作成する際にモニタリングとアラートを構成する」をご参照ください。

3. [次のステップ: データ検証] をクリックしてデータ検証タスクを設定します。 詳細については、「データ検証タスクを設定する」をご参照ください。

ステップ 4: 事前チェックの実行とインスタンスの購入

1. [次へ: タスク設定の保存と事前チェック] をクリックします。

   • 保存する前に API パラメーターをプレビューするには、[次: タスク設定の保存と事前チェック] の上にマウスを置き、[OpenAPI パラメーターのプレビュー] をクリックします。

   - DTS は、移行タスクの開始前に事前チェックを実行します。事前チェックが成功するまで、タスクを開始できません。- 事前チェックで失敗した項目については、[詳細を表示] をクリックして原因を確認し、トラブルシューティングを行った後、再度事前チェックを実行してください。- 事前チェックのアラートについて：無視できないアラートの場合は、問題を修正してから再度事前チェックを実行してください。無視できるアラートの場合は、[アラートの詳細を確認] > [無視] > [OK] > [再事前チェック] をクリックしてください。アラートを無視すると、データの不整合が発生する可能性があります。

2. [成功率]が [100%] に達したら、[次へ：インスタンスの購入]をクリックします。

3. [インスタンスの購入] ページで、インスタンスを設定します。

   パラメーター	説明
   リソースグループ	移行インスタンスのリソースグループ。 デフォルト: [デフォルトリソースグループ]。 「Resource Management とは
   インスタンスクラス	インスタンスクラスは移行速度を決定します。ワークロードに基づいて選択してください。「データ移行インスタンスのインスタンスクラス」をご参照ください。

4. [Data Transmission Service (従量課金) サービス利用規約] チェックボックスを選択します。

5. [購入して開始] をクリックし、確認ダイアログで [OK] をクリックします。

ステップ 5: 移行の進行状況の監視

[データ移行] ページに移動して、タスクをモニターします。

• 完全移行の場合のみ：タスクは完了時に自動的に停止します。ステータスに [完了] と表示されます。

• 完全移行 + 増分移行：タスクは継続的に実行されます。ステータスには [実行中] と表示されます。増分移行は、手動でリリースするまで停止しません。

切り替えのタイミング (増分移行)

ソースデータベースに新しい書き込みがなく、移行遅延が 0 に達したときに切り替えます。切り替える前に以下を確認してください。

切り替え手順

1. ソースデータベースへの書き込みを停止します。

2. 増分移行遅延が 0 に達するまで待機します。

3. ターゲットデータベースのシーケンス値を更新します。「ターゲットデータベースのシーケンス値を更新する」をご参照ください。

4. DTS データ移行タスクを停止またはリリースして、再開によるターゲットデータの上書きを防止します。

5. アプリケーションの接続文字列をターゲットクラスターに切り替えます。