AnalyticDB:Greenplum クラスターから AnalyticDB for PostgreSQL への移行

前提条件

開始する前に、以下を確認してください。

• 自己管理型 Greenplum クラスターから AnalyticDB for PostgreSQL インスタンスへネットワーク経由で到達可能であること。

• Greenplum クラスターにスーパーユーザーアカウントが存在すること。

• AnalyticDB for PostgreSQL インスタンスが弾力的ストレージモード (V7.0) またはサーバーレスモードでないこと。gpcopy はこれらのインスタンスタイプをサポートしていません。

ステップ 1：Alibaba Cloud テクニカルサポートへのお問い合わせ

チケットを起票チケットを起票し、以下の情報を提供してください。

• AnalyticDB for PostgreSQL インスタンスのインスタンス ID

• 自己管理型 Greenplum クラスターの IP アドレスおよびポート番号

• Greenplum クラスターのスーパーユーザーアカウント

• Greenplum クラスターが配置されているサーバーの IP アドレス

Alibaba Cloud テクニカルサポートが、ご利用の AnalyticDB for PostgreSQL インスタンスに gpcopy をダウンロード・インストールします。チケットを起票

ステップ 2：IP アドレスホワイトリストの更新

外部アクセスを許可するため、AnalyticDB for PostgreSQL インスタンスの IP アドレスホワイトリストに 0.0.0.0/0 を追加してください。

ステップ 3：Greenplum サーバーへの gpcopy のインストール

1. 自己管理型 Greenplum クラスターが配置されているサーバーで、gpcopy をダウンロードしてください。

   本トピックでは gpcopy 2.3.2 を使用します。移行には gpcopy 2.3.x をご使用ください。gpcopy 2.4.x を使用する場合は SSL 暗号化が必要です — 使用する場合は、「SSL 暗号化の設定」をご参照ください。

2. gpcopy パッケージが配置されたディレクトリで、以下のスクリプトを実行して gpcopy をインストールしてください。

   #!/bin/bash
   
   tar xzvf gpcopy-2.3.2.tar.gz
   
   cd gpcopy-2.3.2/
   cp gpcopy $GPHOME/bin
   cp gpcopy_helper $GPHOME/bin
   chmod 755 $GPHOME/bin/gpcopy
   chmod 755 $GPHOME/bin/gpcopy_helper
   
   host_sql=`psql -A -t -c "select address from gp_segment_configuration where role = 'p' and content >= 0 group by address"`
   host=(${host_sql})
   host_len=${#host[@]}
   
   host_str=""
   for ((i=0; i<$host_len; ++i)); do
       host_str=$host_str" -h "${host[$i]}
   done
   
   gpscp $host_str gpcopy_helper =:$GPHOME/bin
   gpssh $host_str -e "chmod 755 $GPHOME/bin/gpcopy_helper"

ステップ 4：移行の実行

以下のコマンドを実行してデータを移行します。

gpcopy --full \
  --source-host <SOURCEHOST> \
  --source-port <SOURCEPORT> \
  --source-user <SOURCEUSER> \
  --dest-host <DESTHOST> \
  --dest-port <DESTPORT> \
  --dest-user <DESTUSER> \
  --jobs 4 \
  --drop \
  --validate count

プレースホルダーを実際の値に置き換えてください。

主なオプション：

ステップ 5：アクセス制御の復元

移行完了後：

1. IP アドレスホワイトリストを 0.0.0.0/0 から、ビジネス運用に必要な IP アドレスに更新してください。

2. Alibaba Cloud テクニカルサポートに連絡し、スーパーユーザーアカウントの構成、セキュリティグループ、および pg_hba によるパスワード不要ログイン設定を復元してください。

前提条件

移行を開始する前に、以下の点をご確認ください。

• AnalyticDB for PostgreSQL インスタンスは、自己管理型 Greenplum クラスターにネットワークを介して接続できます。

• AnalyticDB for PostgreSQL インスタンスに特権アカウントが存在すること。存在しない場合は、「データベースアカウントの作成」をご参照のうえ、作成してください。

手順

1. 必要に応じて、AnalyticDB for PostgreSQL インスタンス用の特権アカウントを作成してください。

2. 外部アクセスを許可するため、AnalyticDB for PostgreSQL インスタンスの IP アドレスホワイトリストに 0.0.0.0/0 を追加してください。

   警告

   0.0.0.0/0 はすべての IP アドレスからのアクセスを許可します。移行完了直後に、このエントリを削除してください。

3. AnalyticDB for PostgreSQL インスタンスを最新のマイナーエンジンバージョンに更新してください。「マイナーエンジンバージョンの確認」および「マイナーエンジンバージョンの更新」をご参照ください。

4. チケットを起票チケットを起票し、インスタンス ID、自己管理型 Greenplum クラスターの IP アドレスおよびポート番号、データ移行権限を持つ Greenplum クラスターのアカウント、およびサーバーの IP アドレスを提供してください。

5. 移行が完了するまでお待ちください。

6. IP アドレスホワイトリストを 0.0.0.0/0 から、ビジネス運用に必要な IP アドレスに更新してください。データを検証した後、アプリケーションをインスタンスに接続してください。

スキーマ移行

1. 自己管理型 Greenplum クラスターのマスターノードで、pg_dumpall を使用して DDL スキーマをエクスポートします。

   export PGHOST=<自己管理型 Greenplum クラスターの IP アドレス>
   export PGPORT=<自己管理型 Greenplum クラスターのポート番号>
   export PGUSER=<自己管理型 Greenplum クラスターのスーパーユーザーアカウント>
   export PGPASSWORD=<スーパーユーザーアカウントのパスワード>
   
   # Greenplum 4X の場合
   pg_dumpall -s -q --gp-syntax > full_schema.sql
   
   # Greenplum 5X または 6X の場合
   pg_dumpall -s --gp-syntax > full_schema.sql

2. カスタムライブラリの有無を確認します。psql を使用して Greenplum クラスターに接続し、以下のコマンドを実行してください。

   SELECT * FROM pg_catalog.pg_library;

   カスタムライブラリが存在する場合、AnalyticDB for PostgreSQL インスタンス上で対応するスキーマを手動で作成したうえで、次のステップに進んでください。

3. DDL スキーマを AnalyticDB for PostgreSQL インスタンスに適用します。

   export PGHOST=<AnalyticDB for PostgreSQL インスタンスの IP アドレス>
   export PGPORT=<AnalyticDB for PostgreSQL インスタンスのポート番号>
   export PGUSER=<AnalyticDB for PostgreSQL インスタンスの特権アカウント>
   export PGPASSWORD=<特権アカウントのパスワード>
   
   psql postgres -f full_schema.sql > psql.log 2>&1 &

   「psql.log」を確認してエラーを調べます。ほとんどのエラーは、SQL 構文の違い、特に Greenplum 4X に関連しています。互換性に関する詳細については、「AnalyticDB for PostgreSQL V4.3 と V6.0 の互換性比較」および「AnalyticDB for PostgreSQL V4.3 と V6.0 の非互換性の確認」をご参照ください。

テーブルデータ移行

ステップ 1：Greenplum クラスターからのデータエクスポート

以下のいずれかのエクスポート方法を選択してください。

オプション A：COPY TO

psql クライアントで COPY TO 文を実行します。

-- Works with Greenplum 4X, 5X, and 6X
COPY public.t1 TO '/data/gpload/public_t1.csv' FORMAT CSV ENCODING 'UTF8';

Greenplum 5X または 6X の場合、ON SEGMENT を使用して並列エクスポートが可能です。

COPY public.t1 TO '<SEG_DATA_DIR>/public_t1_<SEGID>.csv' FORMAT CSV ENCODING 'UTF8' ON SEGMENT;

<SEGID> プレースホルダーは変更しないでください — システムがエクスポート時に自動的に置き換えます。<SEG_DATA_DIR> はそのまま使用するか、絶対パスに置き換えてください。

オプション B：gpfdist 外部テーブル

1. gpfdist サービスを起動します。

   mkdir -p /data/gpload
   gpfdist -d /data/gpload -p 8000 &

2. psql を使用して Greenplum クラスターに接続し、データをエクスポートします。

   -- Create a writable external table for public.t1
   CREATE WRITABLE EXTERNAL TABLE ext_w_t1 (LIKE public.t1)
   LOCATION ('gpfdist://<IP address of the self-managed Greenplum cluster>:8000/public_t1.csv')
   FORMAT 'CSV' ENCODING 'UTF8';
   
   -- Write the table data to the external table
   INSERT INTO ext_w_t1 SELECT * FROM public.t1;

ステップ 2：Object Storage Service (OSS) へのデータアップロード

エクスポートされたファイルを OSS バケットにアップロードします。このバケットは、AnalyticDB for PostgreSQL インスタンスと同じリージョン内にある必要があります。詳細については、「オブジェクトのアップロード」をご参照ください。

ステップ 3：AnalyticDB for PostgreSQL へのデータインポート

OSS 外部テーブルを使用して、OSS から AnalyticDB for PostgreSQL インスタンスにデータを読み込みます。詳細については、「OSS データを AnalyticDB for PostgreSQL テーブルにインポート」をご参照ください。

移行結果の検証

以下の両方のチェックを実行し、移行が完了したことを確認してください。

• データ整合性チェック。 ソースと送信先のテーブル間で行数および数値フィールドの集計値を比較します。大規模なテーブルの場合、サンプリングによる比較でも構いません。

• 業務整合性チェック。 アプリケーションを AnalyticDB for PostgreSQL インスタンスに接続し、業務クエリが正しく実行され、期待通りの結果が返されることを確認してください。