Data Integration は、Alibaba Cloud が提供する信頼性・セキュリティ・コスト効率・弾力性・スケーラビリティに優れたデータ同期プラットフォームです。多様なネットワーク環境および 20 種類以上のデータソースに対応したオフライン(フルおよび増分)データアクセスチャネルをサポートします。対応データソースの全リストについては、「対応するデータソースタイプ、Reader プラグイン、Writer プラグイン」をご参照ください。
適用範囲/利用シーン
インポート:外部ソースから処理済みデータを AnalyticDB for PostgreSQL に読み込みます。
エクスポート:AnalyticDB for PostgreSQL からデータを抽出し、ダウンストリーム処理用の他のデータストアへ送信します。
前提条件
開始前に、以下の要件を満たしていることをご確認ください。
データ統合の場合:
Alibaba Cloud アカウント — DataWorks および Data Integration へのアクセスに必要です。
MaxCompute の有効化 — MaxCompute を有効化すると、デフォルトの MaxCompute データソースが自動的に作成され、DataWorks コンソールにログインできるようになります。
DataWorks ワークスペース — ワークフロー、データ、および同期タスクを整理するために使用します。
RAM ユーザーの認証情報を使用して同期タスクを作成する場合は、事前に該当の RAM ユーザーに必要な権限を付与してください。詳細については、「RAM ユーザーの作成」をご参照ください。
AnalyticDB for PostgreSQL向け:
(インポートのみ)psql CLI クライアントを使用して、ご利用の AnalyticDB for PostgreSQL インスタンス上にターゲットデータベースおよびテーブルが作成済みであること。
(エクスポートのみ)ご利用の AnalyticDB for PostgreSQL インスタンスに IP アドレスホワイトリストが設定済みであること。詳細については、「ホワイトリストの追加」をご参照ください。
データのインポート
ステップ 1:データソースの追加
DataWorks コンソールで、ソースデータストアをデータソースとして追加します。「データソースの構成」をご参照ください。
ステップ 2:同期タスクの構成
同期タスクは、ソースから AnalyticDB for PostgreSQL へデータを転送します。DataWorks では、以下の 2 種類の構成モードをサポートしています。
| モード | 推奨用途 |
|---|---|
| ウィザードモード | 初めてのセットアップ時;ガイド付き、フォームベースの構成(スクリプト不要) |
| スクリプトモード | カスタムまたは高度な構成時;Reader および Writer プラグインのパラメーターを完全制御可能 |
ウィザードモード(6 ステップ):
データ同期ノードを作成します。
データソースを指定します。
AnalyticDB for PostgreSQL をデータ送信先として設定します。
ソーステーブルと送信先テーブル間のフィールドマッピングを構成します。
最大転送レートおよびダーティデータチェックルールを設定します。
スケジューリング属性を構成します。
詳細な手順については、「ウィザードモードでの同期タスクの構成」をご参照ください。
スクリプトモード(7 ステップ):
データ同期ノードを作成します。
テンプレートをインポートします。
ソース用の Reader プラグインを構成します。
ご利用の AnalyticDB for PostgreSQL インスタンスをターゲットとする Writer プラグインを構成します。
ソーステーブルと送信先テーブル間のフィールドマッピングを構成します。
最大転送レートおよびダーティデータチェックルールを設定します。
スケジューリング属性を構成します。
詳細な手順については、「スクリプトモードでの同期タスクの構成」をご参照ください。
データのエクスポート
エクスポート手順は、インポート手順とほぼ同一ですが、以下の点が異なります:AnalyticDB for PostgreSQL をデータソース(送信元)として設定し、ターゲットとなるデータストアを送信先として指定します。
まず、DataWorks に AnalyticDB for PostgreSQL 接続を追加してください。「AnalyticDB for PostgreSQL 接続の追加」をご参照のうえ、データのインポートで説明したウィザードモードまたはスクリプトモードの手順に従って操作してください。
次のステップ
完全な DataWorks ドキュメントについては、「DataWorks ドキュメント」「DataWorks ドキュメント」「DataWorks ドキュメント」「DataWorks ドキュメント」をご参照ください。