DataWorks:数回クリックするだけで MaxCompute データを同期するノードを作成する

前提条件

• MaxCompute 計算リソースが DataStudio に関連付けられています。

• Hologres 計算リソースが DataStudio に関連付けられています。

MaxCompute データを Hologres に同期するノードを作成する

1. DataStudio ページに移動します。

   DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

2. [ワークフロー] を作成します。

   既存の [ワークフロー] がある場合は、この手順をスキップします。

   1. アイコンの上にポインターを移動し、[ワークフローの作成] を選択します。

   2. [ワークフローの作成] ダイアログボックスで、[ワークフロー名] パラメーターを構成します。

   3. [作成] をクリックします。

3. [MaxCompute データを Hologres に同期するノード] を作成します。

   1. アイコンの上にポインターを移動し、[ノードの作成] > [Hologres] > [MaxCompute からのデータ同期] を選択します。

      目的のワークフローを見つけて、ワークフロー名を右クリックし、[ノードの作成] > [Hologres] > [MaxCompute からのデータ同期] を選択することもできます。

   2. [ノードの作成] ダイアログボックスで、[名前]、[エンジンインスタンス]、[ノードタイプ]、[パス] パラメーターを構成します。

   3. [確認] をクリックします。ノードの構成タブが表示されます。

4. ノード情報を構成します。

   ノードの構成タブで、データを同期するソース MaxCompute テーブルに関する情報、同期されたデータを格納する宛先テーブルに関する情報、データ同期ポリシー、および SQL 文を構成します。

   1. ソーステーブルの設定 (MaxCompute) セクションのパラメーターを構成します。

      このセクションは、同期するデータの送信元となる MaxCompute テーブルを指定するために使用されます。MaxCompute ソーステーブルは、Hologres 外部テーブルを構成することによってマッピングされます。主要なパラメーターは次のとおりです。

      パラメーター	説明
      データソース	Hologres 外部テーブルが存在する Hologres インスタンス。
      データベース	外部テーブルが格納されている Hologres インスタンス内のデータベース。

   2. MaxCompute ソーステーブルを選択します。

      パラメーター

      説明

      外部テーブルのソース

      Hologres 外部テーブルのソース。Hologres 外部テーブルは、ソース MaxCompute テーブルにマッピングされ、ソース MaxCompute テーブルのデータを Hologres 内部テーブルに同期するために使用されます。有効な値： 既存の外部テーブル：使用する外部テーブルがすでに存在する場合は、このオプションを選択できます。このオプションを選択した場合は、外部テーブルのスキーマと名前を指定する必要があります。 外部テーブルの作成：ソース MaxCompute テーブルにマッピングされる Hologres 外部テーブルが存在しない場合は、このオプションを選択する必要があります。 このオプションを選択した場合は、外部テーブルが使用するサーバー、ソース MaxCompute テーブルが属する MaxCompute プロジェクトの名前、およびソース MaxCompute テーブルの名前を指定する必要があります。 説明 Hologres の下位レイヤーで作成された odps_server サーバーを使用できます。詳細については、postgres_fdw を参照してください。

   3. 宛先テーブルの設定 (Hologres) セクションのパラメーターを構成します。

      このセクションで構成するパラメーターは、同期されたデータを格納する Hologres 内部テーブルを作成するために使用されます。

      パラメーター	説明
      スキーマ	Hologres 内部テーブルが属する schema。
      テーブル名	Hologres 内部テーブルの名前。指定した内部テーブルの名前がすでに存在する場合、Hologres は次のポリシーに基づいて既存の内部テーブルを処理します。 パーティション化されていないテーブル：Hologres は既存の内部テーブルを削除し、同じ名前の別の内部テーブルを作成します。 パーティションテーブル：Hologres は既存の内部テーブルを削除しません。Hologres はパーティション値に基づいてテーブルにパーティションを作成し、新しいパーティションにデータを同期します。 説明 作成された内部テーブルのスキーマが、同じ名前の既存の内部テーブルのスキーマと異なる場合は、エラーが報告されます。
      テーブルの説明	Hologres 内部テーブルの説明。

   4. 同期設定セクションのパラメーターを構成します。

      このセクションで構成するパラメーターは、MaxCompute データを Hologres に同期するために使用されるポリシーを決定します。

      タブ	説明
      同期フィールド	データを同期するソース MaxCompute テーブルのフィールドを選択します。
      パーティション構成	データを同期するソース MaxCompute テーブルのパーティションを選択します。 説明 Hologres では、ソース MaxCompute テーブルのレベル 1 パーティションからのみデータを同期できます。ソース MaxCompute テーブルに複数レベルのパーティションが含まれている場合は、宛先テーブルのソース MaxCompute テーブルのレベル 1 パーティションフィールドを指定する必要があります。ソース MaxCompute テーブルの他のパーティションフィールドは、宛先テーブルの共通フィールドにマッピングされます。
      インデックス構成	同期された MaxCompute データを格納するために、Hologres 内部テーブルのインデックスを構成します。インデックスに基づいてデータをクエリできます。インデックスの作成方法の詳細については、「CREATE TABLE」をご参照ください。

   5. SQL スクリプトを生成します。

      DataWorks は、同期構成に基づいて、現在のデータ同期ノードを実行するために使用される SQL 文を解析します。Hologres のコードエディターに移動し、SQL モードでデータ同期ノードを実行できます。

      説明

      • 生成された SQL スクリプトは編集できません。データ同期ノードの同期構成が変更された場合は、[更新] をクリックして新しい SQL 文を生成します。

      • SQL モードでデータ同期ノードを実行する方法の詳細については、「SQL 文を実行して MaxCompute から Hologres にデータをインポートする」をご参照ください。

5. タスクスケジューリングプロパティを構成します。

   システムにノードでタスクを定期的に実行させる場合は、ノードの構成タブの右側のナビゲーションウィンドウで [プロパティ] をクリックして、ビジネス要件に基づいてタスクスケジューリングプロパティを構成できます。

   • タスクの基本プロパティを構成します。詳細については、「基本プロパティの構成」をご参照ください。

   • スケジューリングサイクル、再実行プロパティ、およびスケジューリング依存関係を構成します。詳細については、「時間プロパティの構成」および「同じサイクルのスケジューリング依存関係の構成」をご参照ください。

     説明

     タスクをコミットする前に、[プロパティ] タブで [再実行] パラメーターと [親ノード] パラメーターを構成する必要があります。

   • リソースプロパティを構成します。詳細については、「リソースプロパティの構成」をご参照ください。インターネットまたは VPC 経由で MySQL データソースにアクセスする場合は、MySQL データソースに接続されているスケジューリング専用の resource group を使用して、MySQL ノードでタスクを実行する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。

6. ノードを保存して実行します。

   1. ノードの構成タブの上部ナビゲーションバーで、 アイコンをクリックしてノードを保存します。

   2. ノードの構成タブの上部ナビゲーションバーで、 アイコンをクリックしてノードを実行します。

   データ同期ノードが標準モードのワークスペースに作成されている場合は、ノードをコミットした後に、上部ナビゲーションバーの [デプロイ] をクリックして、本番環境にノードをデプロイする必要があります。詳細については、「ノードのデプロイ」をご参照ください。

7. タスクを表示します。

   1. 対応するノードの構成タブの右上隅にある [オペレーションセンター] をクリックして、本番環境のオペレーションセンターに移動します。

   2. スケジュールされたタスクを表示します。詳細については、「自動トリガーされたタスクの表示と管理」をご参照ください。

   タスクの詳細を表示するには、DataStudio ページの上部ナビゲーションバーの [オペレーションセンター] をクリックします。詳細については、「概要」をご参照ください。