DataWorks:MaxCompute からのスキーマ同期

前提条件

• MaxCompute コンピューティングリソースがバインドされていること。

• Hologres コンピューティングリソースがバインドされていること。

制限事項

この機能は、MaxCompute 内部テーブルのデータに対するクエリの高速化のみをサポートします。MaxCompute 外部テーブルまたはビューのデータに対するクエリの高速化はサポートしていません。

スキーマ同期ページへのアクセス

1. Data Studio ページに移動します。

   DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウで データ統合 > データ統合 をクリックします。ドロップダウンリストからワークスペースを選択し、入力データ統合 をクリックします。

2. Workflowを作成します。

   既存の Workflow がある場合は、このステップをスキップしてください。

   1. アイコンにカーソルを合わせ、Create Workflow を選択します。

   2. Create Workflow ダイアログボックスで、Workflow Name を入力します。

   3. Create をクリックします。

3. Schema Synchronization from MaxCompute ノードを作成します。

   1. アイコンにカーソルを合わせ、Create Node > Hologres > Schema Synchronization from MaxCompute を選択します。

      または、対象のワークフローを見つけて右クリックし、Create Node > Hologres > Schema Synchronization from MaxCompute を選択します。

   2. Create Node ダイアログボックスで、Name を入力し、Compute Engine Instance、Node Type、Path を選択します。

   3. OK をクリックして、ノード設定ページに移動します。

スキーマ同期ノードの設定

1. ノードを設定します。

   ノード設定ページで、送信先の Hologres インスタンスの接続情報、ソースの MaxCompute テーブル、およびテーブル作成時の競合を処理するためのポリシーを設定します。このページは、① 送信先情報、② ソース、③ 詳細オプション の 3 つのセクションで構成されています。① 送信先情報では、[送信先接続]、[ターゲットデータベース]、[スキーマ] を設定します。[テーブル管理] をクリックすると、管理ページに移動できます。② ソース (次のデータに基づいてテーブルをバッチ作成) では、[タイプ] を [MaxCompute] に設定し、[サーバーリスト] と [ソースプロジェクト] を設定し、高速化メソッドとして [データベース内のすべてのテーブル] または [選択したテーブル] のいずれかを選択します。③ 詳細オプションでは、テーブル名の競合やサポートされていないデータ型を処理するためのポリシーを設定します。

   1. 送信先情報を設定します。

      Hologres 外部テーブルを作成する Hologres インスタンスを指定します。

      パラメーター	説明
      Destination Name	Hologres インスタンスの名前。
      Destination Database	Hologres インスタンス内のデータベースの名前。
      Schema	Hologres データベース内のスキーマの名前。デフォルト値は public です。

   2. ソース情報を設定します。

      スキーマをレプリケートするソースの MaxCompute テーブルを指定します。

      パラメーター	説明
      Type	現在、MaxCompute ソーステーブルのみがサポートされています。
      Servers	ソーステーブルが配置されているサーバー。 Hologres の下層レイヤーに既に作成されている odps_server 外部サーバーを直接呼び出すことができます。原則の詳細については、「postgres_fdw」をご参照ください。
      Source Project	ソーステーブルが配置されているプロジェクトの名前。
      Select Tables for Query Acceleration	外部テーブルを作成するソーステーブルを選択します。 All Tables in Database：選択したデータベース内のすべてのテーブルに対して外部テーブルを作成します。 Selected Tables：データベースから特定のテーブルを選択します。テーブル名でテーブルを検索できます。 説明 検索では、名前にキーワードを含むすべてのテーブルが検索されます。

   3. 競合ポリシーを設定します。

      外部テーブルの作成時に発生する可能性のある競合を処理するためのポリシーを指定します。

      パラメーター	説明
      Action for Table Name Conflicts	このポリシーは、同じ名前のテーブルが Hologres に既に存在する場合の対処方法を決定します。次のオプションが利用可能です： [無視して他のテーブルの作成を続行] 同名のテーブルを更新、変更します。 [エラーを報告、重複テーブルを作成しない]
      Data type not supported	このポリシーは、Hologres でサポートされていないソーステーブルのデータ型を処理する方法を決定します。次のオプションが利用可能です： [エラーを報告、インポート失敗]：このオプションを選択すると、テーブルの作成が失敗します。 [無視、サポートされていないフィールドをスキップ]：サポートされていないフィールドなしでテーブルが作成されます。

2. ノードを保存して実行します。

   1. ノード設定ページの上部メニューバーで、 アイコンをクリックしてノード設定を保存します。

   2. ノード設定ページの上部メニューバーで、 アイコンをクリックして外部テーブルをバッチ作成します。