DataWorks 同期ノードを使用して、単一の Hologres テーブルから MaxCompute へデータを移行し、効率的なビッグデータストレージとパフォーマンス専有型処理を実現します。
前提条件
-
MaxCompute プロジェクトおよびHologres インスタンスを作成済みである必要があります。
-
MaxCompute プロジェクトおよび Hologres インスタンスがDataWorks のコンピューティングリソースとしてバインドされており、接続性テストに合格している必要があります。
-
MaxCompute へのデータ同期ノードを作成済みである必要があります。
制限事項
-
Hologres の内部データベースからのデータのみを MaxCompute に同期できます。
-
MaxCompute で Hologres 外部テーブルを使用する際の制限事項については、「Hologres 外部テーブル」をご参照ください。
-
MaxCompute と Hologres 間のデータ型マッピングが異なるため、一部の Hologres データ型は MaxCompute に同期できません。
同期ノードの設定
同期ノードの構成タブで、以下の設定項目を構成します。
Hologres ソースの選択
Hologres ソーステーブルを選択して構成します。
|
パラメーター |
説明 |
|
ソースオブジェクトタイプ |
デフォルト値は |
|
データソース |
データを同期する Hologres コンピューティングリソースを選択します。 |
|
インスタンス |
このフィールドには、Hologres インスタンスの ID が自動的に入力されます。 |
|
データベース |
同期する Hologres データベースを選択します。 |
|
スキーマ |
同期するスキーマを選択します。 |
|
テーブル |
同期するテーブル名を選択します。 |
|
フィルター条件 |
パーティションテーブルに基づいてフィルター条件が自動生成されます。必要に応じて条件を変更できます。フィルター条件を満たすデータが保持されます。 説明
フィルター条件とは、SQL ステートメントの |
MaxCompute 送信先の設定
MaxCompute 送信先テーブルを構成します。
|
パラメーター |
説明 |
|
|
データソース |
送信先の MaxCompute コンピューティングリソースを選択します。 |
|
|
プロジェクト |
データソースに対応する MaxCompute プロジェクトです。この値はシステムによって自動入力されます。 |
|
|
スキーマ |
データを格納するスキーマを選択します。このパラメーターは、3 レイヤーモデルが有効化された MaxCompute プロジェクトでのみ使用可能です。 |
|
|
テーブル |
MaxCompute 内部テーブルの名前を指定します。 |
|
|
ライフサイクル |
テーブルのライフサイクルを設定します。指定された期間内にデータが変更されない場合、MaxCompute はそのテーブルを回収します。 |
|
|
フィールド |
フィールドの同期 |
同期するフィールドを選択し、送信先の MaxCompute テーブルにおける各フィールドのデータ型を設定します。 |
|
パーティション設定 |
MaxCompute の内部テーブルのパーティション列を指定します。パーティションデータは以下のいずれかのソースから取得できます。
|
|
データ同期の構成
データ同期設定セクションで、インポート方法および Hologres インスタンスへのアクセス権限を構成します。
|
パラメーター |
説明 |
|
インポート方式 |
以下のいずれかのインポート方法を選択します。
|
|
Hologres へのアクセス権限 |
Hologres インスタンスへのアクセス方法として、以下のいずれかを選択します。
|
|
場所 |
同期中に、システムは Hologres 外部ストレージパスに基づいて MaxCompute テーブルを自動作成します。システムが生成したデフォルトのストレージパスを使用するか、カスタムパスを指定できます。 |
同期ノードのデバッグ
ノードを実行する前に、デバッグ設定を構成します。
-
デバッグ実行のプロパティを構成します。
ノード構成タブの右側にある デバッグの構成 ペインで、計算リソース および リソースグループ を構成します。以下の表にパラメーターの説明を示します。
パラメーター
説明
計算リソース
バインド済みの MaxCompute コンピューティングリソースを選択します。
コンピューティングクォータ
MaxCompute プロジェクト作成時に生成されたコンピューティングクォータを選択するか、ドロップダウンリストの下部にある コンピューティングクォータの作成 をクリックして新規作成します。詳細については、「コンピューティングリソース - クォータ管理」をご参照ください。
リソースグループ
MaxCompute コンピューティングリソースをバインドする際に接続性テストに合格したリソースグループを選択します。
スケジューリング CU
このノードではデフォルトのスケジューリング CU 値が使用されます。変更する必要はありません。
パラメーター
フィルター条件に ${Parameter name} 形式の変数を使用する場合は、スクリプトパラメーター セクションの パラメーター名 および パラメーター値 でその値を定義する必要があります。ランタイムに、システムはこれらの変数を構成済みの値に動的に置き換えます。詳細については、「ノードスケジューリング構成」をご参照ください。
-
ノードタスクをデバッグして実行するには、保存 をクリックした後、実行 をクリックします。
次のステップ
-
ノードを定期的に実行するには、右側の スケジューリング設定 ペインでスケジューリングプロパティを構成します。スケジューリングポリシー および関連するスケジューリングプロパティを設定します。「ノードスケジューリング構成」をご参照ください。
-
本番環境でタスクを実行するには、
アイコンをクリックしてデプロイメントプロセスを開始します。プロジェクト内のノードは、本番環境にデプロイされた後にのみスケジュールに従って実行されます。「ノードデプロイメント」をご参照ください。
よくある質問
-
フィールドの型不一致：同期タスクがデータ型の不一致により失敗した場合は、MaxCompute テーブル内のフィールドデータ型が正しく構成されているか確認してください。
-
同期された単一パーティション内のデータ不整合：ソースのフィルター条件が正しく構成されているか確認してください。