DataWorks は、ワンクリック MaxCompute データ同期ノードを提供します。このノードを使用すると、MaxCompute から Hologres データベースにデータを迅速に同期し、MaxCompute テーブルデータに対して高性能なクエリを実行できます。このトピックでは、ワンクリック MaxCompute データ同期ノードの作成方法と構成方法について説明します。
背景情報
SQL 文を使用して、MaxCompute から Hologres データベースにデータを直接インポートできます。この方法は通常、より優れたパフォーマンスを提供します。詳細については、「SQL を使用した MaxCompute からのデータインポート」をご参照ください。
前提条件
MaxCompute プロジェクトの作成をアクティブ化し、Hologres インスタンスを作成済みであること。
MaxCompute プロジェクトと Hologres インスタンスを DataWorks コンピューティングリソースとしてバインドし、接続性テストに合格していること。
ワンクリック MaxCompute データ同期ノードの作成
同期ノードの構成
ワンクリック MaxCompute データ同期ノードの構成ページでパラメーターを構成します。
MaxCompute ソーステーブルの選択
同期するソーステーブルに基づいて、次のパラメーターを構成します。
パラメーター | 説明 |
プロジェクト | ご利用の MaxCompute プロジェクトの名前です。 |
Schema | ご利用の MaxCompute プロジェクトの Schema です。 |
テーブル名 | 同期する MaxCompute ソーステーブルの名前です。 |
フィルター | システムは、ご利用のパーティションテーブルに基づいてフィルター条件を自動的に生成します。ビジネス要件に基づいて条件を変更することもできます。フィルター条件を満たすデータのみが同期されます。 説明 フィルター条件は、SQL 文の |
Hologres 宛先テーブルの設定
宛先テーブルの次のパラメーターを構成します。
パラメーター | 説明 |
インスタンス | 宛先となる Hologres インスタンスです。[データソースの選択] セクションで紐付けられた Hologres データソースを指定すると、システムが特定のインスタンスを自動的に識別します。 説明 データソースを選択すると、「[宛先管理]」をクリックして、[HoloWeb コンソール（インスタンス監視）]、[遅延クエリ]、[アクティブ接続管理]、[データベース承認]、および[ユーザー管理] ページに移動できます。 |
データベース | 宛先 Hologres インスタンスのデータベースです。 |
Schema | 宛先 Hologres インスタンスの |
テーブル名 | Hologres の内部テーブルの名前です。内部テーブルの作成時に指定された名前のテーブルがすでに存在する場合、システムはテーブルタイプに基づいて処理します。
|
同期するフィールド | 同期するテーブルフィールドを選択します。 |
パーティション設定 | 同期する MaxCompute テーブルのパーティションを選択します。 説明 Hologres は、データ同期に対して単一レベルのパーティション分割のみをサポートしています。MaxCompute テーブルに複数のパーティションレベルがある場合、DataWorks はそれらを単一のパーティションレベルに変換し、追加のパーティションキーを Hologres テーブルの通常のフィールドにマッピングします。 |
インデックス設定 | MaxCompute データを格納する Hologres 内部テーブルのインデックスを作成します。その後、インデックスを使用してデータを迅速にクエリできます。インデックスの作成方法の詳細については、「CREATE TABLE」をご参照ください。 |
その他のパラメーターの構成
パラメーター | 説明 |
GUC パラメーター | MaxCompute からデータをインポートする前に設定する Grand Unified Configuration (GUC) パラメーターです。サポートされている GUC パラメーターのリストについては、「GUC パラメーター」をご参照ください。その他の SQL 文はサポートされていません。 |
外部サーバー | デフォルト値: |
SQL スクリプト |
|
同期ノードのデバッグ
同期ノードをデバッグして実行するには、ビジネスニーズに基づいて必要な設定を構成します。
デバッグ用のノードプロパティを構成します。
ノード構成ページの右側で、Run Configurationと[リソースグループ]を構成します。パラメーターについては、次の表で説明します。
パラメーター
説明
コンピューティングリソース
バインドされている Hologres コンピューティングリソースを選択します。
リソースグループ
Hologres コンピューティングリソースをバインドしたときに接続性テストに合格したリソースグループを選択します。
計算用 CUs
このノードはデフォルトの CU 数を使用します。この値を変更する必要はありません。
[スクリプトパラメーター]
フィルター設定で
${ParameterName}フォーマットで変数を定義した場合、[パラメーター名] および [パラメーター値] を [スクリプト パラメーター] セクションで指定する必要があります。実行時に、システムは変数をその実際の値で動的に置き換えます。詳細については、「ノード スケジューリング 構成」をご参照ください。ノードをデバッグして実行するには、[保存] をクリックし、次に [実行] をクリックします。
次のステップ
ノードのスケジューリング構成: ノードを定期的に実行するには、右側の [スケジューリング] パネルで、その [スケジューリングポリシー] とその他のスケジューリングプロパティを設定します。
ノードのデプロイ: タスクを本番環境で実行する必要がある場合は、
アイコンをクリックしてデプロイプロセスを開始します。ノードを本番環境にデプロイすると、スケジュールに基づいて実行されます。MaxCompute からデータが同期された後、HoloWeb を使用して Hologres テーブルのデータをクエリできます。詳細については、「HoloWeb」をご参照ください。
よくある質問
エラーメッセージ:
get table columns occurs Invalid name:xxx。ソリューション: ソース用に構成したプロジェクト名が正しいことを確認してください。スペースやその他の無効な文字が含まれていないことを確認してください。