DataWorks は、MaxCompute から Hologres データベースにデータを効率的に転送するのに役立つワンクリック同期機能を提供します。 この機能により、Hologres で高パフォーマンスと低レイテンシでデータを分析できるようになります。 このトピックでは、この機能の構成方法と使用方法について説明します。
背景情報
SQL 文を使用して、MaxCompute データを Hologres データベースに直接インポートできます。 この方法では、通常、パフォーマンスが向上します。 詳細については、「SQL 文を使用して MaxCompute からデータをインポートする」をご参照ください。
前提条件
ワークスペースディレクトリが作成されている。 詳細については、「ワークスペースディレクトリ」をご参照ください。
MaxCompute プロジェクトと Hologres インスタンスが作成されている。
MaxCompute プロジェクトと Hologres インスタンスが DataWorks に 計算リソースとしてアタッチされており、接続テストに合格している。
ワンクリック MaxCompute データ同期ノードを作成する
ノードを構成する
ワンクリック MaxCompute データ同期ノード編集ページに移動し、ノードを構成します。
ソース MaxCompute テーブルを選択する
同期するソーステーブルの情報に基づいて、関連パラメータを構成します。
パラメータ | 説明 |
プロジェクト | 作成した MaxCompute プロジェクトの名前。 |
スキーマ | MaxCompute プロジェクトのスキーマ。 このパラメータは、テナントレベルのスキーマ構文が有効になっている場合にのみ表示されます。 |
テーブル名 | 同期するソース MaxCompute テーブルの名前。 |
フィルタ条件 | システムは、使用するパーティションテーブルに基づいてフィルタ条件を自動的に生成します。 ビジネス要件に基づいてフィルタ条件を調整することもできます。 フィルタ条件を満たすデータのみが保持されます。 説明 フィルタ条件は、SQL 文の |
宛先 Hologres テーブルを設定する
データの同期先となる宛先テーブルの情報に基づいて、関連パラメータを構成します。
パラメータ | 説明 |
インスタンス | 宛先 Hologres インスタンス。 [接続] で Hologres データソースを構成すると、システムは特定のインスタンスを自動的に識別します。 説明 の横にある [宛先管理ページ]接続 をクリックすると、[Holo コンソール (インスタンス監視)]、[低速クエリ]、[アクティブ接続管理]、[DB 承認]、[ユーザー管理] ページに移動できます。 |
データベース | 宛先 Hologres インスタンスのデータベース。 |
スキーマ | 宛先 Hologres インスタンスのスキーマ。 |
テーブル名 | Hologres 内部テーブルの名前。 指定した内部テーブルの名前が既に存在する場合、Hologres は以下のポリシーに基づいて既存の内部テーブルを処理します。
|
同期フィールド | 同期するテーブルフィールドを選択します。 |
パーティション構成 | データを同期するソース MaxCompute テーブルのパーティションを選択します。 説明 Hologres は、単一レベルのパーティション化された MaxCompute テーブルから同期されたデータの受信をサポートしています。 ソーステーブルに複数のパーティションレベルが含まれている場合は、Hologres で第 1 レベルのパーティションとして使用する単一のパーティションフィールドを指定する必要があります。 他のすべてのパーティションフィールドは、宛先テーブルの通常の列にマッピングされます。 |
インデックス構成 | 同期された MaxCompute データに対するクエリを最適化するために、Hologres 内部テーブルにインデックスを構成します。 インデックスの作成方法の詳細については、「CREATE TABLE」をご参照ください。 |
その他のパラメータを構成する
パラメータ | 説明 |
GUC パラメータ | MaxCompute データをインポートする前に設定する必要がある GUC パラメータ。 サポートされている GUC パラメータの詳細については、「GUC パラメータ」をご参照ください。 その他の SQL 文はサポートされていません。 |
外部サーバー | デフォルト値は |
SQL スクリプト |
|
ノードをテストする
ビジネス要件に基づいてテスト情報を構成します。
テスト用にノードのプロパティを構成します。
データ同期ノード編集ページの右側にある [デバッグ構成] セクションで、[計算リソース] と [リソースグループ] を構成できます。 次の表にパラメータを示します。
パラメータ
説明
計算リソース
アタッチした Hologres 計算リソースを選択します。
仮想ウェアハウス
デフォルト値を使用します。
リソースグループ
Hologres 計算リソースをアタッチしたときに接続テストに合格したリソースグループを選択します。
計算用 CU
デフォルトの CU 値を使用します。
スクリプトパラメータ
${パラメータ名} の形式でフィルタ条件に変数を定義する場合は、[スクリプトパラメータ] セクションで [パラメータ名] と [パラメータ値] を構成する必要があります。 タスクの実行時に、変数は実際の値に動的に置き換えられます。 詳細については、「ノードスケジューリング」をご参照ください。
ノードタスクをテストして実行するときは、[保存] と [実行] をクリックしてデータ同期タスクを実行できます。
次のステップ
ノードスケジューリング: プロジェクトディレクトリ内のノードを定期的にスケジュールして実行する場合は、ノードの右側にある [プロパティ] で [スケジューリングポリシー] を設定し、関連するスケジューリングプロパティを構成する必要があります。
ノード公開: 本番環境にタスクを公開して実行する場合は、
アイコンをクリックして公開プロセスを開始します。 このプロセスにより、タスクが本番環境に公開されます。 プロジェクトディレクトリ内のノードは、本番環境に公開された後にのみ定期的にスケジュールされます。MaxCompute データが同期された後、HoloWeb を使用して Hologres テーブルのデータをクエリできます。 詳細については、「HoloWeb」をご参照ください。
FAQ
エラーメッセージ:
テーブル列の取得で無効な名前が発生しました:xxx。解決策: ソースに構成したプロジェクト名が正しいかどうかを確認します。 プロジェクト名にスペースやその他の文字が含まれていないかどうかを確認します。