DataWorks:Vertica

背景情報

Vertica は、パフォーマンス専有型の列指向ストレージデータベース管理システム (DBMS) です。 大規模なデータセットの高速処理とクエリ実行のために設計されており、主にビッグデータ分析やリアルタイムクエリに使用されます。 詳細については、Vertica の公式サイトをご参照ください。

前提条件

• ビジネスフローを作成します。

  DataStudio では、ビジネスフローごとに開発を整理します。 ノードを作成する前に、ビジネスフローを作成する必要があります。 詳細については、「ワークフローの作成」をご参照ください。

• Vertica データソースが作成済みであること。

  ご利用の Vertica データベースを DataWorks の Vertica データソースとして追加する必要があります。 これにより、データベース内のデータにアクセスできるようになります。 データソースの作成手順については、「データソース管理」をご参照ください。 DataWorks で Vertica データソースを使用する方法の詳細については、「Vertica データソース」をご参照ください。

  説明

  Vertica ノードは、Java Database Connectivity (JDBC) 接続文字列を使用して作成された Vertica データソースのみをサポートします。

• データソースとリソースグループ間のネットワーク接続が確立済みであること。

  データソースが、使用するリソースグループに接続できることを確認してください。 ネットワーク接続の設定方法については、「ネットワーク接続ソリューション」をご参照ください。

• (任意、RAM ユーザーの場合は必須) RAM ユーザーをワークスペースに追加し、[開発] または [ワークスペース管理者] ロールを割り当てます。 ワークスペース管理者ロールは高い権限を持つため、慎重に付与してください。 詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

制限事項

サポートされているリージョン：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、ドイツ (フランクフルト)、米国 (シリコンバレー)、米国 (バージニア)。

ステップ1：Vertica ノードの作成

1. DataStudio ページに移動します。

   DataWorks コンソールにログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[データ開発とO&M] > [データ開発] を選択します。 表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ進む] をクリックします。

2. 対象のビジネスフローを右クリックし、[ノードの作成] > [データベース] > [Vertica] を選択します。

3. [Create Node] ダイアログボックスで、ノードの [Name] を入力し、[Confirm] をクリックします。ノードが作成されます。その後、このノードでタスクの開発と設定を行うことができます。

ステップ2：Vertica タスクの開発

(任意) Vertica データソースの選択

ワークスペースに複数の Vertica データソースが作成されている場合は、Vertica ノードの設定タブで適切なデータソースを選択する必要があります。 Vertica データソースが 1 つしか作成されていない場合は、それがデフォルトで使用されます。

SQL コードの開発：簡単な例

Vertica ノードのコードエディタでタスクの SQL コードを記述します。 以下にコードの例を示します。

SELECT * FROM usertablename;

SQL コードの開発：スケジューリングパラメーターの使用

DataWorks は、定期的なスケジューリングシナリオでパラメーターを動的に入力できる[スケジューリングパラメーター] を提供します。 ノードタスクでは、${variable_name} 形式を使用して変数を定義できます。 変数に値を割り当てるには、ノード編集ページの右側のペインで [スケジュール] > [パラメーター] に移動します。 サポートされている形式とスケジューリングパラメーターの設定方法の詳細については、「スケジューリングパラメーターでサポートされている形式」および「スケジューリングパラメーターの設定と使用」をご参照ください。

以下にコードの例を示します。

SELECT '${var}'; -- スケジューリングパラメーターと併用します。

ステップ3：タスクスケジューリングの設定

タスクをスケジュールするには、右側の [スケジューリング設定] をクリックしてプロパティを設定します。 詳細については、「概要」をご参照ください。

ステップ4：タスクコードのデバッグ

タスクをデバッグして、正しく実行されることを確認してください。

1. (任意) デバッグリソースグループを選択し、パラメーター値を割り当てます。

   • ツールバーの アイコンをクリックします。[パラメーター] ダイアログボックスで、リソースグループを選択します。

   • デバッグ用にスケジューリングパラメーターに値を割り当てます。 パラメーターの割り当てロジックの詳細については、「タスクのデバッグプロセス」をご参照ください。

2. タスクコードを保存して実行します。

   アイコンをクリックして保存し、 アイコンをクリックして実行します。

3. (任意) スモークテストを実行します。

   送信中または送信後にスモークテストを実行して、開発環境での実行を検証します。 詳細については、「スモークテストの実行」をご参照ください。

ステップ5：タスクの送信と公開

ノードを送信して公開し、スケジュールを有効化します。

1. ツールバーの アイコンをクリックしてノードを保存します。

2. ツールバーの アイコンをクリックしてノードタスクを送信します。

   [送信] ダイアログボックスで、[変更の説明] を入力し、コードレビューオプションを選択します。

   説明

   • 送信する前に、[再実行プロパティ] と [上流の依存ノード] を設定してください。

   • コードレビューは品質を保証します。 有効になっている場合、公開前にレビュー担当者がコードを承認する必要があります。 詳細については、「コードレビュー」をご参照ください。

標準モードのワークスペースでは、右上の [公開] をクリックして本番環境にデプロイします。 詳細については、「タスクの公開」をご参照ください。

次のステップ

タスクが送信・公開されると、ノードの設定に基づいて定期的に実行されます。 ノード設定タブの右上の [O&M] をクリックすると、オペレーションセンターに移動できます。 オペレーションセンターでは、定期タスクのスケジューリングと実行ステータスを確認できます。 詳細については、「定期タスクの管理」をご参照ください。