DataWorks:データ開発: 開発者

DataStudio ページに移動する

DataWorks コンソール にログオンします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションペインで、[データ開発とガバナンス] > [データ開発] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

手順

1. 手順 1: ワークフローを作成する

   コードは、DataStudio のワークフローに基づいて開発されます。 開発操作を実行する前に、ワークフローを作成する必要があります。

2. 手順 2: テーブルを作成する

   DataWorks では、視覚的な方法でテーブルを作成し、ディレクトリ構造でテーブルを表示できます。 データ開発の前に、データ処理結果を格納するために、MaxCompute コンピューティングエンジンにテーブルを作成する必要があります。

3. 手順 3: ノードを作成する

   DataWorks でのデータ開発はノードに基づいており、さまざまなタイプのコンピューティングエンジンのノードは、DataWorks でさまざまなタイプのノードにカプセル化されています。 ビジネス要件に基づいて適切なノードタイプを選択して、コンピューティングエンジンノードを開発できます。

4. 手順 4: ノードを構成する

   関連データベースでサポートされている構文に基づいて、ノード構成タブでノードのコードを記述できます。

5. 手順 5: ノードのスケジューリングプロパティを構成する

   ノードのスケジューリングプロパティを構成して、システムがノードを定期的にスケジュールおよび実行できるようにすることができます。

6. 手順 6: ノードのコードをデバッグする

   コードスニペットのクイック実行機能、または [実行] 機能または [パラメーター付きで実行] 機能を使用して、ノードのコードのロジックをデバッグおよびチェックできます。

7. 手順 7: ノードを保存してコミットする

   ノードがデバッグされたら、ノードを保存してコミットする必要があります。

8. 手順 8: スモークテストを実行する

   本番環境でノードを効率的に実行し、コンピューティングリソースの浪費を防ぐために、ノードをデプロイする前に、ノードを開発環境にコミットし、開発環境でスモークテストを実行できます。 これにより、ノードのコードの正確性が保証されます。

9. 手順 9: ノードをデプロイする

   DataWorks は、本番環境にデプロイされたノードのみを自動的にスケジュールできます。 ノードがスモークテストに合格したら、DataWorks がノードを定期的にスケジュールできるように、ノードを本番環境にデプロイする必要があります。

手順 1: ワークフローを作成する

DataWorks は、ワークフローを使用してデータ開発プロセスを編成します。 DataWorks は、各ワークフローのさまざまなタイプのノードのダッシュボードを提供し、ダッシュボードでツールを使用してノードを最適化および管理できます。 これにより、データの開発と管理が容易になります。 ビジネス要件に基づいて、同じビジネスタイプのノードを 1 つのワークフローに配置できます。

1. DataStudio ページに移動します。

   DataWorks コンソール にログオンします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションペインで、[データ開発とガバナンス] > [データ開発] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

2. ワークフローを作成します。

   次のいずれかの方法を使用して、ワークフローを作成できます。

   • 方法 1: アイコンにポインターを移動し、[ワークフローの作成] をクリックします。

   • 方法 2: スケジュールされたワークフローペインで [ビジネスフロー] を右クリックし、[ワークフローの作成] を選択します。

3. [ワークフローの作成] ダイアログボックスで、ワークフローの [ワークフロー名] パラメーターと [説明] パラメーターを構成し、[作成] をクリックします。

   この例では、[ワークフロー名] パラメーターは 最初の自動トリガーノードの作成 に設定されています。 実際のデータ開発シナリオでは、ビジネス要件に基づいて [ワークフロー名] パラメーターを構成できます。

   説明

   ワークフローの使用方法の詳細については、「ワークフローを作成する」をご参照ください。

手順 2: テーブルを作成する

DataWorks のデータ開発ノードは、ソースデータをクレンジングおよび処理します。 データ開発の前に、必要なコンピューティングエンジンにテーブルを作成してデータクレンジング結果を格納し、テーブルスキーマを定義する必要があります。

1. テーブルを作成します。

   1. スケジュールされたワークフローペインで [ビジネスフロー] をクリックします。 手順 1 で作成したワークフローを見つけ、ワークフロー名をクリックし、[maxcompute] を右クリックして、[テーブルの作成] を選択します。

   2. [テーブルの作成] ダイアログボックスで、[エンジンインスタンス] や [名前] などのパラメーターを構成します。

   この例では、次のテーブルが作成されます。

   テーブル名	説明
   bank_data	未加工のビジネスデータを格納するために使用されます。
   result_table	データクレンジング結果を格納するために使用されます。

   説明

   • テーブル作成ステートメントについては、「テーブル作成ステートメント」をご参照ください。

   • MaxCompute テーブルや EMR テーブルの作成など、さまざまなコンピューティングエンジンで視覚的な方法でテーブルを作成する方法については、「テーブルを作成する」をご参照ください。

2. テーブルスキーマを生成します。

   テーブルの構成タブに移動し、DDL モードに切り替え、DDL ステートメントを使用してテーブルのスキーマを生成します。 テーブルスキーマが生成されたら、[全般] セクションで [表示名] パラメーターを構成し、[開発環境にコミット] をクリックしてから、上部のツールバーで [本番環境にコミット] をクリックします。 テーブルがコミットされると、関連環境の MaxCompute データソースでテーブルを表示できます。 さまざまな環境のワークスペースに追加されたデータソースを表示する方法については、「MaxCompute データソースを追加する」をご参照ください。

   説明

   • テーブルの作成やテーブルの更新などの操作は、必要な環境にコミットされた後にのみ、関連するコンピューティングエンジンで有効になります。

   • ビジネス要件に基づいて、DataWorks コンソールに表示される画面上の手順に従って、視覚的な方法でテーブルスキーマを構成することもできます。 視覚的な方法でテーブルを作成する方法の詳細については、「MaxCompute テーブルを作成および管理する」をご参照ください。

   この例では、次のステートメントを使用して bank_data テーブルのスキーマを生成します。

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT '年齢',
    job             STRING COMMENT '職種',
    marital         STRING COMMENT '婚姻状況',
    education       STRING COMMENT '学歴',
    default         STRING COMMENT 'クレジットカード',
    housing         STRING COMMENT '住宅ローン',
    loan            STRING COMMENT 'ローン',
    contact         STRING COMMENT '連絡先情報',
    month           STRING COMMENT '月',
    day_of_week     STRING COMMENT '曜日',
    duration        STRING COMMENT '期間',
    campaign        BIGINT COMMENT 'キャンペーン中の連絡回数',
    pdays           DOUBLE COMMENT '最後の連絡からの間隔',
    previous        DOUBLE COMMENT '顧客との連絡回数',
    poutcome        STRING COMMENT '前回のマーケティングキャンペーンの結果',
    emp_var_rate    DOUBLE COMMENT '雇用変化率',
    cons_price_idx  DOUBLE COMMENT '消費者物価指数',
    cons_conf_idx   DOUBLE COMMENT '消費者信頼感指数',
    euribor3m       DOUBLE COMMENT 'ユーロ預金金利',
    nr_employed     DOUBLE COMMENT '従業員数',
    y               BIGINT COMMENT '定期預金の有無'
   );

   この例では、次のステートメントを使用して result_table テーブルのスキーマを生成します。

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT '学歴',
   num BIGINT COMMENT '人数'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. データをアップロードします。

   未加工のビジネスデータを DataWorks のテーブルにアップロードします。 この例では、データは bank_data テーブルにアップロードされます。 この例では、banking.txt という名前のファイルが、オンプレミス マシンから DataWorks にアップロードされます。 次の図は、手順を示しています。 データのアップロード方法の詳細については、「オンプレミス マシンから bank_data テーブルにファイルをアップロードする」をご参照ください。

手順 3: ノードを作成する

1. ノードを作成します。

   次のいずれかの方法を使用して、ノードを作成できます。

   • 方法 1: スケジュールされたワークフローペインでノードを作成する

     1. DataStudio ページのスケジュールされたワークフローペインで、[ビジネスフロー] をクリックし、作成したワークフローを見つけて、ワークフローの名前をクリックします。

     2. 使用するコンピューティングエンジンを右クリックし、[ノードの作成] にポインターを移動した後に適切なノードタイプを選択して、選択したタイプのノードを作成します。

   • 方法 2: ワークフローの構成タブでノードを作成する

     1. DataStudio ページのスケジュールされたワークフローペインで、[ビジネスフロー] をクリックし、作成したワークフローを見つけます。

     2. ワークフローの名前をダブルクリックして、ワークフローの構成タブに移動します。

     3. 構成タブの左側のセクションで、必要なノードタイプをクリックするか、必要なノードタイプを右側のキャンバスにドラッグします。

2. [ノードの作成] ダイアログボックスで、[エンジンインスタンス] や [名前] などのパラメーターを構成します。

   この例では、result_table という名前の ODPS SQL ノードが作成されます。 ノードの名前は、手順 2 で作成した結果テーブルの名前と同じです。

   説明

   DataWorks を使用してデータ開発を行う場合は、計算ノードを使用してデータをクレンジングし、クレンジング結果を結果テーブルに格納する必要があります。 ノードによって生成されたテーブルデータをすばやく見つけるために、結果テーブルの名前をノードの名前として使用することをお勧めします。

   

手順 4: ノードを構成する

手順 3 で作成したノードを見つけ、ノードの名前をダブルクリックして、ノード構成タブに移動します。 ノード構成タブで、関連データベースでサポートされている構文に基づいてノードのコードを記述します。

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

手順 5: ノードのスケジューリングプロパティを構成する

手順 6: ノードのコードをデバッグする

手順 7: ノードを保存してコミットする

1. 上部ツールバーの アイコンをクリックして、ノードを保存します。

2. 上部ツールバーの アイコンをクリックして、ノードを開発環境にコミットします。

手順 8: スモークテストを実行する

手順 9: ノードをデプロイする

標準モードのワークスペースでは、データ開発ノード、リソース、関数の追加、更新、削除など、DataStudio ページでコミットされた操作は、[デプロイタスクの作成] ページで保留状態になります。 [デプロイ] をクリックして [デプロイタスクの作成] ページに移動し、関連する操作を本番環境にデプロイできます。 操作は、本番環境にデプロイされた後にのみ有効になります。 詳細については、「ノードをデプロイする」をご参照ください。