DataWorks:Data Studio：開発者向け

Data Studioへの移動

DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[データモデリングと開発] > [DataStudio] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。

操作手順

1. ステップ 1：ワークフローの作成

   データ開発はワークフローを中心に行います。コード開発を開始する前に、ワークフローを作成する必要があります。

2. ステップ 2：テーブルの作成

   DataWorks では、テーブルを視覚的に作成でき、作成したテーブルはディレクトリ構造で表示されます。データ開発を開始する前に、データクレンジング結果を格納するためのテーブルをコンピュートエンジンに作成する必要があります。

3. ステップ 3：ノードの作成

   DataWorks は、異なるコンピュートエンジンのタスクを異なるノードタイプにカプセル化します。業務要件に基づいて適切なノードタイプを選択できます。

4. ステップ 4：ノードの編集

   ノード編集ページで、ノードのデータベースエンジンの構文を使用して業務ロジックを記述します。

5. ステップ 5：ノードのスケジュール設定

   ノードを定期的に実行するために、ノードのスケジューリングプロパティを定義します。

6. ステップ 6：コードのデバッグ

   DataWorks は、コードフラグメントのクイック実行、「Run」、高度な実行の 3 つの方法でコードをデバッグし、ロジックを検証できます。

7. ステップ 7：ノードの保存と送信

   ノードをデバッグした後、保存して送信する必要があります。

8. ステップ 8：スモークテストの実行

   本番環境のタスクを効率的に実行し、コンピューティングリソースの無駄を防ぐために、デプロイ前に開発環境でタスクのスモークテストを実行して正しく動作することを確認します。

9. ステップ 9：タスクのデプロイ

   DataWorks は、スケジュール設定され、本番環境にデプロイされたタスクのみを実行します。スモークテストが成功した後、タスクを本番スケジューリングシステムにデプロイする必要があります。

ステップ 1：ワークフローの作成

DataWorks はワークフローを中心にデータ開発を構成します。ワークフローは、開発ノードにコンテナのようなパネルを使用し、関連するツール、最適化、管理アクションを中心となるオブジェクトにグループ化します。このアプローチにより、開発と管理が簡素化されます。要件を満たすために、関連するビジネスタスクを 1 つのワークフローにグループ化できます。

1. DataStudioページに移動します。

   DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[データモデリングと開発] > [DataStudio] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。

2. ワークフローを作成します。

   次の 2 つの方法のいずれかでワークフローを作成できます：

   • 方法 1： アイコンにカーソルを合わせ、Create Workflow をクリックします。

   • 方法 2： Data Studio の左側のナビゲーションツリーで、Workflow を右クリックし、Create Workflow を選択します。

3. ワークフローの名前と説明を入力し、Create をクリックします。

   このチュートリアルでは、Create your first scheduled task という名前のワークフローを作成します。 実際のシナリオでは、ビジネス要件に基づいてワークフローを計画する必要があります。

   説明

   ワークフローの詳細については、「ワークフローの作成と管理」をご参照ください。

ステップ 2：テーブルの作成

Data Studio のノードはソースデータをクレンジングして処理します。そのため、まずコンピュートエンジンにテーブルを作成してデータクレンジングの結果を格納し、テーブル構造を定義する必要があります。

1. テーブルを作成します。

   1. ステップ 1 で作成したワークフローで、サブディレクトリを展開し、MaxCompute > Table を右クリックして、[Create Table] を選択します。

   2. テーブル名、エンジンインスタンス、その他の情報を設定します。

   このチュートリアルでは、次の 2 つのテーブルが作成されます。

   テーブル名	説明
   bank_data	生のビジネスデータを格納します。
   result_table	クレンジング結果を格納します。

   説明

   • テーブル作成ステートメントについては、「テーブル作成ステートメント」をご参照ください。

   • MaxCompute や EMR テーブルの作成など、さまざまなエンジン用のテーブルを視覚的に作成する方法の詳細については、「テーブルの作成」をご参照ください。

2. テーブル構造を設定します。

   テーブル編集ページに移動し、DDL モードに切り替え、DDL ステートメントを使用してテーブル構造を設定します。テーブル構造が生成されたら、[General] セクションでテーブルの [Display Name] を入力します。次に、開発環境と本番環境の両方に送信します。テーブルを送信すると、対応する環境のデータソースプロジェクトで表示できます。各環境にバインドされているデータソース情報を表示するには、「MaxCompute コンピューティングリソースのバインド」をご参照ください。

   説明

   • 作成や更新などのテーブル操作は、対応する環境に送信して初めてコンピュートエンジンで有効になります。

   • ビジネスニーズや画面の指示に基づいて、テーブル構造を視覚的に設定することもできます。テーブルを視覚的に作成する方法の詳細については、「MaxCompute テーブルの作成と使用」をご参照ください。

   bank_data テーブル構造を生成するステートメントは次のとおりです。

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT '年齢',
    job             STRING COMMENT '職種',
    marital         STRING COMMENT '配偶者の有無',
    education       STRING COMMENT '学歴',
    default         STRING COMMENT 'クレジットカードの有無',
    housing         STRING COMMENT '住宅ローン',
    loan            STRING COMMENT '個人ローン',
    contact         STRING COMMENT '連絡方法',
    month           STRING COMMENT '月',
    day_of_week     STRING COMMENT '曜日',
    duration        STRING COMMENT '最後の連絡の持続時間 (秒)',
    campaign        BIGINT COMMENT 'このキャンペーン中に行われた連絡の回数',
    pdays           DOUBLE COMMENT '前回のキャンペーンからの最後の連絡以降の日数',
    previous        DOUBLE COMMENT 'このキャンペーンの前に行われた連絡の回数',
    poutcome        STRING COMMENT '前回のマーケティングキャンペーンの結果',
    emp_var_rate    DOUBLE COMMENT '雇用変動率',
    cons_price_idx  DOUBLE COMMENT '消費者物価指数',
    cons_conf_idx   DOUBLE COMMENT '消費者信頼感指数',
    euribor3m       DOUBLE COMMENT 'ユーロ圏銀行間貸出金利 (3か月)',
    nr_employed     DOUBLE COMMENT '従業員数',
    y               BIGINT COMMENT 'クライアントが定期預金を申し込んだかどうか'
   );

   result_table テーブル構造を生成するステートメントは次のとおりです。

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT '学歴',
   num BIGINT COMMENT '人数'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. データをアップロードします。

   未加工のビジネスデータを DataWorks テーブルに保存します。 この例では、ローカルファイル banking.txt を DataWorks の bank_data テーブルにアップロードして、実際のデータ書き込みシナリオをシミュレートします。 データインポートウィザードで、まずターゲットテーブルの [bank_data] を選択し、テーブルスキーマに age、job、marital、education、default、housing などのフィールドが含まれていることを確認してから、パーティションパラメータを設定します。 次に、ローカルファイルの banking.txt をアップロードし、ファイル形式を CSV、区切り文字をカンマ、文字セットを GBK、インポート開始行を 1 に設定して、[先頭行はヘッダー] チェックボックスを選択します。 最後に、フィールドマッピング方法として [名前でマッピング] を選択し、ソースフィールドとターゲットフィールド間のマッピングが正しいことを確認してから、[データをインポート] をクリックして操作を完了します。 データのアップロードの詳細については、「ローカルデータを bank_data テーブルにアップロードする」をご参照ください。

ステップ 3：ノードの作成

1. ノードを作成します。

   ノードは、次の 2 つのメソッドのいずれかで作成できます：

   • メソッド 1：ナビゲーションツリーから作成

     1. ナビゲーションツリーの Workflow 配下で、ステップ 1 で作成したワークフローを見つけます。

     2. 目的のエンジンを右クリックし、Create Node から適切なノードを選択します。

   • メソッド 2：ワークフローパネルから作成

     1. ナビゲーションツリーの Workflow 配下で、ステップ 1 で作成したワークフローを見つけます。

     2. ワークフローをダブルクリックして、パネルを開きます。

     3. パネルの左側のナビゲーションペインで、目的のノードをクリックするか、キャンバスにドラッグします。

2. ノードのエンジンインスタンス、名前、その他の設定を構成します。

   このチュートリアルでは、ステップ 2 で作成した結果テーブルと同じ名前 (result_table) の ODPS SQL ノードを作成します。

   説明

   DataWorks のノードを使用してデータ開発を行う場合は、開発ノードでデータをクレンジングし、結果を結果テーブルに格納します。ノードが結果テーブルに書き込むデータを見つけやすくするため、ノードには、出力先の結果テーブルと同じ名前を付けてください。

   Data Studio パネルの [Common Nodes] セクションで、[ODPS SQL] ノードを右側のキャンバスにドラッグして作成します。

ステップ 4：ノードの編集

ワークフローのナビゲーションツリーまたはワークフローパネルで、ステップ 3 で作成したノードを見つけます。ノードをダブルクリックしてエディターを開きます。ノードタイプに基づいて、対応するデータベースの構文を使用してビジネスロジックを記述します。

--@exclude_output=xc_DPE_E2.result_table
--@exclude_input=bank_data
--odps sql
--***********************************************************--
--作成者：xxx
--作成日時：2022-08-11 14:33:23
--***********************************************************--
INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
    , COUNT(marital) AS num
FROM bank_data
WHERE  day='${day}' and hour='${hour}'
GROUP BY education;

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
WHERE  day='${day}' and hour='${hour}'
GROUP BY education;

ステップ 5： スケジュール設定の構成

ステップ 6：コードのデバッグ

ステップ 7：ノードの保存と提出

1. ツールバーの アイコンをクリックして、ノード設定を保存します。

2. ツールバーの アイコンをクリックして、ノードを開発環境に提出します。

ステップ 8：スモークテストの実行

ステップ9：タスクのデプロイ

標準モードのワークスペースでは、Data Studio で提出したすべての変更 (ノード、リソース、関数の作成、更新、削除など) は、タスクデプロイメントページに送信され、デプロイ待ちになります。これらの変更を適用するには、タスクデプロイメント > Create Deploy Task に移動し、デプロイメントパッケージを作成して、本番環境にリリースする必要があります。変更は、デプロイメントが成功した後にのみ有効になります。詳細については、「タスクのデプロイ」をご参照ください。