このトピックでは、DataWorks DataStudio インターフェイスのレイアウトと、その主要なコンポーネントであるワークフローおよびノードについて説明します。
DataStudio への移動
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。
DataStudio では、ワークフローとさまざまな種類のノードを作成できます。 詳細については、「ワークフローの作成」および「ノードの作成」をご参照ください。
UI 機能は、開発タスクによって異なります。 特定のインターフェイスの詳細については、次のトピックをご参照ください。
DataStudio インターフェイスの概要
次の表では、DataStudio インターフェイスについて説明します。
|
番号 |
説明 |
|
1 |
|
|
2 |
説明
一部のモジュールが左側のナビゲーションペインに表示されない場合は、エリア 4 の |
|
3 |
DataStudio の他のモジュールへのショートカット：
DataWorks モジュールの共通機能： 説明
このトピックでは、DataStudio インターフェイスを例として、次の共通機能について説明します。これらの機能は、他のモジュールでも同じです。
|
|
4 |
システム構成には、次の設定が含まれます：
|
|
5 |
このエリアには、DataStudio エディターの一般的なショートカットが表示されます。完全なリストについては、「エディターのショートカット」をご参照ください。 |
アイコンをクリックして、現在のリージョン内の別のワークスペースに切り替えます。
アイコンをクリックして、データ統合やオペレーションセンターなどの他のモジュールにアクセスします。
アイコンをクリックして、DataWorks コンソールに戻ります。
アイコンをクリックし、個人設定 ページでモジュールを追加します。詳細については、「
)：製品の機能変更に関する通知を表示します。
)：製品の機能に関する説明を確認できます。
)：ワークスペース設定ページに移動します。このページでは、ワークスペースの基本情報、スケジューリング情報、IP アドレスホワイトリストの詳細、データソース、およびオープンソースクラスターを表示できます。詳細については、「ワークフローインターフェイスの機能
DataStudio にアクセスすると、データ開発モジュールがデフォルトで開きます。データ開発タスクを整理するには、最初にワークフローを作成する必要があります。詳細については、「ワークフローの作成」をご参照ください。次の表で、ワークフローインターフェイスの主要な領域を説明します。
|
番号 |
説明 |
|
1 |
|
|
2 |
説明
新しいワークスペースの場合は、最初にワークフローを作成し、その中にノードを作成してからデータ開発を開始する必要があります。詳細については、「ワークフローの作成」をご参照ください。 |
|
3 |
ディレクトリツリーを使用して、各ワークフロー内のノード、テーブル、リソース、関数を管理します：
ノード名の横にあるアイコンは、ノードの状態を示します：
ノード名の後ろに、最終編集時刻が表示されます。 ワークフロー名をダブルクリックしてワークフロー編集ページ (領域 5～8) を開き、データ開発を行います。 |
|
4 |
リソースグループオーケストレーション ( |
|
5 |
|
|
6 |
ワークフローキャンバス上のツール (1)：
|
|
7 |
右側ペインのタブ (2)：
|
|
8 |
ツールバーのツール (3)：
|
アイコンをクリックして、現在のワークスペース内のすべてのソリューションまたはワークフローを表示します。
)：ワークフローまたはソリューションを変更した後、このアイコンをクリックしてディレクトリツリーを更新します。
)：現在開いているファイルを、ディレクトリツリー内で素早く特定します。
)：キーワードでコードスニペットを検索します。これにより、データ開発、手動トリガーワークフロー、アドホッククエリ、およびごみ箱の中から、特定のコードスニペットを含むすべてのノードを素早く特定し、スニペットの詳細を確認できます。この機能を使用して、ターゲットテーブルのデータ変更の原因となったソースタスクを特定できます。
)：複数のテーブル、リソース、または関数を変更します。所有者、エンジンインスタンス、スケジューリングリソースグループ、再実行プロパティ、スケジューリングタイプ、スケジューリング期間、スケジューリングタイムアウトなどのプロパティを変更できます。
)：ローカルデータをターゲットテーブルにアップロードします。現在、データをアップロードできるのは MaxCompute テーブルのみです。
)：ワークフロー、さまざまな種類のノード、テーブル、リソース、関数を素早く作成します。
アイコンをクリックして特定のノードを検索します。
アイコンをクリックし、ノードタイプを選択して、そのタイプのすべてのノードを検索します。ノードタイプを選択すると、ディレクトリツリーにはそのタイプのノードのみが表示されます。
アイコン：現在のノードバージョンがサブミットされていないことを示します。クリックしてノードをサブミットします。
アイコン：ノードがデプロイされていないことを示します。このアイコンをクリックしてデプロイセンターに移動し、ノードをデプロイします。
)：データ開発中に、この機能を使用して、ワークフロー内のノードが使用するスケジューリングリソースグループを一括で変更します。これにより、リソース使用率を向上させるためにリソースグループを再割り当てできます。変更後は、本番環境のノードに新しい設定を適用するため、オペレーションセンターにデプロイする必要があります。
)：キャンバスのレイアウトを 縦、水平、または グリッド に切り替えます。
)：選択したノードをノードグループにまとめて、一括操作を実行します。
)：現在のワークフローを更新します。ワークフローを変更した場合は、手動で更新して最新の表示にできます。
)：ワークフロー内のノードを水平方向に整列します。
)：ワークフローのレイアウトを現在のウィンドウサイズに自動的に合わせます。
)：現在のワークフロー内のノードを中央に配置します。
)：ワークフローの表示倍率を 1:1 に設定します。
)：現在のワークフローを拡大表示します。
)：現在のワークフローを縮小表示します。
)：キーワードを入力して、キーワードを含むノードを検索します。
)：現在のワークフローを全画面モードで表示します。
)：各ノードのエンジン情報を表示または非表示にします。
)：ワークフロー内で更新されたノードを、デプロイページに一括でサブミットします。
)：現在のワークフロー内のすべてのノードを実行します。
)：ワークフロー内で実行中のノードを一括で停止します。
)：デプロイページを開き、このワークフローでデプロイ待ちのノードを絞り込んで表示します。
)：オペレーションセンターに移動し、ノードの運用の詳細を確認します。
アイコンをクリックして、ドロップダウンリストですべてのタブを表示します。
アイコンをクリックして、特定のタブを閉じます。ワークフローのショートカットメニュー
ワークフローを右クリックすると、ショートカットメニューが表示されます。
|
機能 |
説明 |
|
[ノードの作成] |
さまざまなタイプのノードを作成します。 ノードを作成すると、クイックアクセス用に最近使用したノードタイプが表示されます。タイプを選択すると、最後に使用した設定の値が DPI エンジン インスタンス および ノードタイプ フィールドに自動的に入力され、ノードを素早く再作成できます。 ノードの作成 ダイアログボックスでは、[最近使用した項目] セクションで以前に使用したノードタイプ ([ODPS SQL] など) をクリックして、[エンジンインスタンス] および ノードタイプ フィールドにすばやく自動入力できます。また、以下を手動で設定することもできます。
設定後、[送信] をクリックします。 |
|
[テーブルの作成] |
さまざまなタイプのテーブルを作成します。 |
|
[リソースの作成] |
エンジンリソースを作成します。 説明
現在、この機能は MaxCompute、CDH、EMR エンジンでのリソース作成にのみ対応しています。 |
|
[関数の新規作成] |
エンジン関数を作成します。 説明
現在、この機能は MaxCompute、CDH、EMR エンジンでの関数作成にのみ対応しています。 |
|
[カンバン] |
ワークフローの編集ボードを開きます。 |
|
[プロパティの編集] |
ワークフローの名前、所有者、説明を変更します。 |
|
[業務フローの削除] |
現在のワークフローを削除します。 説明
この操作により、ワークフロー内のすべてのオブジェクトが削除されます。慎重に実行してください。 オブジェクトを削除できない場合は、次のいずれかの方法を選択できます。
[リスクを承知の上、操作を確定します] を選択し、[OK] をクリックして削除を完了します。 |
|
複数のノード、リソース、関数の所有者、エンジンインスタンス、スケジューリング属性などのプロパティを一括変更します。これらの変更をコミットして本番環境にデプロイすることもできます。 |
DataStudio ノードエディターの機能
ワークフローを作成した後、開発要件に基づいてさまざまなタイプの DataStudio ノードを作成できます。詳細については、「開発ノードの作成」をご参照ください。ノードのタイプが異なっても、提供される機能は似ています。このトピックでは、ODPS SQL ノードを例に、ノードエディターの機能について説明します。
次の例は、ODPS SQL ノードエディターにおける SQL ステートメントのサンプルです。
--odps sql
--********************************************************************--
--作成者: 田中一郎
--作成日時: 2019-09-03 18:05:45
--********************************************************************--
--マージされたデータテーブル xc_dw_user_info_all_d から有効なデータを取得し、xc_rpt_user_info_d に書き込みます
INSERT OVERWRITE TABLE xc_rpt_user_info_d PARTITION (dt='${bdp.system.bizdate}')
SELECT uid
, MAX(region)
, MAX(device)
, COUNT(0) AS pv
, MAX(gender)
, MAX(age_range)
, MAX(zodiac)
FROM xc_dw_user_info_all_d
WHERE dt = ${bdp.system.bizdate}
GROUP BY uid;
|
番号 |
説明 |
|
1 |
ノード開発用のツールバー：
|
|
2 |
[スケジューリング設定]：
リネージ： 現在のノードと他のノードとの依存関係と内部リネージを表示します。 バージョン： ノードをコミットまたはデプロイするたびに新しいバージョンが作成されます。このパネルには、ノードのバージョン履歴、コミット者、コミット時間、変更タイプ、ステータス、および備考が表示されます。バージョンのステータスは次のとおりです。
構造： SQL 演算子に基づいてコードの構造を視覚化します。 |
|
3 |
SQL エディター： このエディターでタスクの SQL ステートメントを記述します。
|
|
4 |
デプロイと O&M 操作： |
)]： 現在のノードのコードと設定を保存します。
)]： 現在のコードをアドホッククエリファイルとして保存します。アドホッククエリ ページに移動してファイルを表示できます。詳細については、「
)]： 現在のノードをコミットします。
)]： 現在のノードをコミットし、他のユーザーが編集できるようにロックを解除します。
)]： ノードの所有者以外のユーザーがノードを編集できるようにします。
)]： 現在のノードのコードを実行します。SQL コードを実行する際、SQL 変数への値の割り当ては一度だけで済みます。これらの初期割り当ては、ノードのコードが変更されても保持されます。
)]： 設定されたパラメーターで現在のノードのコードを実行します。実行 とは異なり、実行ごとに変数の値を指定できます。実行 を使用して割り当てられた初期値は、[高度な実行]に渡されます。[パラメーターを指定して実行] を使用してカスタムパラメーター値が割り当てられると、現在の実行のカスタムパラメーターが更新されます。
)]： 実行中のノードを停止します。
)]： ノードページを更新し、最後に保存されたバージョンのページを復元します。
)]： 開発環境で現在のノードのコードをテストします。このテストは、本番環境でのスケジューリング中にスケジューリングパラメーターがどのように置換されるかをシミュレートします。業務日付を選択すると、システムはパラメーターをその日付に対応する値に置換します。
)]： 開発環境でのノードの実行ログを表示します。
)]： 開発環境のオペレーションセンターに移動して O&M タスクを実行します。詳細については、「
)]： 現在のノードのコードをフォーマットします。この機能は、長いコード行に役立ちます。
)]： 現在のノードを他のユーザーと共有します。
アイコンをクリックすると、SQL ステートメントの最初の行にジャンプします。
アイコンをクリックすると、SQL エディターが全画面モードで表示されます。
アイコンをクリックすると、選択したコードスニペットをすばやく実行し、その正しさを確認できます。詳細については、「データ開発ノードのショートカットメニュー
対象のデータ開発ノードにカーソルを合わせ、右クリックすると、ノードのショートカットメニューが表示されます。
|
機能 |
説明 |
|
[名前の変更] |
対象ノードの名前を変更します。 |
|
[お気に入り] |
対象ノードをお気に入りに追加します。 ディレクトリツリーの右上隅にある お気に入り をクリックすると、お気に入りのノードを表示できます。 ノードをお気に入りから削除するには、そのショートカットメニューの お気に入りから削除 をクリックします。 |
|
[シフト] |
対象ノードを別のワークフローディレクトリに移動します。 |
|
[クローン] |
元のノードと同じノードタイプ、所有者、リソースプロパティで、対象ノードのコピーを作成します。 説明
同じワークフローディレクトリ内では、元のノードとクローンしたノードに同じ名前を付けることはできません。 |
|
バージョンパネルが開き、ノードのバージョン履歴が表示されます。 履歴には、コミッター、コミット時間、変更タイプ、ステータス、備考などの詳細が含まれます。 |
|
|
オペレーションセンター を開き、ノードのランタイム情報を表示します。 標準ワークスペースのノードが開発環境と本番環境の両方にコミットされている場合、[オペレーションセンター] でどちらの環境のランタイムステータスも表示できます。 |
|
|
ノードのコードをコードレビューに提出します。 ノードをデプロイする前に、このレビューに合格する必要があります。 |
|
|
[削除] |
対象ノードを削除し、上流または下流のノードとのリンクを解除します。 削除したノードが本番環境にデプロイされている場合は、[タスクデプロイメント] ページでノードをオフラインにする必要があります。 詳細については、「タスクのアンデプロイ」をご参照ください。 |