DataStudio は DataWorks のコード開発ワークスペースです。このページでは、そのレイアウトと、ワークフローおよびノードで利用可能な機能について説明します。これにより、すぐにデータパイプラインの構築を開始できます。
DataStudio ページへの移動
DataWorks コンソールにログインします。上部のナビゲーションバーで、対象のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発とガバナンス] > [データ開発] を選択します。ドロップダウンリストからワークスペースを選択し、[データ開発へ] をクリックします。
DataStudio ページで、データ開発の要件に基づいてワークフローとノードを作成します。詳細については、「ワークフローの作成」および「DataWorks ノード」をご参照ください。
ページのレイアウト
DataStudio ページには 5 つの機能エリアがあります。
| エリア | ここでできること |
|---|---|
| 1 | ワークスペースの切り替え、他の DataWorks サービスへの移動、または DataWorks コンソールのホームページへの復帰。 |
| 2 | 左側のナビゲーションウィンドウから、定期ワークフロー、手動トリガーワークフロー、アドホッククエリなどの DataStudio モジュールにアクセス。 |
| 3 | ワークスペース間の機能 (プロジェクト間クローン、オペレーションセンター) および共通の DataWorks 機能 (通知、ヘルプ、ワークスペース設定) へのショートカットを使用。 |
| 4 | [設定] を開き、個人のプリファレンス、コードテンプレート、スケジューリングのデフォルト、セキュリティ構成を管理。 |
| 5 | よく使われるエディターのキーボードショートカットを表示。完全なリストについては、「エディターのショートカット」をご参照ください。 |
エリア 1:ワークスペースとサービスのナビゲーション
エリア 1 から、次の操作が可能です:
-
ワークスペースの切り替え:ワークスペース名をクリックして、現在のリージョン内の別のワークスペースに切り替えます。
-
DataWorks サービスへの移動:ナビゲーションアイコンをクリックして、任意の DataWorks サービスに移動します。サービスは次のようにグループ化されています:
-
[データ統合]:データ統合 および アップロードとダウンロード
-
[データモデリング]:データウェアハウス計画、データ標準、データメトリクス、および ディメンショナルモデリング
-
データ開発とタスクオペレーション:DataStudio、オペレーションセンター、および コードレビュー
-
[データガバナンス]:DataMap、Data Quality、セキュリティセンター、データセキュリティガード、および データ資産ガバナンス
-
データサービス: DataService Studio
-
[その他]:デプロイセンター、承認センター、DataWorks (ホーム)、移行アシスタント、グローバルメンバー管理、および オープンプラットフォーム
-
-
コンソールのホームページに戻る:ナビゲーションパネルを開き、左下隅のアイコンをクリックします。
エリア 2:DataStudio モジュール
エリア 2 には左側のナビゲーションウィンドウが含まれています。切り替えアイコンをクリックして、モジュール名の表示/非表示を切り替えます。
利用可能なモジュールは次のとおりです:
| モジュール | 用途 |
|---|---|
| 定期ワークフロー | さまざまなコンピュートエンジンを使用して自動トリガーノードを作成し、本番環境にデプロイして定期的な運用保守 (O&M) を行います。 |
| 手動トリガーワークフロー | スケジュールによらず、オンデマンドで実行されるノードを作成します。 |
| ランタイムログ | DataStudio で過去 3 日間のノード実行レコードを確認します。 |
| アドホッククエリ | 本番環境にデプロイせずにコードを迅速にテストします。 |
| テナントテーブル | 現在の Alibaba Cloud アカウント配下にあるすべての本番テーブルを閲覧します。 |
| ワークスペーステーブル | テーブルを視覚的に管理します。利用可能な操作は、テーブルの作成に使用されたコンピュートエンジンによって異なります。 |
| 組み込み関数 | すべての組み込み MaxCompute 関数の説明を検索します。 |
| ごみ箱 | 定期ワークフローまたは手動トリガーワークフローから削除されたノード、リソース、および関数を管理します。 |
| スニペット | 入力および出力パラメーターを持つ再利用可能なデータ処理ロジックを定義する SQL スクリプトテンプレートを管理します。 |
| [操作履歴] | タイプ、オペレーター、または時間で過去の操作レコードをフィルターして確認します。 |
| [操作チェック] | タイプとチェックステータスで操作をフィルターして確認します。 |
| MaxCompute リソース | MaxCompute リソースを管理し、その操作履歴を表示します。 |
| MaxCompute 関数 | MaxCompute 関数を管理し、その操作履歴を表示します。 |
データ開発にコンピュートエンジンを使用する前に、そのエンジンタイプのデータソースを DataWorks に追加し、コンピューティングリソースを DataStudio に関連付ける必要があります。
モジュールのアイコンが表示されない場合は、[設定] > [個人設定] から追加してください。詳細については、「個人設定」をご参照ください。
エリア 3:ショートカットと共通機能
エリア 3 は、ワークスペース間の操作や共有 DataWorks 機能へのクイックアクセスを提供します。
ワークスペース間の操作:
-
プロジェクト間クローン:コンピューティングノードや同期ノードを含むノードをワークスペース間でクローンおよび移行します。
-
オペレーションセンター:デプロイされたノードの運用保守 (O&M) を実行します。オペレーションセンター内から開発環境と本番環境を切り替えます。
共通の DataWorks 機能:
| 機能 | 説明 |
|---|---|
| 通知センター | 最新の DataWorks の更新情報を取得します。 |
| ヘルプ | ニーズに応じて特定の機能に関するガイダンスにアクセスします。 |
| [ワークスペース管理] | ワークスペースの詳細を表示します:基本情報、スケジューリングプロパティ、セキュリティ設定、関連するデータソース、オープンソースクラスター。詳細については、「ワークスペースの作成と管理」をご参照ください。 |
| 言語切り替え | コンソールの言語を切り替えます (例:英語から中国語へ)。 |
| アカウント情報 | ワークベンチセクションでアカウントの詳細とノードステータスの統計を表示します。 |
エリア 4:設定
エリア 4 の [設定] アイコンをクリックして、設定ページを開きます。以下のタブが利用可能です:
| タブ | 設定内容 |
|---|---|
| 個人設定 | DataStudio モジュール、エディターのプリファレンス、および DataWorks のテーマなどの一般設定。 |
| テンプレート管理 | ワークフロー用のコードテンプレートをカスタマイズします。 |
| スケジューリング設定 | 定期スケジューリングを有効にし、自動トリガーノードのデフォルトのスケジューリングプロパティを設定します。自動トリガーノードは、定期スケジューリングが有効になった後にのみスケジュール通りに実行されます。 |
| セキュリティ設定など | データセキュリティ:DataStudio のクエリ結果で機密データをマスクします。コードレビュー:デプロイ前にコードレビューを必須とし、レビュー担当者を割り当てます。 |
ワークフローの機能
DataStudio に移動すると、デフォルトで定期ワークフローペインが開きます。データ開発操作を整理する前に、ワークフローを作成してください。詳細については、「ワークフローの作成」をご参照ください。
定期ワークフローペインには 8 つの機能エリアがあります。
エリア 1:ソリューションとワークフロー
[ソリューション] ビューと [ビジネスフロー] ビューを切り替えます。展開アイコンをクリックして、ワークスペース内のすべてのソリューションまたはワークフローを表示します。
-
[ソリューション](https://www.alibabacloud.com/help/ja/document_detail/139128.html#task-2511604):複数のワークフローをグループ化するコンテナです。1 つのワークフローは 1 つ以上のソリューションに属することができます。ソリューションをリストまたはカードとして表示します。
-
[ビジネスフロー](https://www.alibabacloud.com/help/ja/document_detail/137500.html#task-2510738):ワークフローは、データ開発操作を整理するための単位です。
エリア 2:ツールバーとディレクトリツリー
ツールバーの操作:
| 操作 | 説明 |
|---|---|
| [更新] | ワークフローまたはソリューションを変更した後にペインを更新します。 |
| 検索 | 現在開いている設定タブのノードを見つけます。 |
| コード検索 | 定期ワークフロー、手動トリガーワークフロー、アドホッククエリ、ごみ箱のすべてのノードをキーワードで検索します。特定のテーブルに書き込むノードを特定するのに役立ちます。 |
| 一括操作 | 複数のノード、リソース、または関数のプロパティを一度に変更します:所有者、コンピュートエンジンインスタンス、スケジューリング用のリソースグループ、再実行設定、スケジューリングタイプ、スケジューリング周期、タイムアウト。 |
| データのインポート | ローカルファイルから MaxCompute テーブルにデータをアップロードします。 |
| [作成] | ワークフロー、ノード、テーブル、リソース、または関数を迅速に作成します。 |
ディレクトリツリー:
ディレクトリツリーには、ソリューションとワークフロー別に整理されたノード、リソース、および関数が表示されます。3 つのビューを切り替えることができます:
-
[すべて]:現在のワークスペース内のすべてのオブジェクト。
-
[自分が所有]:現在のアカウントが所有するオブジェクト。
-
[お気に入り]:現在のアカウントがお気に入りに追加したオブジェクト。
ノード検索:
-
完全一致検索:ノード名または作成者の識別子を入力し、検索アイコンをクリックします。
-
ノードタイプで検索:フィルターアイコンをクリックして、結果を特定のノードタイプに制限します。
ディレクトリツリーからコンピュートエンジンインスタンスまたはノードフォルダを非表示にするには、[エンジンインスタンスを非表示] または [ノードフォルダを非表示] を選択します。これらのオプションは、最新バージョンのワークフローにのみ適用されます。コンピュートエンジンにインスタンスが 1 つしかない場合はエンジンインスタンスを非表示にし、データ分析、テーブル、リソース、関数などのノードフォルダが不要な場合はノードフォルダを非表示にします。
エリア 3:ワークフローディレクトリツリー
エリア 3 のディレクトリツリーには、各ワークフロー内のすべてのオブジェクトが一覧表示されます。
ディレクトリツリー内のオブジェクト:
| オブジェクト | 説明 |
|---|---|
| ワークフロー | ビジネス開発の単位。 |
| ノード | コード開発の最小単位。ノードタイプには、エンジンノード、アルゴリズムノード、データ統合ノード、データベースノード、および一般ノードが含まれます。 |
| テーブル | DataStudio で視覚的に管理されるテーブル。 |
| リソース | DataStudio で視覚的にアップロードされたリソース。視覚的なアップロードは、MaxCompute、E-MapReduce (EMR)、および Cloudera's Distribution including Apache Hadoop (CDH) コンピュートエンジンでのみサポートされています。 |
| [関数] | DataStudio で視覚的に登録された関数。視覚的な登録は、MaxCompute、EMR、および CDH コンピュートエンジンでのみサポートされています。 |
ノードステータスインジケーター:
各ノード名は、アイコンで現在のステータスを示します:
-
[未コミット]:現在のバージョンはコミットされていません。アイコンをクリックしてコミットします。
-
未デプロイ:ノードはコミットされていますが、まだデプロイされていません。アイコンをクリックしてデプロイします。
各ノード名の後に最終編集時刻が表示されます。ワークフロー名をダブルクリックして、その設定タブ (エリア 5~8) を開き、開発を開始します。
エリア 4:リソースグループオーケストレーション
リソースグループオーケストレーションを使用すると、ワークフロー内の複数のノードが使用するスケジューリング用のリソースグループを一度に変更できます。これは、ワークスペースに複数のリソースグループがあり、リソース使用率のバランスを再調整する必要がある場合に役立ちます。リソースグループを再割り当てした後、影響を受けるノードをデプロイして、本番環境で変更を適用します。
エリア 5:ノード作成パネル
このパネルを使用して、ノードを迅速に作成します。
エリア 6:キャンバスツール
キャンバスツールバーを使用して、ワークフローの表示とナビゲーションを調整します。
| ツール | 説明 |
|---|---|
| [レイアウトの切り替え] | [垂直]、[水平]、および [グリッド] レイアウトを切り替えます。 |
| ボックス | 複数のノードを選択してグループを形成し、一括操作を行います。 |
| [更新] | ワークフローを変更した後にキャンバスを更新します。 |
| フォーマット | キャンバス上のすべてのノードを水平に整列させます。 |
| 適合 | ワークフロー全体のレイアウトをキャンバスサイズに合わせます。 |
| 中央 | キャンバス上のすべてのノードを中央に配置します。 |
| 1:1 | 有向非巡回グラフ (DAG) のスケールを 100% にリセットします。 |
| ズームイン | ワークフローキャンバスを拡大します。 |
| 縮小 | ワークフローキャンバスを縮小します。 |
| 検索 | キーワードでノードを検索します。あいまい一致がサポートされています。 |
| 全画面表示の切り替え | 現在のワークフローを全画面で表示します。 |
| [エンジン情報を非表示] | 各ノードに表示されるエンジン情報の表示/非表示を切り替えます。 |
エリア 7:右側のタブ
| タブ | 説明 |
|---|---|
| ワークフローパラメーター | ワークフロー全体の ODPS SQL ノードの変数に一度に値を割り当てます。 |
| 変更履歴 | 現在のワークフロー内のノードの操作レコードを確認します。 |
| バージョン | ワークフローのすべてのバージョンを表示します。ノードがコミットされるたびに新しいバージョンが作成されます。 |
エリア 8:ワークフローツールバー
| 操作 | 説明 |
|---|---|
| [送信] | 現在のワークフロー内の 1 つ以上の更新されたノードをデプロイページにコミットします。 |
| [実行] | 現在のワークフロー内のすべてのノードを実行します。 |
| 停止 | 現在のワークフローで実行中のすべてのノードを停止します。 |
| デプロイ | デプロイページに移動して、現在のワークフローからノードを確認およびデプロイします。 |
| オペレーションセンター | 本番環境のオペレーションセンターに移動して、現在のワークフロー内のノードの運用保守 (O&M) の詳細を表示します。 |
| [開いているタブを表示] | 現在開いているすべての設定タブをドロップダウンリストから表示します。 |
| [開いているタブを閉じる] | 1 つ以上の開いている設定タブを閉じます。 |
ワークフローのショートカットメニュー
ワークフロー名を右クリックしてショートカットメニューを開きます。
| 機能 | 説明 |
|---|---|
| ノードの作成 | ノードを作成します。メニューには最近使用したノードタイプが表示され、そのタイプの最後に使用したノードに基づいて [エンジンインスタンス] と [ノードタイプ] が事前に入力されます。 |
| テーブルの作成 | テーブルを作成します。 |
| リソースの作成 | リソースを作成します。MaxCompute、CDH、および EMR でのみサポートされています。 |
| 関数の作成 | 関数を作成します。MaxCompute、CDH、および EMR でのみサポートされています。 |
| ボード | ワークフローキャンバスに移動します。 |
| 変更 | ワークフロー名、所有者、または説明を編集します。 |
| [削除] | ワークフローとそのすべてのオブジェクトを削除します。この操作は元に戻せません。注意して進めてください。オブジェクトが削除できない場合、2 つのオプションが利用可能です:[削除操作を終了] (デフォルト) は操作全体を停止します。[現在のオブジェクトをスキップして他のオブジェクトの削除を続行] は削除できないオブジェクトをスキップして続行します。 |
| 一括操作 | 複数のノード、リソース、または関数のプロパティ (所有者、コンピュートエンジンインスタンス、スケジューリング設定など) を一度に変更し、一括でコミットまたはデプロイします。 |
ノードの機能
異なるノードタイプは類似の機能を共有しています。以下の説明では、ODPS SQL ノードを例として使用します。
エリア 1:上部ツールバー
| 操作 | 説明 |
|---|---|
| [保存] | 現在のノードのコードと設定を保存します。 |
| [アドホッククエリノードとして保存] | 現在のコードをアドホッククエリとして保存し、[アドホッククエリ] ペインからアクセスできるようにします。「アドホッククエリの作成」をご参照ください。 |
| [送信] | 現在のノードをコミットします。 |
| [ロック解除] | ノードをコミットし、他のユーザーが編集できるようにします。 |
| [ロックの強制取得] | 所有していないノードの編集権限を強制的に取得します。 |
| [実行] | ノードを実行します。変数の値は一度設定されると実行間で保持されます。コードを変更してもリセットされません。スケジューリング用のリソースグループが割り当てられていない場合、DataWorks は選択を促すプロンプトを表示します。 |
| [パラメーターを指定して実行] | カスタムパラメーター値でノードを実行します。このアイコンをクリックするたびに DataWorks は変数の値を尋ね、初期値を指定した値で置き換えます。スケジューリング用のリソースグループが割り当てられていない場合、DataWorks は選択を促すプロンプトを表示します。 |
| [停止] | 実行中のノードを停止します。 |
| [リロード] | 設定タブを更新し、最後に保存した状態に戻します。 |
| [開発環境でスモークテストを実行] | スケジューリングパラメーターの値の置換をシミュレートして、開発環境でノードをテストします。データタイムスタンプを選択すると、DataWorks は対応する値を指定した値に置き換えます。スモークテストを実行する前に、スケジューリングパラメーターの変更を保存してコミットしないと、新しい値は有効になりません。 |
| [開発環境でのスモークテストのログを表示] | 開発環境でテストされたノードの実行ログを表示します。 |
| [開発環境のスケジューリングシステムにアクセス] | 開発環境のオペレーションセンターに移動して、運用保守 (O&M) 操作を行います。「自動トリガーインスタンスの表示」をご参照ください。 |
| フォーマット コード | コードを自動フォーマットして、1 行が長くなりすぎるのを防ぎます。 |
| [共有] | 現在のノードを他のユーザーと共有します。 |
エリア 2:サイドパネルタブ
プロパティタブ:
| セクション | 設定内容 |
|---|---|
| 一般 | ノード名、ID、タイプを表示し、所有者と説明を設定します。 |
| スケジューリングパラメーター | スケジューリングパラメーターを追加し、動的な値の割り当てを設定します。 |
| スケジュール | デプロイ後の時間ベースのスケジューリングプロパティを設定します:インスタンス生成モード、スケジューリング周期と時間、再実行動作、およびタイムアウト。 |
| リソースグループ | スケジューリング用のリソースグループをノードに割り当てます。 |
| 依存関係 | ノードの依存関係を設定します。「同一周期スケジューリング依存関係の設定」および「周期をまたぐスケジューリング依存関係の設定」をご参照ください。 |
| 入出力パラメーター | コンテキストベースのパラメーター割り当てを使用して、先祖ノードの出力を子孫ノードに渡します。 |
その他のタブ:
| タブ | 説明 |
|---|---|
| リネージ | 現在のノードと他のノード間の依存関係と自動取得されたリネージを表示します。ノードを変更または削除する前にこのタブを確認して、下流への影響を理解します。 |
| バージョン | ノードのすべてのバージョンを表示します。ノードがコミットおよびデプロイされるたびにバージョンが作成されます。 |
| コード構造 | SQL 演算子を使用してノードのコード構造を表示します。 |
ノードバージョンの状態:
| 状態 | 意味 |
|---|---|
| はい | 開発環境にコミット済み。デプロイメントパッケージはまだ作成されていません。 |
| デプロイ済み | 本番環境にデプロイ済み。オペレーションセンターの定期タスクページで表示できます。「定期タスクの表示と管理」をご参照ください。 |
| 未デプロイ | 開発環境にコミット済みですが、まだ本番環境にはデプロイされていません。再度コミットすると、前のバージョンは保留中のバージョンになります。 |
| デプロイメントはキャンセルされました | コミットされましたが、デプロイタスク作成ページでデプロイメントがキャンセルされました。 |
エリア 3:SQL エディター
エディターで SQL ステートメントを記述します。3 つのアイコンが利用可能です:
-
最初の行に移動:エディターの先頭にジャンプします。
-
[全画面]:エディターを全画面に拡大します。
-
スニペットの実行:選択したコードスニペットをすばやく実行して検証します。このアイコンは、コードの行をクリックした場合にのみ表示されます。「コードスニペットのデバッグ」をご参照ください。
エリア 4:右上の操作
| 操作 | 説明 |
|---|---|
| デプロイ | デプロイタスク作成ページに移動して、デプロイの詳細を確認したり、デプロイ後に運用保守 (O&M) を実行したりします。 |
| オペレーションセンター | 本番環境のオペレーションセンターに移動して、運用保守 (O&M) 操作を行います。 |
ノードのショートカットメニュー
ノード名を右クリックしてショートカットメニューを開きます。
| 機能 | 説明 |
|---|---|
| [名前の変更] | ノード名を変更します。 |
| [お気に入りに追加] | ノードをお気に入りに追加します。お気に入りに追加したノードは、定期ワークフローペインの [お気に入り] で表示できます。ノードをお気に入りから削除するには、右クリックして [お気に入りから削除] を選択します。 |
| 移動 | ノードを別のワークフローに移動します。 |
| クローン | 同じタイプ、所有者、リソースプロパティを持つノードのコピーを作成します。クローンには新しい名前が付けられます。 |
| 以前のバージョンを表示 | コミッター、コミット時間、変更タイプ、ステータス、備考など、ノードのすべての履歴バージョンを表示します。 |
| オペレーションセンターで表示 | オペレーションセンターに移動してノードの詳細を表示します。ノードが両方の環境にデプロイされている場合は、[オペレーションセンターで表示 (本番環境)] または [オペレーションセンターで表示 (開発環境)] を選択します。 |
| コードレビューに提出 | ノードコードをレビューに提出します。ノードはデプロイされる前にコードレビューに合格する必要があります。 |
| [削除] | ノードとその依存関係設定を先祖ノードと子孫ノードから削除します。ノードが本番環境にデプロイされている場合は、[デプロイタスクの作成] ページでデプロイメントパッケージを作成してデプロイし、本番環境から削除する必要もあります。「ノードのアンデプロイ」をご参照ください。 |