DataWorks では、DataStudio で手動トリガー タスクを作成し、本番環境のオペレーションセンターで手動トリガー タスクを管理できます。このトピックでは、手動トリガー タスクを作成し、本番環境にデプロイする方法について説明します。
使用上の注意
タスクを本番環境にデプロイする必要がない場合、または本番環境のコンピューティングエンジン データにアクセスするために使用する必要がない場合は、アドホッククエリを作成できます。詳細については、「アドホッククエリを作成する」をご参照ください。
手動トリガー タスクは自動的にスケジュールすることはできません。
手動トリガー ノード間に線を描画して、ノード上のタスクを実行する順序を指定できます。ただし、この操作は、手動トリガー ノードのスケジューリング依存関係を構成するためには実行されません。
手動トリガーワークフローを構成するページは、自動トリガーワークフローを構成するページとは一部異なります。詳細については、「DataStudio ページの機能」をご参照ください。
手動トリガーワークフロー ウィンドウに移動する
手動トリガー タスクを作成する場合、最初に [datastudio] の [手動トリガーワークフロー] ウィンドウに移動して、手動トリガーワークフローを作成する必要があります。
[datastudio] ページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。
[datastudio] ページの左側のナビゲーションウィンドウで、[手動トリガーワークフロー] をクリックします。左側のナビゲーションウィンドウに手動トリガーワークフロー モジュールが表示されていない場合は、最初にこのモジュールを追加します。詳細については、「表示される DataStudio モジュールを調整する」をご参照ください。
手動トリガーワークフローを作成する
DataWorks は、ワークフローを使用してデータ開発プロセスを編成します。 DataWorks は、各ワークフローのさまざまなタイプのノードのダッシュボードを提供し、ダッシュボードでツールを使用してノードを最適化および管理できます。これにより、データ開発と管理が容易になります。ビジネス要件に基づいて、同じタイプのノードを 1 つのワークフローに配置できます。ワークフローを作成するには、次の手順を実行します。
ワークフローを作成します。次のいずれかの方法を使用してワークフローを作成できます。
方法 1:
アイコンの上にポインターを移動し、[ワークフローの作成] をクリックします。
方法 2:手動トリガーワークフロー ウィンドウで [手動トリガーワークフロー] を右クリックし、[ワークフローの作成] を選択します。
[ワークフローの作成] ダイアログボックスで、ワークフローの [ワークフロー名] パラメーターと [説明] パラメーターを構成し、[作成] をクリックします。
ワークフローの使用方法の詳細については、「ビジネスプロセスの作成と管理」をご参照ください。
手動トリガー タスクを作成する
DataWorks では、手動トリガーワークフロー ウィンドウまたは手動トリガーワークフローの構成タブで、手動トリガー タスクを作成できます。
手動トリガー タスクを作成します。
方法 1:手動トリガーワークフロー ウィンドウでタスクを作成します。
DataStudio ページの手動トリガーワークフロー ウィンドウで、手動トリガーワークフロー をクリックし、作成したワークフローを見つけて、ワークフローの名前をクリックします。
使用するコンピューティングエンジンのタイプを右クリックし、[ノードの作成] の上にポインターを移動して、必要なノードタイプを選択します。
方法 2:手動トリガーワークフローの構成タブでタスクを作成します。
DataStudio ページの [手動トリガーワークフロー] ウィンドウで、手動トリガーワークフロー をクリックし、作成したワークフローを見つけます。
ワークフローの名前をダブルクリックして、ワークフローの構成タブに移動します。
構成タブの左側のセクションで、[ノードの作成] をクリックします。必要なノードタイプをクリックするか、必要なノードタイプを右側のキャンバスにドラッグします。
表示されるダイアログボックスで、ノードの [エンジン インスタンス] や [名前] などのパラメーターを構成し、[確認] をクリックします。
タスクのコードを定義します。
コンピューティングエンジンのタイプとコンピューティングエンジンの構文に基づいて、タスクコードを編集できます。タスクコードでパラメーターを動的に渡せるようにするには、${変数名} 形式でタスクコードに変数を定義し、タスクのプロパティを構成するときに、組み込みパラメーターを変数の値として割り当てることができます。手動トリガー タスクのコードに変数を定義する方法は、自動トリガー タスクのコードに変数を定義する方法と一致しています。
説明スケジューリングパラメーターの形式は、ノードのタイプによって異なります。たとえば、Shell ノードのスケジューリングパラメーターは、$N 形式でのみ構成できます。 N は 1 から始まる整数を示します。詳細については、「さまざまなタイプのノードのスケジューリングパラメーターを構成する」をご参照ください。
(オプション) 手動トリガー タスクを実行する順序を指定する
手動トリガーワークフローの手動トリガー タスクを順番に実行する場合は、ワークフローの構成タブでノード上のタスク間に線を描画して、順序を指定できます。順序を指定しない場合、タスクは同時に実行されます。ワークフロー内のタスクを実行する順序を指定すると、タスクは順番に実行されます。
手動トリガー タスクのプロパティを構成する
手動トリガー タスクを本番環境にデプロイし、本番環境のコンピューティングエンジン データにアクセスするために使用する必要がある場合は、手動トリガー タスクに対応するノードの構成タブの右側のナビゲーションウィンドウで [全般] をクリックした後に表示されるタブで、本番環境でのタスクの実行方法を決定するプロパティを構成できます。手動トリガー タスク用に構成するプロパティの機能は、自動トリガー タスク用に構成するプロパティと一致しています。次の表に、構成する必要があるプロパティを示します。
プロパティ | 説明 |
このセクションには、ノード名、ノード ID、ノードタイプ、およびノードのオーナーが自動的に表示されます。追加の設定を行う必要はありません。 説明
| |
タスクを実行するために定義するパラメーター。 説明 DataWorks は、値の割り当て方法に基づいて、カスタムパラメーターと組み込み変数に分類できるスケジューリングパラメーターを提供します。スケジューリングパラメーターは、タスクスケジューリングの動的パラメーター設定をサポートします。タスクコードの開発中に変数が定義されている場合は、[パラメーター] セクションで変数に値を割り当てることができます。 | |
タスクが本番環境にデプロイされた後、タスクを発行するために使用されるリソースグループ。現在のワークスペースで使用可能なスケジューリングのリソースグループが [リソースグループ] ドロップダウンリストに表示されます。 DataWorks サーバーレス リソースグループを購入することをお勧めします。詳細については、「サーバーレス リソースグループの作成と使用」をご参照ください。 |
手動トリガー タスクをデバッグする
タスクに対応するノードの構成タブの上部にあるツールバーの と
をクリックすることで、手動トリガー タスクをデバッグできます。また、ワークフローの構成タブの上部にあるツールバーの
をクリックすることで、手動トリガー タスクが属する手動トリガーワークフローをデバッグすることもできます。
ほとんどの場合、デバッグ操作は、開発環境でワークスペースに関連付けられているデータソースにアクセスするために構成した個人アカウントを使用して実行されます。開発環境のデータソースに関する情報を表示するには、次の操作を実行します。 [設定センター] ページに移動します。左側のナビゲーションウィンドウで、データソースを追加および管理する」をご参照ください。
を選択します。詳細については、「(オプション) 手動トリガーワークフローのパラメーターを構成する
手動トリガーワークフローで同じ名前の変数を定義し、変数の値を一括して割り当てることができる場合は、ワークフローの構成タブでワークフローのパラメーターを構成できます。詳細については、「ワークフローパラメーターを使用する」をご参照ください。ワークフローのパラメーターを構成したら、ワークフローを実行します。値がパラメーターに割り当てられます。値の割り当て結果に基づいて、ワークフローのステータスを表示できます。
パラメーターのデフォルト値を使用できます。パラメーターの名前のみを指定することもできます。本番環境でワークフローを実行するたびに、パラメーターごとに個別に値を割り当てることができます。
手動トリガー タスクをコミットしてデプロイする
本番環境で手動トリガー タスクを実行するには、タスク構成を保存し、タスクをコミットして本番環境のオペレーションセンターにデプロイする必要があります。タスクをコミットおよびデプロイする方法の詳細については、「ノードをデプロイする」をご参照ください。デプロイ操作は必ずしも成功するとは限りません。タスクの最終ステータスを確認する必要があります。
本番環境にデプロイされたタスクのステータスを表示するには、[オペレーションセンター] の [手動トリガー ノード] ページに移動します。
本番環境で手動トリガー タスクを実行する
手動トリガー タスクは自動的にスケジュールすることはできません。手動トリガー タスクを実行するには、[オペレーションセンター] の 手動トリガー ノード ページに移動し、目的のタスクを見つけて、タスクを実行します。タスクが属するワークフロー全体を実行するか、ワークフロー内の一部のタスクを実行できます。タスクを実行する時間を指定することもできます。
手動トリガー タスクは 3 日以上実行できません。手動トリガー タスクが 3 日以上実行されると、タスクは実行に失敗して終了します。
ワークフローパラメーターの値の割り当て:ワークフローのパラメーターを構成する場合は、ワークフローを実行するたびに各ワークフローパラメーターに値を割り当てることで、ワークフローのコード内で同じ名前の変数に値を一括して割り当てることができます。ワークフローのパラメーターを構成した場合にのみ、ワークフローパラメーターに値を割り当てる必要があります。
順序:タスクは、指定した順序に基づいて実行されます。詳細については、「(オプション) 手動トリガー タスクを実行する順序を指定する」セクションをご参照ください。
順序を指定しない場合、タスクは同時に実行されます。
ワークフロー内のタスクを実行する順序を指定すると、タスクは順番に実行されます。
タスクを実行するたびに、本番環境でタスクのインスタンスが生成されます。したがって、手動トリガー タスクが実行されるたびに、手動トリガー インスタンスが生成されます。手動トリガー タスクの実行結果を表示するには、オペレーションセンターの [手動トリガー ノード O&M] の下の 手動トリガー インスタンス ページに移動します。