DataWorks の PAI DLC ノードを使用して、DLC 分散トレーニングタスクをロードし、スケジューリング依存関係を設定して、定期的に実行できます。
前提条件
-
DataWorks に PAI へのアクセス権限を付与します。
権限付与ページ にアクセスし、ワンクリックで権限を付与できます。権限ポリシーの詳細については、「AliyunServiceRoleForDataWorksEngine」をご参照ください。このワンクリック認可は、Alibaba Cloud アカウントまたは AliyunDataWorksFullAccess ポリシーを持つ RAM ユーザーのみが実行できます。
-
ワークフローを作成します。
ノードを作成する前に、ワークフローを作成しておく必要があります。詳細については、「ワークフローの作成」をご参照ください。
注意事項
-
PAI DLC ノードの実行が完了するたびに、PAI 分散トレーニング (DLC) プラットフォーム上に新しい DLC タスクが生成されます。同じ名前のタスクが多数蓄積されるのを避けるため、適切なスケジューリング頻度を設定し、タスク名に日時変数を追加してください。これらの変数には時間ベースのスケジューリングパラメーターを割り当て、各タスク名に一意のタイムスタンプが含まれるようにします。詳細については、「ステップ 2:PAI DLC タスクの開発」をご参照ください。
-
DataWorks は、パブリックスケジューリングリソースグループでの PAI DLC タスクの実行をサポートしていません。
本トピックの例では中国 (上海) リージョンを使用しています。他のリージョンではユーザーインターフェースが異なる場合があります。
ステップ 1:PAI DLC ノードの作成
DataWorks コンソールにログインします。目的のリージョンで、左側のナビゲーションウィンドウで をクリックします。ドロップダウンリストからワークスペースを選択し、移動 データ開発 をクリックします。
-
対象のワークフローを右クリックし、 を選択します。
-
ノードの作成 ダイアログボックスで、ノードの 名前 を入力し、確認 をクリックします。その後、ノード内でタスクを開発および構成できます。
ステップ 2:PAI DLC タスクの開発
タスクコードの例
PAI DLC ノードエディターでは、以下のいずれかの方法で DLC タスクを記述できます。
-
既存の DLC タスクからコードを生成する。
既存の DLC タスクを名前で検索してロードします。ノードエディターは、そのタスクの PAI 構成に基づいて対応するコードを自動生成します。必要に応じてこのコードを編集できます。
説明-
タスクのロードまたは作成に関する権限がない場合は、画面の指示に従って権限を付与してください。
-
利用可能なタスクがない場合は、PAI コンソールで新規作成してください。ニーズに応じて、複数の方法で PAI DLC タスクを作成できます。詳細については、「トレーニングタスクの作成」、「トレーニングタスクの作成:Python SDK」、および「トレーニングタスクの作成:コマンドライン」をご参照ください。
-
-
DLC タスクコードを直接記述する。
PAI DLC ノードエディターに直接タスクコードを記述します。
PAI DLC ノードを実行すると、構成に基づいて PAI 上に新しい DLC タスクが生成されます。以下のコードはその例です。
dlc submit xgboostjob \ #DLC タスクを送信します。
--name=wsytest_pai04_XGBoost \ #DLC タスクの名前です。変数名または DataWorks ノード名を使用することを推奨します。
--command='echo '\''${variable_name}'\'';' \ #DLC タスクによって実行されるコマンドです。
--workspace_id=80593 \ #DLC タスクを実行するワークスペースの ID です。
--priority=1 \ #タスクの優先度です。有効値は 1 ~ 9 です。1 が最低優先度、9 が最高優先度です。
--workers=1 \ #ワーカー数です。値が 1 より大きい場合、タスクは分散され、複数のワーカーで並列実行されます。
--worker_image=registry.cn-hangzhou.aliyuncs.com/pai-dlc/tensorflow-training:2.3-cpu-py36-ubuntu18.04 \ #DLC タスクの実行環境を提供するワーカーイメージです。
--worker_spec=ecs.g6.xlarge #ワーカーの仕様(ワーカーが使用するコンピュートインスタンスタイプ)です。
コード内でのスケジューリングパラメーターの使用
DataWorks では、コードに動的に変数を渡すために スケジューリングパラメータ を提供しています。タスクコード内で変数を ${variable_name} 形式で定義し、スケジューリング設定 > パラメーター セクションで値を割り当てます。サポートされているフォーマットの詳細については、「スケジューリングパラメーターでサポートされているフォーマット」をご参照ください。
以下のコードは、スケジューリングパラメーターを使用する例です。
--command='echo '\''${variable_name}'\'';' \ -- スケジューリングパラメーターと併用できます。
ステップ 3:タスクスケジューリングの構成
ノードタスクを定期的に実行するには、右側ペインの スケジューリング設定 をクリックし、スケジューリングプロパティを構成します。詳細については、「タスクスケジューリングプロパティの概要」をご参照ください。
ノードを提出する前に、再実行プロパティ および 依存する先祖ノード を必ず設定する必要があります。
ステップ 4:タスクのデバッグ
タスクが期待通りに実行されることを確認するため、以下のデバッグ操作を実行します。
-
(任意)リソースグループを選択し、カスタムパラメーターに値を割り当てます。
-
ツールバーの
アイコンをクリックします。パラメーター ダイアログボックスで、デバッグ用のスケジューリングリソースグループを選択します。 -
タスクコードでスケジューリングパラメーターを使用している場合、ここでデバッグ用の値を割り当てられます。パラメーター割り当てロジックの詳細については、「開発環境における [実行]、[高度な実行]、およびスモークテストのパラメーター割り当てロジックの違いとは何ですか?」をご参照ください。
-
-
コードを保存して実行します。
ツールバーの
アイコンをクリックしてコードを保存し、次に
アイコンをクリックしてタスクを実行します。 -
(任意)スモークテストを実行します。
スケジュールされたノードタスクが開発環境で期待通りに実行されるかどうかを確認するには、ノード提出時または提出後にスモークテストを実行します。詳細については、「スモークテストの実行」をご参照ください。
手順 5: タスクを送信してデプロイする
ノードタスクの構成が完了したら、提出してデプロイします。デプロイ後、ノードはスケジューリング構成に基づいて定期的に実行されます。
-
ツールバーの
アイコンをクリックしてノードを保存します。 -
ツールバーの
アイコンをクリックしてノードタスクを提出します。新しいバージョンのコミット ダイアログボックスで、変更内容 を入力します。また、提出後にコードレビューを実施するかどうかも選択できます。
説明-
ノードを提出する前に、再実行プロパティ および 依存する先祖ノード を必ず設定する必要があります。
-
コードレビューはコード品質を保証し、誤ったタスクが本番環境にデプロイされるのを防ぎます。コードレビューを有効にした場合、提出されたコードは承認されてからデプロイされます。詳細については、「コードレビュー」をご参照ください。
-
標準モードのワークスペースを使用している場合は、提出後にノード編集ページの右上隅にある [デプロイ] をクリックして、タスクを本番環境にデプロイします。詳細については、「タスクのデプロイ」をご参照ください。
次のステップ
タスクが提出およびデプロイされると、ノードの構成に基づいて定期的に実行されます。エディターページの右上隅にある O&M Personnel をクリックして、スケジューリングおよび実行状況を確認できます。詳細については、「定期タスクの管理」をご参照ください。