Platform For AI:定期スケジューリング

注意事項

• PAI DLC ノードが実行されるたびに、PAI の DLC プラットフォームに新しい DLC タスクが生成されます。 DataWorks を使用して PAI DLC ノードを定期的にスケジュールする場合、PAI で同じ名前の複数のタスクが生成されないようにするために、DataWorks で DLC タスクを開発する際に、ビジネス要件に基づいて適切なスケジューリングサイクルを設定することをお勧めします。また、タスク名に datetime 変数を追加し、時間ベースのスケジューリングパラメーターを変数に値として割り当てることもお勧めします。このようにして、タスク名に日付と時刻を追加できます。詳細については、このトピックの「手順 2：PAI DLC タスクを開発する」セクションをご参照ください。

• スケジューリングの共有リソースグループを使用して PAI DLC タスクを実行することはできません。

手順 1：スケジューリング専用の排他的リソースグループを作成する

DataWorks コンソールでスケジューリング専用の排他的リソースグループを作成します。詳細については、「データ統合専用の排他的リソースグループを作成する」をご参照ください。

手順 2：排他的リソースグループをワークスペースに関連付ける

排他的リソースグループをワークスペースに関連付けます。このようにして、ジョブを送信するときにワークスペースでリソースグループを選択できます。詳細については、「手順 2：スケジューリング専用の排他的リソースグループをワークスペースに関連付ける」をご参照ください。

手順 3：DLC パッケージをインストールする

パッケージをインストールするには、テクニカルサポートに連絡して必要な権限を取得してください。

1. コマンドを作成する

   1. DataWorks コンソール にログインします。左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。 [リソースグループ] ページに [排他的リソースグループ] タブが表示されます。

   2. [データスケジューリング] 排他的リソースグループを見つけます。 [アクション] 列の アイコンをクリックし、[O&M アシスタント] をクリックします。

   3. [O&M アシスタント] ページで、[コマンドの作成] をクリックします。次の主要パラメーターを設定し、[OK] をクリックします。

   4. パラメーター	説明
      [コマンドタイプ]	コマンドのタイプ。[手動インストール] を選択します。
      [コマンドコンテンツ]	コマンドの内容。次の内容を入力します。 wget -P /home/admin/usertools/tools/ https://dlc-release.oss-cn-zhangjiakou.aliyuncs.com/console/public/latest/dlc --no-check-certificate chmod +x /home/admin/usertools/tools/dlc
      [インストールディレクトリ]	インストールに使用するディレクトリ。コマンドを /home/admin/usertools/tools/ ディレクトリに保存します。
      [タイムアウト]	コマンドのタイムアウト期間。単位：秒。コマンドがタイムアウトした場合、システムはコマンドを強制的に停止します。パラメーターを 60 に設定することをお勧めします。

2. コマンドを実行する。

   1. O&M Assistant ページで、コマンドを見つけ、[アクション] 列の [コマンドの実行] をクリックします。

   2. [コマンドの実行] パネルで、[実行] をクリックします。

3. コマンドの実行結果を表示する。

   1. [O&M アシスタント] ページで、コマンドを見つけ、[アクション] 列の [結果の表示] をクリックします。

   2. [コマンドの実行結果] ダイアログボックスで、コマンドの実行結果を表示します。実行の進捗状況が 100% の場合、DLC パッケージはインストールされています。

手順 4：ワークフローを作成する

1. DataStudio ページに移動します。

   DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発とガバナンス] > [データ開発] を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

2. ポインターを アイコンの上に移動し、[ノードの作成] > [一般] > [Shell] を選択します。[ノードの作成] ダイアログボックスで、[名前] パラメーターと [パス] パラメーターを設定します。

3. [確認] をクリックして、ノードを作成します。

手順 5：テストのためにジョブを送信する

特定の時点でジョブの自動送信を設定するには、ジョブノードが必要です。ジョブを送信する前に、初期ジョブノードを作成し、ノードでスモークテストを実行します。初期ノードが使用可能な場合は、手順 6 に進みます。

1. デプロイメントスクリプトを変更する。

   1. ワークフローのタブで、作成した Shell ノードをダブルクリックします。この例では、[デプロイメント] ノードをダブルクリックします。

   2. Shell ノードタブで、次のコマンドを入力します。

      # ジョブ記述ファイルを生成します。
      cat << EOF > jobfile
      name=dataworks-job
      workers=1
      worker_spec=ecs.g6.large
      worker_image=registry-vpc.cn-hangzhou.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04
      command=echo $(date)
      EOF
      
      # ジョブを送信します。
      /home/admin/usertools/tools/dlc submit pytorchjob\
          --access_id=<access_id> \
          --access_key=<access_key> \
          --endpoint=pai-dlc.cn-hangzhou.aliyuncs.com \
          --region=cn-hangzhou \
          --job_file=./jobfile \
          --interactive

      jobfile はジョブ記述ファイルを示します。ジョブ設定の詳細については、「ジョブの送信に使用されるコマンド」をご参照ください。ジョブをデプロイするリージョンに基づいて endpoint パラメーターを設定する必要があります。

      リージョン	エンドポイント
      中国（上海）	pai-dlc.cn-shanghai.aliyuncs.com
      中国（北京）	pai-dlc.cn-beijing.aliyuncs.com
      中国（杭州）	pai-dlc.cn-hangzhou.aliyuncs.com
      中国（深圳）	pai-dlc.cn-shenzhen.aliyuncs.com
      中国（香港）	pai-dlc.cn-hongkong.aliyuncs.com
      シンガポール	pai-dlc.ap-southeast-1.aliyuncs.com
      マレーシア（クアラルンプール）	pai-dlc.ap-southeast-3.aliyuncs.com
      ドイツ（フランクフルト）	pai-dlc.eu-central-1.aliyun.cs.com

2. スクリプトを実行する。

   1. Shell ノードタブの上部にある アイコンをクリックします。

   2. [警告] メッセージで、[実行を続行] をクリックします。

   3. [ランタイムパラメーター] ダイアログボックスで、[リソースグループ] パラメーターを作成した排他的リソースグループに設定します。

   4. 次に、[OK] をクリックします。

      スクリプトが実行されると、ジョブが生成されます。デフォルトのワークスペースの DLC ページに移動して、生成されたジョブを表示できます。

手順 6：ジョブスケジューリングを実行する

1. スケジューリングジョブを実行する。

   1. Shell ノードタブの右側にあるウィンドウで、[プロパティ] タブをクリックします。

   2. [プロパティ] ページの [スケジュール] セクションで、[スケジューリングサイクル] パラメーターと [再実行] パラメーターを設定します。

   3. [依存関係] セクションで、[親ノード] フィールドの横にある [ルートノードを使用] をクリックします。

   4. 依存関係を設定します。詳細については、「同じサイクルのスケジューリング依存関係を設定する」をご参照ください。

   5. Shell ノードタブで、 アイコンをクリックして設定を保存します。

   6. Shell ノードタブで、 アイコンをクリックして、スケジュールされたノードをコミットします。

2. スケジューリングノードのインスタンスを表示する。

   1. Shell ノードタブの右上隅にある [オペレーションセンター] をクリックします。

   2. [オペレーションセンター] ページで、[サイクルタスクのメンテナンス] > [サイクルインスタンス] を選択します。

   3. インスタンスリストページで、[スケジュール] 列にジョブの自動送信のスケジュール済み時刻が表示されます。

   4. [アクション] 列で、[その他] > [実行ログの表示] を選択して、スケジュールされた各ジョブ送信の操作ログを表示します。