PAI Designer を DataWorks と統合して、パイプラインのオフライン実行をスケジューリングできます。これにより、モデルを定期的に更新し、モデルトレーニングプロセスを自動化できます。このトピックでは、DataWorks を使用して PAI Designer パイプラインをスケジューリングする方法と、定期タスクの一部として PAI モデルを OSS に自動的に同期する方法について説明します。
前提条件
-
パイプライン内のすべてのノードが正常に実行されている必要があります。
-
DataWorks を有効化し、ワークフローを作成済みであること。詳細については、「ワークフローの作成」をご参照ください。
ワークフローは、PAI Designer パイプラインと同じワークスペースにある必要があります。そうでない場合、オフラインスケジューリングタスクを作成する際に、作成したワークフローを [パス] ドロップダウンリストから選択できません。
-
DataWorks ワークスペースが標準モードの場合、定期スケジューリングタスクを実行する前に、オフラインでトレーニングされたモデルを本番環境に同期する必要があります。これは、MaxCompute のデータが開発環境と本番環境で分離されているためです。詳細については、「バッチ予測パイプラインの定期的なスケジューリング」をご参照ください。
操作手順
PAI Designer パイプラインと DataWorks の Designer タイプのノードの比率は 1:N です。1 つの PAI Designer パイプラインに基づいて、DataWorks で複数の Designer タイプのノードを作成できます。
-
可視化モデリングに移動し、ワークスペースを選択して PAI Designer ページを開き、対象のパイプラインをダブルクリックして開きます。
-
(任意) 定期スケジューリング中に Designer モデルを OSS に同期する必要がある場合は、モデルエクスポートコンポーネントを追加できます。
-
[パイプライン属性] タブで、[データストレージ] パラメーターをモデルを保存する OSS パスに設定します。
-
PMML フォーマットでモデルファイルをエクスポートするには、対象のモデルコンポーネント (たとえば、2 項分類のロジスティック回帰) をクリックし、[フィールド設定] タブに移動し、[PMML を生成するかどうか] を選択します。
説明このコンポーネントがこの機能をサポートしていない場合、または PMML ファイルが不要な場合は、このステップをスキップできます。
-
モデルコンポーネントの下流に [モデルエクスポート] コンポーネントを接続します。構成の詳細については、「モデルエクスポート」をご参照ください。
-
-
DataWorks を使用して、PAI Designer パイプラインのオフライン実行をスケジューリングします。
-
キャンバスの左上隅にある [定期スケジューリング]、[スケジューリングノードを作成] の順にクリックすると、オフラインスケジューリングを行うために DataWorks にリダイレクトされます。[ノードの作成] ダイアログボックスで、ノードの名前を入力し、[確認] をクリックします。
-
ノード編集ページで、[PAI Designer パイプライン] ドロップダウンリストから PAI Designer パイプラインを選択します。
PAI Designer パイプラインを修正する必要がある場合は、[PAI Designer で編集] をクリックしてパイプライン編集ページに移動します。パイプラインを選択した後、[リロード] をクリックしてコンテンツを更新するか、[PAI Designer で編集] をクリックして PAI Designer でパイプラインを編集できます。
-
ノード編集エリアの右側にある[プロパティ]をクリックして、ノードのスケジューリングプロパティを設定します。詳細については、「ノードスケジューリングプロパティを設定する」をご参照ください。
[プロパティ] パネルには、[一般]、[スケジューリングパラメーター]、[スケジュール]、[リソースグループ]、[依存関係] などのセクションが含まれています。[スケジュール] セクションでスケジューリング周期を設定できます。DataWorks は、設定された周期に基づいてノードタスクを自動的に実行します。
説明DataWorks のスケジューリングでは、"Start Container timeout" エラーが報告されることがあります。これは通常、断続的なタイムアウトの問題です。スケジューリングプロパティを設定する際に、[失敗した場合の自動再実行] を有効にすることをお勧めします。有効にすると、スケジューリングシステムは、設定された再試行回数と間隔に基づいて、失敗したタスク (手動での終了を除く) を自動的に再試行します。
-
ツールバーの
アイコンと
アイコンを順番にクリックします。画面の指示に従って、ノードを保存しコミットします。ワークスペースが標準モードの場合、ノードがコミットされた後、ページの上部にある[デプロイ]をクリックします。 詳細については、「ノードをデプロイする」をご参照ください。
-
ページ上部の [オペレーションセンター] をクリックすると、機械学習タスクの実行ステータスと運用ログを表示できます。
バックフィルやパイプラインのテスト実行などの操作も実行できます。詳細については、「定期タスクの管理」をご参照ください。
-
関連ドキュメント
-
PAI Designer では、[EAS サービスの更新 (ベータ)] コンポーネントを使用して、オンラインモデルサービスをスケジュールに従って更新できます。詳細については、「オンラインモデルサービスのスケジュール更新」をご参照ください。