DataWorks は PAI Designer ノードを提供しており、Machine Learning Designer(ビジュアルモデリング)のパイプラインを読み込んで、定期的なスケジュールで実行します。このノードタイプを使用すると、既存の PAI パイプラインを DataWorks のスケジューリングワークフローに統合できます。
前提条件
開始する前に、以下の条件を満たしていることを確認してください。
-
DataWorks が PAI へのアクセス権限を有していること。 権限付与ページから数回のクリックで権限付与を完了します。これにより、AliyunServiceRoleForDataworksEngine サービスリンクロールが作成されます。詳細については、「ロール 1:AliyunServiceRoleForDataworksEngine」をご参照ください。ワンクリック権限付与を実行できるのは、Alibaba Cloud アカウント(root ユーザー)または AliyunDataWorksFullAccess ポリシーがアタッチされた RAM ユーザーのみです。
-
DataWorks 内に PAI Designer ノードが作成済みであること。
手順 1:タスクの開発
PAI Designer ノードの構成タブで、パイプラインを設定し、スケジューリングを構成します。
パイプラインの読み込みまたは作成
既存のパイプラインを読み込むには、構成タブでパイプライン名を検索します。検索結果に表示されるには、事前に PAI でパイプラインを作成しておく必要があります。
構成タブから直接パイプラインを作成する場合は、以下のいずれかの方法を選択します。
| 方法 | 説明 |
|---|---|
| 空白パイプライン | コンポーネントを追加し、ドラッグ&ドロップでモデルをゼロから構築します。「空白パイプラインの作成」をご参照ください。 |
| プリセットテンプレート | 組み込みテンプレートから開始し、コンポーネントやその設定を変更します。「プリセットテンプレートからのパイプライン作成」をご参照ください。 |
| カスタムテンプレート | ワークスペースのメンバーが以前に保存したカスタムテンプレートとしてのパイプラインを使用します。「カスタムテンプレートからのパイプライン作成」をご参照ください。 |
スケジューリングパラメーターの構成
スケジューリングパラメーターを使用すると、ランタイム時に動的な値をノードコードに渡すことができます。DataWorks は、ノードコード内の各変数参照を、プロパティ タブで定義した値に自動的に置換します。この置換は、ノードが実行されるたびに自動的に行われます。
スケジューリングパラメーターを構成するには、以下の手順を実行します。
-
右側のナビゲーションウィンドウで、プロパティ をクリックします。
-
ノードコード内で、
${Variable}形式で変数を定義します。--command='echo '\''${Variable}'\'';' \ --特定のスケジューリングパラメーターをこの変数に割り当てることができます。 -
スケジューリングパラメーター セクション(プロパティ タブ内)で、変数に値を割り当てます。
-
保存 をクリックします。
サポートされる変数フォーマットについては、「スケジューリングパラメーターのサポートフォーマット」をご参照ください。
手順 2:ノードのデプロイとモニター
-
ノードをデプロイします。「ノードのデプロイ」を参照してください。
-
デプロイ後、Prod Online 下の O&M 実行 をクリックして、オペレーションセンターでノードを開き、実行ステータスを確認します。「オペレーションセンターの使い始め」をご参照ください。
PAI Designer ノードの手動実行
PAI Designer ノードは DataStudio 内に実行エントリポイントを有していません。手動で実行をトリガーするには、開発環境のオペレーションセンターに移動し、ノード O&M セクションで 自動トリガー型ノード O&M > 自動トリガー型ノード を選択します。対象のノードを見つけたら、[操作] 列の テスト または データ再集計 をクリックします。