Flink 完全管理リソースを PAI ワークスペースに関連付けることで、Alibaba Cloud Realtime Compute for Apache Flink を使用して大規模な分散モデルトレーニングジョブを実行できます。Alibaba Cloud Realtime Compute for Apache Flink は、Apache Flink 上に構築されたエンドツーエンドのリアルタイムビッグデータ分析プラットフォームであり、サブ秒の応答時間でデータを処理できます。
前提条件
開始する前に、以下をご確認ください。
Alibaba Cloud アカウントが必要です。お持ちでない場合は、まずアカウントを作成してください。
ご利用のアカウントタイプに必要な権限 (下記の「権限」をご参照ください)
権限
Alibaba Cloud アカウント (root ユーザー) は、追加の権限付与なしですべての操作を実行できます。RAM ユーザーが操作を実行するには、操作に応じて特定の権限が必要です。
| 操作 | 必要な権限 |
|---|---|
| Flink 完全管理リソースの購入 | AliyunStreamFullAccessRAM ユーザーへの権限付与 |
| Flink へのジョブの送信 | Flink コンソールの名前空間におけるオーナーロール。詳細については、「アカウントに名前空間で操作を実行する権限を付与する |
| Flink 完全管理リソースとワークスペースの関連付け | ワークスペースの Administrator ロール |
| ビジュアルモデリング (Designer) でのモデルトレーニングの実行 | ワークスペースのアルゴリズム開発者ロール |
ワークスペースのロール管理については、「ワークスペースのメンバーを管理する」をご参照ください。
Flink 完全管理リソースの購入
PAI コンソールにログインします。
左側のナビゲーションウィンドウで、[AI コンピューティングリソース] > [リソースクォータ] を選択します。[リソースクォータ] ページで、[フルマネージド Flink リソース] タブをクリックします。
(初回アクティベート時のみ) [アクティベート] をクリックし、購入プロセスを完了します。セットアップ手順については、「Flink 完全管理のアクティベート」をご参照ください。
説明Realtime Compute for Apache Flink をすでにアクティベートしている場合は、このステップをスキップしてください。
[Fully Managed Flink] タブで、[Resources] をクリックします。
Realtime Compute for Apache Flink コンソールで、[購入] をクリックします。購入オプションについては、「Flink 完全管理のアクティベート」をご参照ください。
購入後、[Fully Managed Flink Resources] タブにリソースの詳細が表示されます。
Flink 完全管理リソースとワークスペースの関連付け
以下のいずれかの方法で、Flink リソースをワークスペースに関連付けます。
ワークスペース作成時：ワークスペースの作成時にリソースグループを追加します。「ワークスペースの作成と管理」をご参照ください。
既存のワークスペースの場合：詳細については、「ワークスペースのコンピューティングリソースの管理」をご参照ください。
PAI コンソールにログインします。
左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。ワークスペースリストページで、対象のワークスペース名をクリックします。
ワークスペースの詳細ページの右側で、[ワークスペースの設定] > [コンピューティングリソースの設定] を選択します。[フルマネージド Flink リソース] タブで、リソースを関連付けます。
ビジュアルモデリング (Designer) でのモデルトレーニング
サポートされるコンポーネント
以下のコンポーネントタイプは、Flink 完全管理リソース上で実行されます。
| コンポーネントタイプ | 詳細 |
|---|---|
| Alink フレームワークコンポーネント | [Beta Algorithm] フォルダ内のコンポーネントを除くすべてのコンポーネント。各 Alink コンポーネントには紫色のドットが付いています。 |
| カスタムアルゴリズムコンポーネント | 「PyAlink スクリプト」をご参照ください。 |
トレーニングパイプラインの実行
Flink 完全管理リソースに関連付けられたワークスペースに移動します。[ビジュアルモデリング（Designer）] ページで、空白のパイプラインを作成します。詳細については、「カスタムパイプラインの作成」をご参照ください。
サポートされている Alink コンポーネントまたはカスタムコンポーネントをキャンバスにドラッグします。
右側のペインの [パイプラインプロパティ] タブで、[Alink または FlinkML で優先されるデフォルトリソース] を [Flink] に設定します。
重要Alink コンポーネントをグループとして実行するには、[Alink で優先されるデフォルトリソースタイプ] を [Flink] に設定します。このパラメーターが設定されていない場合、Alink グループは独自のデフォルトリソースタイプを使用します。「Alink コンポーネント」をご参照ください。
以下のいずれかのアプローチでコンポーネントを実行します。
アプローチ 説明 リファレンス 単一コンポーネント PyAlink スクリプトコンポーネントなど、Flink 完全管理リソースを使用するコンポーネントを 1 つ実行します。 PyAlink スクリプト 混合リソースタイプ Flink ベースのコンポーネントと Flink 以外のコンポーネントを単一のパイプラインで組み合わせます。たとえば、因子分解マシン (FM) レコメンデーションモデルには、FM Train および FM Prediction コンポーネント (Flink) と、Binary Classification Evaluation コンポーネント (MaxCompute) を含めることができます。 Alink フレームワークに基づく FM レコメンデーションモデルの作成 複数の Flink コンポーネント 複数の Flink ベースのコンポーネントを一度に実行します。 Alink コンポーネント コンポーネントの実行が完了したら、キャンバス上でそのコンポーネントを右クリックし、[ログの表示] を選択して出力を確認します。[ログ] タブで、Ververica Platform (VVP) のリンクをクリックして、コンポーネントのコンピューティングの詳細を表示します。
