AI プラットフォーム (PAI) はPAI を提供します。これらのリソースを購入してワークスペースに関連付けることで、大規模な分散モデルトレーニングを行うことができます。このトピックでは、フルマネージドの Flink リソースを有効化、購入し、モデルのトレーニングに使用する方法について説明します。
フルマネージド Flink リソース
Realtime Compute for Apache Flink は、Apache Flink をベースに構築されたオールインワンのリアルタイムビッグデータ分析プラットフォームです。サブ秒のレイテンシでエンドツーエンドの分析機能を提供します。フルマネージド Flink リソースの詳細については、「フルマネージド Flink リソースの概要」をご参照ください。
前提条件
開始する前に、次の要件が満たされていることを確認してください。
Alibaba Cloud アカウントが必要です。お持ちでない場合は、まずアカウントを作成してください。
アカウントと権限の要件
Alibaba Cloud アカウント (推奨)：メインアカウントを使用すると、追加の承認なしですべての操作を実行できます。
RAM ユーザー：
フルマネージド Flink リソースを購入するには、RAM ユーザーに
AliyunStreamFullAccess権限を付与する必要があります。詳細については、「コンソールでのユーザーの承認」をご参照ください。フルマネージド Flink リソースにトレーニングタスクを送信するには、Flink 開発コンソールのプロジェクトスペース内で RAM ユーザーに所有者ロールを追加する必要があります。詳細については、「開発コンソールの承認」をご参照ください。
フルマネージド Flink リソースをワークスペースに関連付けるには、そのワークスペースで RAM ユーザーに管理者ロールを付与する必要があります。ビジュアルモデリングでこれらのリソースをモデルトレーニングに使用するには、RAM ユーザーにアルゴリズム開発者ロールを付与する必要があります。詳細については、「メンバーの管理」をご参照ください。
フルマネージド Flink リソースの購入
PAI コンソールにログインします。
左側のナビゲーションペインで、AI Computing Resources > Resource Quota をクリックします。Resource Quota ページで、Fully Managed Flink Resources タブをクリックします。
任意: Fully Managed Flink Resources タブで、Activate をクリックします。
説明フルマネージド Flink リソースを初めて使用する場合は、このステップを実行する必要があります。「Realtime Compute for Apache Flink の有効化」の手順に従って、リソースを購入してください。
追加でフルマネージド Flink リソースを購入する場合は、次のステップに進んでください。
「フルマネージド Flink リソース」タブで、Resource Management をクリックします。
Realtime Compute コンソールページで、[Purchase] をクリックします。フルマネージド Flink リソースの購入の詳細については、「Realtime Compute for Apache Flink の有効化」をご参照ください。
購入が完了したら、Platform for AI (PAI) コンソールの [Resource Quota] ページの [Fully Managed Flink Resources] タブに戻ります。ここでは、作成された Flink リソースグループを確認し、使用済みおよび割り当て済みの CU を確認し、ステータスが [Running] であることを確認できます。また、[Actions] 列の [Flink Console] をクリックして、管理ページを開くこともできます。
フルマネージド Flink リソースとワークスペースの関連付け
PAI でフルマネージド Flink リソースを使用するには、次の 2 つの方法のいずれかでワークスペースに関連付けることができます。
ワークスペースの作成時に、リソースグループを追加して関連付けます。詳細については、「ワークスペースの作成と管理」をご参照ください。
既存のワークスペースに Flink コンピューティングリソースを追加するには：
PAI コンソールにログインします。
左側のナビゲーションペインで、Workspaces をクリックします。[ワークスペース] ページで、目的のワークスペースの名前をクリックします。
ワークスペース詳細ページの右側で、Configure Workspace > Configure Computing Resource を選択します。Fully Managed Flink Resources タブで、フルマネージド Flink リソースを関連付けます。詳細については、「ワークスペースのコンピューティングリソースを管理する」をご参照ください。
ビジュアルモデリングでの Flink リソースを使用したモデルトレーニング
フルマネージド Flink リソースに関連付けられたワークスペースに移動し、ビジュアルモデリングページで空のパイプラインを作成します。詳細については、「カスタムパイプラインの作成」をご参照ください。
フルマネージド Flink リソースをサポートするコンポーネントをキャンバスにドラッグします。例：
紫色のアイコンでマークされた、Alink フレームワークのすべてのコンポーネント (Beta コンポーネントを除く)。例：[FM Train]、[FM Prediction]、[Swing Train]、[Swing Recommend]、[IForest Anomaly Detection]、[Local Outlier Factor Anomaly Detection]、[One-Class SVM Anomaly Detection] などのアルゴリズムコンポーネント。
カスタムアルゴリズムコンポーネント (PyAlink Script)。
キャンバスの右側にあるPipeline Attributesタブで、Pipeline Attributesリストから Flink を選択します。
重要Alink コンポーネントをグループとして実行する場合は、[Default Resource Type Preferred by Alink] も Flink に設定する必要があります。そうしないと、グループはデフォルトのリソースタイプを使用します。Alink グループのリソースタイプの設定方法については、「Alink コンポーネント」をご参照ください。
次のいずれかの方法でコンポーネントを実行します。
フルマネージド Flink リソースに依存する単一のコンポーネントを実行します。例：PyAlink Script コンポーネントを実行します。詳細については、「PyAlink Script」をご参照ください。
フルマネージド Flink リソースに依存するコンポーネントと、他のリソースタイプに依存するコンポーネントを連結します。例：「Alink フレームワークを使用した FM ベースのレコメンデーション」チュートリアルでは、FM Train コンポーネントと FM Prediction コンポーネントはフルマネージド Flink リソースに依存し、バイナリ分類評価コンポーネントは MaxCompute リソースに依存します。
フルマネージド Flink リソースに依存するコンポーネントをバッチで実行します。詳細については、「Alink コンポーネント」をご参照ください。
コンポーネントが実行された後、パイプラインでコンポーネントを右クリックし、View Log を選択します。
詳細については、ログパネルの VVP ログリンクをクリックしてください。