MaxFrame での GU リソースの使用 - MaxCompute - Alibaba Cloud ドキュメントセンター

本トピックでは、MaxFrame で GU リソースを使用する方法と、開発のベストプラクティスについて説明します。MaxFrame と GU クォータを使用することで、MaxCompute 上で GPU ベースのタスクを実行できます。これらのタスクには、マルチモーダルデータ処理やモデル推論などが含まれます。

機能紹介

MaxFrame は、MaxCompute の分散コンピューティングフレームワークであり、Python プログラミングインターフェイスを提供します。Python のデータ処理における 2 つの一般的な問題、つまりパフォーマンスボトルネックと非効率なデータ移動を解決します。MaxFrame を使用すると、MaxCompute 上のテラバイトまたはペタバイト級のビッグデータを直接処理・分析し、視覚的なデータ探索、科学計算、機械学習、AI 開発などのタスクを実行できます。これにより、Python エコシステムにおける効率的なビッグデータ処理と AI 開発に対する高まる需要に対応できます。
GU (GPU ユニット) は、MaxCompute で GPU タスクを実行するための計算ユニットです。GU は、ディープラーニング推論、画像・音声処理、大規模言語モデル (LLM) のオフライン推論などのシナリオに適しています。詳細については、「MaxCompute AI 計算リソース」をご参照ください。

設定項目

MaxFrame のデフォルト実行エンジンの優先順位設定

Distributed Python Engine (DPE) は、GPU をサポートする分散 Python コンピュートエンジンです。GPU タスクが DPE に確実にスケジュールされるようにするには、engine_order の先頭に "DPE" を配置します。

from maxframe.config import options
options.dag.settings = {
    "engine_order": ["DPE", "MCSQL"]
}

GU リソースの使用

方法 1：グローバルセッションレベルでの GU クォータの指定
デフォルトでは、グローバルセッションレベルの GU クォータは、MaxFrame AI 関数にのみ有効です。通常のユーザー定義関数 (UDF) の場合は、手動で GU クォータを指定する必要があります。
```
options.session.gu_quota_name = "xxxxxx"  # GU クォータ
```
方法 2：UDF レベルでの GU パラメーターの指定
```
@with_running_options(engine="dpe", gu=8, gu_quota="xxxxx")
def vad_call(batch, config_path: str):
    ...
```
- engine="dpe"：DPE を使用するように指定します。
- gu=8：各インスタンスに 8 GU (8 カード) を割り当てます。
- gu_quota="os_xxxx"：使用する GU クォータグループを指定します。