MaxCompute は、データ分析、科学計算、機械学習のための組み込みイメージ (Pandas、Numpy、Scikit-learn、Xgboost など) を提供します。これらのイメージを直接参照することで、開発プロセスを簡素化できます。本トピックでは、組み込みイメージの表示方法と使用方法について説明します。
組み込みイメージを表示する
MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、 を選択します。
イメージ管理 ページで、組み込みイメージ タブをクリックします。
MaxCompute の組み込みイメージのリストと、そのバージョン情報を表示できます。
組み込みイメージの詳細
カテゴリ | イメージ名 | 組み込みサードパーティパッケージとバージョン | プログラミング言語とバージョン | 説明 |
ベースイメージ | common | numpy==1.21.6 pandas==1.3.5 | Python 3.7 | ベースイメージです。Pandas や NumPy などの基本的なサードパーティパッケージが含まれています。 |
numpy==1.26.4 pandas==2.2.2 | Python 3.11 | |||
ベースイメージ | ubuntu | ubuntu==20.04 | Python 3.7 Python 3.11 | ベースとなるオペレーティングシステム (OS) イメージです。ユーザー定義関数 (UDF) 開発や MaxFrame フレームワークとの統合でシームレスに使用できます。これにより、クロスプラットフォームのコードポータビリティと実行パフォーマンスが向上します。 |
科学計算 | scipy | scipy==1.7.3 | Python 3.7 | 統計分析や線形代数など、高度な科学計算機能を提供する科学計算ライブラリです。 |
scipy==1.13.0 | Python 3.11 | |||
統計モデリング | statsmodels | statsmodels==0.13.5 | Python 3.7 | 統計モデリング |
statsmodels==0.14.1 | Python 3.11 | 統計モデリングと計量経済学のためのライブラリです。 | ||
機械学習 | sklearn | scikit-learn==1.0.2 | Python 3.7 | 分類、回帰、クラスタリングなどの機械学習アルゴリズムを提供します。 |
scikit-learn==1.4.2 | Python 3.11 | |||
xgboost | xgboost==1.6.2 | Python 3.7 | 分散勾配ブースティングライブラリです。 | |
xgboost==2.0.3 | Python 3.11 | |||
pytorch | torch==1.13.1 | Python 3.7 | 自然言語処理。 | |
torch==2.3.0 | Python 3.11 | |||
tensorflow | tensorflow==2.11.0 | Python 3.7 | さまざまな機械学習アルゴリズムのプログラミングに使用されます。 | |
tensorflow==2.16.1 | Python 3.11 |
すべての組み込みイメージには、numpy や pandas などのベースイメージの開発パッケージが含まれています。また、cloudpickle 2.2.1、pickle 5.0.12、requests 2.31.0、setuptools 68.0.0 などの共通の基本開発パッケージも含まれています。
組み込みイメージを使用する
MaxCompute SQL ユーザー定義関数 (UDF)、PyODPS、または MaxFrame 開発で組み込みイメージを使用できます。
競合を避けるために、各開発ジョブにはイメージを 1 つだけ指定してください。
UDF を呼び出す際、SQL セッションレベルでフラグを使用して、依存するイメージと Python バージョンを指定します。次のコマンドを使用します。
-- Python 3.11 を使用する場合は、odps.sql.python.version=cp311 を設定します。 set odps.sql.python.version=cp37; set odps.session.image = <image_name>;PyODPS 開発では、execute または persist メソッドの image パラメーターを使用して既存のイメージを指定します。例については、「PyODPS 開発でのイメージの使用」をご参照ください。次のコマンドを使用します。
image='<image_name>'説明PyODPS 開発でイメージを参照するには、PyODPS を V0.11.5 以降のバージョンにアップグレードしてください。
MaxFrame 開発では、現在のジョブに既存のイメージを指定します。関連するパラメーターは次のとおりです。
config.options.sql.settings = { "odps.session.image": "<image_name>" }