MaxCompute:イメージ管理

背景情報

MaxComputeは、ユーザー定義関数 (UDF) と、PyODPSやMaxFrameなどのPython開発機能を提供します。 JavaまたはPython UDFを作成して、さまざまな開発要件を実装できます。 開発では、環境を準備し、依存するサードパーティパッケージをパッケージ化してダウンロードし、それらのパッケージをMaxComputeプロジェクトにアップロードする必要があります。 MaxComputeは、セキュアコンテナ内でUDFを実行し、依存関係をコンテナのランタイム環境にマウントします。

開発プロセス中にいくつかの問題を解決する必要があります。

• ジョブが多数の外部依存関係に依存している場合は、依存するすべてのサードパーティパッケージを検索し、パッケージ化してMaxComputeプロジェクトにアップロードする必要があります。 プロセスは複雑であり、使用コストが高い。

• 異なるMaxComputeプロジェクト間で同じサードパーティパッケージの依存関係を繰り返しアップロードすると、管理コストとストレージオーバーヘッドが増加します。

• 多数の依存関係パッケージバージョンと統一された開発環境の欠如は、メンテナンスを複雑にし、環境の不一致により開発の競合を引き起こす可能性があります。

これらの問題に対処するために、MaxComputeはイメージ管理機能を提供し、事前定義されたイメージをジョブランタイム環境として使用できるようにすることで、SQL UDFおよびPythonの開発プロセスを簡素化し、開発を加速し、サービスの応答性とパフォーマンスを向上させます。

機能

• 豊富な組み込みイメージ

  MaxComputeは、Pandas、NumPy、Scikit-learn、XGBoostなどの科学コンピューティングとデータ分析を含む組み込みイメージを導入しています。 これらの画像は、データ分析およびデータマイニングのシナリオで使用できます。 この利便性は、面倒な環境セットアップ、パッケージング、およびアップロードの必要性を回避します。 組み込みイメージの詳細については、「組み込みイメージ」をご参照ください。

• 柔软なカスタムイメージ

  必要に応じてカスタムイメージをアップロードおよび管理できます。これにより、テナント内での共有がサポートされ、管理およびリソースストレージのコストが削減され、一貫性のない環境やバージョンによる開発の競合が防止されます。 カスタムイメージの詳細については、「カスタムイメージ」をご参照ください。

• 効率的で便利な使い方

  SQLでUDFを呼び出すときにFlagパラメーターを指定することで、イメージをジョブに適用できます。 PyODPS (バージョン0.11.5以降のみサポート) およびMaxFrame開発では、必要なイメージをパラメーターで指定することもできます。 詳細な使用方法については、「シナリオプラクティス」をご参照ください。