MaxFrame は、Alibaba Cloud によって開発された分散コンピューティングフレームワークであり、Pandas インターフェースと互換性があります。 MaxFrame は Python プログラミングインターフェースをサポートし、分散コンピューティングを自動的に実行します。 MaxCompute の膨大な計算リソースとデータを使用して、大量のデータを処理し、データ探索と分析を視覚化し、機械学習（ML）と AI に基づいて科学計算と開発を実行できます。
MaxFrame は、中国（北京）、中国（杭州）、中国（上海）、中国（深圳）、中国（成都）、中国（ウランチャブ）、中国（香港）、シンガポール、日本（東京）、インドネシア（ジャカルタ）の各リージョンでサポートされています。
MaxFrame による中国国外の新規リージョンのサポートに関する通知については、「2024 年 12 月 23 日（UTC + 08:00）: MaxFrame による中国国外の新規リージョンのサポートに関するお知らせ」をご参照ください。
背景情報
現在のデータドリブン時代において、ビッグデータ処理と AI の効率的な適用は、企業や研究機関にとって不可欠な要素となっています。 Python は、NumPy、Pandas、scikit-learn などのサードパーティ開発エコシステムとの統合に基づいて、データサイエンスの分野で強力なサポートを提供しています。 ただし、これらのエコシステムは、スタンドアロンまたはシングルコアのコンピューティング機能に限定されています。 分散ビッグデータ処理の要件を満たすことは困難です。
Python での効率的なビッグデータ処理と AI 開発に対する高まる要件を満たすために、MaxCompute は Python プログラミングインターフェースに基づく分散コンピューティングフレームワークである MaxFrame を提供しています。 MaxFrame を使用すると、膨大な量の MaxCompute 計算リソースを直接使用して分散処理を実行できます。 また、MaxFrame を MaxCompute Notebook やイメージ管理などの機能と組み合わせて使用して、MaxCompute 用の Python 開発エコシステムを構築することもできます。
MaxFrame の概要
MaxFrame は、Python プログラミングインターフェースをサポートし、MaxCompute の計算リソースとデータインターフェースを直接使用できる分散コンピューティングフレームワークです。 これにより、Python 開発者は、より効率的かつ便利な方法で大量のデータを処理し、AI モデルを開発できます。 MaxFrame は Pandas インターフェースと完全に互換性があり、分散処理を自動的に実装します。 MaxCompute の膨大な計算リソースとデータを使用して、データ処理、ビジュアルデータ探索、科学計算、および ML または AI ベースの開発を、より使い慣れた効率的な方法で完了できます。 次の図はアーキテクチャを示しています。
メリット
より使い慣れた開発習慣
MaxFrame は Python プログラミングインターフェースを提供し、Pandas オペレーターと完全に互換性があります。 オペレーターは、自動分散実行のために MaxCompute に送信されます。 このようにして、実行はオンプレミスマシンのリソースサイズに限定されません。
より効率的なデータ処理機能
MaxFrame を使用すると、MaxCompute クラスタで分散データコンピューティングを直接実行できます。 MaxFrame を実行する場合、データをオンプレミスマシンにプルする必要はありません。 これにより、ローカルデータ転送の必要がなくなり、ジョブ実行効率が向上します。
より便利な開発エクスペリエンス
MaxFrame は MaxCompute Notebook および DataWorks と統合されており、すぐに使えるインタラクティブな開発環境とオフラインスケジューリング機能を提供します。 MaxFrame を使用すると、Pandas、NumPy、XGBoost などの MaxCompute 組み込みイメージやコード開発のカスタムイメージを直接参照できます。 MaxFrame は Python 3.7 と Python 3.11 をサポートしています。 複雑な環境準備と互換性の問題を考慮する必要はありません。
シナリオ
MaxCompute MaxFrame は、次のシナリオに適しています。
Python エコシステム開発: MaxFrame は、すぐに使える Python 環境と迅速なデータ処理、データサイエンス、インタラクティブなデータ探索を必要とする開発者にとって理想的なソリューションを提供します。
大規模データ分析と処理: 処理するデータ量が大きく、処理ロジックが複雑な場合、MaxFrame を使用すると、MaxCompute の膨大なデータと計算リソースを直接使用して分散処理を実行できます。 これにより、データ分析、処理、マイニングの開発効率が大幅に向上します。
データと AI の開発: 分散データ開発とモデル開発プロセス全体がサードパーティまたはカスタムイメージに依存している場合、MaxFrame はデータ処理から AI モデルのトレーニングとデプロイまでのワークフローを完全にサポートします。
サポートされているツール
MaxFrame は、オンプレミス環境と DataWorks で使用できます。 詳細については、「準備」をご参照ください。
テクニカルサポート
MaxFrame の使用中に質問がある場合は、DingTalk グループ番号 37130012987 を検索して、公式の MaxFrame ユーザーサポート DingTalk グループに参加できます。MaxFrame チームが包括的なテクニカルサポートを提供します。