Spark クライアントの使用 - MaxCompute - Alibaba Cloud ドキュメントセンター

本ページから Spark クライアントをダウンロードした後、spark-submit コマンドを使用してタスクを送信できます。以下の表に、対応する Spark バージョンを示します。Spark 3 以降のバージョンをご利用いただくことを推奨します。

Spark-submit

Spark の bin ディレクトリには、クラスター上でアプリケーションを起動するための spark-submit スクリプトが含まれています。このスクリプトは、統一されたインターフェイスを通じてすべての Spark クラスターマネージャーをサポートするため、各マネージャーごとに特別な構成を行う必要はありません。詳細については、「クラスターマネージャー」および「Spark ドキュメント」をご参照ください。

Spark リリース一覧

リリースバージョン	ダウンロード	説明
Spark 3.5.2	Spark-3.5.2-odps0.49.0	同時読み取りをサポートします。ベクタライズされたテーブルの読み取りおよび書き込みに対して、全データの型をサポートします。レイヤー 3 モデルプロジェクトの読み取りおよび書き込みをサポートします。 K8s スケジューリングをサポートします。 Shuffle Service をサポートします。
Spark 3.4.2	Spark-3.4.2-odps0.48.0	同時読み取りをサポートします。ベクタライズされたテーブルの読み取りおよび書き込みに対して、全データの型をサポートします。レイヤー 3 モデルプロジェクトの読み取りおよび書き込みをサポートします。 K8s スケジューリングをサポートします。 Shuffle Service をサポートします。
Spark 3.1.1	Spark-3.1.1-odps0.47.0	ベクタライズされたテーブルの読み取りおよび書き込みに対して、全データの型をサポートします。レイヤー 3 モデルプロジェクトの読み取りおよび書き込みをサポートします。スキーマ進化テーブルの読み取りをサポートします。 OSS／OTS 外部テーブルの読み取りをサポートします。動的リソーススケーリングをサポートします。
Spark 2.4.5	Spark-2.4.5-odps0.47.0	ベクタライズされたテーブルの読み取りに対して、全データの型をサポートします。スキーマ進化テーブルの読み取りをサポートします。 OSS／OTS 外部テーブルの読み取りをサポートします。動的リソーススケーリングをサポートします。
Spark 2.3.0	Spark-2.3.0-odps0.47.0	ベクタライズされたテーブルの読み取りに対して、全データの型をサポートします。テーブル読み取りのパフォーマンスを向上させました。 odps-sdk を 0.30.12 から 0.35.9 にアップグレードしました。 StsAccount を使用したタスクの送信をサポートします。ローカルモードでの上書きをサポートします。 fastjson の依存関係を削除しました。より多くのパーティションキー列のデータ型のサポートを追加しました。パーティションキー列は、STRING、VARCHAR、CHAR、TINYINT、SMALLINT、INT、および BIGINT のデータの型をサポートします。