すべてのプロダクト
Search

このプロダクト

    E-MapReduce:2026年4月15日リリース

    ドキュメントセンター

    E-MapReduce:2026年4月15日リリース

    最終更新日:Apr 21, 2026

    このトピックでは、2026年4月15日にリリースされた EMR Serverless Spark の機能更新について説明します。

    概要

    2026年4月15日、Serverless Spark の新バージョンがリリースされました。このリリースでは、プラットフォーム管理、パフォーマンス最適化、エンジン機能に関する更新が行われています。

    プラットフォームの更新

    カテゴリ

    更新内容

    関連ドキュメント

    データカタログ

    このリリースでは、StarRocks への接続がサポートされるようになりました。データカタログに StarRocks を追加して、そのデータにアクセスし、クエリを実行できます。

    データカタログの管理

    Livy を介して送信されたジョブは、データカタログに追加したすべての DLF カタログにアクセスできるようになりました。これにより、複数のデータソースを使用するジョブの構成が簡素化されます。

    データ開発

    タスクの優先度を設定できるようになりました。これにより、リソースが限られている場合に重要なタスクに高い優先度を割り当て、最初にスケジュールされるようにすることで、コア業務の安定性を維持できます。

    説明

    この機能は、許可リストに登録されたキューでのみ利用可能です。有効にするには、チケットを送信して Serverless Spark チームにご連絡ください。

    タスクの優先度

    AI Center

    AI Function が `qwen3.5-plus`、`qwen3.6-plus`、および `tongyi-embedding-vision-plus` モデルをサポートするようになりました。この機能強化により、画像、動画、テキストなどのマルチモーダルデータの推論、ベクトル化、インテリジェントな分析が可能になります。

    AI Center (ベータ版)

    セッション管理

    DuckDB セッションを使用して、プラットフォーム上で直接、軽量なデータクエリと分析を実行できるようになりました。これは、中小規模のデータセットの対話的な探索や迅速な分析に最適です。

    DuckDB セッションの管理

    クラスター管理

    新しいリソースタイプとして Ray クラスターが利用可能になりました。これらを作成・管理することで、マルチモーダルデータ処理と分散 Python 並列計算をサポートできます。

    Ray クラスターの使用

    Skills

    新しい EMR Serverless Spark 管理 Skill が利用可能になりました。自然言語を使用してワークスペースや Spark ジョブを管理できるため、技術的な障壁が低減し、データ開発の効率が向上します。

    alibabacloud-emr-spark-manage

    その他の最適化

    ダブルクリックまたは右クリックで SparkSQL クエリの結果をコピーできるようになりました。

    エンジンの更新

    バージョン

    説明

    esr-5.2.0 (Spark 4.0.1, Scala 2.13)

    esr-4.8.0 (Spark 3.5.2, Scala 2.12)

    esr-3.7.0 (Spark 3.4.4, Scala 2.12)

    • Fusion

      • Hybrid Shuffle の安定性とパフォーマンスを向上。

      • Scan Sharing をサポート。

      • Window 演算子を最適化。

      • DS V2 Update および Delete をサポート。

      • 書き込み時にファイルサイズによるテーブル分割を有効化。

      • DuckDB セッションをサポート。

    • データレイク

      • [DLF] 行レベルの権限をサポート。

      • [Paimon] Variant をサポート。

      • [Delta] バージョン 3.3.2 にアップグレードし、Delta Sharing をサポート。

      • [Fluss] Spark Batch および Streaming による読み取りと書き込みをサポート。

    • Spark フレームワーク & エコシステム

      • StarRocks カタログをサポート。

      • Spark 4 が StarRocks コネクタをサポート。

      • Holo Connector の安定性を向上。

      • DML ステートメントは、影響を受けた行数を返すようになりました。

      • ジョブのコミット時に、distcp が送信先の古いファイルを削除可能に。

      • Spark Streaming が Fluss への読み書きをサポート。

    Ray engine err-1.0.0 (Ray 2.47.1, Python 3.12)

    • Ray

      • DLF をサポート。

      • 自動スケーリングをサポート。

      • 認証と権限付与のために Kerberos と Ranger のサポートを追加。

      • GPU サポートを追加。

    • Daft

      • Ray 上の Daft をサポート。

    Celeborn

    • 安定性の向上

      • スケーリングポリシーを最適化。

      • 極端な状況でスレッドが予期せず終了する問題を修正。