すべてのプロダクト
Search

このプロダクト

    E-MapReduce:EMR on ECS とは

    ドキュメントセンター

    E-MapReduce:EMR on ECS とは

    最終更新日:Sep 15, 2026

    EMR on ECS は、Alibaba Cloud Elastic Compute Service (ECS) インスタンス上で Apache Hadoop、Spark、Flink、Hive などのオープンソースのビッグデータコンポーネントを実行します。OSS-HDFS や JindoCache などの自社開発コンポーネント、DataWorks や Data Lake Formation (DLF) との統合も提供します。サブスクリプションと従量課金の両方の課金方法をサポートし、伸縮自在なビッグデータクラスターを数分で起動できます。

    重要

    E-MapReduce (EMR) は、Apache Hadoop、Spark、Flink、StarRocks などのコミュニティのオープンソースサービス上に構築され、それらを中心としたクラスター管理プラットフォームを提供します。EMR on ECS はセミマネージドです。クラスターリソースはお客様の Alibaba Cloud アカウントに属し、キャパシティプランニング、パラメータチューニング、トラブルシューティングなど、オープンソースサービスの日常の運用保守 (O&M) はお客様の責任となります。ワークロードの実行を維持するためには、社内のビッグデータ運用保守 (O&M) の専門知識を確保する必要があります。完全なサポート範囲については、「技術サポートの範囲と方法」をご参照ください。

    アーキテクチャ

    EMR は、Alibaba Cloud サービスとオープンソースコンポーネントを自社開発コンポーネントとともに統合し、クラスター管理機能を提供します。コンポーネントの種類とサポートされるユースケースの詳細については、「コンポーネント」および「利用シナリオ」をご参照ください。

    image

    Alibaba Cloud サービス

    • クラスターは ECS インスタンス上で実行されます。

    • データは Object Storage Service (OSS) に保存できます。

    • EMR は DataWorks と統合されています。DataWorks は EMR をジョブコンピューティングおよびデータストレージエンジンとして使用します。

    • EMR Workflow は、ワークフローとタスクをスケジューリングするためのフルマネージドサービスです。

    オープンソースコンポーネント

    EMR は、データ統合、データストレージ、リソース管理、コンピューティングエンジン、データ開発、データサービスの 6 つのカテゴリにわたるオープンソースのビッグデータコンポーネントをバンドルしています。

    自社開発コンポーネント

    EMR は、Alibaba Cloud インフラストラクチャ上でオープンソースの機能を拡張する 3 つの自社開発コンポーネントを提供します。

    • OSS-HDFS：Hadoop Distributed File System (HDFS) API と互換性のあるオブジェクトストレージソリューションです。ビッグデータコンピューティングタスクは、標準の HDFS プロトコルを介して OSS データに直接アクセスします。

    • JindoCache：データブロックをメモリにキャッシュして読み取りパフォーマンスを向上させ、基盤となるストレージシステムへの負荷を軽減する分散キャッシュソリューションです。

    • DLF-Auth：Data Lake Formation (DLF) のコンポーネントで、DLF のデータ権限管理を有効にします。

    クラスター管理

    • クラスターの作成、スケールアウト、オートスケーリングルールの設定。

    • クラスターとサービスの設定の管理、ノードとサービスに対する運用保守 (O&M) の実行。

    • 多次元メトリクス、クラスターレポート分析、アラート通知によるクラスターのヘルス状態の監視。

    メリット

    機能

    説明

    安定したオープンソースコンポーネント

    EMR の各リリースには、最新のオープンソースコンポーネントバージョンが同梱され、コンポーネント間のバージョン互換性の問題が解消されています。Alibaba Cloud のデプロイ環境は、標準のコミュニティビルドよりもはるかに高いパフォーマンスを提供します。さまざまなバージョンの EMR クラスターでサポートされているサービスの詳細については、「リリースバージョン」をご参照ください。

    使いやすさ

    サービスを手動でデプロイまたは起動することなく、数分でビッグデータコンピューティング環境を起動できます。数回のクリックでクラスターサイズを調整できます。インテリジェントな診断機能を備えた組み込みのモニタリングとアラート通知により、トラブルシューティングの時間が短縮されます。

    費用対効果

    使用したコンピューティングリソースに対してのみ料金が発生します。ホットデータとコールドデータをストレージ階層間で階層化することで、単価あたりのストレージコストを削減します。さまざまな運用保守 (O&M) ツール、インテリジェントな診断、ビッグデータプラットフォームにより、運用オーバーヘッドがさらに削減されます。

    スケーラビリティ

    負荷またはスケジュールに基づいて、クラスターリソースをスケールアップまたはスケールダウンできます。オートスケーリングは数分で完了し、複数の伸縮自在なリソースタイプをサポートします。

    緊密な統合

    クラスターを ECS にデプロイします。さまざまな ECS インスタンスタイプがサポートされています。詳細については、「ECS インスタンス」をご参照ください。DataWorks と統合してジョブスケジューリングを行います。データレイクシナリオでは、DLF を使用して複数のエンジンにわたるメタデータ管理を一元化します。

    AI 支援型 O&M

    組み込みの EMR AI アシスタントは、クラスターのランタイム状態とモニタリングデータを読み取り、質問への回答、パフォーマンスの診断、ヘルスチェックの実行、アラートのプッシュを行います。コンソールで対話するか、DingTalk または Lark グループに追加できます。詳細については、「EMR AI アシスタント機能の概要」をご参照ください。

    セルフマネージド Hadoop クラスターとの詳細な比較については、「EMR クラスターとセルフマネージド Hadoop クラスターの比較」をご参照ください。

    EMR AI アシスタント

    EMR AI アシスタントは、EMR に組み込まれたインテリジェントな運用保守 (O&M) サービスです。大規模言語モデルに支えられており、クラスターに接続してランタイム状態とモニタリングデータを読み取ってから結論を導き出します。そのため、その診断と推奨事項は、一般的なアドバイスではなく、実際のクラスターを反映したものになります。

    機能

    • パフォーマンス診断：クエリがタイムアウトしたり、レイテンシーが急上昇したりすると、アシスタントが原因を追跡し、修正案を推奨します。最近遅かったクエリを尋ねると、各クエリのボトルネック分析とともに上位の SQL ステートメントを返します。

    • ヘルスチェック：設定したスケジュールでクラスターの設定とランタイム状態を検査し、結果を報告します。

    • プロアクティブなアラート：日次レポートとアラート通知を有効にすると、アシスタントはクラスターを継続的に監視し、監視担当者がいなくても問題を DingTalk または Lark にプッシュします。

    • Q&A：自然言語で質問できます。複数ターンの会話により、単一セッション内で問題を掘り下げることができます。

    使用方法

    アシスタントは、コンソールの [チャットウィンドウ]、DingTalk または Lark グループ、API および SDK の 3 つの方法で利用できます。

    課金

    EMR on ECS のクラスター料金は、EMR サービス料金と ECS インスタンス料金で構成されます。クラスターで使用される他の Alibaba Cloud サービス (OSS、DLF、EMR Workflow など) の料金は、各サービスの独自の課金ルールに従います (課金の概要、課金)。

    EMR on ECS は、2 つの課金方法をサポートしています。

    • サブスクリプション：固定期間に基づいて前払いします。割引料金で事前にキャパシティを予約します。「サブスクリプション」をご参照ください。

    • 従量課金：後払いです。事前のコミットメントなしで、ワークロードの需要に応じてリソースを購入および解放します。「従量課金」をご参照ください。

    クラスターノードによって生成されるインターネットトラフィックは、クラスターの課金方法に関係なく、常に従量課金レートで課金されます。

    料金の詳細については、「課金」をご参照ください。

    次のステップ

    よくある質問

    Alibaba Cloud は E-MapReduce 以外に Presto サービスを提供していますか？

    現在、Alibaba Cloud は E-MapReduce (EMR on ECS) 以外に Presto サービスを提供する製品はありません。ビッグデータのクエリと分析に Presto エンジンを使用するには、EMR on ECS クラスターを使用し、Presto コンポーネントを含むリリースバージョンを選択してください。

    関連ドキュメント