E-MapReduce:EMR on ECS とは

アーキテクチャ

EMR は、Alibaba Cloud サービスとオープンソースコンポーネントを自社開発コンポーネントと共に統合し、クラスター管理機能を提供します。コンポーネントの種類と対応ユースケースの詳細については、「コンポーネント」および「利用シナリオ」をご参照ください。

Alibaba Cloud サービス

• クラスターは ECS インスタンス上で実行されます。

• データは Object Storage Service (OSS) に保存できます。

• EMR は DataWorks と統合されています。DataWorks は EMR をジョブのコンピューティングおよびデータストレージエンジンとして使用します。

• EMR Workflow は、ワークフローとタスクをスケジューリングするフルマネージドサービスです。

オープンソースコンポーネント

EMR は、データ統合、データストレージ、リソース管理、コンピューティングエンジン、データ開発、データサービスの 6 つのカテゴリにわたるオープンソースのビッグデータコンポーネントをバンドルしています。

自社開発コンポーネント

EMR は、Alibaba Cloud インフラストラクチャ上でオープンソースの機能を拡張する、3 つの自社開発コンポーネントを提供します。

• OSS-HDFS： Hadoop Distributed File System (HDFS) API と互換性のあるオブジェクトストレージソリューションです。ビッグデータコンピューティングタスクは、標準の HDFS プロトコルを介して OSS データに直接アクセスします。

• JindoCache：データブロックをメモリにキャッシュして読み取りパフォーマンスを向上させ、基盤となるストレージシステムへの負荷を軽減する分散キャッシュソリューションです。

• DLF-Auth： Data Lake Formation (DLF) のデータ権限管理を可能にする、DLF のコンポーネントです。

クラスター管理

• クラスターの作成、スケールアウト、オートスケーリングルールの設定を行います。

• クラスターとサービスの設定を管理し、ノードとサービスの運用保守 (O&M) を実行します。

• 多次元メトリクス、クラスターレポート分析、およびアラートを使用してクラスターの状態を監視します。

メリット

自己管理型 Hadoop クラスターとの詳細な比較については、「EMR クラスターと自己管理型 Hadoop クラスターの比較」をご参照ください。

EMR AI アシスタント

EMR AI アシスタントは、EMR に組み込まれたインテリジェントな運用保守サービスです。大規模言語モデルを基盤としており、クラスターに接続して実行時の状態と監視データを読み取ってから結論を導き出すため、その診断や推奨は一般的なアドバイスではなく、実際のクラスターの状態を反映したものになります。

機能

• パフォーマンス診断：クエリがタイムアウトしたり、レイテンシーが急上昇したりすると、アシスタントが原因を追跡し、修正案を推奨します。最近低速だったクエリを尋ねると、各クエリのボトルネック分析とともに上位の SQL ステートメントを返します。

• ヘルスチェック：設定したスケジュールでクラスターの設定と実行時の状態を検査し、検査結果を報告します。

• プロアクティブアラート：日次レポートとアラートを有効にすると、アシスタントはクラスターを継続的に監視し、監視担当者がいなくても問題を DingTalk または Lark にプッシュします。

• Q&A：自然言語で質問できます。対話を重ねることで、1 回のセッション内で問題を掘り下げられます。

使用方法

アシスタントは、コンソールの [チャットウィンドウ]、DingTalk または Lark グループ、API と SDK の 3 つの方法で利用できます。

• 開始するには、「EMR AI アシスタントを使ってみる」をご参照ください。

• すべての機能セットとサポートされているシナリオについては、「EMR AI アシスタント機能の概要」をご参照ください。

• エディションと課金の詳細については、「EMR AI アシスタントの課金の詳細」をご参照ください。

課金

EMR on ECS クラスターの料金は、EMR サービス料金と ECS インスタンス料金で構成されます。クラスターで使用される他の Alibaba Cloud サービス (OSS、DLF、EMR Workflow など) の料金は、各サービスの独自の課金ルール (「課金の概要」、「課金」) に従います。

EMR on ECS は、2 つの課金方法をサポートしています。

• サブスクリプション：固定期間に基づいて前払いします。割引料金で事前にキャパシティを予約します。

• 従量課金：使用後に支払います。事前のコミットメントなしで、ワークロードの需要に応じてリソースを購入および解放できます。

クラスターノードによって生成されるインターネットトラフィックは、クラスターの課金方法に関係なく、常に従量課金で請求されます。

料金の詳細については、「課金」をご参照ください。

次のステップ

• DataWorks で EMR を使用する：単一のインターフェイスからデータレイクを開発および管理できます。詳細については、「DataWorks on EMR を使ってみる」をご参照ください。

• ユースケースを確認する：詳細については、「利用シナリオ」をご参照ください。

• コンポーネントのバージョンを確認する：詳細については、「各バージョンで対応しているコンポーネント」をご参照ください。

• クラスターの監視と運用：詳細については、「クラスターの運用保守」および「クラスターの監視」をご参照ください。

関連ドキュメント

• 各バージョンで対応しているコンポーネント