すべてのプロダクト
Search

このプロダクト

    E-MapReduce:ログの管理

    ドキュメントセンター

    E-MapReduce:ログの管理

    最終更新日:Nov 09, 2025

    E-MapReduce (EMR) クラスターで実行されるオープンソースコンポーネントは、大量のログを生成します。ログ管理機能は EMR と Simple Log Service (SLS) を統合しており、EMR コンソールで直接オープンソースコンポーネントのログをクエリできます。

    前提条件

    制限事項

    • このトピックで説明する操作は、DataLake、DataFlow、Online Analytical Processing (OLAP)、DataServing、および Hadoop クラスターにのみ適用されます。

    • ログ配布は、HDFS、YARN、YARN アプリケーション、Hive、Spark、JindoData、Tez、Flink、HBase、ZooKeeper、Kafka、Presto、Kudu、Impala、Flume、StarRocks、ClickHouse、Kyuubi、RSS、およびホストのサービスでサポートされています。

    注意事項

    • Simple Log Service (SLS) は、標準料金でログストレージとインデックス付きトラフィックに対して課金します。詳細については、「課金項目」をご参照ください。

    • Resource Access Management (RAM) ユーザーを使用する場合、Alibaba Cloud アカウントで RAM コンソールにログインし、RAM ユーザーに AliyunLogFullAccess 権限を付与します。詳細については、「RAM ユーザーへの権限付与」をご参照ください。

    ログ配布の有効化

    1. ログ管理ページに移動します。

      1. EMR コンソールにログインします。左側のナビゲーションウィンドウで、[EMR on ECS] をクリックします。

      2. トップメニューバーで、必要に応じてリージョンとリソースグループを選択します。

      3. EMR on ECS ページで、対象クラスターの [クラスター ID] をクリックします。

      4. 左側のナビゲーションウィンドウで、[ログ管理] タブをクリックします。

    2. ログ配布範囲を設定します。

      1. [ログ管理] ページで、右上隅にある [ログ配布範囲の設定] をクリックします。

        log

      2. 表示されるダイアログボックスで、ログストレージ用のプロジェクトを設定します。

        既存のプロジェクトを選択するか、新しいプロジェクトを作成できます。

        重要

        プロジェクトは選択後に変更できません。

      3. ログを配布するサービスを選択し、[OK] をクリックします。

    3. サービスログを表示します。

      1. [EMR サービスを選択してください] ドロップダウンリストから、ログを表示したいサービスを選択します。

      2. ログ分析ページで、ログを分析します。

        時間範囲と検索文を指定して、リアルタイムクエリを実行できます。たとえば、一定期間におけるフィールドの分布を迅速に分析できます。また、特定の条件に基づいてアクセスレコードをフィルター処理またはカウントすることもできます。

    ログ配布の無効化

    重要

    リアルタイムログ配布を無効にしても、プロジェクトは自動的に削除されません。将来の課金を防ぐために、Simple Log Service コンソールに移動し、ログ配布用に設定したプロジェクトを削除してください。詳細については、「プロジェクトの管理」をご参照ください。

    ログデータが不要になった場合は、次の手順に従ってログ配布を無効にします。

    1. [ログ管理] ページで、右上隅にある [ログ配布の無効化] をクリックします。

    2. 表示されるダイアログボックスで、[OK] をクリックします。

    SLS プロジェクトの管理

    [ログ管理] ページで、[Simple Log Service コンソールへ移動] をクリックして Simple Log Service コンソールを開きます。SLS コンソールでは、ログの保持期間を設定したり、Logstore の構成を変更したりできます。

    ログフィールドの詳細

    フィールド名

    説明

    __source__

    ノードの内部 IP アドレス。

    __tag__:__hostname__

    ノードのホスト名。

    __tag__:__path__

    ログのストレージパス。

    __tag__:__user_defined_id__

    SLS がクラスターに対して定義するカスタム識別子。

    __tag__:_aliyun_user_id_

    Alibaba Cloud アカウントの UID。

    __tag__:_ecs_id_

    ECS インスタンスの ID。

    __tag__:_main_cluster_id_

    EMR クラスターの ID。

    __tag__:_role_

    ノード名。例: core-1-1。

    __topic__

    ログのトピック。ログコンテンツを分類するために使用されます。

    content

    生のログコンテンツ。通常は完全なログレコードです。

    level

    ログレベル。ログの重要度を示します。例: INFO、WARN、ERROR、DEBUG。

    message

    ログメッセージ。通常は解析後の主要な情報部分です。

    thread

    ログを生成したスレッド。

    time

    ログが生成された時間。

    アセットの詳細

    • カスタムプロジェクトと専用 Logstore

      カスタムプロジェクトを指定できます。その後、システムはプロジェクト内に emr_<EMR_service_name>_log という名前の専用 Logstore を作成します。たとえば、ホストサービスのログを配布する場合、対応する Logstore は emr_host_log です。

      重要

      • ログ管理機能を無効にする前に、EMR ログに関連する Simple Log Service プロジェクトと Logstore を削除しないでください。削除すると、保存されているログがパージされ、新しいログを Simple Log Service に配信できなくなります。

      • 以前に取り込みデータ量による課金方法を有効にしていた場合、システムはデフォルトでこの課金方法を使用する専用 Logstore を作成します。機能ごとの課金方法に切り替えるには、Logstore の構成を変更します。詳細については、「Logstore 構成の管理」をご参照ください。

    • 専用ダッシュボード

      専用ダッシュボードは提供されていません。クエリ結果を表示するためにカスタムダッシュボードを作成できます。詳細については、「ダッシュボードの作成」をご参照ください。

    課金の詳細

    • 現在、EMR はログ管理機能に対して課金していません。

    • Logstore が機能ごとの課金方法を使用する場合、EMR ログが Simple Log Service に配信された後、Simple Log Service はストレージ容量、読み取りトラフィック、リクエスト、データ変換、およびデータ配布に対して課金します。詳細については、「機能ごとの課金方法の課金項目」をご参照ください。

    • Logstore が取り込みデータ量による課金方法を使用する場合、EMR ログが Simple Log Service に配信された後、Simple Log Service は生の取り込みデータ量およびその他の項目に対して課金します。詳細については、「取り込みデータ量による課金方法の課金項目」をご参照ください。

    よくある質問

    Q: Simple Log Service が有効化され、必要な権限が付与されています。なぜ「このリソースではサービスログの収集が有効になっていません。EMR コンソールのクラスターのログ管理ページに移動して有効にしてください。」というメッセージが表示されるのですか？

    log

    A: このメッセージは、ログを配布するサービスが現在のクラスターに設定されていないために表示されます。[ログ配布範囲の設定] をクリックして設定を完了してください。