すべてのプロダクト
Search

このプロダクト

    E-MapReduce:ログ管理

    ドキュメントセンター

    E-MapReduce:ログ管理

    最終更新日:Jun 21, 2026

    E-MapReduce (EMR) のオープンソースコンポーネントは、動作中に多数のログを生成します。ログ管理機能は、EMR と Simple Log Service (SLS) を統合し、EMR コンソールでこれらのコンポーネントログを直接クエリできるようにします。

    前提条件

    • EMR コンソールでクラスターを作成済みであること。詳細については、「クラスターの作成」をご参照ください。

    • SLS をアクティブ化済みであること。

    制限事項

    • 本トピックは、DataLake、DataFlow、オンライン分析処理 (OLAP)、DataServing、DataLake (Hadoop) の各シナリオ向けクラスターにのみ適用されます。

    • ログシッピングは、hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host の各サービスでサポートされます。

    注意事項

    • SLS では、ログストレージやインデックストラフィックなどの課金項目に対して、標準料金で個別に課金されます。詳細については、「課金項目」をご参照ください。

    • RAM ユーザーを使用している場合は、Alibaba Cloud アカウントで RAM コンソールにログインし、RAM ユーザーに AliyunLogFullAccess 権限を付与してください。詳細については、「RAM ユーザーの権限管理」をご参照ください。

    ログシッピングの有効化

    1. ログ管理ページに移動します。

      1. E-MapReduce コンソールにログインします。

      2. 上部メニューで、必要に応じてリージョンとリソースグループを選択します。

      3. EMR on ECS ページで、対象クラスターの クラスターID をクリックします。

      4. Logs タブをクリックします。

    2. ログシッピング範囲を設定します。

      1. Logs ページの右上隅にある Set Log Shipping Scope をクリックします。

      2. 表示されたダイアログボックスで、ログストレージ用のプロジェクトを設定します。

        既存のプロジェクトを選択するか、新しいプロジェクトを作成できます。

        重要

        プロジェクトは一度選択すると変更できません。

      3. ログをシッピングするサービスを選択し、OK をクリックします。

    3. サービスログを表示します。

      1. [Please select EMR service] ドロップダウンリストから、ログを表示するサービスを選択します。

      2. ログページでログを分析します。

        時間範囲とクエリ文を指定して、リアルタイムクエリを実行できます。たとえば、特定のフィールドの一定期間における分布を迅速に分析したり、指定した条件に基づいてアクセスレコードをフィルタリングおよび集計したりできます。

    ログシッピングの無効化

    重要

    リアルタイムログシッピングを無効にしても、プロジェクトは自動的に削除されません。ログシッピングを無効にした後、不要な課金を避けるために、SLS コンソールに移動して、設定済みのプロジェクトを削除してください。詳細については、「プロジェクトの管理」をご参照ください。

    ログデータを保持する必要がなくなった場合は、次の手順に従ってログシッピングを無効にします。

    1. Logs ページの右上隅にある Disable Log Shipping をクリックします。

    2. 表示されたダイアログボックスで、[OK] をクリックします。

    SLS プロジェクトの管理

    Logs ページの右上隅にある Go to Log Service Console をクリックすると、SLS コンソールが開きます。SLS コンソールでは、ログの保存期間を設定したり、Logstore の設定を変更したりできます。

    ログフィールド

    パラメーター

    説明

    __source__

    ノードのプライベート IP アドレス。

    __tag__:__hostname__

    ノードのホスト名。

    __tag__:__path__

    ログの保存パス。

    __tag__:__user_defined_id__

    SLS がクラスターに対して定義するカスタム識別子。

    __tag__:_aliyun_user_id_

    Alibaba Cloud アカウントの UID。

    __tag__:_ecs_id_

    ECS インスタンスの ID。

    __tag__:_main_cluster_id_

    EMR クラスター ID。

    __tag__:_role_

    ノードの名前。たとえば、core-1-1。

    __topic__

    ログエントリを分類するために使用されるログトピック。

    content

    ログエントリの生の内容。

    level

    ログレベル。ログエントリの重大度を示します (INFO、WARN、ERROR、DEBUG など)。

    message

    主要なログメッセージ。通常、解析後に抽出されます。

    thread

    ログエントリを生成したスレッド。

    time

    ログエントリが生成されたタイムスタンプ。

    アセット

    • カスタムプロジェクトと専用 Logstore

      カスタムプロジェクトを指定できます。システムは、そのプロジェクト内に emr_<service_name>_log という名前の専用 Logstore を作成します。たとえば、host サービスのログをシッピングする場合、対応する Logstore は emr_host_log です。

      重要

      • ログ管理機能を無効にする前に、EMR ログ用の SLS プロジェクトおよび Logstore を削除しないでください。削除すると、既存のログが削除され、新しいログを SLS にシッピングできなくなります。

      • 以前にデータ量課金の課金方法を使用していた場合、システムはデフォルトでこの方法を使用する専用 Logstore を作成します。機能課金の課金方法に切り替えるには、Logstore の設定を変更する必要があります。詳細については、「Logstore 設定の変更」をご参照ください。

    • 専用ダッシュボード

      専用ダッシュボードは提供されていません。クエリ結果を表示するためのカスタムダッシュボードを作成できます。詳細については、「ダッシュボードの作成」をご参照ください。

    課金

    • ログ管理機能は、現在 EMR では無料で提供されています。

    • Logstore が機能課金の課金方法を使用している場合、SLS は、ストレージスペース、読み取りトラフィック、リクエスト、データ処理、データシッピングなどの課金項目に基づいて、シッピングされた EMR ログに対して課金します。詳細については、「機能課金の課金項目」をご参照ください。

    • Logstore がデータ量課金の課金方法を使用している場合、SLS は、取り込まれた生データの量に基づいて、シッピングされた EMR ログに対して課金します。詳細については、「データ量課金の課金項目」をご参照ください。

    よくある質問

    Ｑ： SLS をアクティブ化し、必要な権限を付与しました。それでもコンソールに "Service log collection is not enabled for this resource. Go to the Log Management page of the cluster in the EMR console to enable it." というメッセージが表示されるのはなぜですか?

    Ａ： 現在のクラスターでは、ログシッピング用のサービスが設定されていません。右上隅にある Set Log Shipping Scope をクリックして、設定を完了してください。