E-MapReduce (EMR) クラスタにデプロイされているオープンソースコンポーネントの実行時には、大量のログが生成されます。ログ管理機能と Log Service を併用することで、EMR コンソールでオープンソースコンポーネント用に生成されたログをクエリできます。
前提条件
制限事項
このトピックは、DataLake、Dataflow、オンライン分析処理 (OLAP)、DataServing クラスタ、および Hadoop クラスタにのみ適用されます。
EMR クラスタにデプロイされている次のサービスのログをクエリできます：Hadoop 分散ファイルシステム (HDFS)、YARN、YARN アプリケーション、Hive、Spark、JindoData、Tez、Flink、HBase、ZooKeeper、Kafka、Presto、Kudu、Impala、Flume、StarRocks、ClickHouse、Kyuubi、RSS、およびホスト。
注意事項
ログデータの保存およびログデータのインデックストラフィックに使用したリソースに対して、Log Service によって課金されます。詳細については、「課金対象項目」をご参照ください。
RAM ユーザーを使用している場合は、Alibaba Cloud アカウントを使用して Resource Access Management (RAM) コンソールにログインし、AliyunLogFullAccess ポリシーを RAM ユーザーにアタッチします。詳細については、「RAM ユーザーへの権限の付与」をご参照ください。
リアルタイムログのクエリ
［ログ］タブに移動します。
EMR コンソール にログインします。左側のナビゲーションウィンドウで、［EMR on ECS］をクリックします。
上部のナビゲーションバーで、クラスタが存在するリージョンとリソースグループをビジネス要件に基づいて選択します。
[EMR On ECS] ページで、目的のクラスタを見つけ、[クラスタ ID/名前] 列にあるクラスタ名をクリックします。
表示されたページで、[ログ] タブをクリックします。
ログ配布範囲を設定します。
[ログ] タブで、[ログ配布範囲の設定] をクリックします。
［ログ配布範囲の設定］ダイアログボックスで、ログを保存するプロジェクトを指定します。
［既存のプロジェクトを選択］または［プロジェクトの作成］を選択できます。
重要プロジェクトを指定した後、プロジェクトを変更することはできません。
ログを配布するサービスを選択し、[OK] をクリックします。
サービスのログを表示します。
[EMR サービスを選択してください] ドロップダウンリストから、ログを表示するサービスを選択します。
ログを分析します。
リアルタイムログクエリでは、時間範囲とクエリ文を指定できます。たとえば、特定の時間範囲内における指定されたフィールドの分布を分析できます。また、フィルタ条件を指定して、表示するアクセスレコードを検索することもできます。
ログ配布の無効化
ログ配布を無効にしても、プロジェクトは自動的に削除されません。ログ配布を無効にした後、Log Service コンソールにログインし、予期しない課金を防ぐために自動的に作成されたプロジェクトを削除します。詳細については、「プロジェクトの管理」をご参照ください。
ログデータが不要になった場合は、次の手順を実行してログ配布を無効にします。
[ログ] タブで、[ログ配布の無効化] をクリックします。
［ログ配布の無効化］メッセージで、[OK] をクリックします。
Log Service プロジェクトの管理
[ログ] タブで、[log Service コンソールに移動] をクリックして Log Service コンソールに移動します。Log Service コンソールでは、ログデータの保存期間を指定したり、Logstore 関連の構成を変更したりできます。
FAQ
Q：Log Service がアクティブになっており、必要な権限が付与されています。しかし、「リソースは利用できません。EMR コンソールでサービスログ収集を開いてください。」というメッセージが表示されます。どうすればよいですか？
A：ログ配布のパラメータが設定されていません。[ログ配布範囲の設定] をクリックして、ログ配布の設定を完了します。