E-MapReduce:YARN、MapReduce、および Spark ジョブのログの保存

前提条件

開始する前に、以下があることを確認してください。

• ログを保存するための OSS バケット

• (JindoFS の場合) OSS をバックエンドとする JindoFS 名前空間

ログストレージの仕組み

YARN は、ジョブのすべてのコンテナログをノードごとに単一のファイルに集約し、アプリケーションの完了時に、構成されたリモートログディレクトリに書き込みます。yarn.nodemanager.remote-app-log-dir パラメーターがこの送信先を制御します。

MapReduce は、Job History Server を使用して、完了したジョブのメタデータをアーカイブします。サーバーは、完了したジョブログを mapreduce.jobhistory.done-dir に書き込み、進行中のレコードを mapreduce.jobhistory.intermediate-done-dir にバッファーします。

Spark は、Spark History Server を使用してジョブ実行をリプレイします。spark_eventlog_dir で設定されたパスからイベントログを読み取ります。

構成リファレンス

次の表に、各ストレージバックエンドのパラメーターを一覧表示します。すべてのパラメーターを、クラスター作成時にカスタムソフトウェア構成として適用します。

クラスター作成時の構成の適用

EMR クラスターを作成する際に、構成をカスタムソフトウェア構成として渡します。コンソールには、次の図に示すように、この JSON 入力用の [カスタムソフトウェア構成] フィールドが用意されています。

JindoFS にログを保存

oss-bucket とディレクトリパスを、ご利用の実際の OSS バケットと希望するパスに置き換えます。

[
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces",
    "ConfigValue": "emr-jfs"
  },
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces.emr-jfs.oss.uri",
    "ConfigValue": "oss://oss-bucket/jindoFS"
  },
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces.emr-jfs.mode",
    "ConfigValue": "block"
  },
  {
    "ServiceName": "YARN",
    "FileName": "mapred-site",
    "ConfigKey": "mapreduce.jobhistory.done-dir",
    "ConfigValue": "jfs://emr-jfs/emr-cluster-log/jobhistory/done"
  },
  {
    "ServiceName": "YARN",
    "FileName": "mapred-site",
    "ConfigKey": "mapreduce.jobhistory.intermediate-done-dir",
    "ConfigValue": "jfs://emr-jfs/emr-cluster-log/jobhistory/done_intermediate"
  },
  {
    "ServiceName": "YARN",
    "FileName": "yarn-site",
    "ConfigKey": "yarn.nodemanager.remote-app-log-dir",
    "ConfigValue": "jfs://emr-jfs/emr-cluster-log/yarn-apps-logs"
  },
  {
    "ServiceName": "SPARK",
    "FileName": "spark-defaults",
    "ConfigKey": "spark_eventlog_dir",
    "ConfigValue": "jfs://emr-jfs/emr-cluster-log/spark-history"
  }
]

OSS にログを保存

oss_bucket とディレクトリパスを、ご利用の実際の OSS バケットと希望するパスに置き換えます。

[
  {
    "ServiceName": "YARN",
    "FileName": "mapred-site",
    "ConfigKey": "mapreduce.jobhistory.done-dir",
    "ConfigValue": "oss://oss_bucket/emr-cluster-log/jobhistory/done"
  },
  {
    "ServiceName": "YARN",
    "FileName": "mapred-site",
    "ConfigKey": "mapreduce.jobhistory.intermediate-done-dir",
    "ConfigValue": "oss://oss_bucket/emr-cluster-log/jobhistory/done_intermediate"
  },
  {
    "ServiceName": "YARN",
    "FileName": "yarn-site",
    "ConfigKey": "yarn.nodemanager.remote-app-log-dir",
    "ConfigValue": "oss://oss_bucket/emr-cluster-log/yarn-apps-logs"
  },
  {
    "ServiceName": "SPARK",
    "FileName": "spark-defaults",
    "ConfigKey": "spark_eventlog_dir",
    "ConfigValue": "oss://oss_bucket/emr-cluster-log/spark-history"
  }
]

クラスターリリース後のログの検索

クラスターリリース後、構成したパスで OSS から直接ログにアクセスします。