すべてのプロダクト
Search

このプロダクト

    E-MapReduce:Jindoジョブコミッターの使用

    ドキュメントセンター

    E-MapReduce:Jindoジョブコミッターの使用

    最終更新日:Apr 11, 2025

    このトピックでは、JindoOssCommitterとも呼ばれるJindoジョブコミッターの使用方法について説明します。

    背景情報

    ジョブコミッターは、MapReduceやSparkなどの分散コンピューティングフレームワークの基本コンポーネントです。分散タスクの書き込み操作のデータ整合性問題を処理するために使用されます。

    Jindoジョブコミッターは、Alibaba Cloud E-MapReduce（EMR）チームによって開発された効果的なジョブコミッターです。 OSSシナリオでのジョブコミット専用です。 Jindoジョブコミッターは、OSSのマルチパートアップロードおよびファイルシステムカスタマイズ機能と組み合わされています。 Jindoジョブコミッターを使用する場合、タスクの出力データは、名前変更操作を実行する必要なく、最終出力ディレクトリに直接書き込まれます。ジョブコミットが完了する前は、中間データはユーザーには見えません。これにより、データの整合性が確保されます。

    重要
    • OSSの帯域幅と一部の高度な機能の有効化は、OSSのデータコピーパフォーマンスに影響を与える可能性があります。そのため、ユーザーまたはバケットによってデータコピーのパフォーマンスが異なる場合があります。ご質問がある場合は、OSSのテクニカルサポート担当者にお問い合わせください。
    • すべてのタスクが完了すると、MapReduceアプリケーションマスターまたはSparkドライバーがジョブをコミットします。これにより、結果ファイルの一部のみが最終出力ディレクトリに表示される短い時間枠が発生します。時間枠の長さは、ファイルの数と正の相関があります。 fs.oss.committer.threads パラメーターを大きい値に設定して、同時処理を高速化できます。
    • HiveジョブとPrestoジョブは、Hadoopジョブコミッターを使用しません。
    • EMRクラスターでは、Jindoジョブコミッターはデフォルトで有効になっています。

    MapReduceジョブでJindoジョブコミッターを使用する

    1. YARNサービスの [mapred-site] タブに移動します。

      2. 上部のナビゲーションバーで、クラスターが存在するリージョンを選択 し、ビジネス要件に基づいてリソースグループを選択します。
      3. [クラスター管理] タブをクリックします。
      4. [クラスター管理] ページで、クラスターを見つけて、[アクション] 列の [詳細] をクリックします。
      5. 左側のナビゲーションペインで、[クラスターサービス] > [YARN] を選択します。
      6. [構成] タブをクリックします。
      7. [サービス構成] セクションで、[mapred-site] タブをクリックします。
    2. Hadoopバージョンに基づいてジョブコミッターパラメーターを構成します。
      • Hadoop 2.X

        [mapred-site] タブで、[mapreduce.outputcommitter.class] パラメーターを com.aliyun.emr.fs.oss.commit.JindoOssCommitter に設定します。

      • Hadoop 3.X

        [mapred-site] タブで、[mapreduce.outputcommitter.factory.scheme.oss] パラメーターを com.aliyun.emr.fs.oss.commit.JindoOssCommitterFactory に設定します。

    3. 構成を保存します。
      1. [サービス構成] セクションの右上隅にある [保存] をクリックします。
      2. [変更の確認] ダイアログボックスで、[説明] を指定し、[構成の自動更新] をオンにします。
      3. [OK] をクリックします。
    4. SmartDataサービスの [smartdata-site] タブに移動します。
      1. 左側のナビゲーションペインで、[クラスターサービス] > [smartdata] を選択します。
      2. [構成] タブをクリックします。
      3. [サービス構成] セクションで、[smartdata-site] タブをクリックします。
    5. [smartdata-site] タブで、[fs.oss.committer.magic.enabled] を true に設定します。
    6. 構成を保存します。
      1. [サービス構成] セクションの右上隅にある [保存] をクリックします。
      2. [変更の確認] ダイアログボックスで、[説明] を指定し、[構成の自動更新] をオンにします。
      3. [OK] をクリックします。
    説明 [mapreduce.outputcommitter.class] パラメーターを com.aliyun.emr.fs.oss.commit.JindoOssCommitter に設定した後、[fs.oss.committer.magic.enabled] パラメーターを使用して、使用するジョブコミッターを決定できます。 このパラメーターを true に設定すると、MapReduceジョブは名前変更操作を必要としないJindo Oss Magic Committerを使用します。 このパラメーターを false に設定すると、JindoOssCommitterはFileOutputCommitterと同じように機能します。

    SparkジョブでJindoジョブコミッターを使用する

    1. Sparkサービスの [spark-defaults] タブに移動します。
      1. 左側のナビゲーションペインで、[クラスターサービス] > [spark] を選択します。
      2. [構成] タブをクリックします。
      3. [サービス構成] セクションで、[spark-defaults] タブをクリックします。
    2. [spark-defaults] タブで、次の表にリストされているパラメーターを構成します。
      パラメーター値
      spark.sql.sources.outputCommitterClasscom.aliyun.emr.fs.oss.commit.JindoOssCommitter
      spark.sql.parquet.output.committer.classcom.aliyun.emr.fs.oss.commit.JindoOssCommitter
      spark.sql.hive.outputCommitterClasscom.aliyun.emr.fs.oss.commit.JindoOssCommitter

      これらのパラメーターは、Sparkデータソーステーブル、Spark Parquetデータソーステーブル、およびHiveテーブルにデータを書き込むために使用されるジョブコミッターを指定します。

    3. 構成を保存します。
      1. [サービス構成] セクションの右上隅にある [保存] をクリックします。
      2. [変更の確認] ダイアログボックスで、[説明] を指定し、[構成の自動更新] をオンにします。
      3. [OK] をクリックします。
    4. SmartDataサービスの [smartdata-site] タブに移動します。
      1. 左側のナビゲーションペインで、[クラスターサービス] > [smartdata] を選択します。
      2. [構成] タブをクリックします。
      3. [サービス構成] セクションで、[smartdata-site] タブをクリックします。
    5. [smartdata-site] タブで、[fs.oss.committer.magic.enabled] を true に設定します。
      説明 fs.oss.committer.magic.enabled パラメーターを使用して、使用するジョブコミッターを決定できます。 このパラメーターを true に設定すると、Sparkジョブは名前変更操作を必要としないJindo Oss Magic Committerを使用します。 このパラメーターを false に設定すると、JindoOssCommitterはFileOutputCommitterと同じように機能します。
    6. 構成を保存します。
      1. [サービス構成] セクションの右上隅にある [保存] をクリックします。
      2. [変更の確認] ダイアログボックスで、[説明] を指定し、[構成の自動更新] をオンにします。
      3. [OK] をクリックします。

    Jindoジョブコミッターを最適化する

    MapReduceタスクまたはSparkタスクが多数のファイルを書き込む場合、ジョブコミット関連タスクに対して同時に実行できるスレッド数を調整して、ジョブコミットのパフォーマンスを向上させることができます。

    1. SmartDataサービスの [smartdata-site] タブに移動します。
      1. 左側のナビゲーションペインで、[クラスターサービス] > [smartdata] を選択します。
      2. [構成] タブをクリックします。
      3. [サービス構成] セクションで、[smartdata-site] タブをクリックします。
    2. [smartdata-site] タブで、[fs.oss.committer.threads] パラメーターを 8 に設定します。
      デフォルト値は 8 です。
    3. 構成を保存します。
      1. [サービス構成] セクションの右上隅にある [保存] をクリックします。
      2. [変更の確認] ダイアログボックスで、[説明] を指定し、[構成の自動更新] をオンにします。
      3. [OK] をクリックします。