すべてのプロダクト
Search

このプロダクト

    E-MapReduce:ブロックモードの使用

    ドキュメントセンター

    E-MapReduce:ブロックモードの使用

    最終更新日:Aug 25, 2026

    ブロックモードは、ローカルキャッシュを利用して読み書きを高速化し、データをブロックとして Object Storage Service (OSS) に保存します。ローカルの名前空間サービスが、高性能なアクセスのためにメタデータを管理します。

    背景情報

    JindoFS ブロックモードには、次の機能があります。

    • 無制限のストレージ容量：ストレージはクラスターサイズとは独立してスケールします。保存されているデータに影響を与えることなく、E-MapReduce (EMR) クラスターをスケールインまたはスケールアウトできます。

    • ローカル読み取りの高速化：JindoFS はローカルクラスターディスクにブロックデータをキャッシュして、読み取りスループットを向上させます。これは特に WORM (Write Once Read Many) ワークロードに効果的です。

    • 高性能メタデータ：名前空間サービスは HDFS と同等の効率でメタデータを処理し、OssFileSystem に影響を与える頻繁な OSS API 呼び出しによる速度低下を回避します。

    • データローカリティ：JindoFS は、ローカルにブロックのコピーを持つノード上でジョブをスケジュールすることで、ネットワークトラフィックを削減し、読み取りパフォーマンスを向上させます。

    使用方法

    1. SmartData サービスに移動します。
      1. EMR コンソールにログインします。
      2. 上部のナビゲーションバーで、必要に応じてリージョンとリソースグループを選択します。
      3. Clusters タブをクリックします。
      4. Clusters ページで、対象のクラスターを見つけ、[操作] 列の Details をクリックします。
      5. 左側のナビゲーションウィンドウで、Services > [SmartData] を選択します。
    2. 名前空間サービスの設定に移動します。
      1. Configure タブをクリックします。
      2. [namespace] をクリックします。
        namespace
    3. 次のパラメーターを設定します。
      JindoFS は複数の名前空間をサポートしています。このトピックでは、test を名前空間の例として使用します。
      1. [jfs.namespaces] を [test] に設定します。
        [test] は名前空間名の例です。複数の名前空間を設定するには、名前をコンマ (,) で区切ります。
      2. Custom Configuration をクリックします。Add Configuration Item ダイアログボックスで、次のパラメーターを追加し、OK をクリックします。
        パラメーター 説明 例
        jfs.namespaces.test.oss.uri test 名前空間の OSS ストレージバックエンド。 oss://<oss_bucket>/<oss_dir>/
        説明 OSS バケット内のディレクトリを指定することを推奨します。JindoFS は、名前空間のデータブロックをこのディレクトリに保存します。
        jfs.namespaces.test.mode test 名前空間のストレージモード。 block
        jfs.namespaces.test.oss.access.key OSS ストレージバックエンドの AccessKey ID。 xxxx
        説明 最高のパフォーマンスと安定性を得るために、E-MapReduce クラスターと同じアカウントおよびリージョンにある OSS バケットを使用することを推奨します。この場合、E-MapReduce クラスターは認証情報なしで OSS にアクセスできるため、AccessKey ID と AccessKey シークレットを設定する必要はありません。
        jfs.namespaces.test.oss.access.secret OSS ストレージバックエンドの AccessKey シークレット。
      3. OK をクリックします。
    4. 右上隅にある Save をクリックします。
    5. 右上隅で、操作 > [Jindo Namespace Service の再起動] を選択します。
      サービスが再起動すると、パス jfs://test/<path_of_file> を使用して JindoFS 内のファイルにアクセスできます。

    ディスク領域のしきい値の制御

    JindoFS は OSS をストレージバックエンドとして使用しており、広大なストレージ容量を提供します。ただし、クラスターのローカルディスク領域は有限です。この領域を管理するために、JindoFS はローカルキャッシュからコールドデータを自動的に削除します。この削除動作は、storage.watermark.high.ratio および storage.watermark.low.ratio パラメーターで制御できます。これらのパラメーターには、ディスク使用率を表す 0 から 1 までの 10 進数を指定します。

    1. ディスクウォーターマークの設定を変更します。
      [Service Configuration] セクションの [Service Configuration] タブで、次のパラメーターを変更します。storage
      パラメーター 説明
      storage.watermark.high.ratio ディスク使用率の上限しきい値です。データディスク上の JindoFS データディレクトリが使用するディスク領域がこの比率に達すると、クリーンアップがトリガーされます。デフォルト値：0.4。
      storage.watermark.low.ratio ディスク使用率の下限しきい値です。クリーンアップがトリガーされた後、JindoFS データディレクトリの使用量がこの比率に低下するまで、コールドデータは自動的に削除されます。デフォルト値：0.2。
      説明 注：ハイウォーターマークは JindoFS が使用できるディスク領域の量を制御します。ローウォーターマークはハイウォーターマークよりも低く設定してください。
    2. 設定を保存します。
      1. 右上隅にある [Save] をクリックします。
      2. [変更する] ダイアログボックスで、変更理由を入力し、[Auto-update Configuration] を有効にします。
      3. [OK] をクリックします。
    3. Jindo Storage Service を再起動して設定を適用します。
      1. 右上隅で、操作 を選択します。
      2. [Execute Cluster Operation] ダイアログボックスで、パラメーターを設定します。
      3. [OK] をクリックします。
      4. [Confirm] ダイアログボックスで、[OK] をクリックします。