すべてのプロダクト
Search

このプロダクト

    E-MapReduce:JindoFS をブロックストレージモードで使用する方法

    ドキュメントセンター

    E-MapReduce:JindoFS をブロックストレージモードで使用する方法

    最終更新日:Apr 14, 2025

    ブロックストレージモードは、効率的な読み取りおよび書き込み操作と高いメタデータアクセス性を保証します。JindoFS は、データをブロックとして OSS に保存し、クラスターのローカルディスクにデータをキャッシュしてデータアクセスを高速化します。 JindoFS は Namespace Service を使用してメタデータを管理し、高いメタデータアクセス性を保証します。このトピックでは、JindoFS をブロックストレージモードで使用する方法について説明します。

    背景情報

    JindoFS のブロックストレージモードには、次の機能があります。
    • JindoFS は、OSS をストレージバックエンドとして使用することにより、非常に大きくスケーラブルなストレージ容量を提供します。ストレージ容量は EMR クラスターの規模に依存しません。ローカルクラスターは必要に応じてスケールインまたはスケールアウトできます。
    • JindoFS は、読み取り操作を高速化するために、ローカルクラスターに一部のバックアップデータを保存します。これにより、特に Write Once Read Many（WORM）ソリューションの場合、限られたローカルストレージ容量を使用してスループットが向上します。
    • JindoFS は、HDFS と同様の効率的なメタデータクエリを提供します。 OssFileSystem と比較して、JindoFS はメタデータクエリの時間を大幅に節約します。さらに、JindoFS は、データとメタデータに頻繁にアクセスする場合のシステムの不安定さを回避します。
    • JindoFS は、EMR クラスターでジョブが実行されるときに、最大限のデータローカリティを保証します。これにより、ネットワーク転送の負荷が軽減され、読み取りパフォーマンスが向上します。

    ブロックストレージモードを構成する

    1. SmartData サービスに移動します。
      1. Alibaba Cloud EMR コンソールにログインします。
      2. 上部のナビゲーションバーで、クラスターが存在するリージョンを選択します。必要に応じてリソースグループを選択します。デフォルトでは、アカウントのすべてのリソースが表示されます。
      3. [クラスター管理] タブをクリックします。
      4. 表示される [クラスター管理] ページで、ターゲットクラスターを見つけ、[アクション] 列の [詳細] をクリックします。
      5. 左側のナビゲーションペインで、[クラスターサービス] をクリックし、次に [smartdata] をクリックします。
    2. SmartData サービスの [namespace] タブに移動します。
      1. [構成] タブをクリックします。
      2. [サービス構成] セクションの [namespace] タブをクリックします。
        namespace
    3. 必要なパラメーターを構成します。
      JindoFS では、複数の名前空間を構成できます。このトピックでは、test という名前の名前空間を使用します。
      1. [jfs.namespaces] を [test] に設定します。
        複数の名前空間を構成する場合は、コンマ（,）で区切ります。
      2. [サービス構成] セクションの右上隅にある [カスタム構成] をクリックします。 [構成項目の追加] ダイアログボックスで、次の表に示すパラメーターを追加します。
        パラメーター説明例
        jfs.namespaces.test.oss.uritest 名前空間のストレージバックエンド。oss://<oss_bucket>/<oss_dir>/
        説明 このパラメーターを OSS バケットのディレクトリに設定することをお勧めします。名前空間はこのディレクトリにデータブロックを保存します。
        jfs.namespaces.test.modetest 名前空間のストレージモード。このパラメーターを block に設定します。block
        jfs.namespaces.test.oss.access.keyストレージバックエンドとして機能する OSS バケットの AccessKey ID。xxxx
        説明 EMR クラスターと同じリージョンおよび同じアカウントにある OSS バケットにデータを保存することをお勧めします。これにより、高パフォーマンスと安定性が確保されます。この場合、OSS バケットは EMR クラスターからのパスワードなしアクセスを許可するため、AccessKey ID と AccessKey シークレットを構成する必要はありません。
        jfs.namespaces.test.oss.access.secretストレージバックエンドとして機能する OSS バケットの AccessKey シークレット。
      3. [OK] をクリックします。
    4. [サービス構成] セクションの右上隅にある [保存] をクリックします。
    5. 右上隅にある Jindo Namespace Service の再起動[アクション] ドロップダウンリストから を選択します。
      Namespace Service が再起動した後、jfs://test/<path_of_file> を使用して JindoFS 内のファイルにアクセスできます。

    ディスク容量の使用量を制御する

    JindoFS は OSS をデータストレージバックエンドとして使用するため、大量のデータを保存できます。ただし、ローカルディスクの容量は限られています。 JindoFS は、ローカルディスクのコールドデータを自動的に削除します。storage.watermark.high.ratio パラメーターと storage.watermark.low.ratio パラメーターは、ローカルディスクの容量使用率を調整するために使用されます。パラメーターは 0 から 1 の間の10進数に設定できます。

    1. ディスク使用量の構成を変更します。
      SmartData サービスの [サービス構成] セクションで、[storage] タブをクリックし、次の表に示すパラメーターを構成します。storage
      パラメーター説明
      storage.watermark.high.ratioディスク使用量の上限。 JindoFS データのディスク使用量がこの制限を超えると、JindoFS はディスク内のデータを自動的に削除します。デフォルト値：0.4。
      storage.watermark.low.ratioディスク使用量の下限。自動データ削除がトリガーされると、JindoFS データのディスク使用量がこの制限まで減少するまで、JindoFS はデータの削除を開始します。デフォルト値：0.2。
      説明 上限と下限を構成して、JindoFS に割り当てられたディスク容量を調整できます。上限が下限よりも大きいことを確認してください。
    2. 構成を保存します。
      1. [サービス構成] セクションの右上隅にある [保存] をクリックします。
      2. [変更の確認] ダイアログボックスで、[説明] を指定し、[構成の自動更新] をオンにします。
      3. [OK] をクリックします。
    3. 構成を適用するために Jindo Storage Service を再起動します。
      1. 右上隅にある [アクション] > Jindo Storage Service の再起動 を選択します。
      2. [クラスターアクティビティ] ダイアログボックスで、関連パラメーターを指定します。
      3. [OK] をクリックします。
      4. [確認] メッセージで、[OK] をクリックします。