E-MapReduce:EMR V3.22.0 から V3.26.3 での JindoFS の使用

JindoFS の仕組み

JindoFS は、異種混合のマルチバックアップメカニズムを使用します。OSS は耐久性のあるストレージを提供し、ローカルディスクは読み取り高速化のために冗長コピーを保持します。ローカルの Namespace Service がメタデータを管理します。

JindoFS は 2 つのストレージモードをサポートしています：

すべての JindoFS パスは jfs:// プレフィックスを使用します。JindoFS を使用するには、コマンドとジョブ設定で hdfs:// プレフィックスを jfs:// に置き換えます。

すべてのパラメーター名は jfs.namespaces.<name>.<param> のパターンに従います。ここで、<name> はご利用の名前空間名です。複数の名前空間を定義し、それぞれを個別に設定できます。

前提条件

開始する前に、以下を確認してください：

• バージョン 3.22.0 以降を実行している EMR クラスター。作成時に SmartData サービスが選択されていること

• ご利用の EMR クラスターと同じリージョンにある OSS バケット (パスワードレスアクセスを推奨)

JindoFS のセットアップ

ステップ 1：SmartData を使用した EMR クラスターの作成

クラスターを作成する際、EMR バージョン 3.22.0 以降を選択し、[オプションサービス] で SmartData を有効にします。

クラスターの作成手順については、「クラスターの作成」をご参照ください。

ステップ 2：JindoFS の設定

すべての JindoFS 設定は Bigboot コンポーネントに保存されます。2 つのメソッドが利用可能です：

• クラスター作成後 (既存のクラスターに推奨)：EMR コンソールで Bigboot パラメーターを変更し、SmartData を再起動します。

• クラスター作成時：カスタムソフトウェア設定で設定を JSON 配列として渡します。

以下の例では、test という名前の名前空間を設定します。

クラスター作成後の設定

1. EMR コンソールで、[サービス設定] に移動し、[bigboot] タブをクリックします。

   

2. カスタム設定をクリックします。

   

3. 必須パラメーターを追加します。以下の表にすべての設定項目をリストします。必須とマークされた項目は設定する必要があります。

   パラメーター	必須	説明	例
   jfs.namespaces	はい	有効にする名前空間。複数の名前空間はカンマで区切ります。	test
   jfs.namespaces.test.uri	はい	この名前空間の OSS ストレージバックエンド。バケットのルートまたは特定のディレクトリに設定します。そのディレクトリが名前空間のルートになります。	oss://oss-bucket/oss-dir
   jfs.namespaces.test.mode	はい	ストレージモード：block または cache。	block
   jfs.namespaces.test.oss.access.key	いいえ	OSS バックエンドの AccessKey ID。EMR クラスターと OSS バケットが同じアカウントの同じリージョンにある場合は省略します (パスワードレスアクセスが適用されます)。	xxxx
   jfs.namespaces.test.oss.access.secret	いいえ	OSS バックエンドの AccessKey Secret。パスワードレスアクセスを使用する場合は省略します。	—

4. 設定を保存してデプロイし、SmartData サービスのすべてのコンポーネントを再起動します。

   

クラスター作成時の設定

クラスター作成時に、カスタムソフトウェア設定で設定エントリの JSON 配列を渡します。次の例では、パスワードレス OSS アクセスで test 名前空間を設定します：

[
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces",
    "ConfigValue": "test"
  },
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces.test.uri",
    "ConfigValue": "oss://oss-bucket/oss-dir"
  },
  {
    "ServiceName": "BIGBOOT",
    "FileName": "bigboot",
    "ConfigKey": "jfs.namespaces.test.mode",
    "ConfigValue": "block"
  }
]

クラスターが作成されると、サービスはカスタムパラメーターで自動的に開始されます。

JindoFS の使用

JindoFS は HDFS ベースのツールと互換性があります。コマンドとジョブ設定で hdfs:// プレフィックスを jfs:// に置き換えます。Hadoop、Hive、Spark、Flink、Presto、Impala をサポートしています。

シェルコマンド

hadoop fs -ls jfs://your-namespace/
hadoop fs -mkdir jfs://your-namespace/test-dir
hadoop fs -put test.log jfs://your-namespace/test-dir/
hadoop fs -get jfs://your-namespace/test-dir/test.log ./

MapReduce ジョブ

hadoop jar /usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar teragen \
  -Dmapred.map.tasks=1000 10737418240 jfs://your-namespace/terasort/input

hadoop jar /usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar terasort \
  -Dmapred.reduce.tasks=1000 jfs://your-namespace/terasort/input jfs://your-namespace/terasort/output

Spark SQL

CREATE EXTERNAL TABLE IF NOT EXISTS src_jfs (key INT, value STRING)
  LOCATION 'jfs://your-namespace/Spark_sql_test/';

ディスク領域の管理

JindoFS はデータを OSS に保存するため、総容量は実質的に無制限です。ローカルディスクはキャッシングと冗長コピーに使用されます。JindoFS は 2 つのウォーターマークパラメーターを使用して、ローカルディスクの使用量を自動的に管理します：

上限ウォーターマークは下限ウォーターマークよりも大きい必要があります。デフォルトでは、JindoFS はすべてのデータディスクの総容量を使用します。

ストレージポリシーの設定

JindoFS は、パフォーマンス、信頼性、コストのバランスをとるための 4 つのストレージポリシーを提供します。デフォルトのポリシーは WARM です。新しいファイルは、親ディレクトリのストレージポリシーを継承します。

jindo dfsadmin -R -setStoragePolicy <path> <policy>

jindo dfsadmin -getStoragePolicy <path>

管理ツール

jindo dfsadmin ツールは、JindoFS の管理コマンドを提供します。jindo dfsadmin --help を実行して、利用可能なすべてのオプションを確認してください。

jindo dfsadmin -archive <path>

jindo dfsadmin -R -diff <path>

jindo dfsadmin -R -sync <path>