Object Storage Service:OSS-HDFS を使用して低コストでコールドデータを保存するための階層型ストレージの使用

注意事項

• JindoSDK のバージョンが 6.8.0 より前の場合、低頻度アクセス、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージクラスに設定されたディレクトリにファイルを作成することはできません。これらの 4 つのストレージクラスのいずれかのディレクトリにファイルを配置するには、まず標準ストレージクラスのディレクトリでファイルを作成して閉じ、その後 rename 操作を使用してそのディレクトリに移動します。

  低頻度アクセス、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージクラスのディレクトリに直接ファイルを作成するには、JindoSDK を 6.8.0 以降にアップグレードしてください。

• データをアーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージクラスに変換すると、高いシステムオーバーヘッドが発生し、取得が遅くなります。これらのストレージクラスは慎重に選択してください。

• 階層型ストレージは、以下のストレージクラス変換をサポートしています：

  • ホットからコールドへの変換

  • コールドからホットへの変換

課金

• データ取得料金

  低頻度アクセス、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージクラスの OSS-HDFS データを読み取ると、取得した容量に基づいてデータ取得料金が発生します。したがって、頻繁にアクセスする必要があるデータには、これらの 4 つのストレージクラスを使用しないでください。詳細については、「データ処理料金」をご参照ください。

• タグ付け料金

  OSS-HDFS データのストレージポリシーを設定するには、データブロックにタグを追加する必要があります。データブロックのタグ付け料金は、OSS オブジェクトタグ付けの課金ルールに従います。詳細については、「オブジェクトタグ付け料金」をご参照ください。

• 最低保存期間未満で保存されたデータのストレージ料金

  最低保存期間は、低頻度アクセスストレージクラスで 30 日、アーカイブストレージクラスで 60 日、コールドアーカイブストレージクラスで 180 日、ディープコールドアーカイブストレージクラスで 180 日です。JindoFS を使用してデータのストレージクラスを変換する際は、追加料金を避けるために、各ストレージクラスの最低保存期間を満たしていることを確認してください。以下の例で詳細を説明します：

  変換方法	例	最低保存期間の計算方法	すでに発生した容量料金	最低保存期間より短いストレージの料金を回避する方法
  ホットからコールドへ	標準 (10 日間保存) --> 低頻度アクセスに変換	変換後、保存期間は再計算されません。変換前の保存日数は、新しいストレージクラスの最低保存期間に算入されます。	標準ストレージ 10 日分の容量料金	データを低頻度アクセスストレージクラスとしてさらに 20 日間保存し続ける
  	低頻度アクセス (10 日間保存) --> アーカイブに変換		低頻度アクセスストレージ 10 日分の容量料金	データをアーカイブストレージクラスとしてさらに 50 日間保存し続ける
  	標準 (10 日間保存) --> コールドアーカイブに変換	変換後、保存期間は再計算されます。変換前の保存日数は、新しいストレージクラスの最低保存期間に算入されません。	標準ストレージ 10 日分の容量料金	データをコールドアーカイブストレージクラスとしてさらに 180 日間保存し続ける
  	標準 (10 日間保存) --> ディープコールドアーカイブに変換		標準ストレージ 10 日分の容量料金	データをディープコールドアーカイブストレージクラスとしてさらに 180 日間保存し続ける
  コールドからホットへ	コールドアーカイブ (10 日間保存) --> 低頻度アクセスに変換		コールドアーカイブストレージ 10 日分の容量料金	データをコールドアーカイブストレージクラスとしてさらに 170 日間保存し、その後低頻度アクセスに変換する データが低頻度アクセスストレージクラスに変換された後、さらに 30 日間保存し続ける

操作手順

1. ECS インスタンスに接続します。詳細については、「インスタンスへの接続」をご参照ください。

2. JindoFS SDK をダウンロードします。

3. AccessKey と環境変数を設定します。

   1. インストールした JindoFS JAR パッケージの bin ディレクトリに移動します。

      次の例では jindofs-sdk-x.x.x-linux を使用します。別のバージョンの JindoSDK を使用する場合は、JAR パッケージ名を適宜置き換えてください。

      cd jindofs-sdk-x.x.x-linux/bin/

   2. bin ディレクトリに `jindofs.cfg` という名前の設定ファイルを作成し、次の設定項目を追加します。

      [client]
      <!-- OSS-HDFS へのアクセスに使用する AccessKey ID と AccessKey Secret を設定します。 -->
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      <!-- 次の例では中国 (杭州) リージョンを使用します。実際のリージョンに置き換えてください。 -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. 環境変数を設定します。

      説明

      <JINDOSDK_CONF_DIR> には、jindofs.cfg 設定ファイルが格納されているディレクトリの絶対パスを指定します。

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. OSS-HDFS に書き込まれたデータのストレージポリシーを設定します。

   シナリオ	コマンド	結果
   OSS-HDFS に書き込まれたデータのストレージポリシーを低頻度アクセスに設定	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	dir1/ ディレクトリ内のファイルのデータブロックには、キー transition-storage-class と値 IA がタグ付けされます。
   OSS-HDFS に書き込まれたデータのストレージポリシーをアーカイブに設定	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	dir2/ ディレクトリ内のファイルのデータブロックには、キー transition-storage-class と値 Archive がタグ付けされます。
   OSS-HDFS に書き込まれたデータのストレージポリシーをコールドアーカイブに設定	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	dir3/ ディレクトリ内のファイルのデータブロックには、キー transition-storage-class と値 ColdArchive がタグ付けされます。
   OSS-HDFS に書き込まれたデータのストレージポリシーをディープコールドアーカイブに設定	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	dir4/ ディレクトリ内のファイルのデータブロックには、キー transition-storage-class と値 DeepColdArchive がタグ付けされます。

5. 階層型ストレージを有効にします。

   1. OSS コンソールにログインします。

   2. 左側のナビゲーションウィンドウで バケット をクリックし、対象のバケットをクリックします。

   3. 左側のナビゲーションウィンドウで、データレイク > OSS-HDFS を選択します。

   4. OSS-HDFS タブで、階層型ストレージの 設定 をクリックします。

   5. 自動ストレージ階層化 パネルの 基本設定 セクションで、ステータススイッチをオンにします。

      ページの上部に「階層型ストレージは、特定のライフサイクルルールを作成することによって実装されます。このルールは事前設定されており、変更することはできません。階層型ストレージクラスには、低頻度アクセス、アーカイブ、コールドアーカイブ、ディープコールドアーカイブが含まれます。」というメッセージが表示されます。

      設定エラーによる階層型ストレージの誤動作を防ぐため、OSS は次の 4 つのポリシーすべてを含むライフサイクルルールを自動的に作成します：

      • OSS-HDFS データストレージディレクトリ .dlsdata/ 内のデータで、キー transition-storage-class と値 IA がタグ付けされているものは、1 日後に低頻度アクセスストレージクラスに変換されます。

      • OSS-HDFS データストレージディレクトリ .dlsdata/ 内のデータで、キー transition-storage-class と値 Archive がタグ付けされているものは、1 日後にアーカイブストレージクラスに変換されます。

      • OSS-HDFS データストレージディレクトリ .dlsdata/ 内のデータで、キー transition-storage-class と値 ColdArchive がタグ付けされているものは、1 日後にコールドアーカイブストレージクラスに変換されます。

      • OSS-HDFS データストレージディレクトリ .dlsdata/ 内のデータで、キー transition-storage-class と値 DeepColdArchive がタグ付けされているものは、1 日後にディープコールドアーカイブストレージクラスに変換されます。

      重要

      階層型ストレージを有効にすると、ライフサイクルルールが自動的に作成されます。このルールには、データを低頻度アクセス、アーカイブ、コールドアーカイブ、ディープコールドアーカイブストレージクラスに変換する 4 つのポリシーが含まれています。このルールは編集しないでください。編集すると、OSS-HDFS のデータやサービスが異常になる可能性があります。

   6. OK をクリックします。

      • OSS-HDFS は、設定されたストレージポリシーに基づいて、ライフサイクルルール内の対応する変換ポリシーを適用します。

      • OSS は、ライフサイクルルールが作成されてから 24 時間以内にルールをロードします。ルールがロードされると、OSS は毎日 08:00 (UTC+8) から実行します。正確な実行時間はファイルの数によって異なり、データは最短で 48 時間以内に指定されたストレージクラスに変換されます。

関連コマンド

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

よくある質問

• OSS-HDFS 階層型ストレージのライフサイクルルールを誤って削除してしまった場合はどうすればよいですか？

• OSS-HDFS では、アーカイブまたはコールドアーカイブのオブジェクトを、標準または低頻度アクセスのストレージクラスに変換できますか？

参考資料

• ストレージクラスの概要

• ストレージ料金