Object Storage Service:OSS-HDFS サービスの自動ストレージ階層化により、コールドデータをコスト効率良く保存

注意事項

• JindoSDK 6.8.0 より前のバージョンを使用している場合、低頻度アクセス、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージに設定されたディレクトリにファイルを作成できません。回避策として、標準ストレージのディレクトリでファイルを作成して閉じ、その後 リネーム操作を使用して対象のディレクトリに移動します。

  低頻度アクセス、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージに設定されたディレクトリに直接ファイルを作成するには、JindoSDK を 6.8.0 以降にアップグレードする必要があります。

• データをアーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージに移行すると、システムオーバーヘッドが大きくなり、復元に時間がかかります。これらのストレージ階層は慎重に選択してください。

• 次のストレージ階層への移行がサポートされています：

  • ホットからコールド：

    

  • コールドからホット：

    

料金

• データ取り出し料金

  低頻度アクセス、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージからデータを読み取る場合、データ取り出し料金が発生します。これらの料金を回避するには、頻繁にアクセスするデータにこれらのストレージ階層を使用しないでください。詳細については、「データ処理料金」をご参照ください。

• オブジェクトタグ料金

  OSS-HDFS サービス内のデータにストレージポリシーを設定すると、データブロックにオブジェクトタグが追加されます。これらのタグには、OSS のオブジェクトタグ課金ルールに基づいて課金されます。詳細については、「オブジェクトタグ料金」をご参照ください。

• 最低保存期間未満での保存に対する料金

  最低保存期間は、低頻度アクセスストレージが 30 日、アーカイブストレージが 60 日、コールドアーカイブストレージが 180 日、ディープコールドアーカイブストレージが 180 日です。jindofs を使用してデータを移行する場合は、追加料金を回避するために、移行先ストレージ階層の最低保存期間を満たすようにしてください。次の表に例を示します。

  移行タイプ	例	最低保存期間	ストレージコスト	料金の回避
  ホットからコールド	標準ストレージ (10 日間保存) → 低頻度アクセスストレージ	保存期間はリセットされません。前の階層での保存日数が、新しい階層の最低保存期間に加算されます。	標準ストレージの 10 日分のコスト	低頻度アクセスストレージで、少なくともさらに 20 日間データを保持します。
  	低頻度アクセスストレージ (10 日間保存) → アーカイブストレージ		低頻度アクセスストレージの 10 日分のコスト	アーカイブストレージで、少なくともさらに 50 日間データを保持します。
  	標準ストレージ (10 日間保存) → コールドアーカイブストレージ	保存期間はリセットされます。前の階層での保存日数は、新しい階層の最低保存期間に加算されません。	標準ストレージの 10 日分のコスト	コールドアーカイブストレージで 180 日間データを保持します。
  	標準ストレージ (10 日間保存) → ディープコールドアーカイブストレージ		標準ストレージの 10 日分のコスト	ディープコールドアーカイブストレージで 180 日間データを保持します。
  コールドからホット	コールドアーカイブストレージ (10 日間保存) → 低頻度アクセスストレージ		コールドアーカイブストレージの 10 日分のコスト	コールドアーカイブストレージでさらに 170 日間データを保持してから、低頻度アクセスストレージに移行します。 低頻度アクセスストレージに移行した後、低頻度アクセスストレージで 30 日間データを保持します。

手順

1. Elastic Compute Service (ECS) インスタンスに接続します。詳細については、「ECS インスタンスに接続する」をご参照ください。

2. JindoSDK をダウンロードします。

3. アクセスキーペアと環境変数を設定します。

   1. インストールした JindoSDK パッケージの bin ディレクトリに移動します。

      次のコマンドでは、例として jindofs-sdk-x.x.x-linux を使用します。パッケージ名は、実際の JindoSDK パッケージ名に置き換えてください。

      cd jindofs-sdk-x.x.x-linux/bin/

   2. bin ディレクトリで、次の内容を含む jindofs.cfg ファイルを作成します：

      [client]
      # OSS-HDFS サービスへのアクセスに使用する AccessKey ID と AccessKey シークレットを指定します。
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      # 次のエンドポイントは China (Hangzhou) リージョン用です。お使いのリージョンのエンドポイントに置き換えてください。
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. 環境変数を設定します。

      説明

      jindofs.cfg 設定ファイルの絶対パスに <JINDOSDK_CONF_DIR> を置き換えてください。

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. OSS-HDFS サービスに書き込んだデータにストレージポリシーを設定します。

   シナリオ	コマンド	結果
   OSS-HDFS サービスに書き込んだデータのストレージポリシーを 低頻度アクセスストレージ に設定します。	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	サービスは、dir1/ ディレクトリ内のファイルのデータブロックに、キー transition-storage-class と値 IA のタグを付与します。
   OSS-HDFS サービスに書き込んだデータのストレージポリシーを アーカイブストレージ に設定します。	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	サービスは、dir2/ ディレクトリ内のファイルのデータブロックに、キー transition-storage-class と値 Archive のタグを付与します。
   OSS-HDFS サービスに書き込んだデータのストレージポリシーを コールドアーカイブストレージ に設定します。	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	サービスは、dir3/ ディレクトリ内のファイルのデータブロックに、キー transition-storage-class と値 ColdArchive のタグを付与します。
   OSS-HDFS サービスに書き込んだデータのストレージポリシーを ディープコールドアーカイブストレージ に設定します。	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	サービスは、dir4/ ディレクトリ内のファイルのデータブロックに、キー transition-storage-class と値 DeepColdArchive のタグを付与します。

5. 自動ストレージ階層化を有効にします。

   1. OSSコンソールにログインします。

   2. 左側のナビゲーションペインで、バケット をクリックします。 「バケット」ページで、目的のバケットの名前をクリックします。

   3. 左側のナビゲーションペインで、データレイク > OSS-HDFS を選択します。

   4. OSS-HDFS タブで、自動ストレージ階層化を探し、設定 をクリックします。

   5. 自動ストレージ階層化 パネルで、基本設定 セクションに移動し、ステータススイッチをオンにします。

      自動ストレージ階層化は、特定の、事前設定された変更不可能なライフサイクルルールによって実装されます。自動ストレージ階層化のストレージ階層には、低頻度アクセス、アーカイブ、コールドアーカイブ、ディープコールドアーカイブが含まれます。

      設定ミスによって自動ストレージ階層化が失敗するのを防ぐため、OSS は次の 4 つのポリシーを含むライフサイクルルールを自動的に作成します：

      • OSS-HDFS データディレクトリ .dlsdata/ 内で、キー transition-storage-class と値 IA のタグが付与されたデータを、1 日後に低頻度アクセスストレージへ移行します。

      • OSS-HDFS データディレクトリ .dlsdata/ 内で、キー transition-storage-class と値 Archive のタグが付与されたデータを、1 日後にアーカイブストレージへ移行します。

      • OSS-HDFS データディレクトリ .dlsdata/ 内で、キー transition-storage-class と値 ColdArchive のタグが付与されたデータを、1 日後にコールドアーカイブストレージへ移行します。

      • OSS-HDFS データディレクトリ .dlsdata/ 内で、キー transition-storage-class と値 DeepColdArchive のタグが付与されたデータを、1 日後にディープコールドアーカイブストレージへ移行します。

      重要

      自動ストレージ階層化を有効にすると、ライフサイクルルールが自動的に作成されます。このルールには、オブジェクトを低頻度アクセス、アーカイブ、コールドアーカイブ、ディープコールドアーカイブストレージへ移行するポリシーが含まれます。このルールは編集しないでください。編集すると、OSS-HDFS サービス内のデータまたはサービス自体が利用できなくなる可能性があります。

   6. OK をクリックします。

      • OSS-HDFS サービスは、設定したストレージポリシーに基づいて、ライフサイクルルールから対応する移行ポリシーを適用します。

      • OSS は 24 時間以内に新しいライフサイクルルールをロードします。ロード後、ルールは毎日 08:00 (UTC+8) に実行されます。移行は最短 48 時間で完了しますが、実際の実行時間はファイル数によって異なります。

関連コマンド

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

よくある質問

• OSS-HDFS サービスの自動ストレージ階層化のライフサイクルルールを誤って削除した場合はどうすればよいですか？

• OSS-HDFS サービスで、ファイルをアーカイブまたはコールドアーカイブストレージから標準または低頻度アクセスストレージに移行できますか？

関連トピック

• ストレージクラスの概要

• ストレージ料金