Object Storage Service:OSS-HDFS サービスで階層型ストレージを使用してコールドデータを低コストで保存する

サポートされているリージョン

JindoSDK バージョン

JindoSDK 6.8.0 以降が必要です。

JindoSDK のバージョンが 6.8.0 より古い場合、IA、Archive、Cold Archive、または Deep Cold Archive ディレクトリにオブジェクトを直接作成することはできません。回避策として、Standard ディレクトリにオブジェクトを作成し、rename 操作を使用して移動してください。

チケットが必要

この機能を使用する前に、サポートチケットを提出する必要があります。

• IA、Archive、Cold Archive: 1つのチケットで3つのクラスすべてをカバーします。

• Deep Cold Archive: 個別のチケットを提出してください。

• 初回アクティベーション: アカウントでこの機能が一度も有効にされていない場合、1つのチケットで4つのストレージクラスすべてをアクティベートします。

変換サイズ制限

• Archive、Cold Archive、または Deep Cold Archive オブジェクトを Standard または IA に1回の操作で変換する場合: 合計最大 5 TB。

• 処理中の状態にある Archive、Cold Archive、または Deep Cold Archive オブジェクト: 最大 50 TB。

ライフサイクルルールの安全性

データ取得料金

IA、Archive、Cold Archive、または Deep Cold Archive オブジェクトの読み取りには、データ取得料金が発生します。頻繁にアクセスされるデータをこれらのストレージクラスに保存することは避けてください。「データ処理料金」をご参照ください。

タグ料金

ストレージポリシーを設定すると、各データブロックに transition-storage-class タグが追加されます。タグは OSS オブジェクトタグ付けルールに基づいて課金されます。「オブジェクトタグ付け料金」をご参照ください。

最小保存期間

各ストレージクラスには最小保存期間があります。最小期間に達する前に移行されたオブジェクトは、最小期間全体に対して課金されます。

ターゲットクラスによってカウント方法が異なります:

• IA と Archive: クロックは変換時にリセットされません。以前のクラスで費やされた日数は最小期間にカウントされるため、以前の保存期間は残りの義務を軽減します。

• Cold Archive と Deep Cold Archive: クロックは変換時にリセットされます。以前の保存期間に関係なく、変換日から180日間の最小期間全体が適用されます。

例:

ステップ 1: JindoFS SDK のセットアップ

開始する前に、以下を確認してください。

• OSS-HDFS にデータが書き込まれていること

• JindoSDK 6.8.0 以降がインストールされていること (「非 EMR クラスターを OSS-HDFS に接続」をご参照ください)

• サポートチケットが提出されていること (「チケットが必要」をご参照ください)

1. Elastic Compute Service (ECS) インスタンスに接続します。「インスタンスに接続」をご参照ください。

2. JindoFS SDK の JAR パッケージをダウンロードします。

3. 展開されたパッケージの bin ディレクトリに移動します。

      cd jindofs-sdk-x.x.x-linux/bin/

4. bin ディレクトリに jindosdk.cfg という名前の構成ファイルを作成します。

      [client]
      fs.oss.accessKeyId = <your-access-key-id>
      fs.oss.accessKeySecret = <your-access-key-secret>
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com

   cn-hangzhou.oss-dls.aliyuncs.com をご利用のリージョンのエンドポイントに置き換えてください。

5. JINDOSDK_CONF_DIR 環境変数を、jindosdk.cfg 構成ファイルの絶対パスに設定します：

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

ステップ 2: ストレージポリシーの割り当て

階層化するデータを含むディレクトリで setStoragePolicy を実行します。このコマンドは、そのディレクトリ内のすべてのオブジェクトを変換のためにタグ付けします。

ステップ 3: OSS コンソールで機能を有効にする

1. OSS コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[バケット] をクリックし、対象のバケット名をクリックします。

3. 左側のナビゲーションツリーで、[Data Lake] > [OSS-HDFS] を選択します。

4. 「OSS-HDFS」タブで、「設定」をクリックします。

5. 「基本設定」セクションで、「自動ストレージ階層化」パネルの「ステータス」を有効化します。OSS は、各タグ値に対して自動的にライフサイクルルールを作成します。各ルールは、対応するタグが付与された .dlsdata/ 内のオブジェクトを、最終更新日から 1 日後に変換します。

   

6. [OK] をクリックします。

機能を有効にした後:

• OSS は作成から 24 時間以内にライフサイクルルールをロードします。

• ライフサイクルルールは、毎日 08:00 (UTC+8) に1回実行されます。正確な完了時間はオブジェクト数によって異なります。

• オブジェクトが対象のストレージクラスに到達するには、少なくとも48時間かかります。

setStoragePolicy

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

パス内のすべてのオブジェクトにストレージポリシーを割り当てます。

getStoragePolicy

./jindofs fs -getStoragePolicy -path <path>

パスに割り当てられたストレージポリシーを返します。

unsetStoragePolicy

./jindofs fs -unsetStoragePolicy -path <path>

パスからストレージポリシーを削除します。

checkStoragePolicy

./jindofs fs -checkStoragePolicy -path <path>

パス内のオブジェクトの変換タスクのステータスを返します。

アーカイブオブジェクトまたはコールドティアオブジェクトを復元する

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <days>

Archive、Cold Archive、または Deep Cold Archive オブジェクトを直接アクセスするために一時的に解凍します。

復元する前

• CLOUD_AR、CLOUD_COLD_AR、または CLOUD_DEEP_COLD_AR を適用した後、解凍を実行するまで少なくとも 2 日間待ってください。

• 解凍が開始された後、Archive オブジェクトは数分以内に読み取り可能になります。Cold Archive および Deep Cold Archive オブジェクトは数時間かかります。

• 保持期間が終了した後、オブジェクトは読み取れなくなります。アクセスを延長するには、保持期間中に再度解凍してください。解凍操作の間には少なくとも 2 日間空けてください。