OSS-HDFS は、データと補助データを、ご利用の OSS バケットの .dlsdata/ ディレクトリに保存します。使用したストレージ容量に対して課金されます。
請求対象のストレージが hdfs du がレポートする値を超過した場合、その差は、以下のカテゴリのいずれかまたは複数に起因します。
ストレージカテゴリの概要
| カテゴリ | OSS ストレージとして課金 | hdfs du | 一般的なサイズ |
|---|---|---|---|
| データブロック | はい | はい | 大部分 |
| チェックサムデータ | はい | いいえ | 大きなファイルの場合、データの約 0.78% です。小さなファイルの場合は、より高くなります |
| ファイルホール | はい | いいえ | 変動します。JindoFuse をデルタ書き込みで使用する場合のみ発生します |
| 監査ログ | はい | はい | 読み取り/書き込みアクティビティによって異なります |
| インベントリリスト | はい | はい | エクスポート頻度によって異なります |
| ゴミ箱 | はい | はい | 保持期間によって異なります |
| 内部データ | はい | いいえ | 1 GB 未満 |
データブロック
データブロックは、OSS-HDFS ストレージの主要なコンポーネントです。すべてのデータブロックはご利用の OSS バケットに保存され、ストレージ容量としてカウントされます。
データブロックのストレージを確認するには、hdfs du を実行します。
チェックサムデータ
OSS-HDFS は、Hadoop 分散ファイルシステム (HDFS) のチェックサム機能をサポートしています。各書き込み操作は、追加のチェックサムデータを自動的に生成します。
デフォルトでは、OSS-HDFS は 512 バイトのデータごとに 4 バイトのチェックサムを生成します。小さなファイルや小さなデータブロックの場合、チェックサムとデータの比率は高くなりますが、これは予期される動作です。
オープンソース HDFS ではチェックサムデータがデータノードのディスク容量を占有するのに対し、OSS-HDFS のチェックサムデータは OSS バケットのストレージ容量を占有します。
チェックサムデータは、標準バケットのストレージ容量使用量にカウントされます。hdfs du はチェックサムストレージをレポートしません。
ファイルホール
JindoFuse クライアントを使用してオブジェクトをランダムに上書きまたは変更すると、データブロックはインプレースで変更できないため、OSS-HDFS はデルタモードで変更を書き込みます。このデルタ書き込みプロセスにより、ファイルに明示的に書き込まれていないゼロの領域であるファイルホールが生成され、追加のストレージ容量を占有する可能性があります。
ファイルホールは、JindoFuse を介したデルタファイル書き込みでのみ発生します。
ファイルホールストレージは、標準バケットのストレージ容量使用量にカウントされます。hdfs du はファイルホールストレージをレポートしません。
監査ログ
OSS-HDFS は、オブジェクトに対するすべての読み取りおよび書き込み操作を監査ログとして記録します。監査ログは /.sysinfo ディレクトリに保存され、バケットのストレージ容量を占有します。
監査ログのストレージを確認するには、hdfs du /.sysinfo を実行します。
インベントリリスト
OSS-HDFS は、インベントリリストのエクスポートをサポートしています。エクスポートされたリストは /.sysinfo ディレクトリに保存され、バケットのストレージ容量を占有します。
インベントリリストのストレージを確認するには、hdfs du /.sysinfo を実行します。
ゴミ箱
OSS-HDFS のゴミ箱に移動されたオブジェクトは、保持期間が終了するまでバケットに残ります。ゴミ箱のオブジェクトは、この期間中ストレージ容量を占有します。
ゴミ箱ディレクトリで hdfs du を実行して、そのストレージ使用量を確認します。
内部データ
OSS-HDFS は、例えば、非同期タスク情報など、内部データを一時的にご利用の OSS バケットに保存します。このデータは、1 GB 未満のストレージ容量を占有します。
内部データは、標準バケットのストレージ容量使用量にカウントされます。hdfs du は内部データストレージをレポートしません。