EMR Doctor は、OSS 内のデータに対するストレージ分析をサポートし、ご利用の OSS リソースの使用量や健全性に関するインサイトを提供することで、データガバナンスを強化します。
背景情報
インベントリ機能を構成すると、OSS が定期的にバケットのマニフェストファイルを生成します。このマニフェストファイルには、オブジェクト数やサイズなど、バケット内のオブジェクトに関するストレージ情報が含まれます。EMR Doctor は最新のマニフェストファイルを使用して、バケットのデータ使用量、健全性ステータス、および Hive ストレージ分析との関連を分析します。
OSS ストレージ分析を使用するには、事前にバケットに対してインベントリ機能を有効化する必要があります。詳細については、「バケットインベントリ」をご参照ください。
注意事項
OSS インベントリ機能を有効化すると、コストが発生します。詳細については、「バケットインベントリ」をご参照ください。
OSS インベントリ機能の有効化
クラスター内の複数の OSS バケットを分析するには、OSS コンソールで各バケットに対してインベントリ機能を有効化します。
-
OSS コンソールにログインします。
-
左側のナビゲーションウィンドウで、バケット をクリックします。表示されたページで、対象のバケット名をクリックします。
-
左側のナビゲーションウィンドウで、 の順に選択します。
-
バケットインベントリ ページで、インベントリの作成 をクリックします。
-
インベントリの作成 パネルで、パラメーターを構成します。詳細については、「バケットインベントリ」をご参照ください。
重要-
インベントリ保存バケット が、現在構成中のバケットに設定されていることを確認してください。
-
バケットに 100 億個を超えるオブジェクトが含まれる場合は、周波数 を Weekly に設定してください。それ以外の場合は Daily に設定します。
-
で、Object Size および Storage Type が選択されていることを確認してください。
-
-
I understand the terms and agree to authorize Alibaba Cloud OSS to access the resources in my buckets を選択し、OK をクリックします。
OSS ストレージ分析の構成
OSS ストレージ分析は、インベントリ機能によって生成されるマニフェストファイルに基づいて動作します。TAIHAODOCTOR サービスの EMR コンソール内にある構成ページで、以下のパラメーターを設定します。詳細な手順および追加の構成項目については、「EMR Doctor 構成ガイド」をご参照ください。
|
パラメーター |
説明 |
|
|
分析対象の OSS バケット名。 |
|
|
マニフェストファイルのディレクトリ。形式は
|
たとえば、OSS バケットのインベントリ設定が次のとおりであると仮定します。インベントリレポート保存パス (inventory_path) は reports、分析対象バケット (inventory_bucket) は my-bucket、インベントリ名 (inventory_name) は my-inventory です。
この場合、マニフェストファイルのディレクトリ (collect.oss.manifest.dir) は次のとおりになります：reports/my-bucket/my-inventory。
複数のバケットでインベントリ機能を有効化している場合は、バケット名と対応するマニフェストファイルディレクトリをカンマ (,) 区切りで記述します。バケット名の順序とディレクトリパスの順序が一致していることを確認してください。
単一バケットの構成
my-bucket という名前のバケットの場合、最終的なストレージ分析構成は次のとおりです。
collect.oss.bucket: my-bucket
collect.oss.manifest.dir: reports/my-bucket/my-inventory複数バケットの構成
my-bucket1 および my-bucket2 という名前のバケットの場合、最終的なストレージ分析構成は次のとおりです。
collect.oss.bucket: my-bucket1,my-bucket2
collect.oss.manifest.dir: reports1/my-bucket1/my-inventory1,reports2/my-bucket2/my-inventory2