E-MapReduce:OSS ストレージ分析の有効化と設定

注意事項

OSS インベントリ機能の使用には料金がかかります。詳細については、「バケットインベントリ」をご参照ください。

OSS インベントリ機能の有効化

クラスターが複数の OSS バケットを使用しており、それらすべてのストレージ分析を取得したい場合は、次の手順に従って OSS コンソールで各バケットのインベントリ機能を有効にします。

1. OSS コンソールにログインします。

2. 左側のナビゲーションウィンドウで、バケット をクリックします。[バケット] ページで、目的のバケットを見つけてクリックします。

3. 左側のナビゲーションウィンドウで、[Data Management] > [バケットインベントリ] を選択します。

4. [バケットインベントリ] ページで、[インベントリの作成] をクリックします。

5. [インベントリレポートのルールの設定] パネルで、パラメーターを設定します。詳細については、「バケットインベントリ」をご参照ください。

   重要

   • [インベントリストレージバケット] が、OSS インベントリ機能を有効にしているバケットと同じであることを確認してください。

   • OSS に 100 億を超えるファイルを保存している場合は、[インベントリレポートのエクスポートサイクル] を [週次] に設定します。それ以外の場合は、エクスポートサイクルを [日次] に設定します。

   • [インベントリコンテンツ] > [オプションフィールド] に [オブジェクトサイズ] と [ストレージクラス] が含まれていることを確認してください。

6. [Alibaba Cloud OSS がバケットリソースにアクセスすることを理解し、承認します] を選択し、[OK] をクリックします。

OSS ストレージ分析の設定

OSS ストレージ分析は、インベントリ機能によって生成されるマニフェストファイルに依存します。EMR コンソールの [TAIHAODOCTOR] サービスの構成ページで、次のパラメーターを設定する必要があります。操作およびその他の構成の詳細については、「EMR Doctor 設定ガイド」をご参照ください。

たとえば、inventory_path パラメーターを reports に、inventory_bucket パラメーターを my-bucket に、inventory_name パラメーターを my-inventory に設定したとします。

この場合、マニフェストファイルのディレクトリ (collect.oss.manifest.dir) は reports/my-bucket/my-inventory となります。

collect.oss.bucket:   my-bucket
collect.oss.manifest.dir:   reports/my-bucket/my-inventory

collect.oss.bucket:   my-bucket1,my-bucket2
collect.oss.manifest.dir:   reports1/my-bucket1/my-inventory1,reports2/my-bucket2/my-inventory2