OSS-HDFS のモニタリングデータを確認することで、メタデータ操作およびサービスリソースの使用状況を把握できます。また、重要な OSS-HDFS モニタリングメトリックに対してアラートルールを設定することで、異常を迅速に検出し、対応できます。
重要な注意事項
モニタリングデータには数分程度の遅延が生じる場合があります。当該データは参考情報であり、課金には使用されません。
前提条件
Resource Access Management (RAM) ユーザーを使用して OSS-HDFS のモニタリングデータを表示する場合は、RAM ユーザーに対し、以下のいずれかの権限を付与する必要があります:Object Storage Service (OSS) の管理 (AliyunOSSFullAccess) または Object Storage Service (OSS) の読み取り専用アクセス (AliyunOSSReadOnlyAccess)、および以下のいずれかの権限:Cloud Monitor の管理 (AliyunCloudMonitorFullAccess) または Cloud Monitor の読み取り専用アクセス (AliyunCloudMonitorReadOnlyAccess)。その後、必要に応じて OSS-HDFS へのアクセス権限付与 を完了してください。詳細については、「RAM ユーザーの権限管理」をご参照ください。
モニタリングデータの表示
OSS-HDFS のモニタリングデータは、以下の方法で表示できます:
OSS コンソール:帯域幅使用量およびリクエスト数を表示します。
Cloud Monitor コンソール:特定の HDFS API に対する成功リクエストのエンドツーエンド(E2E)平均レイテンシーおよびクエリ/秒(QPS)を表示します。
Cloud Monitor SDK:すべての OSS-HDFS モニタリングメトリックを取得します。詳細については、「メトリック」をご参照ください。
レイテンシーおよび QPS メトリックを表示するには、OSS-HDFS へのアクセス時に JindoSDK バージョン 6.10.1 以降を使用する必要があります。
Alibaba Cloud EMR の場合:バージョン 3.55.0 以降、または 5.21.0 以降の EMR クラスターを作成します。OSS-HDFS は事前に統合されています。詳細については、「クラスターの作成」をご参照ください。
EMR 以外または自己管理型 Hadoop 環境の場合:JindoSDK バージョン 6.10.1 以降を手動でデプロイします。詳細については、「EMR 以外のクラスターへの JindoSDK のデプロイ」および「Hadoop 実行環境の作成」をご参照ください。
モニタリングメトリックに対するアラートの設定
Cloud Monitor コンソールでアラートルールを設定すると、ルールがトリガーされた際に Cloud Monitor が自動的にアラート通知を送信します。これにより、リソースの健全性を継続的に監視し、問題発生時に迅速に対応できます。
アラートルールを設定する際は、ルール説明内の ディメンション を、「一般的な HdfsOperation 値」に記載されている HDFS 操作(例: getListing)に設定してください。その他のパラメーターは必要に応じて設定します。詳細については、「アラートサービスの使用」をご参照ください。
一般的な HdfsOperation 値
HdfsOperation | 意味 |
getBlockLocations | ファイルブロックの場所を取得 |
getFileInfo | ファイル情報を取得 |
getListing | ファイルの一覧表示 |
complete | ファイルを閉じる |
create | ファイルを作成して開く |
addBlock | オープン中のファイルにブロックを追加 |
delete | ファイルを削除 |
mkdirs | フォルダを作成 |
rename | ファイル名を変更 |