コンテナストレージのモニタリング - Container Service for Kubernetes

Managed Service for Prometheus を使用して、クラスター内のストレージリソース (ルートファイルシステムやエフェメラルストレージなど) や、クラスターが使用する外部ストレージリソース (ディスク、File Storage NAS (NAS) ファイルシステム、Object Storage Service (OSS) バケットなど) をモニタリングできます。コンテナストレージモニタリング機能は、さまざまな観点からストレージリソースをモニタリングするのに役立つストレージメトリックを無料で提供します。

クラスター内のストレージリソースのモニタリング

クラスター内のストレージリソースには、ルートファイルシステムとエフェメラルストレージが含まれます。

ルートファイルシステム：コンテナランタイム環境のデータを格納します。これには、コンテナランタイムが必要とするデータと構成が含まれます。Managed Service for Prometheus を使用してルートファイルシステムをモニタリングすると、ルートファイルシステムのストレージ使用量、使用率、およびディストリビューションに関する情報が提供されます。
エフェメラルストレージ：コンテナランタイムの一時データを格納します。これには、コンテナランタイムが生成する一時ファイルやキャッシュが含まれます。Managed Service for Prometheus を使用してエフェメラルストレージをモニタリングすると、エフェメラルストレージのストレージ使用量、使用率、およびディストリビューションに関する情報が提供されます。

ルートファイルシステム関連のメトリック

重要

ご利用のクラスターで Kubernetes 1.22 以降を実行している場合は、まず Container Storage Interface (CSI) プラグインを 1.28.3-eb95171-aliyun 以降に更新する必要があります。csi-plugin のリリースノートの詳細については、「csi-plugin」をご参照ください。CSI プラグインを更新する際は、csi-plugin と csi-provisioner の両方を更新する必要があります。

メトリック	タイプ	説明
container_fs_limit_bytes	ゲージ	ルートファイルシステムのストレージ総容量。単位：バイト。
container_fs_usage_bytes	ゲージ	ルートファイルシステムのストレージ使用量。単位：バイト。
container_fs_available_bytes	ゲージ	ルートファイルシステムの利用可能なストレージ容量。単位：バイト。
container_fs_inodes_total	ゲージ	ルートファイルシステム内の inode の総数。
container_fs_inodes_used	ゲージ	ルートファイルシステム内の使用済み inode 数。
container_fs_inodes_free	ゲージ	ルートファイルシステム内の利用可能な inode 数。
container_fs_reads_bytes_total	ゲージ	ルートファイルシステムから読み取られたデータの合計サイズ。単位：バイト。
container_fs_writes_bytes_total	ゲージ	ルートファイルシステムに書き込まれたデータの合計サイズ。単位：バイト。

エフェメラルストレージ関連のメトリック

重要

以下のメトリックは csi-plugin に依存します。CSI 1.28.3-eb95171-aliyun 以降をインストールする必要があります。csi-plugin のリリースノートの詳細については、「csi-plugin」をご参照ください。CSI プラグインを更新する際は、csi-plugin と csi-provisioner の両方を更新する必要があります。

メトリック	タイプ	説明
ephemeral_storage_pod_limit_bytes	ゲージ	Pod 内のエフェメラルストレージの総容量。単位：バイト。
ephemeral_storage_pod_usage_bytes	ゲージ	Pod 内のエフェメラルストレージ使用量。単位：バイト。
ephemeral_storage_pod_available_bytes	ゲージ	Pod 内の利用可能なエフェメラルストレージ容量。単位：バイト。
ephemeral_storage_pod_inodes_total	ゲージ	Pod 内のエフェメラルストレージの inode 総数。
ephemeral_storage_pod_inodes_used	ゲージ	Pod 内のエフェメラルストレージの使用済み inode 数。
ephemeral_storage_pod_inodes_free	ゲージ	Pod 内のエフェメラルストレージの利用可能な inode 数。

クラスターが使用する外部ストレージリソースのモニタリング

ディスクボリューム関連のメトリック

重要

以下のメトリックは csi-plugin に依存します。CSI 1.18.8.46-afb19e46-aliyun 以降をインストールする必要があります。csi-plugin のリリースノートの詳細については、「csi-plugin」をご参照ください。CSI プラグインを更新する際は、csi-plugin と csi-provisioner の両方を更新する必要があります。

メトリック	タイプ	説明
node_volume_capacity_bytes_total	カウンター	ディスクの総容量。単位：バイト。
node_volume_capacity_bytes_used	カウンター	ディスク容量の使用量。単位：バイト。
node_volume_capacity_bytes_available	カウンター	ディスクの利用可能な容量。単位：バイト。
node_volume_inodes_total	カウンター	ディスク上の inode 総数。
node_volume_inodes_used	カウンター	ディスク上の使用済み inode 数。
node_volume_inodes_available	カウンター	ディスク上の利用可能な inode 数。
node_volume_read_bytes_total	カウンター	ディスクから正常に読み取られたデータの合計サイズ。単位：バイト。
node_volume_read_completed_total	カウンター	正常な読み取り操作の総数。
node_volume_read_merged_total	カウンター	カーネルによって実行された読み取りマージ操作の総数。
node_volume_read_time_milliseconds_total	カウンター	読み取り操作の合計消費時間。単位：ミリ秒。
node_volume_write_bytes_total	カウンター	ディスクに正常に書き込まれたデータの合計サイズ。単位：バイト。
node_volume_write_completed_total	カウンター	正常な書き込み操作の総数。
node_volume_write_merged_total	カウンター	カーネルによって実行された書き込みマージ操作の総数。
node_volume_write_time_milliseconds_total	カウンター	書き込み操作の合計消費時間。単位：ミリ秒。
node_volume_io_now	ゲージ	進行中の I/O 操作の数。
node_volume_io_time_seconds_total	カウンター	I/O 操作の合計消費時間。単位：秒。

NAS ボリューム関連のメトリック

重要

メトリック	タイプ	説明
node_volume_capacity_bytes_total	カウンター	NAS ボリュームの総容量。単位：バイト。
node_volume_capacity_bytes_used	カウンター	NAS ボリュームの容量使用量。単位：バイト。
node_volume_capacity_bytes_available	カウンター	NAS ボリュームの利用可能な容量。単位：バイト。
node_volume_read_bytes_total	カウンター	NAS ボリュームから正常に読み取られたデータの合計サイズ。単位：バイト。
node_volume_read_sent_bytes_total	カウンター	読み取りリクエストによって送信されたデータの合計サイズ。単位：バイト。
node_volume_read_completed_total	カウンター	正常な読み取り操作の総数。
node_volume_read_transmissions_total	カウンター	読み取りリクエストの総数。
node_volume_read_timeouts_total	カウンター	リクエストタイムアウトの総数。
node_volume_read_time_milliseconds_total	カウンター	読み取り操作の合計消費時間。単位：ミリ秒。
node_volume_read_queue_time_milliseconds_total	カウンター	読み取りリクエストが送信される前の合計キューイング時間。単位：ミリ秒。
node_volume_read_rtt_time_milliseconds_total	カウンター	サーバーからの応答を待機する読み取り操作の合計消費時間。単位：ミリ秒。
node_volume_write_bytes_total	カウンター	NAS ボリュームに正常に書き込まれたデータの合計サイズ。単位：バイト。
node_volume_write_recv_bytes_total	カウンター	書き込みリクエストによって受信されたデータの合計サイズ。単位：バイト。
node_volume_write_completed_total	カウンター	正常な書き込み操作の総数。
node_volume_write_transmissions_total	カウンター	書き込みリクエストの総数。
node_volume_write_timeouts_total	カウンター	書き込みタイムアウトの総数。
node_volume_write_time_milliseconds_total	カウンター	書き込み操作の合計消費時間。単位：ミリ秒。
node_volume_write_queue_time_milliseconds_total	カウンター	書き込みリクエストが送信される前の合計キューイング時間。単位：ミリ秒。
node_volume_write_rtt_time_milliseconds_total	カウンター	サーバーからの応答を待機する書き込み操作の合計消費時間。単位：ミリ秒。

OSS ボリューム関連のメトリック

重要

以下のメトリックは csi-plugin に依存します。CSI 1.22.14-820d8870-aliyun 以降をインストールする必要があります。csi-plugin のリリースノートの詳細については、「csi-plugin」をご参照ください。CSI プラグインを更新する際は、csi-plugin と csi-provisioner の両方を更新する必要があります。

メトリック	タイプ	説明
node_volume_inode_bytes_total_counter	カウンター	OSS ボリューム内の `inode` の総数。
node_volume_inode_bytes_used_counter	カウンター	OSS ボリュームによって使用される `inode` の数。
node_volume_inode_bytes_available_counter	カウンター	OSS ボリューム内の残りの利用可能な `inode` の数。
node_volume_read_bytes_total_counter	カウンター	OSS ボリュームから正常に読み取られたデータの合計サイズ。単位：バイト。
node_volume_read_completed_total_counter	カウンター	正常な読み取り操作の総数。
node_volume_read_time_milliseconds_total_counter	カウンター	読み取り操作の合計消費時間。単位：ミリ秒。
node_volume_write_bytes_total_counter	カウンター	OSS ボリュームに正常に書き込まれたデータの合計サイズ。単位：バイト。
node_volume_write_completed_total_counter	カウンター	正常な書き込み操作の総数。
node_volume_write_time_milliseconds_total_counter	カウンター	書き込み操作の合計消費時間。単位：ミリ秒。
node_volume_posix_mkdir_total_counter	カウンター	POSIX `mkdir` 操作の総数。
node_volume_posix_rmdir_total_counter	カウンター	POSIX `rmdir` 操作の総数。
node_volume_posix_opendir_total_counter	カウンター	POSIX `opendir` 操作の総数。
node_volume_posix_readdir_total_counter	カウンター	POSIX `readdir` 操作の総数。
node_volume_posix_read_total_counter	カウンター	POSIX `read` 操作の総数。
node_volume_posix_write_total_counter	カウンター	POSIX `write` 操作の総数。
node_volume_posix_flush_total_counter	カウンター	POSIX `flush` 操作の総数。
node_volume_posix_fsync_total_counter	カウンター	POSIX `fsync` 操作の総数。
node_volume_posix_release_total_counter	カウンター	POSIX `release` 操作の総数。
node_volume_posix_create_total_counter	カウンター	POSIX `create` 操作の総数。
node_volume_posix_open_total_counter	カウンター	POSIX `open` 操作の総数。
node_volume_posix_access_total_counter	カウンター	POSIX `access` 操作の総数。
node_volume_posix_rename_total_counter	カウンター	POSIX `rename` 操作の総数。
node_volume_posix_chown_total_counter	カウンター	POSIX `chown` 操作の総数。
node_volume_posix_chmod_total_counter	カウンター	POSIX `chmod` 操作の総数。
node_volume_posix_truncate_total_counter	カウンター	POSIX `truncate` 操作の総数。
node_volume_oss_put_object_total_counter	カウンター	OSS `put` 操作の総数。
node_volume_oss_get_object_total_counter	カウンター	OSS `get` 操作の総数。
node_volume_oss_head_object_total_counter	カウンター	OSS `head` 操作の総数。
node_volume_oss_delete_object_total_counter	カウンター	OSS `delete` 操作の総数。
node_volume_oss_post_object_total_counter	カウンター	OSS `post` 操作の総数。
node_volume_hot_spot_read_file_top	ゲージ	`read` 操作のホットファイル。
node_volume_hot_spot_write_file_top	ゲージ	`write` 操作のホットファイル。
node_volume_hot_spot_head_file_top	ゲージ	`head` 操作のホットファイル。
node_volume_backend_read_bytes_total_counter	カウンター	OSS バックエンドから正常に読み取られたデータの合計サイズ。単位：バイト。
node_volume_backend_write_bytes_total_counter	カウンター	OSS バックエンドに正常に書き込まれたデータの合計サイズ。単位：バイト。
node_volume_backend_read_completed_total_counter	カウンター	OSS バックエンドでの正常な読み取り操作の総数。
node_volume_backend_write_completed_total_counter	カウンター	OSS バックエンドでの正常な書き込み操作の総数。
node_volume_backend_read_time_milliseconds_total_counter	カウンター	OSS バックエンドでの読み取り操作の合計消費時間。単位：ミリ秒。
node_volume_backend_write_time_milliseconds_total_counter	カウンター	OSS バックエンドでの書き込み操作の合計消費時間。単位：ミリ秒。
node_volume_backend_posix_getattr_total_counter	カウンター	OSS バックエンドでの POSIX `getattr` 操作の総数。
node_volume_backend_posix_getmode_total_counter	カウンター	OSS バックエンドでの POSIX `getmode` 操作の総数。
node_volume_backend_posix_access_total_counter	カウンター	OSS バックエンドでの POSIX `access` 操作の総数。
node_volume_backend_posix_lookup_total_counter	カウンター	OSS バックエンドでの POSIX `lookup` 操作の総数。
node_volume_backend_posix_mknod_total_counter	カウンター	OSS バックエンドでの POSIX `mknod` 操作の総数。
node_volume_backend_posix_remove_total_counter	カウンター	OSS バックエンドでの POSIX `remove` 操作の総数。
node_volume_backend_posix_setattr_total_counter	カウンター	OSS バックエンドでの POSIX `setattr` 操作の総数。
node_volume_backend_posix_link_total_counter	カウンター	OSS バックエンドでの POSIX `link` 操作の総数。
node_volume_backend_posix_readlink_total_counter	カウンター	OSS バックエンドでの POSIX `readlink` 操作の総数。
node_volume_backend_posix_statfs_total_counter	カウンター	OSS バックエンドでの POSIX `statfs` 操作の総数。
node_volume_backend_posix_rename_total_counter	カウンター	OSS バックエンドでの POSIX `rename` 操作の総数。
node_volume_backend_posix_readdir_total_counter	カウンター	OSS バックエンドでの POSIX `readdir` 操作の総数。

FUSE マウントポイントのメトリック

重要

以下のメトリックはカナリアリリースであり、csi-plugin コンポーネントが v1.32.2 以降である必要があります。コンポーネントのリリースノートについては、「csi-plugin」をご参照ください。アップグレードについては、「CSI コンポーネントのアップグレード」をご参照ください。

メトリック	タイプ	説明
node_volume_mount_retry_count	カウンター	タイムアウトまたは実行エラーによってトリガーされた、FUSE マウントポイント作成の合計リトライ回数。この値が継続的に増加する場合、マウント操作に持続的な問題があることを示しており、アプリケーション Pod が `ContainerCreating` 状態でスタックする原因となる可能性があります。
node_volume_mount_point_failover_count	カウンター	クライアントプロセスのクラッシュなどの切断後、FUSE マウントポイントを正常な状態に復元する正常なフェールオーバー操作の総数。このメトリックは、特定のクライアントの種類でのみサポートされています。サポートされていないクライアントの場合、この値は常に `0` です。
node_volume_mount_point_status	ゲージ	マウントポイントのリアルタイムのヘルスステータス。 `0`：正常。マウントポイントは正常にマウントされ、接続は安定しています。アプリケーション Pod はボリューム内のデータに正常にアクセスできます。 `1`：異常。マウント操作が失敗したか、接続が失われたか異常です。これにより、Pod が `ContainerCreating` 状態でスタックしたり、I/O エラーが発生したりする可能性があります。
node_volume_last_fuse_client_exit_reason	ゲージ	FUSE クライアントプロセスの最後の予期しない終了のタイムスタンプと理由。たとえば、`2025-11-06T07:19:32Z:: signal: killed` は、プロセスが `kill` シグナルを受信したことを示します。

よくある質問

storage-operator のアップグレード後にメトリックが表示されない

cnfs-controller コンポーネントの管理への更新により、モニタリング用のデータ収集パイプラインが変更されました。storage-operator を v1.33.1 以降にアップグレードする場合は、関連するモニタリングコンポーネントもアップグレードしてください。そうしないと、ストレージモニタリングダッシュボードでメトリックが表示されなくなります。

ack-arms-prometheus を v1.1.37 以降にアップグレードします。手順については、「アドオンの管理」をご参照ください。
クラスターモニタリング用の統合コンポーネントを最新バージョンに更新します。手順については、「統合コンポーネントの更新」をご参照ください。