Object Storage Service:監視、診断、およびトラブルシューティング

全体的な状態の監視

• 可用性/有効リクエスト率

  可用性/有効リクエスト率は、OSS の安定性と OSS の使用状況を示す最も重要な指標です。100% 未満の割合は、特定のリクエストが失敗したことを示します。

  100% 未満の割合は、負荷分散のためのパーティション移行などの OSS の最適化が原因である可能性があります。この場合、OSS SDK は、この一時的な最適化によるエラーリクエストを処理するための関連する再試行メカニズムを提供します。このようにして、ビジネスへの影響はありません。

  エラーリクエストの種類と原因を特定し、問題をトラブルシューティングするには、CloudMonitor コンソールのリクエストステータスの詳細とリクエストステータスの分布に基づいてリクエストを分析します。

  さらに、特定のビジネスシナリオでは、有効リクエスト率が 100% 未満になる可能性があります。たとえば、特定のシナリオでオブジェクトを管理する前に、オブジェクトが存在するかどうかを確認するためにリクエストを送信する必要があります。オブジェクトが存在しない場合、HTTP ステータスコード 404 がクライアントに返され、有効リクエスト率が 100% 未満になります。

  OSS の高可用性を必要とするビジネスの場合、メトリックがしきい値を下回ったときにトリガーされるアラートルールを構成できます。

• リクエストの総数/有効リクエストの数

  リクエストの総数/有効リクエストの数は、リクエスト数という側面から見た OSS の実行状態を示します。有効リクエストの数がリクエストの総数よりも少ない場合、特定のリクエストが失敗したことを示します。

  有効リクエスト数の変動、特に急上昇と急降下を監視し、原因を分析するには、アラートルールを構成してできるだけ早く通知を受け取ることができます。詳細については、「アラートサービスを使用する」をご参照ください。

• リクエストステータスの分布

  可用性/有効リクエスト率が 100% 未満の場合、または有効リクエストの数がリクエストの総数よりも少ない場合は、リクエストステータスの分布を表示して、エラーリクエストの種類を特定できます。リクエストステータスの分布の詳細については、「メトリック」をご参照ください。

リクエストステータスの監視

パフォーマンスの監視

OSS のパフォーマンスを示すメトリックについては、平均レイテンシの急上昇やリクエストの長期にわたる高レイテンシなど、異常な変動に焦点を当てる必要があります。パフォーマンスメトリックのアラートルールを構成して、アラートルールがトリガーされたときに通知が送信されるようにすることができます。

課金対象項目の監視

OSS 監視サービスを使用すると、ストレージ使用量、PUT リクエストと GET リクエストの数、インターネット経由のアウトバウンドトラフィック (CRR アウトバウンドトラフィックまたは CDN アウトバウンドトラフィックは含まれません) などの課金対象項目を監視できます。OSS 監視サービスは、課金対象項目のアラート設定と OpenAPI 読み取りをサポートしていません。

OSS 監視サービスは、ユーザーごとおよびバケットごとに月単位のリソース使用量の統計を提供します。Alibaba Cloud アカウントまたは特定のバケットの OSS リソース使用量は、1 時間ごとに計算および更新されます。このようにして、当月のストレージコストを計算できます。

問題診断

• パフォーマンス診断

  ビジネス要件に基づいて、アプリケーションパフォーマンスのベースラインを決定する必要があります。パフォーマンスの問題は、OSS の過負荷、クライアントの TCP 構成、およびネットワークからのトラフィックのボトルネックが原因である可能性があります。

  このようにして、監視サービスによって提供されるパフォーマンスメトリックに基づいて、発生する可能性のある問題を特定できます。次に、詳細についてログをクエリし、問題をさらに診断します。

• エラー診断

  リクエストエラーが発生すると、クライアントアプリケーションはサーバーからエラーメッセージを受け取ります。監視サービスは、さまざまなエラーリクエストを記録して表示します。サーバーのログ、クライアントのログ、およびネットワークの状態を確認して、特定のリクエストに関する詳細を取得できます。HTTP ステータスコードとエラーコードは、エラーリクエストの考えられる原因を示します。

  エラーコードの詳細については、「エラーコード」をご参照ください。

• ロギング機能を使用した問題の診断

  OSS は、リクエストに関する詳細を記録できるロギング機能を提供します。

  ロギングを有効化して使用する方法の詳細については、「ロギングの構成」および「ロギング」をご参照ください。

• ネットワークログツールの使用

  特定のケースでは、ネットワークログツールを使用して、クライアントとサーバー間のトラフィックをキャプチャする必要がある場合があります。このようにして、送信されたデータとネットワーク状態に関する情報を取得できます。たとえば、ユーザーリクエストでエラーが報告されますが、アプリケーションサーバーでリクエストのログが生成されません。この場合、OSS ログを確認するか、ネットワーク監視ツールを使用して問題を特定します。一般的に使用されるツールの 1 つは、Wireshark です。これは、さまざまなネットワークプロトコルの詳細なパケット情報を表示するために使用されます。詳細については、「Windows に Wireshark をインストールして使用する方法」および「WireShark の使用」をご参照ください。

E2E 追跡と診断

ほとんどの場合、リクエストはクライアントから OSS に送信され、OSS サーバーはリクエストを処理してクライアントに応答を送信します。クライアント、ネットワーク、およびサーバーのログを使用して、問題の根本原因をトラブルシューティングできます。OSS は、リクエスト ID をログの一意の識別子として提供します。さらに、ログのタイムスタンプを使用することで、リクエストの処理中に他のイベントに関する情報を取得できます。これは、問題の原因を分析および調査するのに役立ちます。

パフォーマンス関連の問題

• 平均 E2E レイテンシが高く、平均サーバーレイテンシが低い

  考えられる原因:

  • クライアントアプリケーションの応答が遅い

    • 使用可能な接続とスレッドが制限されています。

      • 関連するコマンドを実行して、システム接続状態を確認し、CPU コア数を変更します。

      • クライアントリソースのボトルネックを表示し、同時スレッド数を適切に増やし、クライアントコードを最適化します。

    • CPU、メモリ、または帯域幅のリソースが制限されている

      監視ツールを使用してリソースのボトルネックを特定し、コードを最適化するか、リソースをスケールアップします。

  • ネットワーク状態が悪い

    Wireshark を使用して、ネットワーク問題の原因を分析します。

• 平均 E2E レイテンシが低く、平均サーバーレイテンシが低く、クライアントリクエストレイテンシが高い

  クライアントリクエストレイテンシが高い場合、高レイテンシはリクエストがアプリケーションサーバーに到着する前に発生する可能性が最も高くなります。したがって、クライアントからのリクエストがサーバーに到着しない理由を分析することをお勧めします。

  次のシナリオでは、クライアントリクエストレイテンシが高くなる可能性があります。

  • 使用可能な接続とスレッドが制限されています。

    • システム接続状態を確認し、CPU コア数を変更します。

    • クライアントリソースのボトルネックを表示し、同時スレッド数を適切に増やし、クライアントコードを最適化します。

  • クライアントでリクエストの再試行が複数回発生する

    クライアントのログを確認して再試行の原因を特定し、Wireshark を使用してネットワークの問題を特定します。

    • クライアントログを確認して、再試行が実行されたかどうかを判断します。Java 用 OSS SDK を例にとります。警告レベルまたは情報レベルのログプロンプトをクエリできます。同様のログが記録されている場合、クライアントまたはサーバーで再試行が発生している可能性があります。

      [Server]HTTP リクエストを実行できません:
        または
        [Client]HTTP リクエストを実行できません:

    • Java 用 OSS SDK を例にとります。クライアントログのレベルがデバッグの場合、次のログをクエリできます。同様のログが記録されている場合、再試行が実行されています。

      再試行中

• 平均サーバーレイテンシが高い

  ダウンロードとアップロードの平均サーバーレイテンシが高い場合は、次の考えられる原因を検討してください。

  • 多数のクライアントが頻繁にオブジェクトにアクセスする。

    OSS ログを表示し、CDN をアクティブにするか、バケットまたはオブジェクトのアクセス制御リスト (ACL) を変更します。

  • OSS の内部問題

    テクニカルサポートに連絡し、クライアントログを提供して問題を解決します。

アプリケーションサーバーのエラー

ネットワークエラー

ネットワークエラーは、リクエストの処理中にクライアントがリクエストをキャンセルするか接続を失った場合に発生します。クライアントがリクエストをキャンセルした場合、アプリケーションのコードを確認し、クライアントが OSS との接続を切断する理由と時期を把握する必要があります。クライアントが接続を失った場合は、Wireshark などのツールを使用して、考えられる原因を特定できます。

クライアントエラー

• クライアント認証エラーリクエストの増加

  クライアント認証エラーリクエストが増加した場合、またはクライアントアプリケーションが多数の HTTP ステータスコード 403 エラー応答を受信した場合は、次の考えられる原因を検討してください。

  • 無効なバケットドメイン名

    • ユーザーが第 3 レベルドメインまたは第 2 レベルドメインを使用してバケットにアクセスする場合、ドメイン名に含まれるリージョンがバケットが配置されているリージョンと異なる場合があります。たとえば、アクセスされるバケットは中国 (杭州) リージョンにありますが、アクセスされるドメイン名は Bucket.oss-cn-shanghai.aliyuncs.com です。この場合、バケットが配置されているリージョンを確認し、正しいドメイン名にアクセスする必要があります。

    • CDN アクセラレーションを使用する場合、CDN にマップされているバケットのドメイン名が正しくない可能性があります。この場合、オリジンがバケットの第 3 レベルドメインであるかどうかを確認します。

    • ユーザーが JavaScript クライアントを使用していて HTTP ステータスコード 403 が返される場合は、ユーザーがバケットにアクセスするために使用する Web ブラウザーにオリジン間リソース共有 (CORS) が構成されているかどうかを確認します。この場合、ユーザーが Web ブラウザーを使用してバケットにアクセスできるように、バケットの CORS 構成を確認して変更します。CORS ルールの構成方法の詳細については、「CORS」をご参照ください。

  • アクセス制御

    • Alibaba Cloud アカウントの AccessKey ペアを使用してバケットにアクセスする場合、AccessKey ペアの有効性を確認します。

    • RAM ユーザーの AccessKey ペアを使用してバケットにアクセスする場合、AccessKey ペアの有効性または認証を確認します。

    • Security Token Service (STS) によって生成された一時トークンを使用する場合、一時トークンの有効期限が切れていないかどうかを確認します。一時トークンの有効期限が切れている場合は、新しいトークンを申請します。

    • アクセスされるバケットまたはオブジェクトに ACL が構成されている場合、ACL 設定に基づいてユーザーが特定の操作を実行できるかどうかを確認します。

  • 期限切れの URL

    サードパーティユーザーが署名付き URL を使用してバケットにアクセスするときに HTTP ステータスコード 403 が返される場合、最も考えられる原因は、署名付き URL の有効期限が切れていることです。

  • RAM ユーザーが ossftp、ossbrowser、OSS コンソールなどの OSS ツールにログインすると、HTTP ステータスコード 403 が返される場合があります。この場合、正しい AccessKey ペアが入力されたかどうか、またはアカウントが RAM ユーザーの場合にユーザーが GetService オペレーションを呼び出す権限を持っているかどうかを確認します。

• クライアントリクエストに対する HTTP ステータスコード 404 エラー応答数の増加

  クライアントリクエストに返される HTTP ステータスコード 404 エラー応答は、ユーザーがアクセスするデータが存在しないことを示します。クライアントリクエストに対する HTTP ステータスコード 404 エラー応答の数が増加した場合は、次の考えられる原因を検討してください。

  • アプリケーションのビジネスロジック。たとえば、アプリケーションは Java 用 OSS SDK によって提供される doesObjectExist メソッドを呼び出して、オブジェクトが存在するかどうかを確認してから、さらなる操作を実行します。オブジェクトが存在しない場合、値 false がクライアントに返され、サーバーで HTTP ステータスコード 404 が生成されます。このシナリオでは、HTTP ステータスコード 404 はエラーを示していません。

  • アクセスされるオブジェクトは、クライアントアプリケーションまたは他のプロセスによって削除されます。この場合、アクセスされるオブジェクトの OSS ログをクエリします。

  • ネットワーク障害によって発生する削除操作の繰り返し。たとえば、クライアントはオブジェクトを削除する操作を開始します。リクエストはサーバーに到着し、オブジェクトは削除されます。ただし、ネットワーク障害のために応答はクライアントに届きません。その結果、クライアントはオブジェクトを削除する別のリクエストを送信し、HTTP ステータスコード 404 が返されます。この場合、クライアントログと OSS ログをクエリして表示し、HTTP ステータスコード 404 の原因を特定できます。

    • クライアントログをクエリし、クライアントから繰り返されるリクエストが送信されているかどうかを確認します。

    • OSS ログをクエリします。次に、オブジェクトに対して 2 つの削除操作が開始され、最初の操作の HTTP ステータスコードが 2xx であるかどうかを確認します。

• 有効リクエストの割合が低く、クライアントエラーリクエストが多い

  有効リクエストの割合は、応答が HTTP ステータスコード 2xx または 3xx である成功したリクエストの、リクエスト総数に対する割合です。応答が HTTP ステータスコード 4xx または 5xx であるリクエストは失敗したリクエストとしてカウントされ、有効リクエストの割合が低下します。ユーザーごとのその他のクライアントエラーリクエストとは、サーバーエラーリクエスト、ネットワークエラーリクエスト、クライアント認証エラーリクエスト、リソースが見つからないエラーリクエスト、およびクライアントタイムアウトエラーリクエスト以外のエラーリクエストを指します。上記のエラーリクエストへの応答は、それぞれ 5xx、499、403、404、408、または対応する OSS エラーコードが RequestTimeout である 400 です。

  OSS ログをクエリしてエラ-タイプを特定できます。次に、OSS エラーコードを参照し、アプリケーションのコードを変更して問題を解決します。詳細については、「エラーコード」をご参照ください。

ストレージ使用量の異常な増加

その他のストレージサービスの問題