Simple Log Service:安定性と制限

安定した機能

説明

可用性

高可用性が提供されます。

Simple Log Service のエラーが原因で OSS データ転送ジョブが Simple Log Service からデータを読み取れない場合、ジョブは少なくとも 10 回再試行されます。ジョブがまだ失敗する場合は、エラーが報告され、ジョブが再起動されます。

安定性

説明

同時実行性

データ転送インスタンスはシャードに基づいて作成でき、データ転送に使用されるリソースはスケールアウトできます。

データ転送インスタンスのソース Logstore 内のシャードが分割された場合、データエクスポートプロセスを高速化するために、必要なリソースを数秒以内にスケールアウトできます。

データ整合性

必要なリソースは、指定された コンシューマーグループ に基づいてスケールアウトされ、データ整合性を確保します。オフセットは、データが OSS に送信された後にのみ送信されます。これにより、すべてのデータが OSS に送信されることが保証されます。

項目

説明

監視とアラート

データ転送ジョブのレイテンシーやトラフィックなどのメトリックに基づいて、データ転送ジョブをリアルタイムでモニターできます。必要に応じてカスタムアラートを構成し、データ転送中に発生した例外をできるだけ早く報告できます。たとえば、データのエクスポートに使用されるデータ転送インスタンスが不足している場合や、ネットワーククォータ制限を超えた場合にアラートがトリガーされます。詳細については、「OSS の新バージョンのデータ転送ジョブをモニターするためのアラートモニタリングルールの構成」をご参照ください。

制限

説明

ネットワークタイプ

Alibaba Cloud の内部ネットワークを介したデータ転送は高速で安定しています。

制限

説明

承認

OSS にデータを送信し、データにアクセスするには、権限を付与する必要があります。詳細については、「認証の概要」をご参照ください。

サーバ側暗号化

サーバ側暗号化が有効になっている場合は、関連する Resource Access Management (RAM) ロールに追加の権限を付与する必要があります。詳細については、「OSS 構成ドキュメント」をご参照ください。

制限

説明

読み取りトラフィック

Simple Log Service では、1 つのプロジェクトおよび 1 つのシャードの読み取りトラフィックに上限が設定されています。詳細については、「データの読み取りと書き込み」をご参照ください。

制限を超えた場合は、シャードを分割するか、プロジェクトの制限の引き上げを申請する必要があります。制限を超えたために OSS データ転送ジョブがデータを読み取れない場合、ジョブは少なくとも 10 回再試行されます。ジョブがまだ失敗する場合は、エラーが報告され、ジョブが再起動されます。

制限

説明

同時実行インスタンス

同時実行インスタンスの数は、シャードの数と同じである必要があります。シャードには、読み書きシャードと読み取り専用シャードが含まれます。

配信制限

• シャード内のログデータのサイズによって、OSS に転送され、OSS オブジェクトに格納される raw ログデータのサイズが決まります。シャード内のログデータのサイズの有効値の範囲は 5 ～ 256 です。単位：MB。

• 同じシャードのログデータを転送する 2 つのデータ転送ジョブの間隔の有効値の範囲は 300 ～ 900 です。単位：秒。

• 同時実行インスタンスのデータ転送ジョブごとに OSS オブジェクトが生成されます。

時間パーティション

データ転送ジョブでは、複数の転送操作を実行することで、データが OSS に転送されます。各データ転送操作は、データを OSS に転送し、異なる OSS オブジェクトにデータを格納します。 OSS オブジェクトへのパスは、Simple Log Service が OSS オブジェクトに転送されたデータを受信する最も早い時点によって決まります。この時点は receive_time によって指定されます。

ファイル形式

データが OSS に送信されると、データは CSV、JSON、Parquet、および ORC のいずれかの形式で保存できます。詳細については、「JSON 形式」、「CSV 形式」、「Parquet 形式」、および「ORC 形式」をご参照ください。

圧縮方式

次の圧縮方式がサポートされています：snappy、gzip、zstd。非圧縮もサポートされています。

OSS バケット

• Write Once Read Many (WORM) 機能が無効になっている既存の OSS バケットにのみデータを転送できます。バケットは、Simple Log Service プロジェクトと同じリージョンに存在する必要があります。 WORM 機能の詳細については、「保持ポリシー」をご参照ください。

• 標準、低頻度アクセス (IA)、アーカイブ、コールドアーカイブの各ストレージタイプの OSS バケットにデータを転送できます。デフォルトでは、転送されたデータを格納する生成された OSS オブジェクトのストレージタイプは、指定された OSS バケットのストレージタイプと同じです。ストレージタイプの詳細については、「概要」をご参照ください。

• IA、Archive、または Cold Archive の OSS バケットには、最小保存期間と最小課金サイズの制限が適用されます。必要に応じて OSS バケットのストレージクラスを指定することをお勧めします。ストレージクラスの詳細については、「概要」をご参照ください。

制限

説明

転送レイテンシ

[転送レイテンシ] は、現在の Logstore のデータ保存期間を超えることはできません。

データ損失を防ぐために、バッファ期間を確保することをお勧めします。たとえば、Logstore のデータ保存期間が 30 日の場合、転送レイテンシを 25 日以下の値に設定することをお勧めします。

制限

説明

データ転送ジョブの一時停止

データ転送ジョブを一時停止すると、ジョブは転送される最後のログのカーソルを記録します。ジョブを再開すると、ジョブは記録されたカーソルからログの転送を続行します。データ転送ジョブを一時停止すると、Simple Log Service は次のメカニズムを実装します。

• データ転送ジョブを一定期間一時停止し、転送するデータの保存期間が経過していない場合、ジョブを再開すると、システムは最後のカーソルからデータの転送を続行します。

• データ転送ジョブを一定期間一時停止し、転送するデータの保存期間が経過した場合、ジョブを再開すると、システムは最後のカーソルに最も近いデータからデータの転送を続行します。