Simple Log Service:OSS データ転送の安定性と制限事項

項目

説明

可用性

高可用性が提供されます。

Simple Log Service に起因するエラーにより OSS データ転送ジョブが Simple Log Service からのデータ読み取りに失敗した場合、ジョブは最低 10 回再試行されます。それでも失敗した場合はエラーが報告され、ジョブは再起動されます。

項目

説明

同時実行性

データ転送インスタンスはシャード単位で作成でき、データ転送に使用されるリソースをスケールアウトできます。

ソース Logstore のシャードが分割された場合、データ転送インスタンス数は数秒以内に自動的にスケールアウトし、データエクスポートを高速化します。

データ整合性

データ整合性を確保するため、指定された コンシューマーグループに基づいて必要なリソースをスケールアウトします。データが OSS へ転送された後にのみオフセットが送信されます。これにより、すべてのデータが OSS へ確実に転送されることを保証します。

項目

説明

モニタリングとアラート機能

データ転送ジョブのレイテンシやトラフィックなどのメトリックに基づいて、リアルタイムでデータ転送ジョブをモニタリングできます。ビジネス要件に応じてカスタムアラートを設定し、データ転送中に発生する例外をできるだけ早期に報告できます。たとえば、データをエクスポートするために使用されるデータ転送インスタンスが不足している場合や、ネットワーククォータ制限を超えた場合などに、アラートがトリガーされます。詳細については、「OSS 向け新バージョンのデータ転送ジョブをモニタリングするためのアラートモニタリングルールの設定」をご参照ください。

項目

説明

ネットワークタイプ

Alibaba Cloud の内部ネットワークを介したデータ転送は高速かつ安定しています。

項目

説明

認可

OSS へのデータ送信およびデータへのアクセスのための権限を付与する必要があります。詳細については、「承認の概要」をご参照ください。

サーバ側暗号化

サーバ側暗号化が有効になっている場合は、関連するリソースアクセス管理 (RAM) ロールに追加の権限を付与する必要があります。詳細については、「OSS 構成ドキュメント」をご参照ください。

項目

説明

読み取りトラフィック

Simple Log Service では、単一のプロジェクトおよび単一のシャードにおける読み取りトラフィックの上限が指定されています。詳細については、「データの読み取りおよび書き込み」をご参照ください。

この上限を超えた場合、シャードの分割またはプロジェクトにおける上限の増量申請が必要です。OSS データ転送ジョブが上限超過によりデータ読み取りに失敗した場合、ジョブは最低 10 回再試行されます。それでも失敗した場合はエラーが報告され、ジョブは再起動されます。

項目

説明

同時実行インスタンス

同時実行インスタンス数は、シャード数（読み書き可能シャードおよび読み取り専用シャードを含む）と一致させる必要があります。

データ転送

• シャード内のログデータサイズによって、OSS へ転送され OSS オブジェクトに格納される生ログデータのサイズが決定されます。シャード内のログデータサイズの有効値範囲は 5～256 MB です。

• 同一シャードのログデータを転送する 2 つのデータ転送ジョブ間の間隔の有効値範囲は 300～900 秒です。

• 各同時実行インスタンスのデータ転送ジョブごとに OSS オブジェクトが生成されます。

時間パーティション

データ転送ジョブでは、複数回の転送操作を実行してデータを OSS へ転送します。各データ転送操作では、データを OSS へ転送し、異なる OSS オブジェクトに格納します。OSS オブジェクトのパスは、その OSS オブジェクトに転送されるデータを Simple Log Service が受信した時点のうち最も早い時刻（receive_time で指定）によって決定されます。

ファイルフォーマット

OSS に転送されたデータは、CSV、JSON、Parquet、および ORC のいずれかのフォーマットで保存できます。詳細については、JSON フォーマット、CSV フォーマット、Parquet フォーマット、およびORC フォーマットをご参照ください。

圧縮方法

snappy、gzip、zstd の圧縮方式がサポートされています。非圧縮もサポートされています。

OSS バケット

• データは、Write Once Read Many (WORM) 機能が無効化された既存の OSS バケットにのみ送信できます。このバケットは、Simple Log Service プロジェクトと同じリージョンに存在している必要があります。WORM 機能について詳しくは、「保持ポリシー (WORM)」をご参照ください。

• OSS バケットの以下のストレージクラスにデータを送信できます：標準、低頻度アクセス (IA)、アーカイブ、およびコールドアーカイブ。デフォルトでは、送信されたデータを格納する生成された OSS オブジェクトのストレージクラスは、指定された OSS バケットのストレージクラスと同じになります。ストレージクラスについて詳しくは、「概要」をご参照ください。

• 以下の制限が、IA、アーカイブ、またはコールドアーカイブのOSS バケットに適用されます：最短保存期間および最小課金サイズ。OSS バケットのストレージクラスは、お客様のビジネス要件に基づいて指定することを推奨します。詳細については、「概要」をご参照ください。

項目

説明

配送遅延

設定した 転送遅延 は、ソース Logstore のデータ保持期間を超えてはなりません。

データ損失を防止するため、バッファーを設定することを推奨します。たとえば、Logstore のデータ保持期間が 30 日の場合、転送遅延は 25 日以下に設定してください。

項目

説明

データ転送ジョブの一時停止

データ転送ジョブを一時停止すると、最後に転送されたログのカーソルが記録されます。ジョブを再開した後は、記録されたカーソルからログの転送が継続されます。Simple Log Service では、データ転送ジョブの一時停止時に以下のメカニズムが実装されています：

• 一定期間ジョブを一時停止した場合でも、転送対象データの保持期間が経過していない場合は、再開後に最後のカーソルからデータの転送が継続されます。

• 一定期間ジョブを一時停止した結果、転送対象データの保持期間が経過した場合、再開後に最後のカーソルに最も近いデータから転送が継続されます。