このトピックでは、OSS から Simple Log Service にデータをインポートする際の制限について詳しく説明します。
収集の制限
| 項目 | 説明 |
| 単一オブジェクトのサイズ |
オブジェクトがサイズ制限を超えた場合、インポートタスクはそのオブジェクト全体をスキップします。 |
| 単一データレコードのサイズ | 単一データレコードの最大サイズは 3 MB です。 この制限を超えるレコードは破棄されます。 破棄されたレコード数は、[Data Processing Insight] ダッシュボードに書き込み失敗として表示されます。 詳細については、「関連操作」をご参照ください。 |
| オブジェクトの更新 | インポート済みの OSS オブジェクトに新しいコンテンツを追加した場合、インポートタスクはそのオブジェクト全体を再インポートします。 |
| 新規オブジェクト検出のレイテンシー | 新規オブジェクトを検出するための最小間隔は 1 分に設定できます。 ただし、多数のオブジェクトをインポートする場合、遅延が長くなる可能性があります。 |
構成の制限
| 項目 | 説明 |
| データインポート構成の数 | 1 つの Project に、すべてのタイプのインポート構成を最大 100 個作成できます。 上限の引き上げをご希望の場合は、チケットをサブミットしてください。 |
パフォーマンスの制限
| 項目 | 説明 |
| 同時サブタスクの数 | Simple Log Service は、インポート対象のオブジェクト数に基づいて、複数の同時サブタスクを自動的に作成します。 デフォルトでは、各インポート構成で最大 8 個のサブタスクを生成できます。 各サブタスクは、解凍後のデータに対して最大 10 MB/s の処理速度をサポートします。 これにより、インポートタスクあたりのデフォルトの合計処理速度は最大 80 MB/s になります。 上限の引き上げをご希望の場合は、チケットをサブミットしてください。 |
| Logstore のシャード数 | 送信先 Logstore のシャード数によって、書き込みパフォーマンスが決まります。 1 つのシャードは 5 MB/s の書き込みスループットをサポートします。 大量のデータをインポートする場合は、Logstore のシャード数を増やすことを推奨します。 詳細については、「シャードの管理」をご参照ください。 |
| アーカイブオブジェクトの読み取り | アーカイブオブジェクトは、読み取る前に復元する必要があります。 オブジェクトの復元には通常約 1 分かかります。 |
| オブジェクトサイズ | 総データ量が同じ場合、読み取りスループットは、オブジェクトが大きいほど高くなり、小さいオブジェクトが多数あるほど低くなります。 |
| ネットワーク | OSS バケットと Simple Log Service の Project を同じリージョンに配置すると、インターネットトラフィックコストを節約でき、より高速なデータ転送が可能になります。 クロスリージョンでのインポートでは、ネットワーク状況によりオブジェクトの読み取りパフォーマンスが低下します。 |
| 新規データのインポートレイテンシー | 多数の既存オブジェクトがあり、[OSS Metadata Indexing] 構成を有効にしていない場合、サービスは設定されたチェック間隔内に新規オブジェクトを収集できないことがあります。 たとえば、既存のオブジェクトが約 100 万個ある場合、新規オブジェクトの収集レイテンシーは約 2 分です。 レイテンシーは、既存のオブジェクト数に比例して増加します。 |