このトピックでは、Kafka から Simple Log Service にデータをインポートする際の制限について説明します。
収集の制限
| 制限 | 説明 |
| 圧縮フォーマット | Kafka Producer は、gzip、zstd、lz4、または snappy のいずれかの圧縮フォーマットを使用する必要があります。他のフォーマットで圧縮されたデータは破棄されます。 破棄されたデータエントリの数は、[データ処理インサイト] ダッシュボードに [配信失敗] として表示されます。詳細については、「データインポート設定の表示」をご参照ください。 |
| トピックの最大数 | 1 つのデータインポート設定で、最大 10,000 のトピックをサポートします。 |
| ログの最大サイズ | 1 つのログの最大サイズは 3 MB です。この制限を超えるログは破棄されます。 破棄されたログの数は、[データ処理インサイト] ダッシュボードに [配信失敗] として表示されます。詳細については、「データインポート設定の表示」をご参照ください。 |
| 開始位置 | 開始位置は、Earliest (最も早い) または Latest (最新) のみに設定できます。特定の時点からのデータインポートはサポートされていません。 |
設定の制限
| 制限 | 説明 |
| データインポート設定の数 | 1 つの Project で、すべてのタイプのデータインポート設定を最大 100 個サポートします。より高い上限が必要な場合は、チケットを送信。 |
| 帯域幅の制限 | デフォルトでは、データインポートタスクが VPC 経由で Alibaba Cloud Kafka クラスターからデータを読み取る際の最大ネットワーク帯域幅は 128 MB/s です。より多くの帯域幅が必要な場合は、チケットを送信。 |
パフォーマンスの制限
| 制限 | 説明 |
| 同時サブタスク数 | Simple Log Service は、トピック数に基づいて複数のサブタスクを自動的に作成し、データを同時にインポートします。各サブタスクは、展開されたデータを最大 50 MB/s のレートで処理できます。
より高い上限が必要な場合は、チケットを送信。 |
| トピックパーティション数 | Kafka トピックのパーティションを増やすと、サブタスクのスケールアウトが可能になり、スループットが向上します。 データ量の多いトピックでは、パーティション数を少なくとも 16 に増やすことを推奨します。 |
| Logstore のシャード数 | Simple Log Service の書き込みパフォーマンスは、送信先の Logstore のシャード数に依存します。1 つのシャードは 5 MB/s の書き込みスループットをサポートします。大量のデータを取り込む場合は、送信先の Logstore のシャード数を増やすことを推奨します。詳細については、「シャードの管理」をご参照ください。 |
| データ圧縮 | データ量が多い場合は、Kafka に書き込む前にデータを圧縮することを推奨します。これにより、ネットワークトラフィックが大幅に削減されます。 特にインターネット経由でデータをインポートする場合、ネットワーク伝送はデータの展開よりも時間がかかることがよくあります。 |
| ネットワーク | ご利用の Alibaba Cloud Kafka クラスターが VPC 内にある場合、VPC ネットワーク経由でデータを読み取ることができます。これにより、インターネットトラフィックが節約され、伝送速度が向上し、帯域幅は 100 MB/s を超えることがあります。 インターネット経由でデータをインポートする場合、ネットワークパフォーマンスと帯域幅は保証されないため、インポートレイテンシーが発生する可能性があります。 |
その他の制限
| 制限 | 説明 |
| メタデータ同期レイテンシー | インポートタスクは、10 分ごとに Kafka クラスターからメタデータを同期します。新しく追加されたトピックとパーティションの場合、メタデータの同期は約 10 分遅延します。 説明 開始位置が Latest (最新) に設定されている場合、新しいトピックに書き込まれた初期データ (最大 10 分間のデータ) がスキップされる可能性があります。 |
| トピックオフセットの有効期間 | トピックオフセットの最大有効期間は 7 日間です。あるトピックから 7 日間連続でデータが読み取られない場合、その以前のオフセットは破棄されます。新しいデータが到着すると、インポートタスクはデータインポート設定の [開始位置] に基づいて新しいオフセットを設定します。 |