このトピックでは、KafkaからSimple Log Serviceへのデータインポートの制限について説明します。
コレクションの制限
項目 | 説明 |
圧縮フォーマット | Kafka Producerは、gzip、zstd、lz4、snappyの形式で圧縮されたデータをサポートしています。 Kafka Producerは、他の形式で圧縮されたデータを破棄します。 破棄されたデータエントリの数は、[データ処理インサイト] ダッシュボードの [配信に失敗した] グラフで確認できます。 詳細については、「データインポート設定の表示」をご参照ください。 |
トピックの最大数 | データインポート設定では、最大10,000のトピックを指定できます。 |
単一ログのサイズ | 1つのログのサイズは3 MBに制限されています。 ログのサイズが制限を超えると、ログは破棄されます。 破棄されたログの数は、[データ処理インサイト] ダッシュボードの [配信に失敗した] グラフで確認できます。 詳細については、「データインポート設定の表示」をご参照ください。 |
開始位置 | データインポート設定のStarting Positionパラメーターを設定する場合、EarliestまたはLatestのみを選択できます。 データインポートの開始位置として時刻を指定することはできません。 |
構成の制限
項目 | 説明 |
データインポート設定の数 | 1つのプロジェクトに作成できるデータインポート構成の総数は、構成の種類に関係なく最大100個です。 制限を増やしたい場合は、 チケットを起票してサポートセンターにお問い合わせくださいしてサポートセンターにお問い合わせください。 |
帯域幅 | データインポートタスクが仮想プライベートクラウド (VPC) を介してAlibaba Cloud Kafkaクラスターからデータを読み取る場合、タスクに許可される最大ネットワーク帯域幅はデフォルトで128メガバイト/秒です。 より高い帯域幅が必要な場合は、 ticket |
パフォーマンスの制限
項目 | 説明 |
同時サブタスクの数 | Simple Log Serviceは、バックエンドのKafkaトピックの数に基づいてデータを同時にインポートするための複数のインポートサブタスクを作成します。 各サブタスクは、最大50メガバイト/秒の速度で解凍されたデータを処理できます。
制限を増やしたい場合は、 チケットを起票してサポートセンターにお問い合わせくださいしてサポートセンターにお問い合わせください。 |
トピックのパーティション数 | Kafkaトピックに多数のパーティションがある場合、データインポートのスループットを向上させるために追加のサブタスクを作成できます。 Kafkaトピックに大量のデータがある場合は、トピックのパーティション数を増やすことができます。 トピックのパーティション数は16以上にすることをお勧めします。 |
Logstore内のシャード数 | Simple Log Serviceの書き込みパフォーマンスは、Logstore内のシャードの数によって異なります。 単一のシャードは5メガバイト/秒の書き込み速度をサポートします。 インポートタスクが大量のデータをSimple Log Serviceに書き込む場合は、Logstoreのシャード数を増やすことを推奨します。 詳細については、「シャードの管理」をご参照ください。 |
データ圧縮 | KafkaからSimple Log Serviceに大量のデータをインポートする場合は、Kafkaにデータを書き込むときにデータを圧縮することをお勧めします。 このようにして、ネットワークを介して読み取られるデータの量が大幅に削減されます。 ネットワーク送信は、特にデータがインターネット経由でインポートされる場合、データの解凍よりも時間がかかります。 |
ネットワーク | Alibaba Cloud KafkaクラスターがVPCにデプロイされている場合、VPC経由でクラスターからデータを読み取ることができます。 これにより、インターネットトラフィックが削減され、データ送信が高速化されます。 このシナリオでは、データ読み取り帯域幅は100メガバイト/秒以上に達する可能性があります。 インターネット経由でデータをインポートすると、ネットワークのパフォーマンスと帯域幅が保証されません。 これにより、インポートレイテンシが発生する可能性があります。 |
その他の制限
項目 | 説明 |
メタデータ同期レイテンシ | インポートタスクは、KafkaクラスターのメタデータをSimple Log Serviceと10分間隔で同期します。 トピックまたはパーティションが新しく作成された場合、約10分の遅延後にトピックまたはパーティションのメタデータがインポートされます。 説明 データインポート設定でStarting PositionパラメーターをLatestに設定した場合、新しいトピックに最初に書き込まれたデータはスキップされることがあります (最大10分以内) 。 |
トピックのオフセットの有効期間 | Kafkaトピックのオフセットは最大7日間有効です。 7日以内にトピックからデータが読み取られない場合、オフセットは破棄されます。 7日後に新しいデータがトピックに書き込まれた場合、Simple Log Serviceは、データインポート設定で指定された開始位置に基づいて、使用するオフセットを決定します。 |