ApsaraMQ for Kafka:リリースノート

Prometheus 監視メトリクスを追加し、クラスターの負荷とランタイムステータスのより包括的な監視を提供します。

高可用性 (HA) バックオフ再試行メカニズムを導入し、ネットワークジッターや一時的なノード障害発生時のシステムの安定性と回復の信頼性を向上させます。

自動トランザクションクリーンアップと履歴トランザクションのスキップロードメカニズムを追加し、期限切れトランザクションによる異常なトランザクション状態を解決します。

メモリプールのライフサイクル管理の問題を修正し、リソースリークを防ぎ、長期的な安定性を確保します。

HA フェールオーバー時間を最適化し、障害復旧時間をさらに短縮します。

高 I/O ワークロード下でのスループット性能を大幅に改善し、高スループットの書き込みおよび消費シナリオをより良くサポートします。

書き込みを無効にするトピックレベルの制御を追加し、O&M や緊急シナリオ中に書き込みを柔軟に一時停止できるようにします。

プリフェッチキャッシュサイズの動的調整をサポートし、再起動なしでさまざまなワークロードにわたる読み取り性能を最適化します。

ストレージファイル作成タイムアウトの処理ロジックを最適化し、極端なシナリオでのフォールトトレランスを向上させます。

Kafka カーネルの起動プロセスを最適化し、インスタンスの初期化を高速化します。

ストレージ階層のプリフェッチメカニズムを最適化し、コールドスタート後の最初の読み取りまたは書き込み操作の応答時間を改善します。

特定の同時実行シナリオにおけるリーダー選出の失敗を修正し、高可用性を確保します。

ZooKeeper セッションのハートビート検出の精度を向上させ、誤検知による不要なフェールオーバーを削減します。

状態レポートメカニズムを強化し、監視システムにおける in-sync replica (ISR) の変更に対するリアルタイムの認識を向上させます。

基盤となるファイル List インターフェイスの性能を最適化しました。

サービスシャットダウン中に開いているインデックスファイルが多すぎることによるログ読み込みの失敗や高いディスクプレッシャーなど、複数の重大な問題を修正しました。

基盤となる依存コンポーネントをアップグレードし、全体的な信頼性を向上させました。

サーバーサイドの監視メトリクスを強化し、問題の検出を高速化しました。

クラスターのスケーリング中のトラフィックステアリングポリシーを最適化し、オンラインサービスへの影響を最小限に抑えました。

内部システムトピックの動的作成をサポートし、ランタイムの柔軟性を向上させました。

フルトレース TraceID パススルーのサポートを追加し、分散環境でのリクエストの追跡とトラブルシューティングを簡素化しました。

トピック削除プロセスを最適化し、メタデータクリーンアップの効率を向上させました。

HA フェールオーバー中の可観測性を改善し、障害診断を高速化しました。

ストレージ階層の I/O スケジューリングポリシーを改善し、高同時実行の読み書きワークロード下でのテールレイテンシーを削減しました。

非同期タスクのタイムアウト処理メカニズムを修正し、予期しないリクエストのブロッキングを防ぎました。

リーダーが変更されない場合にリーダーエポックが異常に増加する問題を修正しました。

高可用性チャネルのサポートを追加し、ネットワーク転送の効率と安定性を向上させました。

高速 HA リカバリ中に発生するメモリリークを修正しました。

新規作成トピックのデフォルトストレージクラスを指定する機能を追加し、構成を簡素化しました。

複数のサーバーサイドヘルスチェックメトリクスを最適化し、クラスター異常の早期検出を改善しました。

高速 HA リカバリを追加し、リーダーのフェールオーバー時間を大幅に短縮しました。

コールドリードとホットリードを分離し、読み取り性能と安定性を向上させました。

オフヒープメモリリークを修正し、長期的な安定性を確保しました。

適応型スロットリングポリシーを追加し、高負荷シナリオへの対応を改善しました。

主要なアラートログの識別子を強化し、緊急対応の効率を向上させました。

HA フェールオーバー中の可観測性を改善し、障害診断を高速化しました。

スナップショットファイルのクリーンアップロジックにおける複数の境界問題を修正し、メタデータの一貫性を確保しました。

リーダーが変更されない場合にリーダーエポックが異常に増加する問題を修正しました。

内部システムトピックの動的作成をサポートし、ランタイムの柔軟性を向上させました。

基盤となるファイル List インターフェイスの性能を最適化しました。

非同期タスクのタイムアウト処理メカニズムを修正し、予期しないリクエストのブロッキングを防ぎました。

コードロジックを最適化し、メモリ性能を改善しました。
コアモジュールのロジックをリファクタリングおよび最適化し、メモリオーバーヘッドを削減し、全体的なリソース使用率を向上させ、ランタイム効率を高めました。

最小コンシューマーオフセットキャッシュを追加しました。
最小コンシューマーオフセットのキャッシュを追加し、高速なクエリと応答をサポートします。この機能は、オフセット取得性能を大幅に向上させ、バックエンドストレージの負荷を軽減します。

コンシューマーオフセットインターフェイスの他コンポーネントへの依存を弱めました。
コンシューマーオフセットのクエリフローを最適化し、他コンポーネントへの依存を弱めました。この変更により、他コンポーネントの障害やネットワークジッター発生時のシステムの可用性と安定性が向上します。

ソケットメモリプールのリークを修正しました。
特定のシナリオでメモリが正しく解放されない場合に発生するソケットメモリプールのメモリリークを特定し、修正しました。この修正により、長期運用におけるシステムの信頼性と安定性がさらに向上します。

機能の最適化

1. カーネルロジックを最適化し、Fetch リクエストの頻度を削減しました。
   メッセージプルーフローをリファクタリングし、Fetch リクエストのトリガーメカニズムを最適化して、不要な Fetch リクエストを削減しました。この変更により、ブローカーの負荷とネットワークオーバーヘッドが低減します。
   
   

2. 読み書きキューを最適化し、システムの分離を改善しました。
   読み書きリクエストのキュースケジューリングポリシーを改善し、コールドデータ読み取りを他のコア API リクエストから分離しました。この変更により、クリティカルパス性能に対するコールドデータ読み取りの干渉が大幅に削減されます。
   
   

3. カーネルの可観測性を強化しました。
   主要なパスに監視メトリクスとインストルメンテーションを追加し、システムのランタイムステータスへの可視性を向上させました。この変更は、トラブルシューティングとパフォーマンスチューニングに役立ちます。
   
   

バグ修正

1. 予期せぬダウンタイム後のコンシューマーオフセットのロールバックを修正しました。
   オフセット永続化メカニズムを最適化し、ブローカーのクラッシュ後に正しいオフセットが回復されるようにしました。この修正により、メッセージの重複消費が防止されます。
   
   

2. 重複したトピック名による書き込みの失敗を修正しました。
   トピックメタデータ管理ロジックを修正し、命名の競合による書き込みの失敗を解決しました。この修正により、クラスターの安定性と互換性が向上します。
   
   

3. ZooKeeper セッションの期限切れによるトランザクションの例外を修正しました (KAFKA-9307)。
   ZooKeeper セッション管理を最適化し、セッションタイムアウトに対するトランザクションステートマシンの耐性を向上させました。この修正により、一時的な接続ジッターによるトランザクションの中断が防止されます。
   
   

4. LocalTopic のメモリリークを修正しました (KAFKA-8448)。
   長期運用中に解放されない参照によって引き起こされる LocalTopic のメモリリークを特定し、修正しました。この修正により、長期的な安定性とリソース管理が向上します。
   
   

トランザクションマーカーメッセージによって引き起こされる __consumer_offsets 内部トピックの無制御な増加を修正しました (KAFKA-8335)。
トランザクションマーカーが時間内にクリーンアップされず、__consumer_offsets トピックのセグメントログのコンパクションと期限切れが妨げられる問題を特定し、修正しました。トランザクション状態の書き込みとクリーンアップを最適化し、内部トピックのストレージ増加を許容範囲内に保ちます。この修正により、異常なディスク領域の使用が回避され、長期的な安定性が向上します。

カーネルの Time-to-Live (TTL) 削除メカニズムをさらに最適化し、ディスク読み取り性能への影響を軽減しました。
TTL データ期限切れロジックをリファクタリングし、クリーンアップ操作を読み取りパスから分離しました。この変更により、バックグラウンドの削除タスクと読み取り操作間のディスク I/O の競合が減少し、読み取りレイテンシーへの影響が大幅に低減します。また、高負荷下でのシステムの安定性と応答性能も向上します。

カーネルログの可観測性を強化しました。
主要なパスのログ出力を改善し、ログ形式を標準化し、リクエストタイプや持続時間などのコンテキストを追加しました。これらの変更により、トラブルシューティングが高速化され、O&M 監視が改善され、異常の診断がより迅速に行えるようになります。

カーネルの Time-to-Live (TTL) 削除ロジックを最適化し、ディスク読み取り性能への影響を軽減しました。
TTL データクリーンアップメカニズムをリファクタリングしました。大規模シナリオでの一括削除中に、バックグラウンドの期限切れタスクのスケジューリングと I/O 処理を最適化し、ディスク読み取りとのリソース競合を削減しました。クリーンアップタスクに対する詳細なスロットリング制御を導入し、集中した削除によって引き起こされる読み取りレイテンシーのジッターを効果的に緩和しました。この最適化により、高負荷下でのシステムの安定性と応答性能が大幅に向上します。

パーティションの偏りによって引き起こされる LocalTopic の削除失敗を修正しました。パーティションが偏ったデプロイメントでメタデータ状態が不整合になるために LocalTopic の削除が停止または失敗する問題を特定し、解決しました。フォールトトレラントな削除ロジックと状態検証を強化し、すべてのデプロイメントシナリオで LocalTopic が確実に再利用できるようにしました。この修正により、リソース管理の信頼性とシステムの堅牢性が向上します。

メタデータの誤った削除を修正しました。
重要なメタデータが誤ってパージされるシナリオを特定し、修正しました。メタデータのライフサイクル管理と削除条件のチェックを強化し、意図しない操作中にトピック、パーティション、レプリカ構成の整合性を確保しました。この修正により、システムの安定性とデータセキュリティが向上します。

ノードのダウンタイム中に Sarama クライアントがオフセットリストを取得するサポートを追加しました。
メタデータ返却ロジックを最適化することで、ブローカーの高可用性を強化しました。この変更により、一部のノードが故障した場合でも Sarama や他のクライアントがコンシューマーオフセットリストを取得できるようになり、クラスター異常時のクライアントのフォールトトレランスと可用性が向上します。

Add Partitions API のエラーメッセージを修正しました。
Add Partitions API の例外フィードバックメカニズムを最適化しました。エラーコードと応答メッセージを標準化および明確化し、O&M 診断を高速化し、ユーザーが操作失敗の原因をより正確に特定できるようにしました。

カーネルの可観測性を強化しました。
主要なカーネルパスの監視メトリクスとインストルメンテーションを改善しました。メッセージの読み書き、パーティションの状態、リソース使用量に対する詳細な観測機能を追加しました。この変更により、システムの透明性が向上し、より迅速なトラブルシューティングとパフォーマンスチューニングがサポートされます。

自動作成トピックの性能を最適化し、作成速度を向上させました。
自動作成トピックのフローをリファクタリングし、メタデータの初期化と同期のオーバーヘッドを削減しました。この変更により、トピック作成の応答時間が大幅に短縮され、高同時実行下でのシステムの応答性とユーザーエクスペリエンスが向上します。

内部管理クライアントによる自動作成トピックのフィルタリングをサポートしました。
内部管理クライアントによる自動トピック作成に対する詳細な制御を追加しました。ホワイトリストやポリシーを使用して、意図しないまたは不正なトピック作成を防ぐことができます。この機能により、クラスターのセキュリティガバナンスと O&M の制御性が強化されます。

異常な読み取りシナリオでの同時実行の安全性に関する問題を修正しました。
異常な読み取りパスでマルチスレッド競合によって引き起こされるリソースアクセス競合を特定し、解決しました。詳細なロックと状態検証を導入し、高同時実行下でのスレッドセーフな読み取りとシステムの安定性を確保しました。

リソース分散を最適化するためのバランスの取れた負荷分散ポリシーを追加しました。
ブローカー間でのパーティションとレプリカの分散の均一性を向上させる、よりスマートなリバランスポリシーを導入しました。このポリシーは、負荷の偏りを減らし、全体的なリソース使用率を向上させ、サービスの安定性を高めます。

実際のアクティブなリーダーノードのみがリモート読み取りを実行できるようにしました。
レプリカのロール検証を強化し、リモート読み取りリクエストを現在のパーティションの実際のリーダーに制限しました。この変更により、不整合なロール状態によって引き起こされるデータ読み取りの異常が防止され、データの一貫性とクラスターのセキュリティが向上します。

ホスト名解決の失敗を修正しました。
ホスト名解決ロジックを最適化し、コンテナ化された環境や特殊なネットワーク環境での堅牢性を向上させました。この修正により、正しいノード登録が保証され、空または無効なホスト名による登録失敗や通信問題が回避されます。

データの不整合を防ぐため、同期モードで指定された ZooKeeper インスタンスへの読み書きサポートを追加しました。
固定の ZooKeeper ノードへの明示的な読み書きサポートを追加しました。この機能は、重要なメタデータ操作のためにプライマリ ZooKeeper インスタンスへの同期アクセスを強制します。この変更により、ZooKeeper をまたいだ読み取りによって引き起こされる一時的なデータの不整合が回避され、構成管理の信頼性が向上します。

マッピング圧縮を最適化し、監視メトリクスのレポートを改善しました。
特定のシナリオでのトラフィックルーティングデータ圧縮ロジックを改善し、メモリとネットワークのオーバーヘッドを削減しました。コア監視メトリクスの精度と適時性を修正・強化し、トラフィック統計と可観測性を向上させました。

リーダーエポックのロールバックを修正しました。
特定のフェイルバックシナリオで発生する異常なリーダーエポックのロールバックを修正しました。リーダーエポックの単調増加を強化し、メタデータの不整合による重複消費やデータ損失を回避しました。この修正により、レプリカステートマシンの信頼性が向上します。

レプリカのリソースリークを修正しました。
ブローカーのオフラインイベントやパーティション移行中に発生するレプリカオブジェクトのリークを特定し、解決しました。リソースの再利用を最適化し、メモリとハンドルの継続的な蓄積を防ぎました。この修正により、システムの長期的な安定性が向上します。

個別の読み取りキューとデフォルト API キューを追加し、デフォルトで有効にしました。
専用の読み取りリクエストキューを導入し、コンシューマーの読み取りトラフィックを通常の API リクエストから分離しました。この変更により、高負荷下での相互干渉が防止され、全体的なスケジューリング効率とサービスの安定性が向上します。

動的スケーリング中の構成損失を修正しました。
ホットコンフィギュレーションの更新を最適化し、パラメータ調整中の正しい状態同期を確保しました。この修正により、構成の損失によるサービス異常が防止され、ランタイムの保守性が向上します。

不正確なスロットリングメトリクス収集を修正しました。
スロットリングモジュールの監視データ収集を改善しました。マルチスレッド環境でのカウントエラーを修正し、Throttle メトリクスが現在のトラフィック制御状態を正確に反映するようにしました。この修正により、可観測性と運用上の意思決定が向上します。

トピックの状態変更中の書き込み失敗を修正しました。
トピックの状態遷移中にメタデータ検証の失敗によって引き起こされる書き込みブロッキングを解決しました。この修正により、プロセス全体を通じての継続性と書き込み可用性が確保されます。

ListOffsets メカニズムを最適化し、異常なシナリオで特別なオフセットを返すようにしました。
ListOffsets インターフェイスのフォールトトレランスを強化し、パーティションが利用できない場合でもプリセットまたはキャッシュされたオフセットを返すようにしました。この変更により、Sarama などのクライアントに対して、異常時のクライアント互換性と可用性が向上します。

ログの形式と内容を最適化しました。
ログ出力を標準化し、リクエストタイプや持続時間などの主要なコンテキストを追加し、冗長なログを削除しました。これらの変更により、トラブルシューティングの効率とシステムの可観測性が向上します。

ZooKeeper の一時的な切断中に HA 障害が発生するのを防ぐため、HA を強化しました。
ZooKeeper セッションの一時的な中断に対する許容範囲を追加することで、HA フェールオーバーのフォールトトレランスを改善しました。この変更により、ネットワークジッターや一時的な ZooKeeper の利用不能によって引き起こされるマスター/スレーブのフェールオーバー失敗が防止され、迅速なクラスター回復が保証されます。

NameServer 接続管理を最適化しました。
クライアントから NameServer への接続戦略を調整し、障害発生時にネットワークスレッドへのブロッキング効果を低減しました。この変更により、NameServer の障害や遅延が発生した場合のシステムの堅牢性が向上します。

トランザクションとべき等性に関連する 4 つの主要な Apache Kafka コミュニティの問題の修正をマージしました。
Apache Kafka コミュニティから、以下を含む複数のコア修正を取り込みました。

• KAFKA-8448：LocalTopic のメモリリークを修正

• KAFKA-9307：ZooKeeper セッションの期限切れによるトランザクションの例外を修正

• KAFKA-9839：トランザクションコーディネーターのステートマシンを最適化

• KAFKA-8764：べき等プロデューサーのシーケンス番号リセット問題を修正
  これらの修正により、トランザクション機能とべき等性機能の安定性と互換性が大幅に向上します。