このトピックでは、2023 年 10 月 23 日にリリースされた Realtime Compute for Apache Flink バージョンの主な更新と修正された問題について説明します。
このリリースで導入された Ververica Runtime (VVR) 8.0.3 は、特定のシナリオでデータ損失を引き起こす場合があり、データの精度に影響します。慎重な評価の結果、Alibaba Cloud は VVR 8.0.3 のサポート終了 (EOS) を発表することを決定しました。できるだけ早く VVR 8.0.5 以降にアップグレードすることをお勧めします。アップグレード方法については、デプロイメントのエンジンバージョンのアップグレード をご参照ください。より安全で安定したバージョンへのスムーズな移行を支援するために必要なサポートとガイダンスを提供します。ご理解とご協力をお願いいたします。
概要
2023 年 10 月 23 日の Realtime Compute for Apache Flink のリリースには、プラットフォームの更新、エンジンの更新、コネクタの更新、パフォーマンスの最適化、およびバグ修正が含まれています。
エンジンの更新: VVR 8.0.3 が正式にリリースされ、Apache Flink 1.17.1 に基づくエンタープライズクラスのエンジンが提供されます。VVR 8.0.3 では、Realtime Compute for Apache Flink と他の Alibaba Cloud ストレージおよびコンピューティングサービスとの相互運用性が強化されています。MaxCompute、StarRocks、ApsaraDB for Redis、Simple Log Service、および ApsaraMQ for RocketMQ コネクタが最適化され、パフォーマンスと安定性が向上しました。CREATE TABLE AS ステートメントの使いやすさも向上しました。
プラットフォームの更新: Autopilot チューニングモードに安定戦略が導入され、デプロイの頻繁な再起動が防止されます。デプロイに対して複数のスケジュールされたチューニングプランを設定でき、デプロイをキャンセルすることなく、使用中のプランを変更できます。SQL デプロイではフィールドレベルのデータ系列がサポートされており、リアルタイムデータ資産の管理に役立ちます。動的パラメータの更新がサポートされており、デプロイの再起動回数が削減されます。Resource Access Management (RAM) ロール、リソースディレクトリメンバー、または CloudSSO ユーザーを使用したログオンがサポートされています。
前述のコネクタの DataStream API は、次のバージョンでリリースされる予定です。
バージョンアップグレードは、2 週間の期間にカナリアリリース戦略を使用してネットワーク全体に展開されます。リージョンとアカウントのアップグレードが完了すると、デプロイに新しいエンジンバージョンを使用できます。詳細については、デプロイメントのエンジンバージョンのアップグレード をご参照ください。フィードバックをお待ちしております。
機能
機能 | 説明 | 参照 |
最適化された自動チューニング | 安定戦略がサポートされており、デプロイのランタイム全体で最適なリソース構成を特定できます。システムは、デプロイのランタイム全体でより良いオプションが見つかった場合にのみ、デプロイのリソース構成を自動的に調整します。これにより、突然のトラフィックバーストによる不要な変更が防止され、デプロイが安定した方法で実行され、収束状態に到達できます。 | |
スケジュールされたチューニングプラン | デプロイに対して複数のスケジュールされたチューニングプランを設定でき、デプロイをキャンセルすることなく、使用中のプランを変更できます。1 つのスケジュールされたチューニングプランには、複数のスケジュールされたチューニング戦略を含めることができます。 | |
Flink SQL デプロイのデータ系列 | Flink SQL デプロイのデータ系列を表示できます。この機能を使用すると、テーブル内の特定のフィールドを使用するデプロイメントを見つけ、デプロイメント内のソーステーブルと結果テーブル間のフィールドレベルの関係を特定できます。このようにして、デプロイとデータ資産を効率的に管理できます。 | |
パラメータ構成の動的更新 | Flink デプロイの並列性パラメータと特定のランタイムパラメータの構成は、デプロイをキャンセルすることなく動的に変更できます。 | |
SQL 最適化の提案 | SQL デプロイの構文チェックを実行すると、最適化の提案と潜在的なリスクを表示できます。この情報に基づいて SQL ステートメントを最適化できます。 | |
ラベルベースの検索 | SQL、JAR、または Python デプロイを作成するときにラベルを指定できます。デプロイにラベルを指定すると、Realtime Compute for Apache Flink の開発コンソールの [デプロイ] ページで、同じラベルキーまたはラベル値を使用するすべてのデプロイを検索できます。これは、デプロイを効率的に管理するのに役立ちます。 | |
強化されたデプロイの並べ替えとフィルタリング | デプロイは、ヘルススコアまたはレイテンシで並べ替え、変更を実行したユーザーに基づいてフィルタリングできます。この機能は、Realtime Compute for Apache Flink の開発コンソールの [デプロイ] ページで使用できます。 | N/A |
RAM ロール、リソースディレクトリメンバー、および CloudSSO ユーザーのログオンサポート | Realtime Compute for Apache Flink の管理コンソールと開発コンソールは、Alibaba Cloud アカウントシステムとシームレスに統合されています。Alibaba Cloud アカウント、RAM ユーザー、RAM ロール、リソースディレクトリメンバー、または CloudSSO ユーザーを使用してコンソールにログオンできます。これにより、ID 管理とアクセス制御が簡素化され、承認とリソース管理が強化されます。 | |
複雑な MaxCompute データ型と専用の MaxCompute トンネルのサポート | MaxCompute コネクタを使用して、MaxCompute で使用される JSON、ARRAY、MAP、および STRUCT 型のデータを読み書きできます。MaxCompute と Realtime Compute for Apache Flink 間の接続を容易にするために、MaxCompute コネクタに専用のトンネルを指定できます。 | |
ApsaraDB for Redis ディメンションテーブルの新しいデータキャッシュポリシー | ApsaraDB for Redis コネクタを使用してディメンションテーブルを作成するときに、cache パラメータを ALL に設定できます。これにより、パフォーマンスが向上します。 | |
ApsaraDB RDS for MySQL との互換性の向上 | 透過的データ暗号化 (TDE) が有効になっている ApsaraDB RDS for MySQL インスタンスは、MySQL カタログでサポートされています。 | N/A |
Data Lake Formation (DLF) カタログでの OSS-HDFS エンドポイントのサポート | DLF カタログの oss.endpoint パラメータを OSS-HDFS エンドポイントに設定できます。 | |
CREATE TABLE AS ステートメントで StarRocks コネクタを使用して結果テーブルを作成する場合のスキーマ変更の型正規化サポート | CREATE TABLE AS ステートメントで StarRocks コネクタを使用して結果テーブルにデータを同期する場合、スキーマ変更の型正規化モードがサポートされています。この機能を有効にすると、ソーステーブルのフィールドが、結果テーブルの対応するフィールドのデータ型と互換性のある異なる長さのデータ型に変更された場合、同期は影響を受けません。 | N/A |
Hologres 結果テーブルのパーティションキーとしての DATE 列 | DATE データ型の列をパーティションキーとして使用できます。パーティションテーブルは自動的に作成されます。 | |
ApsaraMQ for RocketMQ 5.x のサポート | ApsaraMQ for RocketMQ コネクタを使用して、ApsaraMQ for RocketMQ 5.x テーブルからデータを読み書きできます。 | |
miniBatch と結合のパフォーマンスの向上 | miniBatch 機能と結合操作のパフォーマンスが最適化されています。Change Data Capture (CDC) シナリオまたは重複除外や集計などの操作後に結合操作を実行すると、スループットが最大 130% 向上する可能性があります。 | N/A |
修正された問題
MaxCompute カタログを使用してパーティションテーブルにデータを書き込むときにエラーが発生します。
結合操作中に Hologres ディメンションテーブルのパフォーマンスが低下します。