Realtime Compute for Apache Flink:2022年3月4日リリース

機能

詳細

関連ドキュメント

Hologres 向けの適応型 JSON スキーマ進化

JSON はストリーム処理で最も一般的なイベント形式の 1 つです。リアルタイムストリーミングジョブとバックエンドストレージエンジンのテーブルにとって、スキーマの進化は透過的なプロセスであるべきです。

• Hologres カタログの管理

• Hologres シンクテーブル

Iceberg および Hudi データレイク構築機能の強化

• Alibaba Cloud Data Lake Formation (DLF) をカタログとしてサポートします。

  DLF カタログを使用すると、Hudi、Iceberg、およびその他の DLF がサポートするエンジンにアクセスして、リアルタイムデータレイクを迅速に構築できます。

• Realtime Compute for Apache Flink 向けの組み込みのエンタープライズグレード Hudi コネクタにより、運用保守 (O&M) の複雑さが軽減されます。

  • Flink CDC を使用してデータベース全体をデータレイクに取り込み、テーブルスキーマの変更を自動的に同期することをサポートします。

  • Alibaba Cloud OSS や DLF などのコンポーネントと統合し、コンピューティングエンジン間のデータ接続性を向上させます。

• DLF-Legacy カタログの管理

• Hudi シンクテーブル

ログの表示と設定のユーザビリティ向上

• ログのページング機能を追加しました。

  [Job Explorer] タブのログページング機能により、長時間実行されるジョブのログが大きくなりすぎた場合にページが開けなくなるのを防ぎます。

• ログレベルの動的変更をサポートします。

  ジョブを再起動することなく、[Job Explorer] タブで実行中の TaskManager (TM) のログレベルを動的に変更して、トラブルシューティングに役立てることができます。

• 失敗した TM のログ表示をサポートします。

  [Job Explorer] タブで、JobManager (JM) がまだ実行中に失敗した TM のログを表示できます。これにより、TM の障害原因を調査できます。

• 起動ログと運用ログの表示

• 実行中のジョブのログレベルを動的に変更

• 失敗した TaskManager のログを表示

Flink と ClickHouse 向けの複数のエンタープライズグレード機能

• exactly-once セマンティクスをサポートします。

  クラウドベースの ClickHouse 製品ではなく、オープンソースのビッグデータプラットフォーム E-MapReduce の ClickHouse コンポーネントに対して exactly-once セマンティクスを提供します。

• ClickHouse の Nested 型をサポートします。

  ClickHouse の Nested 型は Flink の Array 型にマッピングできます。

• ClickHouse 分散テーブルのローカルテーブルへの直接書き込みをサポートします。

  分散テーブルのローカルテーブルに直接書き込むことで、ClickHouse 分散テーブルの書き込みスループットを大幅に向上させることができます。

ClickHouse シンクテーブル

ジョブ診断ルールとインターフェイスの最適化

• 20 を超える新しい診断ルールを追加し、ジョブの実行ステータスを包括的に分析します。

  ジョブの実際のステータスに基づいて、高、中、低のリスクレベルのアラートを提供します。

• 診断インターフェイスを最適化し、問題の特定がより容易になりました。

インテリジェントジョブ診断

データ同期で計算列の追加をサポート

CTAS ステートメントは、ソーステーブルに計算列を追加し、新しい列をシンクテーブルのプライマリキーとして設定することをサポートします。

データウェアハウスやデータレイクにデータを取り込む際、CTAS ステートメントを使用すると、新しい計算列の位置を指定し、それをシンクテーブルの物理列にすることができます。計算列の結果はリアルタイムでシンクテーブルに同期されます。CTAS ステートメントは、シンクテーブルのプライマリキーを新しい計算列に変更することもサポートします。

CREATE TABLE AS (CTAS) ステートメント

テストデータの容易な生成

シミュレートされたデータジェネレーターコネクタを追加しました。

シミュレートされたデータジェネレーターコネクタを使用すると、ビジネスシナリオに関連するテストデータを簡単に生成できます。これにより、開発およびテスト中にビジネスロジックを検証するのに役立ちます。

• シミュレートされたデータジェネレーターのソーステーブル

• シミュレートされたデータジェネレーターのディメンションテーブル

ジョブ開発を加速する新しいテンプレートハブ

• 20 を超えるコードテンプレートを提供します。

  一般的な Flink SQL シナリオ向けの 20 を超えるテンプレートにより、Flink SQL を使用したジョブコードの作成方法を迅速に学習できます。

• MySQL から Hologres へのデータ同期テンプレートを提供します。

  Flink CDC ジョブを迅速に作成し、ウェアハウジングやデータレイクへの取り込みのためのデータ同期を完了するのに役立ちます。

• コードテンプレート

• データ同期テンプレート

リソース使用量のより明確な表示

Flink 開発コンソールの左下隅に、現在のプロジェクトの CPU とメモリの使用量が表示されます。これにより、プロジェクトリソースを迅速に管理できます。

なし

低速なチェックポイントノードのログを迅速に特定

スナップショット履歴で、ノードのスナップショットステータスをソートできるようになりました。また、スナップショット履歴インターフェイスからワンクリックで TM ログに直接移動し、低速なチェックポイントの原因を表示することもできます。

低速なチェックポイントを特定し、対応する TaskManager のログを表示

AnalyticDB for PostgreSQL のシンクテーブルとディメンションテーブルをサポート

• Flink は AnalyticDB for PostgreSQL シンクテーブルへのデータ書き込みをサポートします。

• Flink は、ルックアップクエリで AnalyticDB for PostgreSQL との結合をサポートします。

• AnalyticDB for PostgreSQL シンクテーブル

• AnalyticDB for PostgreSQL ディメンションテーブル

エンタープライズグレードのステートバックエンドのユーザビリティ向上

• パラメータをリアルタイムで最適化する機能を追加しました。これにより、手動チューニングの複雑さとコストが最小限に抑えられ、95% 以上のケースで手動でのパラメータチューニングが不要になります。

• シングルコアのスループットが 10% から 40% 向上します。これにより、トラフィックのピークや谷などの変動するシナリオに容易に対応できます。

• エンタープライズグレードのステートバックエンドの概要

• エンタープライズグレードのステートバックエンドの設定

• システムチェックポイントまたはジョブスナップショット