Realtime Compute for Apache Flink:2022 年 3 月 4 日

機能

説明

リファレンス

Hologres への JSON スキーマ変更の同期

JSON は、ストリーム処理で最も一般的なイベント形式の 1 つです。スキーマの変更は、バックエンドストレージエンジンのリアルタイムストリーミングジョブとテーブルに対して透過的であることが期待されます。

• Hologres カタログの管理

• Hologres コネクタ

Iceberg および Hudi のデータレイク構築機能の強化

• Alibaba Cloud DLF カタログを設定できます。

  DLF カタログを設定して、Hudi、Iceberg、または DLF でサポートされている他のエンジンにアクセスできます。これにより、リアルタイムのデータレイクを効率的に構築できます。

• Iceberg テーブルの小さなファイルを大きなファイルに書き直すことができます。

  AUTO OPTIMIZE ステートメントを実行して、ストリーミング最適化タスクを開始し、Iceberg テーブルの小さなファイルを大きなファイルに自動的に書き直すことができます。

• 組み込みのエンタープライズレベル Hudi コネクタは、Realtime Compute for Apache Flink によってサポートされており、O&M の複雑さを軽減します。

  • Flink Change Data Capture (CDC) を使用して、データベースからデータレイクにデータを取り込み、テーブルスキーマの変更を自動的に同期できます。

  • Realtime Compute for Apache Flink は、Object Storage Service (OSS) や DLF などの Alibaba Cloud サービスと統合して、コンピューティングエンジン間のデータ接続性を向上させることができます。

• DLF カタログの管理

• AUTO OPTIMIZE ステートメント

• Hudi 結果テーブルの作成

ログの表示と設定の使いやすさの向上

• ログはページごとに表示できます。

  ジョブが長時間実行されている場合、多数のログが原因で、ジョブの [ログ] タブが表示されない場合があります。この問題を防ぐために、Realtime Compute for Apache Flink では、[ログ] タブでジョブのログをページごとに表示できます。

• ログレベルを変更できます。

  ジョブを再起動することなく、ジョブの [ログ] タブで実行されている TaskManager のログレベルを変更できます。これは、問題の原因を特定するのに役立ちます。

• 失敗した TaskManager のログを表示できます。

  [ログ] タブで、JobManager の実行中に実行に失敗した TaskManager のログを表示できます。これにより、TaskManager の障害の原因を特定できます。

• デプロイメントの起動ログと操作ログの表示

• 実行中のデプロイメントのログレベルの変更

• 失敗した TaskManager のログの表示

Realtime Compute for Apache Flink でサポートされている複数のエンタープライズレベルの ClickHouse 機能

• exactly-once セマンティクスがサポートされています。

  E-MapReduce (EMR) によって提供される ClickHouse サービスは、ApsaraDB for ClickHouse ではなく、exactly-once セマンティクスをサポートしています。

• ClickHouse の NESTED データ型がサポートされています。

  ClickHouse の NESTED データ型は、Flink の ARRAY データ型にマッピングされます。

• ClickHouse 分散テーブルに対応するローカルテーブルにデータを書き込むことができます。

  ClickHouse 分散テーブルに対応するローカルテーブルに直接データを書き込むことができます。これにより、分散テーブルへのデータ書き込みのスループットが大幅に向上します。

ClickHouseコネクタ

最適化されたジョブ診断ルールと [診断] パネル

• ジョブの状態を包括的に分析するために、20 を超える診断ルールが追加されています。

  リスクレベルは、ジョブの状態に基づいて、高、中、または低として識別できます。

• [診断] パネルは、ジョブの状態をより良く表示できるように最適化されています。

インテリジェントデプロイメント診断の実行

データ同期中の計算列の追加

CREATE TABLE AS ステートメントを使用してデータを同期する場合、計算列をソーステーブルに追加し、デスティネーションテーブルのプライマリキー列として使用できます。

データウェアハウスまたはデータレイクにデータを取り込む場合、CREATE TABLE AS ステートメントを実行して、追加する計算列の位置を指定し、その列をデスティネーションテーブルの物理列として使用できます。これにより、計算列の結果をデスティネーションテーブルにリアルタイムで同期できます。また、CREATE TABLE AS ステートメントを実行して、デスティネーションテーブルのプライマリキーを変更し、新しい列をデスティネーションテーブルの新しいプライマリキー列として使用することもできます。

CREATE TABLE AS ステートメント

テストデータの生成

Faker コネクタがサポートされています。

Faker コネクタを使用すると、ビジネス要件を満たすテストデータをより簡単に生成できます。これにより、開発およびテスト中にビジネスロジックを検証できます。

• Fakerコネクタ

ジョブ開発を加速するためのテンプレートセンターの提供

• 20 を超えるコードテンプレートが提供されています。

  Flink SQL の一般的なシナリオで使用される 20 を超えるテンプレートが提供されており、Flink SQL を使用してジョブコードを構築する方法をすばやく理解できます。

• MySQL から Hologres にデータを同期するためのテンプレートが提供されています。

  これらのテンプレートを使用して、Flink CDC ジョブをすばやく作成し、データウェアハウスまたはデータレイクにデータを取り込むことができます。

• コードテンプレート

• データ同期テンプレート

リソース使用率の表示

現在のプロジェクトの CPU 使用率とメモリ使用量は、Realtime Compute for Apache Flink の開発コンソールの左下に表示されます。情報に基づいてプロジェクトリソースを管理できます。

該当なし

チェックポイントが低速で作成されるジョブのログの迅速な特定

スナップショット履歴内のノードのスナップショット状態をソートできます。さらに、[Flink チェックポイント履歴] タブから [実行中のタスクマネージャー] タブの [ログ] タブに移動して、ジョブのチェックポイントが作成される速度が遅い原因を表示できます。

低速で生成されたチェックポイントを見つけて、チェックポイントの TaskManager のログを表示する

AnalyticDB for PostgreSQL 結果テーブルと AnalyticDB for PostgreSQL ディメンションテーブルの作成

• Realtime Compute for Apache Flink によって AnalyticDB for PostgreSQL 結果テーブルにデータを書き込むことができます。

• Realtime Compute for Apache Flink を AnalyticDB for PostgreSQL に関連付けて、関連クエリを実行できます。

• AnalyticDB for PostgreSQL コネクタ

エンタープライズレベルのステートバックエンドストレージの使いやすさの向上

• リアルタイムパラメータ調整がサポートされています。これにより、手動パラメータ調整の複雑さとコストが大幅に削減され、95% 以上の手動パラメータ調整が回避されます。

• シングルコアスループットが 10% から 40% 向上しました。これにより、トラフィックのピークと谷間を簡単に処理できます。

• GeminiStateBackend

• GeminiStateBackend の設定

• デプロイメントのチェックポイントまたはセーブポイントに関する FAQ