Realtime Compute for Apache Flink:バージョン 2023-04-13

機能

詳細

参照

Apache Paimon ストリーミングデータレイクのサポート

プレビュー機能として、エンジンは Alibaba Cloud Object Storage Service (OSS) 上の Paimon に対するデータの読み書きをサポートします。

Paimon

Apache Paimon カタログのサポート

組み込みの Apache Paimon カタログを使用して、Flink SQL でリアルタイムのデータレイクソリューションを構築できます。

Paimon カタログの管理

OSS-HDFS へのストリーミング書き込みのサポート

ストリーミングデータを OSS-HDFS に直接書き込めるようになり、データストレージの選択肢が拡張されます。

Object Storage Service (OSS)

モニタリングメトリックの更新

• CPU メトリックの変更

  • JM CPU Usage メトリックを追加しました。

  • TM CPU Load および JM CPU Load メトリックを削除しました。

    説明

    CPU Load は CPU 使用率を反映しません。CPU 使用率のモニタリングメトリックは CPU Usage のみになります。

• コネクタメトリックの変更

  • 可観測性を向上させるため、Elasticsearch コネクタに numRecordsOut および numRecordsOutPerSecond メトリックを追加しました。

  • MySQL CDC コネクタに Enumerator メトリックを追加しました。

• Elasticsearch

• モニタリングメトリックの表示

• モニタリングメトリックの有効化または無効化

Tair シンクテーブルのサポート

データストレージの選択肢を拡張するため、シンクテーブルのオプションとして Tair を追加しました。

-

Stream SQL EXPLAIN の強化

詳細な最適化の提案を提供するため、plan_advice モードを追加しました。

なし

動的 CEP の最適化

条件に Groovy 式を使用できるようになりました。NFA と SharedBuffer の実装を最適化し、タイマー作成を削減することでパフォーマンスを向上させました。

動的 CEP におけるルールの JSON 形式定義

Flink ML のサポート

プレビュー機能として、エンジンが Flink ML をサポートするようになり、リアルタイム機械学習が簡素化されます。

-

ジョブ開発ワークフローの最適化

ジョブ開発ページを SQL 開発ページとして最適化しました。このページは、専用の SQL 開発プラットフォームを提供します。

• SQL 開発が本番ジョブに影響しないように、デプロイ分離を追加しました。Jar ジョブと Python ジョブは本番環境から自然に分離されています。これらは SQL の UDF、コネクタ、カタログを使用しないため、デプロイ分離は不要です。

• Jar ジョブと Python ジョブの作成を最適化しました。SQL 開発ページでは Jar ジョブと Python ジョブの作成をサポートしなくなりました。ジョブ O&M ページから直接デプロイしてください。以前に開発ページで作成した Jar ジョブと Python ジョブのドラフトは、ジョブアーカイブで引き続き利用できます。

ジョブ開発

Jar および Python ジョブのデプロイの最適化

作成フローを最適化しました。ジョブ O&M ページから Jar および Python ジョブを直接デプロイできるようになりました。

• JAR ジョブのデプロイ

• Python ジョブのデプロイ

ジョブ起動ワークフローの最適化

リソースおよび Flink Conf の設定をデプロイ詳細ページに移動しました。ジョブを停止せずにリソースを調整できます。起動時は開始オフセットのみを設定します。

ジョブの開始

新しいメタデータページ

Flink コミュニティでは一時テーブルの使用は推奨されていません。代わりにカタログを使用して SQL ジョブを作成することで、DDL ステートメントの繰り返しを避けることができます。このバージョンではメタデータ機能が強化されました。SQL ジョブでメタデータを活用することで、管理を簡素化できます。

なし

SQL ジョブのデバッグワークフローの最適化

SQL ジョブのデバッグを最適化しました。デバッグ用のセッションクラスターを設定する必要はなくなりました。代わりに、デバッグ時にセッションクラスターを選択します。これにより、複数のジョブバージョンが存在する場合でも、頻繁にクラスターを切り替える必要がなくなります。

ジョブのデバッグ

新しいセキュリティページ

ユーザー認可とキーホスティング (以前は変数置換) を1つのセキュリティページに統合しました。ここでプラットフォームのすべてのセキュリティ設定を構成できます。

変数の管理

新しいコネクタページ

コネクタジョブが専用ページに表示されるようになりました。エンジンごとに、サポートされるコネクタの種類とバージョンを確認したり、カスタムコネクタを管理したりできます。

カスタムコネクタの管理

ジョブ失敗アラート

電話アラートと連絡先検索

モニタリングとアラートをアップグレードしました。

• 電話アラートの設定と連絡先の検索が可能になりました。

• 失敗したジョブに対するアラートがサポートされました。

モニタリングとアラートの構成

ロールベースのアカウントログオン

ロールベースのアカウントを使用して Flink コンソールにログオンできます。ロールアカウントは、デフォルトで所有者権限を使用するため、個別の権限を割り当てることはできません。

-

ネットワーク接続性テスト

IP アドレスまたはドメイン名を入力して、Flink ジョブ環境とアップストリームまたはダウンストリームのシステム間のネットワーク接続性をテストできます。

なし

カスタムカタログのサポート

カタログを通じてメタデータを登録することで、SQL ジョブの構築時に一時テーブルを作成するための DDL ステートメントの繰り返しを避けることができます。Realtime Compute の開発コンソールには組み込みカタログが含まれていますが、カスタムカタログの JAR ファイルを登録して使用することもできます。

-

インテリジェント診断の強化

ジョブの開発時および実行時のエラーログを分析します。ログを表示すると、システムが内容を自動的に分析し、対応手順を提案します。

インテリジェントジョブ診断

SLS コネクタクライアントのアップグレード

SLS コネクタのパフォーマンスと安定性を向上させました。

なし

CEP SQL 拡張

CEP SQL は、UNTIL 構文によるループ継続性の宣言をサポートするようになりました。

なし