Realtime Compute for Apache Flink:2023年4月13日

機能

説明

リファレンス

Apache Paimonストリーミングデータレイク

Apache Paimonストリーミングデータレイクは招待プレビュー中です。Realtime Compute for Apache Flinkは、Alibaba Cloud Object Storage Service (OSS) に基づいて、Apache Paimonからのデータの読み取りとApache Paimonへのデータの書き込みをサポートしています。

Apache Paimonコネクタ

Apache Paimonカタログ

組み込みのApache Paimonカタログは、Flink SQLと組み合わせて使用して、Flinkベースのリアルタイムデータレイクソリューションを開発できます。

Apache Paimonカタログの管理

ストリーミングモードでのOSS-HDFSへのデータ書き込み

ストリーミングモードでOSS-HDFSにデータを書き込むことができます。これにより、複数のタイプのデータストアを使用できます。

OSSコネクタ

メトリクスの調整

• CPUメトリクス

  • JM CPU使用率メトリクスが追加されました。

  • TM CPU負荷とJM CPU負荷メトリクスが削除されました。

    説明

    TM CPU負荷とJM CPU負荷メトリクスは、CPU使用率を反映できません。JM CPU使用率とTM CPU使用率メトリクスのみを使用して、CPU使用率を監視します。

• コネクタメトリクス

  • 運用上の可観測性を向上させるために、ElasticsearchコネクタにnumRecordsOutおよびnumRecordsOutPersecondメトリクスが追加されました。

  • MySQL Change Data Capture (CDC) コネクタにEnumeratorメトリクスが追加されました。

• Elasticsearch

• メトリクスの表示

• メトリクスの破棄または復元

Tair結果テーブル

Tair結果テーブルがサポートされています。これにより、複数のタイプのデータストアを使用できます。

-

ストリーミングSQLのEXPLAINステートメントの強化

EXPLAIN PLAN_ADVICEステートメントがサポートされ、より詳細な最適化の提案が提供されるようになりました。

なし

動的Flink Complex Event Processing (CEP) の最適化

Groovy式に基づく条件がサポートされています。非決定性有限オートマトン (NFA) とSharedBufferの実装が最適化され、タイマーが作成される回数が減り、パフォーマンスが向上しました。

動的Flink CEPのJSON形式のルールの定義

Flink Machine Learning (ML)

エンジンでサポートされているFlink MLは招待プレビュー中で、リアルタイム機械学習機能を提供します。

-

ドラフト開発プロセスの最適化

[ドラフトエディター] ページが [SQLエディター] ページに変更され、SQL開発プラットフォームが提供されるようになりました。これにより、ドラフト開発プロセスが以下の点で最適化されます。

• ドラフトとデプロイメントの間に分離メカニズムを提供し、オンラインデプロイメントがSQL開発の影響を受けないようにします。JARドラフトとPythonドラフトの開発は、オンラインのJARデプロイメントとPythonデプロイメントから自然に分離されています。JARドラフトとPythonドラフトの開発には、ユーザー定義関数 (UDF) 、コネクタ、カタログなどのSQLコンポーネントは必要ありません。したがって、JARドラフトとPythonドラフトには分離メカニズムは必要ありません。

• JARデプロイメントとPythonデプロイメントの作成プロセスが最適化されました。JARデプロイメントとPythonデプロイメントは、[SQLエディター] ページで作成できなくなりました。[デプロイメント] ページでJARデプロイメントとPythonデプロイメントを直接作成できます。[ドラフトエディター] ページで作成されたJARドラフトとPythonドラフトは、ドラフトアーカイブにあります。

SQLドラフトの開発

JARデプロイメントとPythonデプロイメントの作成プロセスの最適化

JARデプロイメントとPythonデプロイメントの作成プロセスが最適化されました。[デプロイメント] ページで [デプロイメントの作成] をクリックして、JARデプロイメントまたはPythonデプロイメントを作成できます。

• JARデプロイメントの作成

• Pythonデプロイメントの作成

デプロイメント起動プロセスの最適化

デプロイメントのリソースと関連するFlink構成に関する情報が、[デプロイメント] ページの [構成] タブに表示されます。デプロイメントをキャンセルすることなく、リソース構成を調整できます。デプロイメントを開始するときに、開始オフセットのみを指定する必要があります。

デプロイメントの開始

[カタログ] ページの追加

[カタログ] ページが追加されました。Apache Flinkコミュニティは、一時テーブルの使用を推奨していません。DDLステートメントの繰り返し使用を避けるために、カタログを使用してSQLドラフトを作成することをお勧めします。このバージョンでは、SQLドラフトでカタログを使用できるように、カタログ機能が強化されており、SQLドラフトを効率的に管理できます。

なし

SQLデプロイメントのデバッグプロセスの最適化

SQLデプロイメントのデバッグプロセスが最適化されました。SQLデプロイメントをデバッグする場合は、新しいセッションクラスタを構成する代わりに、デバッグ用に既存のセッションクラスタを選択できます。こうすることで、デプロイメントに複数のバージョンがある場合に、デプロイメントのデバッグ中にクラスタを頻繁に変更する必要がなくなります。

ドラフトのデバッグ

[セキュリティ] ページの追加

ユーザー認証とキーホスティング機能が [セキュリティ] ページに統合されました。プラットフォームセキュリティに関連する設定は、[セキュリティ] ページで完了できます。以前のバージョンでは、キーホスティング機能は [キーの置換] タブで提供されていました。

キーの管理

[コネクタ] ページの追加

さまざまなエンジンバージョンでサポートされているコネクタのタイプとバージョンを表示し、カスタムコネクタを管理できる [コネクタ] ページが提供されるようになりました。

カスタムコネクタの管理

失敗したデプロイのアラート、

失敗したデプロイメントのアラート、電話によるアラート通知の送信、連絡先の検索

監視とアラート機能が以下の点で最適化されています。

• [通知] パラメータを [電話] に設定して、電話でアラート通知を送信し、連絡先を検索できるようにします。

• 失敗したデプロイメントのアラートをサポートします。

監視とアラートの構成

ロールアカウントを使用したログオン

ロールアカウントを使用して、Realtime Compute for Apache Flinkの管理コンソールにログオンできます。デフォルトでは、所有者権限が使用されます。ロールアカウントの権限を構成することはできません。

-

ネットワーク検出

IPアドレスまたはドメイン名を使用して、Realtime Compute for Apache Flinkデプロイメントの実行環境がアップストリームシステムとダウンストリームシステムに接続されているかどうかを確認できます。

なし

カスタムカタログ

Realtime Compute for Apache Flinkコンソールには、組み込みカタログが用意されています。カタログを使用してメタデータを登録した後、SQLドラフトを作成するときに、DDLステートメントを頻繁に使用して一時テーブルを作成する必要はありません。カスタムカタログを作成し、カスタムカタログのJARパッケージを使用することもできます。

-

インテリジェントデプロイメント診断機能の強化

インテリジェントデプロイメント診断機能が強化されました。この機能は、ドラフト開発中およびデプロイメント実行中に生成されるエラーログを分析するのに役立ちます。ログページの情報を表示すると、システムは自動的にログを分析し、実行可能な操作の提案を提供します。

インテリジェントデプロイメント診断の実行

Log Serviceコネクタクライアントのアップグレード

Log Serviceコネクタのパフォーマンスと安定性が向上しました。

なし

拡張CEP SQL

ループ継続宣言をCEP SQLのUNTIL構文と一緒に使用できます。

なし