Realtime Compute for Apache Flink:Realtime Compute (Blink) のサービスに関するお知らせ (廃止)

すべての Blink 2.X バージョンの中で、Blink 2.2.7 は最新の安定バージョンです。Blink 1.X バージョンと比較して、Blink 2.2.7 には大幅な改善が加えられています。すべての Blink 1.X バージョンの中で、Blink 1.6.4 は最新の安定バージョンです。Blink 2.2.7 は、新世代の Niagara をステートバックエンドプラットフォームのデータストレージシステムとして使用しています。Blink 2.2.7 は SQL パフォーマンスも最適化し、幅広い新機能を導入しています。

• 機能

  • SQL

    • ウィンドウの EMIT ステートメントをサポートしています。EMIT ステートメントは、出力ポリシーを定義するために使用されます。たとえば、1 時間のウィンドウで毎分最新のストリーム処理結果を表示できます。

    • 2 つのストリームを結合するための miniBatch をサポートしています。Blink 2.2.7 は、リトラクションメカニズムとステートデータストレージ構造を最適化してパフォーマンスを向上させています。

    • 集計でのデータフィルタリングをサポートしています。指定されたフィルター条件を満たす行を集計できます。

    • ローカルグローバル集計を最適化しています。

    • 最適化ステージで SQL コードを再構築します。これにより、コードのコンパイル時間が短縮されます。

    • SortedMapView のキーで、BOOLEAN、BYTE、SHORT、INT、LONG、FLOAT、DOUBLE、BIGDECIMAL、BIGINT、BYTE[]、STRING などの複数のデータ型をサポートできるようにします。

    • MIN、MAX、FIRST、または LAST 関数にリトラクションが関係するシナリオでのパフォーマンスを最適化しています。

    • タイムゾーンに関連する TO_TIMESTAMP_TZ、DATE_FORMAT_TZ、CONVERT_TZ などの複数のスカラー関数を追加します。

    • SQL とコネクターのエラーメッセージを異なるタイプに分類し、各タイプのエラーメッセージにエラーコードを提供します。

  • コネクター

    • カスタム TableFactory を使用して、ソーステーブルと結果テーブルのコネクターを登録できます。

    • ユーザー定義のテーブル値関数 (UDTF) を使用して、データソースタイプを解析できます。

    • Kafka からデータを読み書きできます。

    • Elasticsearch にデータを書き込むことができます。

  • ランタイム

    • Blink セッションを使用して、ジョブの送信やジョブ実行結果の取得などの動作を合理化します。

    • プラグインスケジューリングメカニズムをサポートしています。このメカニズムに基づいて、コンピューティングモデルはビジネス要件に合わせてスケジューリングロジックをカスタマイズできます。

    • フェイルオーバーによってトリガーされる再起動ポリシーを最適化しています。スロットリングのシナリオでは、失敗したジョブのすべてのタスクを再起動する代わりに、復旧に必要なタスクのみを再起動できます。この最適化により、JobManager とタスクフェイルオーバー処理の効率が向上します。

  • StateBackend

    • RocksDBStateBackend を NiagaraStateBackend に置き換えて、読み取り/書き込みパフォーマンスを向上させます。

    • (実験的) NiagaraStateBackend は、コンピューティングとストレージを分離します。このステートバックエンドは、フェイルオーバーが発生した場合に、数秒でステートデータを復元するのに役立ちます。

• Blink 1.6.4 と互換性のない項目

  機能	影響	解決策
  TableFunction インターフェースの変更	この変更は、UDTF を使用するユーザーに影響します。	getResultType インターフェースを実装するようにコードをアップデートします。
  ScalarFunction インターフェースの変更	この変更は、ユーザー定義スカラー関数を使用するユーザーに影響します。	getResultType インターフェースを実装します。
  AggregateFunction インターフェースの変更	この変更は、ユーザー定義集計関数 (UDAF) を使用するユーザーに影響します。	getAccumulatorType インターフェースと getResultType インターフェースを実装します。たとえば、アキュムレーターが Row(STRING, LONG) タイプで、Agg 結果が STRING タイプの場合は、次のコードを使用します。 public DataType getAccumulatorType\(\) { return DataTypes.createRowType\(DataTypes.String, DataTypes.LONG\); } public DataType getResultType\(\) { return DataTypes.String; }
  MapView コンストラクターの変更	データ型を示すパラメーターが TypeInformation から DataType に変更されました。この変更は、UDAF で MapView を宣言するジョブに影響します。	コードをアップデートし、DataType パラメーターを使用して MapView を作成します。たとえば、変更前はコードは MapView map = new MapView<>(Types.STRING, Types.INT); です。変更後はコードは MapView map = new MapView<>(DataTypes.STRING, DataTypes.INT); です。
  入力パラメーターが LONG または INT タイプの場合、AVG 関数と除算関数が返す値のタイプが DOUBLE に変更されます	変更前は、AVG 関数と除算関数は入力パラメーターと同じタイプのデータを返していました。変更後は、戻りデータのデータ型は DOUBLE です。これにより、型の不一致エラーが発生する可能性があります。たとえば、AVG 関数または除算関数が返したデータが結果テーブルに書き込まれると、エラーが発生する可能性があります。これは、結果テーブルのデータのタイプがクエリフィールドのデータ型と異なるためです。	CAST 関数を追加して、AVG 関数と除算関数が返したデータに対して明示的な変換を実行します。
  BIGDECIMAL タイプのデータと DECIMAL タイプのデータを比較する際に精度が考慮されます	DECIMAL データ型を使用するジョブでは、型の不一致エラーが発生する可能性があります。これは、実際のデータのデータ型が BIGDECIMAL であるためです。	ジョブコードで DECIMAL データ型を宣言する際に精度を指定します: Decimal(38, 18)。
  null 値と文字列を比較するために使用されるセマンティクス	Blink 1.X バージョンでは、文字列が null の場合、SQL ステートメントは true を返します。Blink 2.X バージョンでは、SQL 構文とセマンティクスに準拠するために、SQL ステートメントは false を返します。	この変更は、null 値と文字列の比較が関係するシナリオでの処理に影響します。たとえば、SPLIT_INDEX(shop_list, ':', 1) in the WHERE SPLIT_INDEX(shop_list, ':', 1) <> shop_id 句が null を返す場合、WHERE 句は Blink 1.X バージョンでは true を返し、Blink 2.X バージョンでは false を返します。これにより、データフィルタリングが容易になります。

• Blink 2.X へのアップデート

  ジョブの Blink 1.X バージョンを Blink 2.X バージョンにアップデートするには、ジョブを再起動する際に開始オフセットをリセットして、ビジネス要件を満たす必要があります。

  1. ジョブを終了します。ジョブが終了すると、ステートデータはクリアされます。

  2. [開発] ページの右下隅にある [Flink バージョン] ドロップダウンリストから Blink 2.2.7 を選択します。次に、ジョブを公開します。Flinkバージョン

  3. [管理] ページでジョブを開始し、開始オフセットを指定します。

     手順 3 が失敗した場合は、次の手順を実行してトラブルシューティングを行います。

     • SQL コードを確認して修正し、手順 1 から 3 を繰り返します。

     • SQL コードを修正できない場合は、Blink バージョンを元のバージョンにロールバックします。

     • JSON プランを生成できない場合は、次のパラメーターを指定します。

       • blink.job.option.jmMemMB=4096

       • blink.job.submit.timeoutInSeconds=600

  Blink 2.0.1 のユーザー定義拡張機能 (UDX) 用 JAR パッケージについては、[概要] をご参照ください。UDX JAR パッケージのバージョンが必要なバージョンより古い場合、またはパッケージの競合が発生した場合、次のエラーが発生する可能性があります。

  code:[30016], brief info:[get app plan failed], context info:[detail:[java.lang.NoClassDefFoundError: org/apache/flink/table/functions/aggfunctions/DoubleSumWithRetractAggFunction
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)