Realtime Compute for Apache Flink：Pemberitahuan Layanan Realtime Compute (Blink) (dihentikan)

Di antara semua versi Blink 2.X, Blink 2.2.7 adalah versi stabil terbaru. Dibandingkan dengan versi Blink 1.X, Blink 2.2.7 memiliki peningkatan signifikan. Di antara semua versi Blink 1.X, Blink 1.6.4 adalah versi stabil terbaru. Blink 2.2.7 menggunakan generasi baru Niagara sebagai sistem penyimpanan data untuk platform backend status. Blink 2.2.7 juga mengoptimalkan kinerja SQL dan memperkenalkan berbagai fitur baru.

• Fitur

  • SQL

    • Mendukung pernyataan EMIT untuk jendela. Pernyataan EMIT digunakan untuk mendefinisikan kebijakan output. Misalnya, Anda dapat melihat hasil pemrosesan aliran terbaru setiap menit dalam jendela satu jam.

    • Mendukung miniBatch untuk menggabungkan dua aliran. Blink 2.2.7 mengoptimalkan mekanisme retraksi dan struktur penyimpanan data status untuk meningkatkan kinerja.

    • Mendukung penyaringan data dalam agregasi. Anda dapat mengagregasi baris yang memenuhi kondisi filter tertentu.

    • Mengoptimalkan agregasi lokal-global.

    • Memperbaiki kode SQL selama tahap optimasi. Ini mempersingkat waktu untuk mengompilasi kode.

    • Mengizinkan kunci dalam SortedMapView untuk mendukung berbagai tipe data, seperti BOOLEAN, BYTE, SHORT, INT, LONG, FLOAT, DOUBLE, BIGDECIMAL, BIGINT, BYTE[], dan STRING.

    • Mengoptimalkan kinerja dalam skenario yang melibatkan retraksi dalam fungsi MIN, MAX, FIRST, atau LAST.

    • Menambahkan beberapa fungsi skalar, termasuk fungsi berikut yang terkait dengan zona waktu: TO_TIMESTAMP_TZ, DATE_FORMAT_TZ, dan CONVERT_TZ.

    • Mengklasifikasikan pesan kesalahan SQL dan konektor ke dalam berbagai jenis dan menyediakan kode kesalahan untuk setiap jenis pesan kesalahan.

  • Konektor

    • Mengizinkan Anda mendaftarkan konektor tabel sumber dan tabel hasil menggunakan TableFactory kustom.

    • Mengizinkan Anda mengurai tipe sumber data menggunakan fungsi bernilai tabel yang ditentukan pengguna (UDTF).

    • Mengizinkan Anda membaca data dari dan menulis data ke Kafka.

    • Mengizinkan Anda menulis data ke Elasticsearch.

  • Runtime

    • Menyederhanakan perilaku seperti mengirimkan pekerjaan dan mendapatkan hasil pekerjaan yang sedang berjalan menggunakan sesi Blink.

    • Mendukung mekanisme penjadwalan plugin. Berdasarkan mekanisme ini, model komputasi dapat menyesuaikan logika penjadwalan untuk memenuhi kebutuhan bisnis Anda.

    • Mengoptimalkan kebijakan restart yang dipicu oleh failover. Dalam skenario throttling, Anda dapat memulai ulang hanya tugas yang diperlukan dalam pekerjaan yang gagal untuk pemulihan alih-alih memulai ulang semua tugas dalam pekerjaan. Optimasi ini meningkatkan efisiensi JobManagers dan pemrosesan failover tugas.

  • StateBackend

    • Mengganti RocksDBStateBackend dengan NiagaraStateBackend untuk meningkatkan kinerja baca/tulis.

    • (Eksperimental) NiagaraStateBackend memisahkan komputasi dari penyimpanan. Backend status ini membantu Anda memulihkan data status dalam beberapa detik jika terjadi failover.

• Item yang Tidak Kompatibel dengan Blink 1.6.4

  Fitur	Dampak	Solusi
  Perubahan Antarmuka TableFunction	Perubahan ini memengaruhi pengguna yang menggunakan UDTF.	Perbarui kode untuk mengimplementasikan antarmuka getResultType.
  Perubahan Antarmuka ScalarFunction	Perubahan ini memengaruhi pengguna yang menggunakan fungsi skalar yang ditentukan pengguna.	Implementasikan antarmuka getResultType.
  Perubahan Antarmuka AggregateFunction	Perubahan ini memengaruhi pengguna yang menggunakan fungsi agregasi yang ditentukan pengguna (UDAF).	Implementasikan antarmuka getAccumulatorType dan getResultType. Misalnya, jika akumulator adalah tipe Row(STRING, LONG) dan hasil Agg adalah tipe STRING, gunakan kode berikut: public DataType getAccumulatorType\(\) { return DataTypes.createRowType\(DataTypes.String, DataTypes.LONG\); } public DataType getResultType\(\) { return DataTypes.String; }
  Perubahan Konstruktor MapView	Parameter yang menunjukkan tipe data diubah dari TypeInformation menjadi DataType. Perubahan ini memengaruhi pekerjaan yang mendeklarasikan MapView dalam UDAF.	Perbarui kode dan buat MapView menggunakan parameter DataType. Misalnya, sebelum perubahan, kode adalah MapView map = new MapView<>(Types.STRING, Types.INT);. Setelah perubahan, kode adalah MapView map = new MapView<>(DataTypes.STRING, DataTypes.INT);.
  Tipe Nilai yang Dikembalikan oleh Fungsi AVG dan Pembagian Diubah Menjadi DOUBLE Jika Parameter Input Adalah Tipe LONG atau INT	Sebelum perubahan, fungsi AVG dan pembagian mengembalikan tipe data yang sama dengan parameter input. Setelah perubahan, tipe data hasil kembali adalah DOUBLE. Ini dapat menyebabkan kesalahan ketidakcocokan tipe. Misalnya, jika data yang dikembalikan oleh fungsi AVG atau pembagian ditulis ke tabel hasil, kesalahan mungkin terjadi karena tipe data di tabel hasil berbeda dari tipe data bidang kueri.	Tambahkan fungsi CAST untuk melakukan konversi eksplisit pada data yang dikembalikan oleh fungsi AVG dan pembagian.
  Presisi Dipertimbangkan Saat Data Tipe BIGDECIMAL Dibandingkan dengan Data Tipe DECIMAL	Untuk pekerjaan yang menggunakan tipe data DECIMAL, kesalahan ketidakcocokan tipe mungkin terjadi karena tipe data aktual adalah BIGDECIMAL.	Tentukan presisi saat Anda mendeklarasikan tipe data DECIMAL dalam kode pekerjaan: Decimal(38, 18).
  Semantik yang Digunakan untuk Membandingkan Nilai Null dengan String	Dalam versi Blink 1.X, pernyataan SQL mengembalikan true jika string adalah null. Dalam versi Blink 2.X, pernyataan SQL mengembalikan false untuk mematuhi sintaks dan semantik SQL.	Perubahan ini memengaruhi pemrosesan dalam skenario yang melibatkan perbandingan antara nilai null dan string. Misalnya, jika SPLIT_INDEX(shop_list, ':', 1) dalam klausa WHERE SPLIT_INDEX(shop_list, ':', 1) <> shop_id mengembalikan null, klausa WHERE mengembalikan true dalam versi Blink 1.X dan false dalam versi Blink 2.X. Ini memfasilitasi penyaringan data.

• Pembaruan ke Blink 2.X

  Untuk memperbarui versi Blink 1.X ke versi Blink 2.X untuk pekerjaan, Anda harus menyetel ulang offset awal saat Anda memulai ulang pekerjaan untuk memenuhi kebutuhan bisnis Anda.

  1. Hentikan pekerjaan. Setelah pekerjaan dihentikan, data status dihapus.

  2. Di pojok kanan bawah halaman Pengembangan, pilih Blink 2.2.7 dari daftar drop-down Flink Version. Kemudian, publikasikan pekerjaan.

  3. Mulai pekerjaan di halaman Administrasi dan tentukan offset awal.

     Jika Langkah 3 gagal, lakukan langkah-langkah berikut untuk pemecahan masalah:

     • Verifikasi dan perbaiki kode SQL, dan ulangi Langkah 1 hingga 3.

     • Jika kode SQL tidak dapat diperbaiki, kembalikan versi Blink ke versi aslinya.

     • Jika rencana JSON tidak dapat dihasilkan, tentukan parameter berikut:

       • blink.job.option.jmMemMB=4096

       • blink.job.submit.timeoutInSeconds=600

  Untuk informasi tentang paket JAR untuk ekstensi yang ditentukan pengguna (UDX) di Blink 2.0.1, lihat Ikhtisar. Kesalahan berikut mungkin terjadi karena versi paket JAR UDX lebih lama dari versi yang diperlukan atau terjadi konflik paket:

  code:[30016], brief info:[get app plan failed], context info:[detail:[java.lang.NoClassDefFoundError: org/apache/flink/table/functions/aggfunctions/DoubleSumWithRetractAggFunction
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)