Realtime Compute for Apache Flink:Rilis 4 Maret 2022

Feature

Details

References

Adaptive JSON schema evolution for Hologres

JSON merupakan salah satu format event paling umum dalam pemrosesan aliran. Untuk pekerjaan streaming real-time dan tabel di mesin penyimpanan backend, evolusi skema seharusnya menjadi proses transparan.

• Manage Hologres catalogs

• Hologres sink table

Enhanced capabilities for building Iceberg and Hudi data lakes

• Mendukung Alibaba Cloud Data Lake Formation (DLF) sebagai katalog.

  Katalog DLF memungkinkan Anda mengakses Hudi, Iceberg, dan mesin lain yang didukung DLF untuk membangun data lake real-time dengan cepat.

• Konektor Hudi bawaan tingkat enterprise untuk Realtime Compute for Apache Flink mengurangi kompleksitas O&M.

  • Mendukung ingestion seluruh database ke dalam data lake menggunakan Flink CDC dan secara otomatis menyinkronkan perubahan skema tabel.

  • Terintegrasi dengan komponen seperti Alibaba Cloud OSS dan DLF untuk meningkatkan konektivitas data antar mesin komputasi.

• Manage DLF-Legacy catalogs

• Hudi sink tables

Improved usability for log viewing and settings

• Menambahkan paging log.

  Pada tab Job Explorer, paging log mencegah halaman gagal terbuka ketika ukuran log terlalu besar untuk pekerjaan berjalan lama.

• Dukungan modifikasi tingkat log secara dinamis.

  Tanpa me-restart pekerjaan, Anda dapat secara dinamis mengubah tingkat log Pengelola Tugas (TaskManager/TM) yang sedang berjalan pada tab Job Explorer untuk membantu troubleshooting.

• Dukungan melihat log TM yang gagal.

  Pada tab Job Explorer, Anda dapat melihat log TM yang gagal selama Manajer Pekerjaan (JobManager/JM) masih berjalan. Hal ini membantu Anda menyelidiki penyebab kegagalan TM.

• View startup and operational logs

• Dynamically modify the log level of a running job

• View logs of failed TaskManagers

Multiple enterprise-grade features for Flink and ClickHouse

• Dukungan semantik tepat-sekali (exactly-once semantics).

  Menyediakan semantik tepat-sekali untuk komponen ClickHouse pada platform big data open-source E-MapReduce, bukan produk ClickHouse berbasis cloud.

• Dukungan tipe Nested ClickHouse.

  Tipe Nested ClickHouse dapat dipetakan ke tipe Array Flink.

• Dukungan menulis langsung ke tabel lokal dari tabel terdistribusi ClickHouse.

  Menulis langsung ke tabel lokal dari tabel terdistribusi dapat meningkatkan throughput tulis untuk tabel terdistribusi ClickHouse secara signifikan.

ClickHouse sink tables

Optimized job diagnosis rules and interface

• Menambahkan lebih dari 20 aturan diagnosis baru untuk menganalisis status pekerjaan secara komprehensif.

  Memberikan peringatan tingkat risiko tinggi, menengah, dan rendah berdasarkan status aktual pekerjaan.

• Antarmuka diagnosis dioptimalkan untuk membantu Anda mengidentifikasi masalah dengan lebih baik.

Intelligent job diagnosis

Data synchronization supports adding computed columns

Pernyataan CTAS mendukung penambahan kolom terhitung ke tabel sumber dan menetapkan kolom baru tersebut sebagai kunci primer tabel sink.

Saat melakukan ingestion data ke gudang data atau data lake, pernyataan CTAS memungkinkan Anda menentukan posisi kolom terhitung baru dan menjadikannya kolom fisik di tabel sink. Hasil kolom terhitung disinkronkan ke tabel sink secara real time. Pernyataan CTAS juga mendukung pengubahan kunci primer tabel sink menjadi kolom terhitung baru tersebut.

CREATE TABLE AS (CTAS) statements

Easier generation of test data

Menambahkan konektor generator data simulasi.

Konektor generator data simulasi membantu Anda dengan mudah menghasilkan data uji yang relevan dengan skenario bisnis Anda. Hal ini memenuhi kebutuhan Anda dalam memverifikasi logika bisnis selama pengembangan dan pengujian.

• Simulated data generator source tables

• Simulated data generator dimension tables

New Template Hub to accelerate job development

• Menyediakan lebih dari 20 templat kode.

  Lebih dari 20 templat untuk skenario Flink SQL umum membantu Anda dengan cepat mempelajari cara menulis kode pekerjaan menggunakan Flink SQL.

• Menyediakan templat sinkronisasi data dari MySQL ke Hologres.

  Membantu Anda dengan cepat membuat pekerjaan Flink CDC untuk menyelesaikan sinkronisasi data guna warehousing dan ingestion data lake.

• Code Template

• Data Synchronization Template

Clearer display of resource usage

Di pojok kiri bawah konsol pengembangan Flink, penggunaan CPU dan memori untuk proyek saat ini ditampilkan. Hal ini membantu Anda mengelola resource proyek dengan cepat.

None

Quickly locate logs for slow checkpoint nodes

Dalam riwayat snapshot, Anda kini dapat mengurutkan status snapshot node. Anda juga dapat langsung menuju log TM dari antarmuka riwayat snapshot dengan satu klik untuk melihat penyebab checkpoint lambat.

Locate slow checkpoints and view the logs of corresponding TaskManagers

Support for AnalyticDB for PostgreSQL sink tables and dimension tables

• Flink mendukung penulisan data ke tabel sink AnalyticDB untuk PostgreSQL.

• Flink mendukung join dengan AnalyticDB untuk PostgreSQL untuk query lookup.

• AnalyticDB for PostgreSQL sink tables

• AnalyticDB for PostgreSQL dimension tables

Improved usability of the enterprise-grade state backend

• Menambahkan kemampuan mengoptimalkan parameter secara real time. Hal ini meminimalkan kompleksitas dan biaya tuning manual, serta dapat menghilangkan kebutuhan tuning parameter manual pada lebih dari 95% kasus.

• Throughput single-core meningkat 10% hingga 40%. Hal ini membantu Anda menangani skenario fluktuatif seperti puncak dan lembah trafik dengan mudah.

• Introduction to the enterprise-grade state backend

• Configure the enterprise-grade state backend

• System checkpoints or job snapshots