Realtime Compute for Apache Flink：4 Maret 2022

Fitur

Deskripsi

Referensi

Sinkronisasi Perubahan Skema JSON ke Hologres

JSON adalah salah satu format acara paling umum dalam pemrosesan aliran. Perubahan skema harus transparan untuk pekerjaan streaming real-time dan tabel di mesin penyimpanan backend.

• Kelola Katalog Hologres

• Buat Tabel Hasil Hologres

Peningkatan Kemampuan Pembuatan Danau Data untuk Iceberg dan Hudi

• Katalog DLF Alibaba Cloud dapat dikonfigurasi.

  Anda dapat mengonfigurasi katalog DLF untuk mengakses Hudi, Iceberg, atau mesin lain yang didukung oleh DLF, membantu membangun danau data real-time secara efisien.

• Berkas kecil tabel Iceberg dapat ditulis ulang menjadi berkas besar.

  Anda dapat mengeksekusi pernyataan AUTO OPTIMIZE untuk memulai tugas optimasi streaming guna menulis ulang berkas kecil tabel Iceberg menjadi berkas besar.

• Konektor tingkat perusahaan Hudi bawaan didukung oleh Realtime Compute for Apache Flink untuk mengurangi kompleksitas O&M.

  • Anda dapat menggunakan Flink Change Data Capture (CDC) untuk memasukkan data dari database ke danau data dan secara otomatis menyinkronkan perubahan dalam skema tabel.

  • Realtime Compute for Apache Flink dapat diintegrasikan dengan layanan Alibaba Cloud seperti Object Storage Service (OSS) dan DLF untuk meningkatkan konektivitas data antara mesin komputasi.

• Kelola Katalog DLF

• AUTO OPTIMIZE

• Buat Tabel Hasil Hudi

Peningkatan Kemudahan Penggunaan untuk Melihat dan Mengonfigurasi Log

• Log dapat ditampilkan per halaman.

  Jika pekerjaan berjalan lama, tab Logs mungkin tidak ditampilkan karena jumlah log yang besar. Untuk mencegah masalah ini, Realtime Compute for Apache Flink memungkinkan Anda melihat log pekerjaan per halaman pada tab Logs.

• Level log dapat diubah.

  Anda dapat mengubah level log TaskManager yang sedang berjalan pada tab Logs tanpa me-restart pekerjaan, membantu mengidentifikasi penyebab masalah.

• Log TaskManagers yang gagal dapat dilihat.

  Pada tab Logs, Anda dapat melihat log TaskManagers yang gagal sementara JobManager tetap berjalan, memungkinkan identifikasi penyebab kegagalan TaskManager.

• Lihat Log Boot dan Log Operasional Deployment

• Ubah Level Log untuk Deployment yang Sedang Berjalan

• Lihat Log TaskManagers yang Gagal

Beberapa Fitur Tingkat Perusahaan ClickHouse Didukung oleh Realtime Compute for Apache Flink

• Semantik exactly-once didukung.

  Layanan ClickHouse yang disediakan oleh E-MapReduce (EMR), bukan ApsaraDB for ClickHouse, mendukung semantik exactly-once.

• Tipe data NESTED ClickHouse didukung.

  Tipe data NESTED ClickHouse dipetakan ke tipe data ARRAY Flink.

• Data dapat ditulis ke tabel lokal yang sesuai dengan tabel distribusi ClickHouse.

  Anda dapat langsung menulis data ke tabel lokal yang sesuai dengan tabel distribusi ClickHouse, meningkatkan throughput penulisan data secara signifikan.

Buat Tabel Hasil ClickHouse

Optimasi Aturan Diagnostik Pekerjaan dan Panel Diagnosis

• Lebih dari 20 aturan diagnostik ditambahkan untuk membantu menganalisis status pekerjaan secara komprehensif.

  Tingkat risiko dapat diidentifikasi sebagai tinggi, sedang, atau rendah berdasarkan status pekerjaan.

• Panel Diagnosis dioptimalkan untuk membantu Anda lebih baik melihat status pekerjaan.

Lakukan Diagnostik Deployment Cerdas

Penambahan Kolom Terhitung Selama Sinkronisasi Data

Saat pernyataan CREATE TABLE AS digunakan untuk menyinkronkan data, kolom terhitung dapat ditambahkan ke tabel sumber dan digunakan sebagai kolom kunci utama tabel tujuan.

Saat memasukkan data ke gudang data atau danau data, Anda dapat mengeksekusi pernyataan CREATE TABLE AS untuk menentukan posisi kolom terhitung yang ingin ditambahkan dan menggunakan kolom tersebut sebagai kolom fisik di tabel tujuan. Hasil dari kolom terhitung dapat disinkronkan ke tabel tujuan secara real-time. Anda juga dapat mengeksekusi pernyataan CREATE TABLE AS untuk mengubah kunci utama tabel tujuan dan menggunakan kolom baru sebagai kunci utama baru tabel tujuan.

CREATE TABLE AS (CTAS)

Pembuatan Data Uji

Konektor Faker didukung.

Anda dapat menggunakan konektor Faker untuk menghasilkan data uji yang sesuai dengan kebutuhan bisnis Anda, memverifikasi logika bisnis selama pengembangan dan pengujian.

• Buat Tabel Sumber Faker

• Buat Tabel Dimensi Faker

Pusat Template Disediakan untuk Mempercepat Pengembangan Pekerjaan

• Lebih dari 20 template kode disediakan.

  Template ini mencakup skenario umum Flink SQL dan membantu Anda dengan cepat memahami cara menggunakan Flink SQL untuk membangun kode pekerjaan.

• Template untuk menyinkronkan data dari MySQL ke Hologres disediakan.

  Anda dapat menggunakan template ini untuk membuat pekerjaan Flink CDC dengan cepat dan memasukkan data ke gudang data atau danau data.

• Template Kode

• Template Sinkronisasi Data

Tampilan Pemanfaatan Sumber Daya

Pemanfaatan CPU dan penggunaan memori proyek saat ini ditampilkan di pojok kiri bawah konsol pengembangan Realtime Compute for Apache Flink. Anda dapat mengelola sumber daya proyek berdasarkan informasi tersebut.

N/A

Pencarian Cepat Log Pekerjaan yang Membuat Checkpoint dengan Kecepatan Rendah

Status snapshot node dalam sejarah snapshot dapat diurutkan. Selain itu, Anda dapat dinavigasi dari tab Flink Checkpoints History ke tab Logs dari tab Running Task Managers untuk melihat penyebab kecepatan rendah pembuatan checkpoint untuk pekerjaan tersebut.

Temukan Checkpoint yang Dibuat dengan Kecepatan Rendah dan Lihat Log TaskManagers untuk Checkpoint Tersebut

Pembuatan Tabel Hasil AnalyticDB for PostgreSQL dan Tabel Dimensi AnalyticDB for PostgreSQL

• Data dapat ditulis oleh Realtime Compute for Apache Flink ke tabel hasil AnalyticDB for PostgreSQL.

• Realtime Compute for Apache Flink dapat dikaitkan dengan AnalyticDB for PostgreSQL untuk melakukan kueri terkait.

• Buat Tabel Hasil AnalyticDB for PostgreSQL

• Buat Tabel Dimensi AnalyticDB for PostgreSQL

Peningkatan Kemudahan Penggunaan Penyimpanan Backend Status Tingkat Perusahaan

• Pengaturan parameter real-time didukung, mengurangi kompleksitas dan biaya penyesuaian parameter manual hingga lebih dari 95%.

• Throughput inti tunggal meningkat 10% hingga 40%, membantu Anda menangani puncak dan lembah lalu lintas dengan mudah.

• GeminiStateBackend

• Konfigurasi GeminiStateBackend

• FAQ tentang Checkpoint atau Savepoint Deployment