Fully managed Flink - Hologres - Alibaba Cloud Documentation Center

Realtime Compute for Apache Flink adalah layanan komputasi real-time yang sepenuhnya dikelola (fully managed) oleh Alibaba Cloud dan dibangun berdasarkan Apache Flink. Layanan ini sangat kompatibel dengan Hologres, memungkinkan Anda menggunakan tabel sumber, tabel dimensi, tabel hasil, dan katalog Hologres dalam fully managed Flink untuk membangun gudang data real-time terpadu. Topik ini menjelaskan cara menggunakan instans Hologres sebagai layanan penyimpanan hulu dan hilir dalam fully managed Flink.

Tabel sumber, tabel dimensi, dan tabel hasil Hologres

Fully managed Flink mendukung tabel sumber, tabel dimensi, dan tabel hasil Hologres. Untuk informasi selengkapnya, lihat Hologres: gudang data real-time.

Konsumsi log biner secara real-time

Realtime Compute for Apache Flink mengonsumsi data log biner secara real-time melalui konektor Hologres. Layanan ini yang menggunakan Ververica Runtime (VVR) versi 6.0.3 atau lebih baru mendukung tabel sumber streaming dalam mode Java Database Connectivity (JDBC). Dibandingkan dengan mode HoloHub, mode JDBC mendukung lebih banyak tipe data serta akun kustom. Untuk informasi selengkapnya, lihat Konsumsi data binlog dengan Flink.

Katalog Hologres

Realtime Compute for Apache Flink mendukung katalog Hologres. Anda dapat membaca metadata Hologres di Konsol pengembangan Realtime Compute for Apache Flink tanpa perlu mendaftarkan tabel Hologres terlebih dahulu, sehingga meningkatkan efisiensi pengembangan penerapan dan menjamin akurasi skema tabel. Untuk informasi selengkapnya, lihat Kelola katalog Hologres.

Realtime Compute for Apache Flink juga mendukung evolusi skema dan sinkronisasi database berdasarkan katalog Hologres. Untuk informasi selengkapnya, lihat Pernyataan CREATE TABLE AS (CTAS) (Akan dipensiunkan) dan Pernyataan CREATE DATABASE AS (CDAS) (Akan dipensiunkan).

Konektor Hologres DataStream

Jika Anda menggunakan konektor Hologres DataStream untuk membaca atau menulis data ke Hologres, Anda harus menggunakan konektor tersebut untuk menghubungkan Hologres ke Realtime Compute for Apache Flink. Untuk informasi selengkapnya, lihat Konektor Hologres DataStream.

Pemetaan antar tipe data

Untuk informasi selengkapnya mengenai pemetaan antara tipe data di Realtime Compute for Apache Flink dan Hologres, lihat Ikhtisar tipe data.

Catatan

Saat menerapkan draf SQL di Realtime Compute for Apache Flink, Anda harus menentukan tipe data ke tipe yang didukung oleh Realtime Compute for Apache Flink, baik saat menggunakan tabel sumber, tabel dimensi, maupun tabel hasil Hologres dalam penerapan SQL tersebut. Tipe data yang didukung oleh Hologres hanya dapat ditentukan saat membuat Tabel internal di Hologres.

Jika ingin menggunakan Realtime Compute for Apache Flink untuk menulis data JSON ke Hologres, Anda harus menentukan tipe data kolom untuk tabel sumber dan tabel hasil dalam penerapan SQL ke tipe VARCHAR, serta menentukan tipe data kolom untuk Tabel internal Hologres ke tipe JSONB.

Tabel internal Hologres: Atur tipe data untuk message ke JSONB.

BEGIN ;
DROP TABLE IF EXISTS holo_internal_table;
CREATE TABLE IF NOT EXISTS holo_internal_table
(
    id BIGINT NOT NULL,
    message JSONB NOT NULL
);
CALL set_table_property('holo_internal_table', 'distribution_key', 'id');
COMMIT ;

Penerapan Flink: Atur tipe data untuk message di tabel sumber dan tabel hasil ke VARCHAR.

CREATE TEMPORARY TABLE randomSource (
    id BIGINT,
    message VARCHAR
  )
WITH ('connector' = 'datagen');

CREATE TEMPORARY TABLE sink_holo (
    id BIGINT,
    message VARCHAR
  )
WITH (
    'connector' = 'hologres',
    'endpoint' = '',
    'username' = '',
    'password' = '',
    'dbname' = '',
    'tablename' = 'holo_internal_table'
  );

INSERT INTO sink_holo
SELECT
  1,
  '{"k":"v"}'
FROM
  randomSource;

Catatan Rilis Konektor

Untuk informasi selengkapnya mengenai catatan rilis konektor, lihat Catatan rilis konektor Hologres.

FAQ

Untuk informasi selengkapnya mengenai masalah umum dan solusinya saat menggunakan Realtime Compute for Apache Flink, lihat Pemecahan masalah Blink dan Flink.