Realtime Compute for Apache Flink：Konsep Dasar

Istilah

Deskripsi

Referensi

Management Console

Management Console adalah portal terpusat untuk mengelola dan mengonfigurasi ruang kerja dan namespace Anda sepanjang siklus hidupnya. Fitur utama:

• Manajemen Ruang Kerja: Lihat, buat, lepaskan, dan sesuaikan sumber daya ruang kerja.

• Pengklonan Namespace: Memfasilitasi ekstensi dan migrasi dengan mengkloning namespace.

• Pengenalan Konsol

• Konfigurasi ulang sumber daya

• Kloning sebuah namespace

Development Console

Setiap ruang kerja mencakup Development Console independen, yang menawarkan platform satu atap untuk pengembangan dan operasi (O&M) pekerjaan Flink. Dalam konsol ini, Anda dapat beralih namespace di bawah ruang kerja saat ini. Ini mendukung seluruh siklus hidup pekerjaan, dari pengembangan hingga berjalan. Fitur utama:

• Pengembangan Pekerjaan: Tulis, debug, dan optimalkan kode.

• Manajemen Operasional: Pantau kinerja pekerjaan dan perbaiki masalah.

• Kontrol Akses: Kelola izin untuk keamanan aset.

• Pengenalan Konsol

• Pengembangan

• Manajemen Pekerjaan

ruang kerja

Ruang kerja adalah unit manajemen dasar untuk namespace Realtime Compute for Apache Flink. Ruang kerja adalah lingkungan independen dan memiliki sumber daya komputasi khusus mereka sendiri.

• Aktifkan Realtime Compute for Apache Flink

• Kelola namespace

• Konfigurasi ulang sumber daya

namespace

Namespace adalah unit manajemen dasar untuk draf dan penerapan Realtime Compute for Apache Flink. Konfigurasi, draf, penerapan, dan izin setiap namespace dikelola secara individual. Anda dapat membuat beberapa namespace dan menetapkan sumber daya dan izin terpisah untuk masing-masing. Ini secara efektif mengisolasi sumber daya dan izin di antara namespace penyewa yang berbeda.

sumber daya

Realtime Compute for Apache Flink menagih Anda berdasarkan unit komputasi (CU), yang merupakan satuan ukuran untuk sumber daya komputasi. Satu CU memberikan kemampuan komputasi setara dengan satu jam inti CPU 1, 4 GiB memori, dan 20 GB penyimpanan lokal. Penyimpanan lokal menyimpan informasi seperti log dan checkpoint.

Jumlah CUs yang dikonsumsi mencerminkan sumber daya yang digunakan oleh Realtime Compute for Apache Flink. Jumlah CUs yang dikonsumsi oleh penyebaran Realtime Compute for Apache Flink bervariasi berdasarkan permintaan per detik (QPS) dari aliran data input, kompleksitas komputasi, dan distribusi data input dari penyebaran tersebut. Anda dapat memperkirakan jumlah CUs yang perlu dibeli berdasarkan skala bisnis Anda dan kemampuan komputasi yang diperlukan oleh Realtime Compute for Apache Flink.

• Ikhtisar Penagihan

• Konfigurasikan sumber daya untuk penyebaran

• Kelola tag sumber daya

draf

Skrip SQL atau YAML disebut sebagai draf dan dibuat di Development Console. Draf hanya dapat dikembangkan di dalam konsol Realtime Compute for Apache Flink, tidak melalui SDK.

Peta Pengembangan Job

penyebaran

Penerapan mengisolasi lingkungan seperti pengembangan dan produksi. Anda dapat membuat penerapan dari draf atau paket JAR/Python yang diunggah pengguna. Memodifikasi draf setelah penerapan tidak akan mempengaruhi instans pekerjaan yang sedang berjalan. Penerapan dicirikan oleh properti streaming dan batch yang deterministik dan dapat dikembangkan melalui Development Console atau SDK.

Buat penyebaran

pekerjaan

Pekerjaan adalah instance dari beban kerja yang berjalan dalam penyebaran. Pekerjaan memiliki properti streaming dan batch yang deterministik.

Tidak tersedia

connector

Realtime Compute for Apache Flink menyediakan berbagai konektor bawaan untuk membaca data dari atau menulis data ke penyimpanan data hulu dan hilir serta melakukan sinkronisasi data. Realtime Compute for Apache Flink juga memungkinkan Anda mengunggah dan menggunakan paket JAR dari konektor kustom.

Konektor yang didukung

fungsi

Realtime Compute for Apache Flink menyediakan fungsi, termasuk fungsi bawaan dan fungsi yang ditentukan pengguna (UDFs).

• Ikhtisar fungsi jendela

• Ikhtisar fungsi bawaan

• UDFs

katalog

Manajemen metadata adalah salah satu aspek paling penting dalam pemrosesan data. Katalog Realtime Compute for Apache Flink berisi metadata, seperti database, tabel, bidang, partisi, dan data yang disimpan dalam database atau sistem eksternal lainnya.

Data Management

peran

Peran adalah kumpulan pengguna yang memiliki izin yang sama. Konsep ini digunakan dalam fitur keamanan Realtime Compute for Apache Flink. Satu pengguna dapat mengambil beberapa peran, dan beberapa pengguna dapat mengambil peran yang sama. Setelah Anda memberikan izin kepada suatu peran, semua pengguna yang ditetapkan ke peran tersebut diberikan izin yang sama.

Berikan izin kepada Peran RAM

anggota

Akun Alibaba Cloud atau pengguna RAM dapat ditambahkan sebagai anggota Realtime Compute for Apache Flink. Konsep ini digunakan dalam fitur keamanan Realtime Compute for Apache Flink. Anggota dapat mengelola data, draf, penyebaran, sumber daya, dan fungsi dalam namespace hanya setelah ditambahkan ke namespace dan diberi izin terkait pada namespace tersebut.

Otorisasi Konsol Pengembangan

antrian

Antrian dapat ditentukan untuk penyebaran guna mengimplementasikan isolasi dan manajemen sumber daya.

Kelola antrian