Realtime Compute for Apache Flink:Konsep utama

Konsep

Deskripsi

Dokumentasi

Management Console

Management Console adalah platform pusat untuk mengelola dan mengonfigurasi ruang kerja. Platform ini menyediakan kontrol global atas siklus hidup ruang kerja dan namespace serta memungkinkan Anda menyesuaikan alokasi sumber daya secara fleksibel sesuai kebutuhan bisnis. Fitur-fitur utamanya meliputi:

• Manajemen ruang kerja: Lihat, beli, konfigurasi ulang, dan rilis ruang kerja.

• Manajemen penyimpanan: Alihkan Bucket OSS ke mode penyimpanan fully managed.

• Kloning: Replikasi namespace dengan cepat untuk mempermudah ekspansi dan migrasi.

• Pengenalan konsol

• Penskalaan sumber daya

• Kloning namespace

Development Console

Setiap ruang kerja memiliki Development Console independen tempat Anda dapat beralih antar namespace target. Development Console digunakan untuk pengembangan dan operasi pekerjaan. Platform ini membantu Anda mengelola seluruh siklus hidup pekerjaan, mulai dari pengembangan hingga produksi. Fitur-fitur utamanya meliputi:

• Pengembangan pekerjaan: Tulis, debug, dan optimalkan tugas komputasi real-time.

• Manajemen operasi: Pantau status pekerjaan yang sedang berjalan, atasi masalah, dan optimalkan kinerja.

• Manajemen izin: Tetapkan izin pengguna untuk memastikan akses sumber daya yang aman.

• Pengenalan konsol

• Pengembangan pekerjaan

• Manajemen pekerjaan

Workspace

Workspace adalah unit dasar untuk mengelola namespace di Realtime Compute for Apache Flink. Setiap workspace memiliki sumber daya komputasi terisolasi dan Development Console independen.

• Aktifkan Realtime Compute for Apache Flink

• Kelola namespace

• Penskalaan sumber daya

Namespace

Namespace adalah unit dasar untuk mengelola pekerjaan. Anda mengelola semua konfigurasi, pekerjaan, dan izin dalam satu namespace. Anda dapat membuat beberapa namespace dan memberikan sumber daya serta izin terpisah untuk masing-masing, sehingga memungkinkan isolasi sumber daya dan izin yang lengkap bagi penyewa yang berbeda.

Resource

Unit dasar untuk sumber daya komputasi di Realtime Compute for Apache Flink adalah Compute Unit (CU). 1 CU = 1 vCPU + 4 GiB memori + 20 GB penyimpanan lokal (untuk log, checkpoint sistem, dan informasi lainnya).

Konsumsi CU suatu pekerjaan bergantung pada Queries Per Second (QPS) aliran data masukan, kompleksitas komputasi, dan distribusi spesifik data masukan. Anda dapat memperkirakan jumlah sumber daya yang perlu dibeli berdasarkan skala bisnis dan kebutuhan komputasi Anda.

• Ikhtisar penagihan

• Konfigurasikan sumber daya pekerjaan

• Manajemen tag

Draft

Draft adalah pekerjaan SQL yang dibuat di halaman ETL atau pekerjaan YAML yang dibuat di halaman Data Ingestion pada Development Console. Konsep ini hanya berlaku untuk pengembangan pekerjaan dalam Development Console dan tidak berlaku untuk pengembangan menggunakan SDK.

Peta jalan pengembangan pekerjaan

Deployment

Deployment mengisolasi lingkungan pengembangan dari produksi, sehingga modifikasi pada draft tidak memengaruhi pekerjaan yang sedang berjalan di lingkungan produksi. Anda dapat membuat deployment dari draft pekerjaan, file JAR yang diunggah, atau paket Python. Setiap deployment memiliki properti stream atau batch yang telah ditentukan. Konsep ini berlaku untuk pengembangan pekerjaan baik melalui Development Console maupun SDK.

Menyebarkan Pekerjaan

Job instance

Job instance adalah instans pekerjaan yang sedang berjalan di lingkungan produksi. Instans ini dihasilkan dari deployment dan memiliki properti stream atau batch yang telah ditentukan.

None

Connector

Realtime Compute for Apache Flink menyediakan banyak connector bawaan untuk membaca dari dan menulis ke berbagai sistem hulu dan hilir. Layanan ini juga mendukung pengunggahan dan penggunaan connector kustom.

Connector yang didukung

Function

Realtime Compute for Apache Flink mendukung dua jenis fungsi: fungsi bawaan dan user-defined function (UDF).

• Fungsi window

• Fungsi bawaan

• Fungsi yang Ditentukan Pengguna

Catalog

Catalog di Realtime Compute for Apache Flink menyediakan metadata dari sistem eksternal. Metadata ini mencakup informasi tentang database, tabel, bidang, dan partisi.

Manajemen data

Role

Role adalah konsep keamanan di Realtime Compute for Apache Flink yang merepresentasikan sekelompok pengguna dengan izin yang sama. Beberapa pengguna dapat termasuk dalam satu role, dan satu pengguna dapat termasuk dalam beberapa role. Setelah Anda memberikan izin kepada suatu role, semua pengguna dalam role tersebut mewarisi izin yang sama.

Otorisasi role

Member

Member adalah konsep keamanan di Realtime Compute for Apache Flink. Anda dapat menambahkan Akun Alibaba Cloud dan Pengguna RAM sebagai member. Member (selain Pemilik proyek) harus ditambahkan ke proyek dan diberikan izin untuk mengoperasikan data, pekerjaan, sumber daya, dan fungsi proyek tersebut.

Otorisasi pengguna di Development Console

Resource queue

Anda dapat menyebarkan pekerjaan ke antrian tertentu untuk isolasi dan manajemen sumber daya.

Kelola resource queue