Realtime Compute for Apache Flink：Apa itu Realtime Compute for Apache Flink?

Item

Apache Flink

Realtime Compute for Apache Flink

Mengapa kami?

Kinerja dan biaya

• Tidak ada elastisitas skala bawaan.

• Pemanfaatan sumber daya bergantung pada penyetelan manual.

• Performa lebih tinggi: Melalui optimasi operator SQL dan GeminiStateBackend yang dikembangkan sendiri, Realtime Compute for Apache Flink menawarkan performa dua kali lebih tinggi dibandingkan Apache Flink dalam tes benchmark Nexmark.

• Fitur Autopilot secara otomatis memantau dan menyesuaikan alokasi sumber daya pekerjaan, menyelesaikan masalah kinerja seperti throughput pekerjaan yang tidak mencukupi, tekanan balik di seluruh alur kerja, dan pemborosan sumber daya tanpa intervensi manual.

• Pemanfaatan sumber daya lebih tinggi: Mendukung konfigurasi sumber daya (CPU/Mem) tingkat halus pada level operator, meningkatkan pemanfaatan sumber daya hingga 100% untuk pekerjaan berskala besar.

• Penagihan fleksibel: Mendukung model Langganan, Bayar sesuai penggunaan, dan Penagihan Hibrida untuk konsumsi unit komputasi (CU).

• Model penagihan fleksibel dan performa lebih baik membantu perusahaan mengurangi biaya.

• Skalabilitas CU cerdas meningkatkan pemanfaatan sumber daya.

Kompatibilitas dan kemampuan integrasi

• Flink SQL asli dan API DataStream.

• Membutuhkan integrasi manual dengan sistem seperti MySQL, Kafka, Paimon, dengan potensi masalah kompatibilitas akibat pembaruan versi yang sering.

• Sepenuhnya kompatibel dengan API Flink utama (SQL, DataStream, PyFlink, dan Flink CDC).

• Menyediakan lebih dari 30 konektor bawaan (konektor) dari berbagai jenis penyimpanan, termasuk database, antrian pesan, gudang data, data lake, dan sistem file.

• Mendukung konektor kustom untuk mengintegrasikan dengan sistem eksternal.

• Hambatan masuk lebih rendah.

• Efisiensi integrasi ekosistem meningkat.

• Migrasi bisnis yang lancar.

Efisiensi pengembangan dan pengalaman debugging

• Tidak memiliki platform manajemen pengembangan satu atap.

• Alat debugging terbatas.

• Mendukung sinkronisasi seluruh database, penggabungan dan sinkronisasi tabel, evolusi skema, serta membaca snapshot dari replika database dan data inkremental dari database master (CDAS/CTAS).

• Mengelola versi draf (perbandingan kode dan rollback), mendukung integrasi dengan repositori Git jarak jauh (GitHub, GitLab, atau Gitee).

• Mendukung fungsi Apache Flink asli dan fungsi kustom; menyediakan lebih dari 20 template skrip SQL Flink untuk kasus penggunaan dunia nyata yang umum.

• Mendukung manajemen data uji, debugging cepat, tampilan hasil antara, dan isolasi pengembangan-produksi; terintegrasi dengan alat pengembangan lokal Visual Studio Code.

• Pengembangan lebih mudah.

• Mengurangi biaya debugging dan pengujian.

• Penyebaran pekerjaan lebih cepat dan kualitas lebih tinggi.

Kemampuan operasi dan manajemen

• Tidak ada sistem pemantauan dan peringatan bawaan yang komprehensif.

• Kekurangan Antarmuka Pengguna Grafis (GUI).

• Memerlukan penskalaan sumber daya secara manual; penjadwalan sumber daya yang kompleks.

• Menyediakan GUI untuk manajemen pekerjaan, pemantauan status, dan pelacakan log, meningkatkan efisiensi O&M.

• Mendukung metrik pemantauan multidimensi dan agregasi metrik cerdas, memungkinkan Anda dengan cepat mengidentifikasi masalah seperti latensi tinggi, skew, dan tekanan balik.

• Menawarkan mekanisme peringatan waktu nyata bawaan, mendukung berbagai metode notifikasi, termasuk DingTalk, email, dan pesan teks, serta dapat terintegrasi dengan sistem pemantauan tingkat perusahaan seperti Prometheus.

• Mendukung modifikasi konfigurasi dinamis tanpa perlu memulai ulang pekerjaan, dan menyediakan diagnostik cerdas untuk membantu dengan cepat mengidentifikasi anomali pekerjaan, seperti dislokasi TaskManager dan lokasi log serta saran tuning.

• Biaya O&M lebih rendah dan kesulitan optimasi berkurang.

• Manajemen sumber daya tingkat halus dan pengurangan biaya.

• Peningkatan observabilitas pekerjaan dan efisiensi respons.

Stabilitas dan keandalan

• Penyebaran kluster Flink memiliki batasan regional.

• Toleransi kesalahan harus dikonfigurasi secara manual.

• Mendukung fitur ketersediaan tinggi lintas zona di beberapa Wilayah untuk memastikan stabilitas bisnis.

• Mendukung toleransi kesalahan otomatis ujung ke ujung, Ketersediaan Tinggi JobManager, menghilangkan titik-titik kegagalan tunggal.

• Mendukung manajemen checkpoint dan savepoint, pemeriksaan kompatibilitas status, dan migrasi data untuk memaksimalkan penggunaan status yang ada.

Memastikan operasi stabil pekerjaan berskala besar, memenuhi persyaratan lingkungan produksi tingkat perusahaan.

Layanan tingkat perusahaan

• Pengguna bergantung pada dokumentasi Apache Flink, komunitas, dan dukungan tidak resmi lainnya.

• Tidak ada tim dukungan teknis khusus.

• Menyediakan dukungan teknis profesional 24/7, didukung oleh insinyur Realtime Compute for Apache Flink, dengan SLA 99,9%.

• Menawarkan respons cepat dan mendukung fitur kustom.

• Menyediakan pembaruan berkelanjutan, pemeliharaan berkelanjutan, dan dukungan versi jangka panjang.

Dukungan teknis profesional dan tepercaya untuk mempercepat resolusi masalah dan penyebaran bisnis.

Keamanan dan kontrol akses

• Mekanisme otentikasi dasar seperti Kerberos.

• Kontrol akses memerlukan integrasi dengan sistem eksternal.

• Menerapkan kontrol akses berbasis peran Alibaba Cloud.

• Mendukung isolasi sumber daya dan file kode pada tingkat penyewa dan proyek untuk kolaborasi lintas tim.

• Tingkatkan keamanan kredensial melalui manajemen variabel.

• Mendukung audit tindakan komprehensif, yang melacak semua perubahan di lingkungan produksi.

Menawarkan sistem otentikasi identitas terpadu, memastikan keamanan dan kepatuhan aset data.

Ekstensibilitas dan ekosistem

• Memperluas fungsionalitas melalui plugin.

• Ekosistem bergantung pada komunitas Apache Flink atau pengembang.

• Mendukung kasus penggunaan baru seperti AI dan analitik data cerdas.

• Mendukung integrasi dengan data lake (Iceberg dan Hudi) dan gudang data (ClickHouse, Hologres, dan MaxCompute).

• Menyediakan SDK dan API Restful untuk pengembangan sekunder.

Menyediakan platform fleksibel dan dapat diperluas untuk berbagai kasus penggunaan real-time.