Dokumen ini menjelaskan cara memperkirakan dan merencanakan kapasitas resource untuk kluster penyimpanan aliran Fluss berdasarkan kebutuhan bisnis Anda.
Penilaian resource
Pilih spesifikasi CU
Fluss di cloud publik menggunakan unit komputasi (CU) terstandarisasi dengan rasio vCPU-memori tetap sebesar 1 vCPU per 4 GB. Pilih spesifikasi berdasarkan skala bisnis dan ukuran resource Flink yang terkait.
|
Spesifikasi CU |
Konfigurasi |
Skenario |
|
4 CU |
4 vCPU / 16 GB |
Mulai Coba/Pengembangan: Lingkungan pengujian atau pengembangan skala kecil. Produksi Ber-throughput Rendah: Beban kerja produksi dengan traffic data rendah. Berpasangan dengan Flink: Ukuran resource < 200 CU. |
|
8 CU |
8 vCPU / 32 GB |
Tujuan Umum (Direkomendasikan): Spesifikasi standar yang menyeimbangkan kinerja dan fleksibilitas. Produksi Skala Menengah: Mampu menangani traffic bisnis utama. Berpasangan dengan Flink: Ukuran resource dari 200 CU hingga 1.000 CU. |
|
16 CU |
16 vCPU / 64 GB |
Kinerja Tinggi/Penyimpanan Besar: Untuk kasus penggunaan yang memerlukan throughput sangat tinggi atau batas penyimpanan per-node yang lebih besar. Produksi Skala Masif: Untuk pipeline bisnis yang kritis. Berpasangan dengan Flink: Ukuran resource > 1.000 CU. |
Hitung jumlah Tablet Server
Ukuran kluster bergantung pada total throughput yang dibutuhkan. Gunakan rumus berikut untuk memperkirakan total CU yang diperlukan guna menentukan jumlah node:
<hetu>CUs yang Dibutuhkan = (Throughput Tulis / Benchmark Tulis per CU + Throughput Baca / Benchmark Baca per CU) × (1 + Redundansi)</hetu>
Metrik utama
-
Unit throughput: Kami merekomendasikan menggunakan Rows/s (baris per detik) atau MB/s (megabyte per detik) sebagai satuan konsisten dalam perhitungan Anda.
-
Benchmark kinerja per CU:
-
Kapasitas tulis: Sekitar 50.000 Rows/s (~46 MB/s).
Dipengaruhi oleh kompleksitas data dan logika pembaruan primary key.
-
Kapasitas baca: Sekitar 50.000 Rows/s (~46 MB/s).
Dipengaruhi oleh column pruning dan kondisi filter kueri.
-
-
Buffer redundansi (Direkomendasikan): Kami merekomendasikan menyisakan buffer resource sebesar 20% hingga 30% untuk memastikan stabilitas kluster selama lonjakan traffic puncak.
Contoh perhitungan:
Jika perhitungan Anda membutuhkan 64 CU dan Anda memilih spesifikasi 8 CU, Anda memerlukan 8 node Tablet Server.
Perencanaan penyimpanan lokal
Penggunaan penyimpanan lokal berkaitan erat dengan jenis tabel (tabel log atau tabel primary key).
-
Rekomendasi konfigurasi: Kami merekomendasikan menggunakan konfigurasi default pada awalnya.
-
Aturan penskalaan: Anda dapat meningkatkan kapasitas disk secara independen seiring pertumbuhan bisnis atau menambah kapasitas penyimpanan dengan menambah node.
-
Batasan penting: Disk dapat diskalakan naik, tetapi tidak bisa diturunkan. Rencanakan dengan cermat untuk menghindari over-provisioning.
Konfigurasi contoh
|
Skenario |
Throughput tulis |
Throughput baca |
Jenis tabel |
Kolom |
Total CU |
Konfigurasi node |
|
Pemrosesan Aliran Ber-throughput Rendah |
250.000 Rows/s |
250.000 Rows/s |
log table |
20 |
12 CU |
3 × 4 CU |
|
Real-Time Analytics – Medium Throughput |
500.000 Rows/s |
700.000 Rows/s |
primary key table |
50 |
32 CU |
4 × 8 CU |
|
Data Warehouse Real-Time Ber-throughput Tinggi |
2.200.000 Rows/s |
2.500.000 Rows/s |
primary key table |
100 |
128 CU |
8 × 16 CU |
|
Pemrosesan Aliran Skala Masif |
5.000.000 Rows/s |
5.000.000 Rows/s |
log table |
30 |
256 CU |
16 × 16 CU |
|
Layanan kueri tabel dimensi |
200.000 Rows/s |
300.000 Rows/s |
primary key table |
30 |
12 CU |
3 × 4 CU |
FAQ
T: Apa perbedaan antara kluster dengan 10 node 8-CU dan kluster dengan 5 node 16-CU? Kedua konfigurasi tersebut sama-sama berjumlah total 80 CU.
J: Meskipun kinerja komputasi total hampir identik, perbedaan utamanya terletak pada batas penyimpanan dan fleksibilitas operasional:
-
Batas penyimpanan: Setiap node memiliki kapasitas disk lokal maksimum, misalnya 2 TB. Kluster dengan jumlah node lebih sedikit namun berukuran lebih besar (16 CU) memiliki total kapasitas disk yang lebih kecil dibandingkan kluster dengan lebih banyak node berukuran lebih kecil (8 CU). Jika bisnis Anda menghasilkan volume data yang besar, lebih banyak node biasanya berarti ruang penyimpanan total yang lebih besar.
-
Granularitas penskalaan: Spesifikasi 8 CU menawarkan granularitas yang lebih halus. Anda dapat menyesuaikan resource dalam kenaikan yang lebih kecil, sehingga memberikan fleksibilitas lebih baik dan pengendalian biaya yang lebih efisien.