E-MapReduce:FAQ

Persyaratan hardware

• Konfigurasi mesin secara keseluruhan

  Kami merekomendasikan agar node BE memiliki minimal CPU 16 core dan memori 64 GB, serta node FE memiliki minimal CPU 8 core dan memori 16 GB.

  Di lingkungan produksi, node FE biasanya memiliki CPU 16 core, memori 32 GB atau 64 GB, serta SSD NVMe berkapasitas 200 GB hingga 500 GB.

• Disk

  • Anda dapat menggunakan Hard Disk Drive (HDD) atau SSD.

  • Perkirakan kapasitas disk yang dibutuhkan dengan rasio kompresi 3:1 dan pemanfaatan disk maksimum 70% hingga 75%.

  • Jika Anda mengimpor data Hive dalam format Parquet atau ORC ke StarRocks, gunakan rasio kompresi 1:1 untuk estimasi.

    Misalnya, jika data Hive sumber berukuran 3 TB, ukuran data di StarRocks juga akan menjadi 3 TB setelah diimpor.

• CPU

  • CPU harus mendukung set instruksi Advanced Vector Extensions 2 (AVX2). Anda dapat menjalankan perintah cat /proc/cpuinfo |grep avx2 untuk memverifikasi dukungan tersebut.

  • Mesin eksekusi vektorisasi bekerja optimal dengan set instruksi CPU yang kompatibel. Jika CPU mesin Anda tidak mendukung set instruksi yang diperlukan, kami merekomendasikan untuk melakukan upgrade hardware.

• Jaringan

  Kami merekomendasikan penggunaan kartu antarmuka jaringan (NIC) dan switch Ethernet 10 Gigabit.

Persyaratan konfigurasi software

Untuk informasi lebih lanjut tentang konfigurasi software, lihat Konfigurasi parameter.

Konfigurasi replika

Di lingkungan produksi tipikal, dua atau tiga replika sudah cukup. Kami merekomendasikan mengatur jumlah replika menjadi tiga.

Mem-partisi tabel

Partisi yang tepat dapat secara efektif mengurangi jumlah data yang dipindai.

• Umumnya, Anda memilih kunci partisi berdasarkan cara bisnis Anda mengelola data. Misalnya, Anda dapat menggunakan kolom waktu atau wilayah sebagai kunci partisi.

• Jika Anda perlu membuat partisi secara otomatis, Anda dapat menggunakan partisi dinamis.

Menggunakan bucketing

• Pilih kolom dengan kardinalitas tinggi sebagai kunci bucketing untuk mencegah kesenjangan data antar bucket.

  • Jika terdapat ID unik, kami merekomendasikan menggunakannya untuk bucketing.

  • Jika Anda mengalami kesenjangan data yang parah, Anda dapat menggunakan beberapa kolom sebagai kunci bucketing. Namun, hindari penggunaan terlalu banyak kolom.

• Perkirakan ukuran tablet optimal dan jumlah total bucket berdasarkan volume data total Anda serta panduan berikut.

  • Untuk data mentah yang tidak dikompresi, seperti data dalam format CSV, ukuran tablet yang direkomendasikan berkisar antara 1 GB hingga 10 GB.

  • Untuk data dalam format Parquet, kami merekomendasikan ukuran tablet sekitar 1 GB.

• Untuk memaksimalkan pemanfaatan resource pada jumlah mesin yang sedikit, hitung jumlah bucket menggunakan rumus berikut: Jumlah BE * Jumlah core CPU / 2.

Merancang sort key

Memilih tipe data

Gunakan tipe data yang paling tepat. Misalnya, gunakan tipe integer alih-alih string jika memungkinkan, dan pilih INT daripada BIGINT jika rentang data memungkinkan. Penggunaan tipe data yang tepat meningkatkan performa database.

Menyetel parameter Routine Load

Strategi penyetelan parameter

Parameter Routine Load

Memilih model data

Fungsi COUNT pada model data

Mengurangi penggunaan disk direktori trash

Direktori /mnt/disk1/starrocks/storage/trash/ menyimpan data yang telah dihapus. Untuk mengurangi penggunaan disk direktori ini, Anda dapat mengurangi nilai parameter trash_file_expire_time_sec dalam file be.conf untuk memperpendek periode retensi direktori trash. Nilai default adalah 259.200 detik (72 jam).

Error saat membuat materialized view

• Gejala: Saat Anda mencoba membuat materialized view, error berikut terjadi.

  mysql> CREATE MATERIALIZED VIEW test_bl1_mvte AS select timed, event, count(userId) as PV from test_bl1 group by timed, event;
  ERROR 1064 (HY000): table [test_bl1] is not stable. Some tablets of this table may not be healthy or are being scheduled. You need to repair the table first or stop cluster balance. See 'help admin;'.
  mysql>

• Solusi:

  1. Jalankan perintah show proc "/cluster_balance"; dan show proc "/statistic";.

  2. Periksa apakah ada tablet yang sedang di-rebalance:

     • Jika ada tablet yang sedang di-rebalance, tunggu hingga proses selesai.

     • Jika tidak, jalankan perintah set disable_balance=true lalu coba buat kembali materialized view.

Troubleshooting kueri lambat

Kami merekomendasikan metode troubleshooting berikut:

• Aktifkan pelaporan profil dan lihat informasi profil di UI StarRocks.

  Jalankan perintah SET is_report_success = true; untuk mengaktifkan pelaporan profil.

• Ikuti langkah-langkah troubleshooting dasar berikut:

  1. Atur paralelisme.

     • Pipeline

       SET pipeline_dop = 8;
       SET enable_pipeline_engine = true;

     • Mesin non-pipeline

       SET enable_pipeline_engine=false;
       SET parallel_fragment_exec_instance_num=8;

  2. Periksa distribusi tablet.

     show data xxx;

     Catatan

     Ukuran tablet yang direkomendasikan berkisar antara 1 GB hingga 10 GB.

  3. Periksa definisi tabel.

     1. Periksa iotime dalam profil. Jika nilainya tinggi, Anda dapat menghapus indeks yang tidak perlu, seperti jumlah indeks bitmap yang berlebihan.

     2. Periksa model data tabel dan pilih model yang sesuai. Misalnya, dalam unique key model, penurunan predikat tidak dapat diterapkan hingga kompaksi selesai, yang sering menyebabkan kueri lambat.

Kegagalan akses pada port 8030 atau 8040

Ketersediaan wilayah EMR StarRocks

EMR StarRocks tersedia di semua wilayah.

Disk data BE dan distribusi data

Secara default, empat disk cloud ESSD PL1 yang ditingkatkan dipasang. StarRocks secara otomatis menyeimbangkan data di seluruh node berdasarkan beban, bucketing, dan faktor lainnya. Setiap replika tablet disimpan sepenuhnya pada satu disk.

Mereset kluster untuk pemulihan data

1. Hentikan layanan kluster (FE dan BE).

2. Bersihkan direktori metadata FE.

   1. Periksa file fe.conf di direktori /opt/apps/STARROCKS/starrocks-current/fe/conf/ untuk menemukan direktori yang dikonfigurasi untuk meta_dir.

   2. Hapus folder bdb dari direktori yang dikonfigurasi.

   3. Kosongkan folder image di direktori yang dikonfigurasi.

3. Bersihkan data dan metadata BE.

   1. Periksa file be.conf di direktori /opt/apps/STARROCKS/starrocks-current/be/conf/ untuk menemukan direktori yang dikonfigurasi untuk storage_root_path.

   2. Hapus semua folder dan file dari direktori yang dikonfigurasi kecuali folder data dan meta.

   3. Kosongkan folder data dan meta di direktori yang dikonfigurasi.

   Catatan

   Konfigurasi mungkin menentukan beberapa path. Anda harus melakukan operasi ini untuk setiap path.

4. Nyalakan kembali layanan kluster (FE dan BE).

Menampilkan log

Node tugas yang ditambahkan saat scaling out tidak digunakan untuk komputasi

Gejala

Setelah Anda melakukan scaling out kluster StarRocks dengan menambahkan tiga node tugas, node baru tersebut ditetapkan sebagai compute node (CN) tetapi tidak secara otomatis menjalankan tugas komputasi. Meskipun node BE yang ada berada di bawah beban tinggi, node tugas baru tetap kurang dimanfaatkan, dengan data pemantauan menunjukkan beban yang konsisten rendah.

Penyebab

Dalam arsitektur integrasi komputasi dan penyimpanan, CN dalam kluster StarRocks hanya dapat digunakan untuk kueri pada tabel eksternal. Oleh karena itu, jika aplikasi terutama melibatkan kueri pada tabel internal, node BE menangani tugas tersebut, sehingga CN baru kurang dimanfaatkan.

Solusi

Sebelum menjalankan tugas kueri, eksekusi perintah SQL berikut untuk memprioritaskan CN dalam eksekusi tugas.

SET GLOBAL prefer_compute_node=true;

Menampilkan password kluster StarRocks

Password untuk kluster StarRocks adalah password yang Anda atur untuk pengguna root saat membuat kluster. Jika Anda lupa password tersebut, Anda dapat meresetnya. Untuk informasi lebih lanjut, lihat Bagaimana cara mereset kata sandi logon kluster?