Topik ini menjelaskan parameter Frontend (FE), Backend (BE), dan sistem untuk kluster StarRocks di E-MapReduce (EMR), serta cara mengubahnya.
Parameter dibagi menjadi dua kategori:
-
Parameter dinamis: Berlaku langsung tanpa perlu restart layanan. Semua parameter dinamis FE dapat dimodifikasi secara online.
-
Parameter statis: Hanya berlaku setelah layanan direstart.
Lihat konfigurasi saat ini
Untuk melihat konfigurasi FE saat ini, jalankan perintah berikut di client MySQL yang terhubung ke FE:
ADMIN SHOW FRONTEND CONFIG;
Output mencakup nama parameter, nilai saat ini, dan status apakah parameter tersebut dapat diubah (dapat dimodifikasi secara online).
Ubah parameter dinamis FE
Jalankan perintah berikut di client MySQL yang terhubung ke FE:
ADMIN SET FRONTEND CONFIG ("key" = "value");
Parameter dinamis FE
Logging
| Parameter | Nilai default | Deskripsi |
|---|---|---|
qe_slow_log_ms |
5000 |
Ambang batas untuk deteksi kueri lambat. Kueri yang memakan waktu lebih lama dari nilai ini akan dicatat sebagai kueri lambat. Satuan: milidetik. |
Metadata dan manajemen kluster
| Parameter | Nilai default | Deskripsi |
|---|---|---|
catalog_try_lock_timeout_ms |
5000 |
Timeout untuk mendapatkan kunci katalog. Satuan: milidetik. |
edit_log_roll_num |
50000 |
Jumlah maksimum entri log gambar yang ditulis sebelum file log baru dibuat. |
ignore_unknown_log_id |
FALSE |
Apakah akan mengabaikan ID log yang tidak dikenal. Atur ke TRUE untuk mengabaikannya; atur ke FALSE untuk keluar dari FE ketika ID log yang tidak dikenal ditemukan. ID log yang tidak dikenal dapat muncul ketika FE dikembalikan ke versi sebelumnya yang tidak dikenali oleh BE. |
ignore_meta_check |
FALSE |
Apakah akan mengabaikan kesenjangan metadata. Atur ke TRUE untuk mengabaikannya; atur ke FALSE untuk menerapkan pemeriksaan. |
max_backend_down_time_second |
3600 |
Waktu maksimum bagi BE untuk bergabung kembali ke kluster setelah terputus dari FE. Jika BE tidak terhubung kembali dalam periode ini, BE tersebut dianggap mati permanen. Satuan: detik. |
drop_backend_after_decommission |
TRUE |
Apakah akan menghapus node BE secara otomatis setelah decommissioning. Atur ke TRUE untuk menghapusnya; atur ke FALSE untuk menyimpannya. |
Mesin kueri
| Parameter | Nilai default | Deskripsi |
|---|---|---|
expr_children_limit |
10000 |
Jumlah maksimum elemen predikat IN yang diizinkan dalam sebuah kueri. |
expr_depth_limit |
3000 |
Kedalaman bersarang maksimum untuk ekspresi dalam sebuah kueri. |
max_allowed_in_element_num_of_delete |
10000 |
Jumlah maksimum elemen dalam predikat IN pada pernyataan DELETE. |
max_layout_length_per_row |
2147483647 |
Panjang maksimum satu baris. |
disable_cluster_feature |
TRUE |
Apakah akan menonaktifkan fitur kluster logis. Atur ke TRUE untuk menonaktifkannya; atur ke FALSE untuk mengaktifkannya. |
enable_materialized_view |
TRUE |
Apakah akan mengaktifkan tampilan yang di-materialisasi. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
enable_decimal_v3 |
TRUE |
Apakah akan mendukung tipe data DECIMAL V3. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
enable_sql_blacklist |
FALSE |
Apakah akan menerapkan daftar hitam kueri SQL. Saat diaktifkan, kueri yang cocok dengan pola daftar hitam tidak dapat dieksekusi. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
dynamic_partition_check_interval_seconds |
600 |
Interval di mana FE memeriksa data baru dan secara otomatis membuat partisi. Satuan: detik. |
dynamic_partition_enable |
TRUE |
Apakah akan mengaktifkan partisi dinamis. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
max_partitions_in_one_batch |
4096 |
Jumlah maksimum partisi yang dapat dibuat dalam satu batch. |
max_query_retry_time |
2 |
Jumlah maksimum percobaan ulang kueri di FE. |
max_create_table_timeout_second |
60 |
Timeout maksimum untuk membuat tabel. Satuan: detik. |
max_running_rollup_job_num_per_table |
1 |
Jumlah maksimum pekerjaan Rollup bersamaan per tabel. |
max_planner_scalar_rewrite_num |
100000 |
Jumlah maksimum kali pengoptimal menulis ulang operator skalar. |
statistics_manager_sleep_time_sec |
600 |
Interval pembuatan tabel statistik. Satuan: detik. |
statistic_collect_interval_sec |
7200 |
Interval pengumpulan statistik. Satuan: detik. |
statistic_update_interval_sec |
86400 |
Interval default pembaruan statistik. Satuan: detik. |
statistic_sample_collect_rows |
200000 |
Jumlah baris yang disampel selama pengumpulan statistik. |
enable_statistic_collect |
TRUE |
Apakah akan mengaktifkan pengumpulan statistik. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
enable_local_replica_selection |
FALSE |
Apakah pengoptimal memprioritaskan pemilihan replika tablet pada BE yang memiliki alamat IP sama dengan FE. Atur ke TRUE untuk memprioritaskan replika lokal; atur ke FALSE untuk perilaku pemilihan default. |
max_distribution_pruner_recursion_depth |
100 |
Kedalaman rekursi maksimum untuk pemangkasan partisi. |
Pemuatan dan pembongkaran
| Parameter | Nilai default | Deskripsi |
|---|---|---|
load_straggler_wait_second |
300 |
Kelambatan pemuatan maksimum yang ditoleransi untuk replika BE sebelum data diklon dari replika lain. Satuan: detik. |
desired_max_waiting_jobs |
100 |
Jumlah maksimum pekerjaan tertunda di semua jenis pekerjaan, termasuk pembuatan tabel, pemuatan, dan pekerjaan perubahan skema. |
max_running_txn_num_per_db |
100 |
Jumlah maksimum pekerjaan pemuatan bersamaan per database. |
max_load_timeout_second |
259200 |
Timeout maksimum untuk pekerjaan pemuatan apa pun. Satuan: detik. |
min_load_timeout_second |
1 |
Timeout minimum untuk pekerjaan pemuatan apa pun. Satuan: detik. |
load_parallel_instance_num |
1 |
Jumlah instans pemuatan bersamaan pada satu BE. |
disable_hadoop_load |
FALSE |
Apakah akan menonaktifkan pemuatan data dari Hadoop. Atur ke TRUE untuk menonaktifkan; atur ke FALSE untuk mengaktifkan. |
disable_load_job |
FALSE |
Apakah akan menolak pekerjaan pemuatan baru ketika kluster mengalami error. Atur ke TRUE untuk menolak; atur ke FALSE untuk menerima. |
db_used_data_quota_update_interval_secs |
300 |
Interval di mana FE memperbarui penggunaan kuota data untuk setiap database. Satuan: detik. |
history_job_keep_max_second |
604800 |
Periode retensi maksimum untuk pekerjaan historis. Satuan: detik. |
label_keep_max_num |
1000 |
Jumlah maksimum pekerjaan pemuatan yang disimpan dalam periode yang ditentukan oleh label_keep_max_second. |
label_keep_max_second |
259200 |
Periode retensi untuk label pekerjaan pemuatan. Satuan: detik. |
max_routine_load_job_num |
100 |
Jumlah maksimum pekerjaan Routine Load. |
max_routine_load_task_concurrent_num |
5 |
Jumlah maksimum tugas bersamaan dalam satu pekerjaan Routine Load. |
max_routine_load_task_num_per_be |
5 |
Jumlah maksimum tugas Routine Load bersamaan pada satu BE. Harus kurang dari atau sama dengan routine_load_thread_pool_size. |
max_routine_load_batch_size |
524288000 |
Volume data maksimum yang dimuat oleh satu tugas Routine Load. Satuan: byte. |
routine_load_task_consume_second |
3 |
Waktu maksimum yang dihabiskan tugas Routine Load untuk mengonsumsi data. Satuan: detik. |
routine_load_task_timeout_second |
15 |
Timeout untuk tugas Routine Load. Satuan: detik. |
max_tolerable_backend_down_num |
0 |
Jumlah maksimum BE yang gagal yang diizinkan sebelum pekerjaan Routine Load tidak dapat dipulihkan secara otomatis. |
period_of_auto_resume_min |
5 |
Interval di mana FE mencoba memulihkan pekerjaan Routine Load secara otomatis. Satuan: menit. |
spark_load_default_timeout_second |
86400 |
Timeout untuk pekerjaan Spark Load. Satuan: detik. |
spark_home_default_dir |
STARROCKS_HOME_DIR/lib/spark2x |
Direktori root client Spark. |
stream_load_default_timeout_second |
600 |
Timeout default untuk pekerjaan Stream Load. Satuan: detik. |
max_stream_load_timeout_second |
259200 |
Timeout maksimum untuk pekerjaan Stream Load. Satuan: detik. |
insert_load_default_timeout_second |
3600 |
Timeout untuk operasi pemuatan INSERT INTO. Satuan: detik. |
broker_load_default_timeout_second |
14400 |
Timeout untuk pekerjaan Broker Load. Satuan: detik. |
min_bytes_per_broker_scanner |
67108864 |
Volume data minimum yang diproses oleh satu instans Broker Load. Default: 64 MB. |
max_broker_concurrency |
100 |
Jumlah maksimum instans Broker Load bersamaan. |
export_max_bytes_per_be_per_task |
268435456 |
Volume data maksimum yang diekspor dari satu BE oleh satu tugas pembongkaran. Default: 256 MB. |
export_running_job_num_limit |
5 |
Jumlah maksimum pekerjaan pembongkaran data bersamaan. |
export_task_default_timeout_second |
7200 |
Timeout untuk pekerjaan pembongkaran data. Default: 2 jam. Satuan: detik. |
Penyimpanan
| Parameter | Nilai default | Deskripsi |
|---|---|---|
enable_strict_storage_medium_check |
FALSE |
Apakah FE memeriksa ruang penyimpanan yang tersedia di BE saat membuat tabel. Atur ke TRUE untuk menerapkan pemeriksaan; atur ke FALSE untuk melewatinya. |
capacity_used_percent_high_water |
0.75 |
Ambang batas atas penggunaan disk untuk BE. Ketika penggunaan disk melebihi 75%, FE berhenti mengirim pekerjaan pembuatan tabel dan kloning ke BE tersebut hingga penggunaan turun di bawah ambang batas. |
storage_high_watermark_usage_percent |
85 |
Persentase penggunaan penyimpanan maksimum yang diizinkan di direktori penyimpanan BE. |
storage_min_left_capacity_bytes |
2147483648 |
Ruang bebas minimum yang diperlukan di direktori penyimpanan BE. Default: 2 GB. |
storage_flood_stage_left_capacity_bytes |
1073741824 |
Ambang batas ruang bebas di direktori penyimpanan BE di bawahnya pekerjaan pemuatan dan pemulihan ditolak. Default: 1 GB. |
storage_flood_stage_usage_percent |
95 |
Ambang batas penggunaan penyimpanan di atasnya pekerjaan pemuatan dan pemulihan ditolak. |
catalog_trash_expire_second |
86400 |
Periode retensi metadata di Keranjang daur ulang setelah tabel atau database dihapus. Data tidak dapat dipulihkan setelah periode ini berakhir. Default: 1 hari. Satuan: detik. |
alter_table_timeout_second |
86400 |
Timeout untuk pekerjaan perubahan skema. Default: 1 hari. Satuan: detik. |
balance_load_disk_safe_threshold |
0.5 |
Ambang batas aman penggunaan disk untuk kebijakan penyeimbangan disk_and_tablet. Jika semua disk BE berada di bawah penggunaan 50%, penggunaan disk dianggap seimbang. |
balance_load_score_threshold |
0.1 |
Ambang batas ketidakseimbangan beban. Untuk kebijakan be_load_score: BE berada dalam kondisi beban rendah jika bebannya lebih dari 10% di bawah rata-rata, dan dalam kondisi beban tinggi jika bebannya lebih dari 10% di atas rata-rata. Untuk kebijakan disk_and_tablet: jika selisih antara penggunaan disk BE maksimum dan minimum melebihi 10%, kluster memulai penyeimbangan ulang tablet. |
disable_balance |
true |
Apakah akan menonaktifkan penyeimbangan tablet. Atur ke TRUE untuk menonaktifkan; atur ke FALSE untuk mengaktifkan. |
max_scheduling_tablets |
2000 |
Jumlah maksimum tablet yang dijadwalkan secara bersamaan. Jika ambang batas ini terlampaui, penyeimbangan beban tablet dilewati. |
max_balancing_tablets |
100 |
Jumlah maksimum tablet yang diseimbangkan ulang secara bersamaan. Jika ambang batas ini terlampaui, penyeimbangan ulang dilewati. |
disable_colocate_balance |
FALSE |
Apakah akan menonaktifkan penyeimbangan replika untuk tabel colocate. Atur ke TRUE untuk menonaktifkan; atur ke FALSE untuk mengaktifkan. |
recover_with_empty_tablet |
FALSE |
Apakah akan mengganti replika tablet kosong ketika replika hilang atau rusak. Atur ke TRUE untuk mengizinkan penggantian (kueri tetap dapat dijalankan tetapi mungkin mengembalikan hasil yang tidak lengkap); atur ke FALSE untuk menonaktifkan penggantian. |
min_clone_task_timeout_sec |
180 |
Timeout minimum untuk tugas kloning tablet. Default: 3 menit. Satuan: detik. |
max_clone_task_timeout_sec |
7200 |
Timeout maksimum untuk tugas kloning tablet. Default: 2 jam. Satuan: detik. |
tablet_create_timeout_second |
1 |
Timeout untuk membuat tablet. Satuan: detik. |
tablet_delete_timeout_second |
2 |
Timeout untuk menghapus tablet. Satuan: detik. |
tablet_repair_delay_factor_second |
60 |
Interval antara upaya perbaikan replika tablet. Satuan: detik. |
consistency_check_start_time |
23 |
Jam di mana FE memulai pemeriksaan konsistensi replika. Default: 23:00. |
consistency_check_end_time |
4 |
Jam di mana FE menghentikan pemeriksaan konsistensi replika. Default: 04:00. |
check_consistency_default_timeout_second |
600 |
Timeout untuk pemeriksaan konsistensi replika. Satuan: detik. |
Lainnya
| Parameter | Nilai default | Deskripsi |
|---|---|---|
plugin_enable |
TRUE |
Apakah akan mengaktifkan fitur plug-in. Plug-in hanya dapat diinstal atau di-uninstall pada node FE master. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
max_small_file_number |
100 |
Jumlah maksimum file kecil yang dapat disimpan. |
max_small_file_size_bytes |
1048576 |
Ukuran maksimum satu file kecil. Default: 1 MB. |
backup_job_default_timeout_ms |
86400000 |
Timeout untuk pekerjaan cadangan. Default: 1 hari. Satuan: milidetik. |
report_queue_size |
100 |
Jumlah maksimum laporan tertunda dalam antrian. Laporan mencakup status disk, status tugas, dan informasi tablet dari BE. |
Parameter statis FE
Parameter statis hanya berlaku setelah FE direstart.
Logging
| Parameter | Nilai default | Deskripsi |
|---|---|---|
log_roll_size_mb |
1024 |
Ukuran maksimum file log sebelum file baru dibuat. Default: 1 GB. |
sys_log_dir |
StarRocksFe.STARROCKS_HOME_DIR/log |
Direktori untuk file log sistem. |
sys_log_level |
INFO |
Tingkat keparahan minimum untuk entri log sistem. Nilai yang valid: INFO, WARNING, ERROR, FATAL. |
sys_log_verbose_modules |
_(empty)_ | Modul yang menghasilkan log sistem verbose. Misalnya, mengatur ini ke org.apache.starrocks.catalog hanya menghasilkan log untuk modul katalog. |
sys_log_roll_interval |
DAY |
Interval rotasi untuk file log sistem. |
sys_log_delete_age |
7d |
Periode retensi untuk file log sistem. File yang lebih tua dari nilai ini akan dihapus. |
sys_log_roll_num |
10 |
Jumlah maksimum file log sistem yang disimpan per interval rotasi. |
audit_log_dir |
starrocksFe.STARROCKS_HOME_DIR/log |
Direktori untuk file log audit. |
audit_log_roll_num |
90 |
Jumlah maksimum file log audit yang disimpan. |
audit_log_modules |
"slow_query", "query" |
Modul yang menghasilkan log audit. |
audit_log_roll_interval |
DAY |
Interval rotasi untuk file log audit. Nilai yang valid: DAY, HOUR. |
audit_log_delete_age |
30d |
Periode retensi untuk file log audit. File yang lebih tua dari nilai ini akan dihapus. |
dump_log_dir |
STARROCKS_HOME_DIR/log |
Direktori untuk file log dump. |
dump_log_modules |
"query" |
Modul yang menghasilkan log dump. |
dump_log_roll_interval |
DAY |
Interval rotasi untuk file log dump. File yang dirotasi harian menggunakan akhiran yyyyMMdd; file yang dirotasi per jam menggunakan akhiran yyyyMMddHH. |
dump_log_roll_num |
90 |
Jumlah maksimum file log dump yang disimpan per interval rotasi. |
dump_log_delete_age |
30d |
Periode retensi untuk file log dump. File yang lebih tua dari nilai ini akan dihapus. |
Server
| Parameter | Nilai default | Deskripsi |
|---|---|---|
frontend_address |
0.0.0.0 |
Alamat IP node FE. |
priority_networks |
_(empty)_ | Blok CIDR yang disukai untuk server dengan beberapa antarmuka jaringan. Contoh: 10.10.**/24. |
http_port |
8030 |
Port server HTTP. |
http_backlog_num |
1024 |
Panjang antrian backlog untuk server HTTP. |
cluster_name |
StarRocks Cluster |
Nama kluster yang ditampilkan di UI web. |
rpc_port |
9020 |
Port server Thrift pada FE. |
thrift_backlog_num |
1024 |
Panjang antrian backlog untuk server Thrift. |
thrift_server_type |
THREAD_POOL |
Model layanan untuk server Thrift. Nilai yang valid: SIMPLE, THREADED, THREAD_POOL. |
thrift_server_max_worker_threads |
4096 |
Jumlah maksimum thread pekerja untuk server Thrift. |
thrift_client_timeout_ms |
0 |
Timeout untuk permintaan klien. Nilai default 0 berarti permintaan tidak pernah timeout. |
brpc_idle_wait_max_time |
10000 |
Waktu tunggu idle maksimum untuk koneksi bRPC. Default: 10 detik. Satuan: milidetik. |
query_port |
9030 |
Port server MySQL pada FE. |
mysql_service_nio_enabled |
FALSE |
Apakah akan mengaktifkan I/O asinkron untuk layanan MySQL. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
mysql_service_io_threads_num |
4 |
Jumlah maksimum thread untuk menangani event I/O MySQL. |
mysql_nio_backlog_num |
1024 |
Panjang antrian backlog untuk server MySQL. |
max_mysql_service_task_threads_num |
4096 |
Jumlah maksimum thread untuk memproses tugas MySQL. |
max_connection_scheduler_threads_num |
4096 |
Jumlah maksimum thread untuk scheduler koneksi. |
qe_max_connection |
1024 |
Jumlah maksimum koneksi bersamaan ke FE di semua pengguna. |
check_java_version |
TRUE |
Apakah akan memverifikasi bahwa versi runtime Java kompatibel dengan versi Java yang dikompilasi. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk melewati. |
Metadata dan manajemen kluster
| Parameter | Nilai default | Deskripsi |
|---|---|---|
meta_dir |
StarRocksFe.STARROCKS_HOME_DIR/meta |
Direktori untuk menyimpan metadata FE. |
heartbeat_mgr_threads_num |
8 |
Jumlah thread yang digunakan oleh Heartbeat Manager untuk memproses tugas heartbeat. |
heartbeat_mgr_blocking_queue_size |
1024 |
Ukuran antrian blocking untuk tugas heartbeat. |
metadata_failure_recovery |
FALSE |
Apakah akan memaksa reset metadata FE. Berhati-hatilah saat mengaktifkan parameter ini. |
edit_log_port |
9010 |
Port yang digunakan untuk komunikasi antara node FE master, follower, dan observer. |
edit_log_type |
BDB |
Jenis edit log. Atur ini ke BDB. |
bdbje_heartbeat_timeout_second |
30 |
Timeout heartbeat untuk FE berbasis BDB JE. Satuan: detik. |
bdbje_lock_timeout_second |
1 |
Timeout kunci untuk FE berbasis BDB JE. Satuan: detik. |
max_bdbje_clock_delta_ms |
5000 |
Offset jam maksimum yang diizinkan antara FE master dan FE follower atau observer. Satuan: milidetik. |
txn_rollback_limit |
100 |
Jumlah maksimum transaksi yang dapat di-rollback. |
bdbje_replica_ack_timeout_second |
10 |
Waktu maksimum FE master menunggu pesan ACK dari FE follower. Satuan: detik. |
master_sync_policy |
SYNC |
Kebijakan untuk menyiram log ke disk pada FE master. |
replica_sync_policy |
SYNC |
Kebijakan untuk menyiram log ke disk pada replika FE follower. |
meta_delay_toleration_second |
300 |
Kelambatan maksimum yang diizinkan untuk metadata pada FE follower dan observer relatif terhadap FE master. Satuan: detik. |
cluster_id |
-1 |
ID Kluster. Node FE dan BE dengan ID kluster yang sama termasuk dalam kluster yang sama. Nilai default -1 menyebabkan ID kluster acak dihasilkan saat FE master pertama kali dijalankan. |
Mesin kueri
| Parameter | Nilai default | Deskripsi |
|---|---|---|
disable_colocate_join |
FALSE |
Apakah akan menonaktifkan join colocate. Atur ke FALSE untuk mengaktifkan; atur ke TRUE untuk menonaktifkan. |
enable_udf |
FALSE |
Apakah akan mengaktifkan fungsi yang ditentukan pengguna (UDF). Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
publish_version_interval_ms |
10 |
Interval pengiriman tugas publikasi versi. Satuan: milidetik. |
statistic_cache_columns |
100000 |
Jumlah maksimum baris yang di-cache untuk tabel statistik. |
Pemuatan dan pembongkaran
| Parameter | Nilai default | Deskripsi |
|---|---|---|
async_load_task_pool_size |
10 |
Ukuran kolam thread untuk pekerjaan pemuatan asinkron. |
load_checker_interval_second |
5 |
Interval polling untuk pemeriksaan status pekerjaan pemuatan. Satuan: detik. |
transaction_clean_interval_second |
30 |
Interval pembersihan transaksi yang telah selesai. Satuan: detik. |
label_clean_interval_second |
14400 |
Interval pembersihan label pekerjaan pemuatan. Satuan: detik. |
spark_dpp_version |
1.0.0 |
Versi Spark Dynamic Partition Pruning (DPP). |
spark_resource_path |
_(empty)_ | Direktori root untuk paket dependensi Spark. |
spark_launcher_log_dir |
sys_log_dir/spark_launcher_log |
Direktori untuk file log peluncur Spark. |
yarn_client_path |
STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn |
Path ke biner klien YARN. |
yarn_config_dir |
STARROCKS_HOME_DIR/lib/yarn-config |
Direktori untuk file konfigurasi YARN. |
export_checker_interval_second |
5 |
Interval polling untuk penjadwalan pekerjaan pembongkaran. Satuan: detik. |
export_task_pool_size |
5 |
Ukuran kolam thread untuk pekerjaan pembongkaran. |
Penyimpanan
| Parameter | Nilai default | Deskripsi |
|---|---|---|
storage_cooldown_second |
2592000 |
Interval migrasi media penyimpanan dari SSD ke HDD. Default: 30 hari. Satuan: detik. |
default_storage_medium |
HDD |
Media penyimpanan default untuk tabel dan partisi ketika tidak ada media yang ditentukan. Nilai yang valid: HDD, SSD. |
schedule_slot_num_per_path |
2 |
Jumlah maksimum pekerjaan tablet yang dapat berjalan bersamaan di setiap direktori penyimpanan pada BE. |
tablet_balancer_strategy |
disk_and_tablet |
Kebijakan penyeimbangan beban untuk tablet. Nilai yang valid: disk_and_tablet, be_load_score. |
tablet_stat_update_interval_second |
300 |
Interval di mana FE mengambil statistik tablet dari setiap BE. Default: 5 menit. Satuan: detik. |
Lainnya
| Parameter | Nilai default | Deskripsi |
|---|---|---|
plugin_dir |
STARROCKS_HOME_DIR/plugins |
Direktori untuk paket instalasi plug-in. |
small_file_dir |
STARROCKS_HOME_DIR/small_files |
Direktori root untuk file kecil. |
max_agent_task_threads_num |
4096 |
Jumlah maksimum thread dalam kolam thread tugas agen. |
authentication_ldap_simple_bind_base_dn |
"" |
Base DN untuk mencari informasi otentikasi pengguna di LDAP. |
authentication_ldap_simple_bind_root_dn |
"" |
DN administrator untuk mencari informasi otentikasi pengguna di LDAP. |
authentication_ldap_simple_bind_root_pwd |
"" |
Kata sandi untuk DN administrator LDAP. |
authentication_ldap_simple_server_host |
"" |
Hostname server LDAP. |
authentication_ldap_simple_server_port |
389 |
Port server LDAP. |
authentication_ldap_simple_user_search_attr |
uid |
Atribut LDAP yang digunakan untuk mengidentifikasi pengguna. |
tmp_dir |
starrocksFe.STARROCKS_HOME_DIR/temp_ddir |
Direktori untuk file sementara seperti yang dihasilkan selama pencadangan dan pemulihan. |
locale |
zh_CN.UTF-8 |
Pengkodean set karakter. |
hive_meta_load_concurrency |
4 |
Jumlah maksimum thread bersamaan untuk memuat metadata Hive. |
hive_meta_cache_refresh_interval_s |
4096 |
Interval penyegaran cache metadata tabel eksternal Hive. Satuan: detik. |
hive_meta_cache_ttl_s |
7200 |
Waktu kedaluwarsa cache metadata tabel eksternal Hive. Default: 2 jam. Satuan: detik. |
hive_meta_store_timeout_s |
86400 |
Timeout koneksi untuk Hive Metastore. Default: 24 jam. Satuan: detik. |
es_state_sync_interval_second |
10 |
Interval di mana FE menyinkronkan metadata Indeks Elasticsearch. Satuan: detik. |
enable_auth_check |
TRUE |
Apakah akan mengaktifkan pemeriksaan otentikasi. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
enable_metric_calculator |
TRUE |
Apakah akan mengumpulkan metrik kluster secara berkala. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
Parameter BE
Semua parameter BE bersifat statis dan hanya berlaku setelah BE direstart.
| Parameter | Nilai default | Deskripsi |
|---|---|---|
be_port |
9060 |
Port server Thrift pada BE, digunakan untuk menerima permintaan dari FE. |
brpc_port |
8060 |
Port bRPC untuk melihat statistik jaringan bRPC. |
brpc_num_threads |
-1 |
Jumlah thread pekerja bRPC. Nilai default -1 menggunakan jumlah yang sama dengan core CPU. |
priority_networks |
_(empty)_ | Blok CIDR yang disukai untuk server dengan beberapa antarmuka jaringan. Contoh: 10.10.**/24. |
heartbeat_service_port |
9050 |
Port layanan heartbeat pada BE, digunakan untuk menerima heartbeat dari FE. |
heartbeat_service_thread_count |
1 |
Jumlah thread untuk layanan heartbeat. |
create_tablet_worker_count |
3 |
Jumlah thread untuk membuat tablet. |
drop_tablet_worker_count |
3 |
Jumlah thread untuk menghapus tablet. |
push_worker_count_normal_priority |
3 |
Jumlah thread untuk memproses pekerjaan pemuatan prioritas NORMAL. |
push_worker_count_high_priority |
3 |
Jumlah thread untuk memproses pekerjaan pemuatan prioritas TINGGI. |
publish_version_worker_count |
2 |
Jumlah thread untuk mempublikasikan versi tablet. |
clear_transaction_task_worker_count |
1 |
Jumlah thread untuk membersihkan transaksi yang telah selesai. |
alter_tablet_worker_count |
3 |
Jumlah thread untuk operasi perubahan skema. |
clone_worker_count |
3 |
Jumlah thread untuk kloning tablet. |
storage_medium_migrate_count |
1 |
Jumlah thread untuk migrasi media penyimpanan, seperti migrasi data panas dari SSD ke HDD. |
check_consistency_worker_count |
1 |
Jumlah thread untuk memeriksa konsistensi replika tablet. |
report_task_interval_seconds |
10 |
Interval di mana BE melaporkan status pekerjaan (pembuatan, penghapusan, pemuatan, dan perubahan skema) ke FE. Satuan: detik. |
report_disk_state_interval_seconds |
60 |
Interval di mana BE melaporkan status disk dan volume data ke FE. Satuan: detik. |
report_tablet_interval_seconds |
60 |
Interval di mana BE melaporkan informasi versi tablet ke FE. Satuan: detik. |
alter_tablet_timeout_seconds |
86400 |
Timeout untuk pekerjaan perubahan skema di BE. Satuan: detik. |
sys_log_dir |
${DORIS_HOME}/log |
Direktori untuk log sistem BE. |
user_function_dir |
${DORIS_HOME}/lib/udf |
Direktori untuk file UDF. |
sys_log_level |
INFO |
Tingkat keparahan minimum untuk entri log sistem BE. Nilai yang valid: INFO, WARNING, ERROR, FATAL. |
sys_log_roll_mode |
SIZE-MB-1024 |
Ukuran maksimum file log sebelum rotasi. Default: 1 GB. |
sys_log_roll_num |
10 |
Jumlah maksimum file log sistem yang disimpan. |
sys_log_verbose_modules |
_(empty)_ | Modul yang menghasilkan log sistem verbose. Misalnya, mengatur ini ke OLAP hanya menghasilkan log untuk modul OLAP. |
sys_log_verbose_level |
10 |
Tingkat verbosity untuk log yang diawali dengan VLOG dalam kode sumber. |
log_buffer_level |
_(empty)_ | Kebijakan flush log. Secara default, log dibuffer di memori. |
num_threads_per_core |
3 |
Jumlah thread yang dimulai per core CPU. |
compress_rowbatches |
TRUE |
Apakah akan mengompresi batch baris dalam panggilan bRPC antar BE selama pemrosesan kueri. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
serialize_batch |
FALSE |
Apakah akan melakukan serialisasi batch baris dalam panggilan bRPC antar BE selama pemrosesan kueri. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
status_report_interval |
5 |
Interval di mana BE melaporkan profil kueri ke FE. Satuan: detik. |
doris_scanner_thread_pool_thread_num |
48 |
Jumlah thread dalam kolam thread pemindaian mesin penyimpanan. |
doris_scanner_thread_pool_queue_size |
102400 |
Jumlah maksimum tugas pemindaian yang diantrikan dalam mesin penyimpanan. |
doris_scan_range_row_count |
524288 |
Granularitas di mana mesin penyimpanan membagi rentang pemindaian kueri. |
doris_scanner_queue_size |
1024 |
Jumlah maksimum tugas pemindaian yang didukung mesin penyimpanan. |
doris_scanner_row_num |
16384 |
Jumlah maksimum baris data yang dikembalikan oleh setiap thread pemindaian per panggilan. |
doris_max_scan_key_num |
1024 |
Jumlah maksimum kunci pemindaian yang dapat dibagi. |
column_dictionary_key_ratio_threshold |
0 |
Ambang batas rasio untuk tipe STRING di bawahnya kompresi kamus diterapkan. |
column_dictionary_key_size_threshold |
0 |
Ambang batas ukuran untuk kolom di bawahnya kompresi kamus diterapkan. |
memory_limitation_per_thread_for_schema_change |
2 |
Memori maksimum per thread untuk pekerjaan perubahan skema. Satuan: GB. |
file_descriptor_cache_clean_interval |
3600 |
Interval di mana deskriptor file yang tidak digunakan dalam cache dihapus. Satuan: detik. |
disk_stat_monitor_interval |
5 |
Interval pemeriksaan status disk. Satuan: detik. |
unused_rowset_monitor_interval |
30 |
Interval pembersihan rowset yang telah kedaluwarsa. Satuan: detik. |
storage_root_path |
_(empty)_ | Direktori root untuk penyimpanan data. |
max_tablet_num_per_shard |
1024 |
Jumlah maksimum tablet per shard dalam setiap direktori penyimpanan. |
pending_data_expire_time_sec |
1800 |
Periode retensi maksimum untuk data tertunda dalam mesin penyimpanan. Satuan: detik. |
inc_rowset_expired_sec |
1800 |
Periode retensi untuk data yang dimuat dalam skenario kloning inkremental. Satuan: detik. |
max_garbage_sweep_interval |
3600 |
Interval maksimum untuk pengumpulan sampah disk. Satuan: detik. |
min_garbage_sweep_interval |
180 |
Interval minimum untuk pengumpulan sampah disk. Satuan: detik. |
snapshot_expire_time_sec |
172800 |
Periode retensi untuk snapshot sebelum dihapus. Default: 48 jam. Satuan: detik. |
trash_file_expire_time_sec |
259200 |
Periode retensi untuk file di Keranjang daur ulang sebelum dihapus. Default: 72 jam. Satuan: detik. |
file_descriptor_cache_capacity |
16384 |
Jumlah maksimum deskriptor file yang di-cache. |
min_file_descriptor_number |
60000 |
Jumlah minimum deskriptor file untuk proses BE. |
index_stream_cache_capacity |
10737418240 |
Kapasitas cache untuk informasi statistik Bloom filter, Min, dan Max. |
storage_page_cache_limit |
0 |
Kapasitas maksimum cache halaman. |
disable_storage_page_cache |
TRUE |
Apakah akan menonaktifkan cache halaman. Atur ke TRUE untuk menonaktifkan; atur ke FALSE untuk mengaktifkan. |
base_compaction_check_interval_seconds |
60 |
Interval polling thread untuk kompaksi dasar. Satuan: detik. |
base_compaction_num_threads_per_disk |
1 |
Jumlah thread untuk kompaksi dasar per disk. |
base_cumulative_delta_ratio |
0.3 |
Rasio ukuran file kumulatif terhadap ukuran file dasar yang memicu kompaksi dasar. |
base_compaction_interval_seconds_since_last_operation |
86400 |
Interval minimum sejak kompaksi dasar terakhir yang memicu kompaksi dasar berikutnya. Satuan: detik. |
cumulative_compaction_check_interval_seconds |
1 |
Interval polling thread untuk kompaksi kumulatif. Satuan: detik. |
min_cumulative_compaction_num_singleton_deltas |
5 |
Jumlah minimum file singleton yang memicu kompaksi kumulatif. |
max_cumulative_compaction_num_singleton_deltas |
1000 |
Jumlah maksimum file singleton yang memicu kompaksi kumulatif. |
cumulative_compaction_num_threads_per_disk |
1 |
Jumlah thread untuk kompaksi kumulatif per disk. |
min_compaction_failure_interval_sec |
120 |
Interval minimum sebelum kompaksi tablet yang gagal dapat dijadwalkan ulang. Satuan: detik. |
max_compaction_concurrency |
-1 |
Kongkurensi maksimum untuk kompaksi dasar dan kompaksi kumulatif gabungan. Nilai default -1 berarti tidak ada batasan. |
webserver_port |
8040 |
Port server HTTP pada BE. |
webserver_num_workers |
48 |
Jumlah thread pekerja untuk server HTTP BE. |
periodic_counter_update_period_ms |
500 |
Interval pengumpulan statistik Counter. Satuan: milidetik. |
load_data_reserve_hours |
4 |
Periode retensi untuk file yang dihasilkan oleh pekerjaan pemuatan skala kecil. Satuan: jam. |
load_error_log_reserve_hours |
48 |
Periode retensi untuk file log error pemuatan. Satuan: jam. |
number_tablet_writer_threads |
16 |
Jumlah thread untuk Stream Load. |
streaming_load_max_mb |
10240 |
Ukuran file maksimum untuk satu Stream Load. Satuan: MB. |
streaming_load_rpc_max_alive_time_sec |
1200 |
Timeout RPC untuk Stream Load. Satuan: detik. |
fragment_pool_thread_num |
64 |
Jumlah thread awal untuk eksekusi kueri. Thread tambahan dibuat secara dinamis sesuai kebutuhan. |
fragment_pool_queue_size |
2048 |
Jumlah maksimum kueri yang dapat diantrikan pada satu node BE. |
enable_partitioned_aggregation |
TRUE |
Apakah akan mengaktifkan agregasi berbasis partisi. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
enable_token_check |
TRUE |
Apakah akan mengaktifkan pemeriksaan otentikasi berbasis token. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
load_process_max_memory_limit_bytes |
107374182400 |
Memori maksimum untuk semua thread pemuatan pada satu node BE. Default: 100 GB. |
load_process_max_memory_limit_percent |
30 |
Persentase maksimum memori total yang digunakan oleh semua thread pemuatan pada satu node BE. |
sync_tablet_meta |
FALSE |
Apakah akan mengaktifkan penulisan sinkron untuk metadata tablet. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |
thrift_rpc_timeout_ms |
5000 |
Timeout untuk panggilan RPC Thrift. Satuan: milidetik. |
txn_commit_rpc_timeout_ms |
10000 |
Timeout untuk panggilan RPC commit transaksi. Satuan: milidetik. |
routine_load_thread_pool_size |
10 |
Ukuran kolam thread untuk Routine Load. Harus lebih besar dari atau sama dengan max_routine_load_task_num_per_be. |
tablet_meta_checkpoint_min_new_rowsets_num |
10 |
Jumlah minimum rowset baru sejak checkpoint meta tablet terakhir sebelum memicu checkpoint baru. |
tablet_meta_checkpoint_min_interval_secs |
600 |
Interval polling thread untuk menghasilkan checkpoint meta tablet. Satuan: detik. |
brpc_max_body_size |
209715200 |
Ukuran maksimum isi pesan bRPC. Default: 200 MB. |
max_runnings_transactions |
2000 |
Jumlah maksimum transaksi bersamaan yang didukung oleh mesin penyimpanan. |
tablet_map_shard_size |
32 |
Ukuran shard peta tablet. |
enable_bitmap_union_disk_format_with_set |
FALSE |
Apakah akan mengaktifkan format penyimpanan on-disk baru untuk tipe BITMAP, yang meningkatkan performa bitmap_union. Atur ke TRUE untuk mengaktifkan; atur ke FALSE untuk menonaktifkan. |