このトピックでは、E-MapReduce (EMR) 上の StarRocks クラスターにおけるフロントエンド (FE)、バックエンド (BE)、およびシステムパラメーターについて、その変更方法とともに説明します。
パラメーターは 2 つのカテゴリに分類されます。
-
動的パラメーター:サービスを再起動することなく、すぐに有効になります。すべての FE の動的パラメーターはオンラインで変更できます。
-
静的パラメーター:サービスの再起動後にのみ有効になります。
現在の構成の表示
現在の FE 構成を表示するには、FE に接続された MySQL クライアントで次のコマンドを実行します。
ADMIN SHOW FRONTEND CONFIG;
出力には、パラメーター名、現在の値、およびパラメーターが変更可能 (オンラインで変更可能) かどうかが含まれます。
FE の動的パラメーターの変更
FE に接続された MySQL クライアントで次のコマンドを実行します。
ADMIN SET FRONTEND CONFIG ("key" = "value");
FE の動的パラメーター
ロギング
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
qe_slow_log_ms |
5000 |
スロークエリ検出のしきい値。この値よりも時間がかかるクエリは、スロークエリとして記録されます。単位:ミリ秒。 |
メタデータとクラスター管理
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
catalog_try_lock_timeout_ms |
5000 |
カタログロックを取得するためのタイムアウト。単位:ミリ秒。 |
edit_log_roll_num |
50000 |
新しいログファイルが作成される前に書き込まれるイメージログエントリの最大数。 |
ignore_unknown_log_id |
FALSE |
不明なログ ID を無視するかどうかを指定します。TRUE に設定すると無視し、FALSE に設定すると、不明なログ ID が検出されたときに FE を終了します。不明なログ ID は、FE が BE に認識されない以前のバージョンにロールバックされた場合に表示されることがあります。 |
ignore_meta_check |
FALSE |
メタデータギャップを無視するかどうかを指定します。TRUE に設定するとギャップを無視し、FALSE に設定するとチェックを強制します。 |
max_backend_down_time_second |
3600 |
BE が FE から切断された後、クラスターに再参加するための最大時間。この期間内に BE が再接続しない場合、永久にダウンしたと見なされます。単位:秒。 |
drop_backend_after_decommission |
TRUE |
デコミッション後に BE ノードを自動的に削除するかどうかを指定します。TRUE に設定すると削除し、FALSE に設定すると保持します。 |
クエリエンジン
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
expr_children_limit |
10000 |
クエリで許可される IN 述語要素の最大数。 |
expr_depth_limit |
3000 |
クエリ内の式の最大ネスト深度。 |
max_allowed_in_element_num_of_delete |
10000 |
DELETE 文の IN 述語内の要素の最大数。 |
max_layout_length_per_row |
2147483647 |
単一行の最大長。 |
disable_cluster_feature |
TRUE |
論理クラスター機能を無効にするかどうかを指定します。TRUE に設定すると無効になり、FALSE に設定すると有効になります。 |
enable_materialized_view |
TRUE |
マテリアライズドビューを有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
enable_decimal_v3 |
TRUE |
DECIMAL V3 データ型をサポートするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
enable_sql_blacklist |
FALSE |
SQL クエリブラックリストを強制するかどうかを指定します。有効にすると、ブラックリストのパターンに一致するクエリは実行できません。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
dynamic_partition_check_interval_seconds |
600 |
FE が新しいデータをチェックし、自動的にパーティションを作成する間隔。単位:秒。 |
dynamic_partition_enable |
TRUE |
動的パーティションを有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
max_partitions_in_one_batch |
4096 |
1 つのバッチで作成できるパーティションの最大数。 |
max_query_retry_time |
2 |
FE でのクエリリトライの最大回数。 |
max_create_table_timeout_second |
60 |
テーブル作成の最大タイムアウト。単位:秒。 |
max_running_rollup_job_num_per_table |
1 |
テーブルごとの同時実行 Rollup ジョブの最大数。 |
max_planner_scalar_rewrite_num |
100000 |
オプティマイザーがスカラー演算子を再書き込みする最大回数。 |
statistics_manager_sleep_time_sec |
600 |
統計情報テーブルが作成される間隔。単位:秒。 |
statistic_collect_interval_sec |
7200 |
統計情報が収集される間隔。単位:秒。 |
statistic_update_interval_sec |
86400 |
統計情報が更新されるデフォルトの間隔。単位:秒。 |
statistic_sample_collect_rows |
200000 |
統計情報収集中にサンプリングされる行数。 |
enable_statistic_collect |
TRUE |
統計情報収集を有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
enable_local_replica_selection |
FALSE |
オプティマイザーが FE と同じ IP アドレスを共有する BE 上のタブレットレプリカを優先的に選択するかどうかを指定します。TRUE に設定するとローカルレプリカを優先し、FALSE に設定するとデフォルトの選択動作になります。 |
max_distribution_pruner_recursion_depth |
100 |
パーティションプルーニングの最大再帰深度。 |
ロードとアンロード
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
load_straggler_wait_second |
300 |
データが他のレプリカからクローンされる前に、BE レプリカで許容される最大ロード遅延。単位:秒。 |
desired_max_waiting_jobs |
100 |
テーブル作成、ロード、スキーマ変更ジョブを含む、すべてのジョブタイプにわたる保留中のジョブの最大数。 |
max_running_txn_num_per_db |
100 |
データベースごとの同時ロードジョブの最大数。 |
max_load_timeout_second |
259200 |
任意のロードジョブの最大タイムアウト。単位:秒。 |
min_load_timeout_second |
1 |
任意のロードジョブの最小タイムアウト。単位:秒。 |
load_parallel_instance_num |
1 |
単一の BE 上の同時ロードインスタンス数。 |
disable_hadoop_load |
FALSE |
Hadoop からのデータロードを無効にするかどうかを指定します。TRUE に設定すると無効になり、FALSE に設定すると有効になります。 |
disable_load_job |
FALSE |
クラスターでエラーが発生したときに新しいロードジョブを拒否するかどうかを指定します。TRUE に設定すると拒否し、FALSE に設定すると受け入れます。 |
db_used_data_quota_update_interval_secs |
300 |
FE が各データベースのデータクォータ使用量を更新する間隔。単位:秒。 |
history_job_keep_max_second |
604800 |
履歴ジョブの最大保持期間。単位:秒。 |
label_keep_max_num |
1000 |
label_keep_max_second で定義された期間内に保持されるロードジョブの最大数。 |
label_keep_max_second |
259200 |
ロードジョブラベルの保持期間。単位:秒。 |
max_routine_load_job_num |
100 |
Routine Load ジョブの最大数。 |
max_routine_load_task_concurrent_num |
5 |
単一の Routine Load ジョブ内の同時タスクの最大数。 |
max_routine_load_task_num_per_be |
5 |
単一の BE 上の同時 Routine Load タスクの最大数。routine_load_thread_pool_size 以下である必要があります。 |
max_routine_load_batch_size |
524288000 |
単一の Routine Load タスクによってロードされる最大データ量。単位:バイト。 |
routine_load_task_consume_second |
3 |
Routine Load タスクがデータ消費に費やす最大時間。単位:秒。 |
routine_load_task_timeout_second |
15 |
Routine Load タスクのタイムアウト。単位:秒。 |
max_tolerable_backend_down_num |
0 |
Routine Load ジョブが自動的に回復できなくなる前に許容される、失敗した BE の最大数。 |
period_of_auto_resume_min |
5 |
FE が Routine Load ジョブを自動的に回復しようと試みる間隔。単位:分。 |
spark_load_default_timeout_second |
86400 |
Spark Load ジョブのタイムアウト。単位:秒。 |
spark_home_default_dir |
STARROCKS_HOME_DIR/lib/spark2x |
Spark クライアントのルートディレクトリ。 |
stream_load_default_timeout_second |
600 |
Stream Load ジョブのデフォルトのタイムアウト。単位:秒。 |
max_stream_load_timeout_second |
259200 |
Stream Load ジョブの最大タイムアウト。単位:秒。 |
insert_load_default_timeout_second |
3600 |
INSERT INTO ロード操作のタイムアウト。単位:秒。 |
broker_load_default_timeout_second |
14400 |
Broker Load ジョブのタイムアウト。単位:秒。 |
min_bytes_per_broker_scanner |
67108864 |
単一の Broker Load インスタンスによって処理される最小データ量。デフォルト:64 MB。 |
max_broker_concurrency |
100 |
同時 Broker Load インスタンスの最大数。 |
export_max_bytes_per_be_per_task |
268435456 |
単一のアンロードタスクによって単一の BE からエクスポートされる最大データ量。デフォルト:256 MB。 |
export_running_job_num_limit |
5 |
同時データアンロードジョブの最大数。 |
export_task_default_timeout_second |
7200 |
データアンロードジョブのタイムアウト。デフォルト:2 時間。単位:秒。 |
ストレージ
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
enable_strict_storage_medium_check |
FALSE |
テーブル作成時に FE が BE の利用可能なストレージ領域をチェックするかどうかを指定します。TRUE に設定するとチェックを強制し、FALSE に設定するとスキップします。 |
capacity_used_percent_high_water |
0.75 |
BE のディスク使用率の上限しきい値。ディスク使用率が 75% を超えると、FE はその BE へのテーブル作成およびクローンジョブの送信を停止し、使用率がしきい値を下回るまで待機します。 |
storage_high_watermark_usage_percent |
85 |
BE のストレージディレクトリで許可される最大ストレージ使用率。 |
storage_min_left_capacity_bytes |
2147483648 |
BE のストレージディレクトリで必要な最小空き領域。デフォルト:2 GB。 |
storage_flood_stage_left_capacity_bytes |
1073741824 |
BE のストレージディレクトリの空き領域のしきい値。これを下回ると、ロードジョブと復元ジョブが拒否されます。デフォルト:1 GB。 |
storage_flood_stage_usage_percent |
95 |
ストレージ使用率のしきい値。これを超えると、ロードジョブと復元ジョブが拒否されます。 |
catalog_trash_expire_second |
86400 |
テーブルまたはデータベースが削除された後、ゴミ箱内のメタデータの保持期間。この期間が過ぎると、データは復元できません。デフォルト:1 日。単位:秒。 |
alter_table_timeout_second |
86400 |
スキーマ変更ジョブのタイムアウト。デフォルト:1 日。単位:秒。 |
balance_load_disk_safe_threshold |
0.5 |
disk_and_tablet バランシングポリシーの安全なディスク使用率のしきい値。すべての BE ディスクの使用率が 50% 未満の場合、ディスク使用率はバランスが取れていると見なされます。 |
balance_load_score_threshold |
0.1 |
負荷不均衡のしきい値。be_load_score ポリシーの場合:BE の負荷が平均より 10% 以上低い場合は低負荷状態、平均より 10% 以上高い場合は高負荷状態と見なされます。disk_and_tablet ポリシーの場合:最大と最小の BE ディスク使用率の差が 10% を超えると、クラスターはタブレットのリバランスを開始します。 |
disable_balance |
true |
タブレットバランシングを無効にするかどうかを指定します。TRUE に設定すると無効になり、FALSE に設定すると有効になります。 |
max_scheduling_tablets |
2000 |
同時にスケジューリングされるタブレットの最大数。このしきい値を超えると、タブレットの負荷分散はスキップされます。 |
max_balancing_tablets |
100 |
同時にリバランスされるタブレットの最大数。このしきい値を超えると、リバランスはスキップされます。 |
disable_colocate_balance |
FALSE |
コロケートテーブルのレプリカバランシングを無効にするかどうかを指定します。TRUE に設定すると無効になり、FALSE に設定すると有効になります。 |
recover_with_empty_tablet |
FALSE |
レプリカが失われたり破損したりした場合に、空のタブレットレプリカで置換するかどうかを指定します。TRUE に設定すると置換を許可し (クエリは実行できますが、不完全な結果が返される可能性があります)、FALSE に設定すると置換を無効にします。 |
min_clone_task_timeout_sec |
180 |
タブレットクローンタスクの最小タイムアウト。デフォルト:3 分。単位:秒。 |
max_clone_task_timeout_sec |
7200 |
タブレットクローンタスクの最大タイムアウト。デフォルト:2 時間。単位:秒。 |
tablet_create_timeout_second |
1 |
タブレット作成のタイムアウト。単位:秒。 |
tablet_delete_timeout_second |
2 |
タブレット削除のタイムアウト。単位:秒。 |
tablet_repair_delay_factor_second |
60 |
タブレットレプリカの修復試行の間隔。単位:秒。 |
consistency_check_start_time |
23 |
FE がレプリカ整合性チェックを開始する時間。デフォルト:23:00。 |
consistency_check_end_time |
4 |
FE がレプリカ整合性チェックを停止する時間。デフォルト:04:00。 |
check_consistency_default_timeout_second |
600 |
レプリカ整合性チェックのタイムアウト。単位:秒。 |
その他
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
plugin_enable |
TRUE |
プラグイン機能を有効にするかどうかを指定します。プラグインはマスター FE ノードでのみインストールまたはアンインストールできます。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
max_small_file_number |
100 |
保存できる small ファイルの最大数。 |
max_small_file_size_bytes |
1048576 |
単一の small ファイルの最大サイズ。デフォルト:1 MB。 |
backup_job_default_timeout_ms |
86400000 |
バックアップジョブのタイムアウト。デフォルト:1 日。単位:ミリ秒。 |
report_queue_size |
100 |
キュー内の保留中レポートの最大数。レポートには、BE からのディスクステータス、タスクステータス、およびタブレット情報が含まれます。 |
FE の静的パラメーター
静的パラメーターは、FE の再起動後にのみ有効になります。
ロギング
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
log_roll_size_mb |
1024 |
新しいログファイルが作成される前のログファイルの最大サイズ。デフォルト:1 GB。 |
sys_log_dir |
StarRocksFe.STARROCKS_HOME_DIR/log |
システムログファイルのディレクトリ。 |
sys_log_level |
INFO |
システムログエントリの最小重大度レベル。有効な値:INFO、WARNING、ERROR、FATAL。 |
sys_log_verbose_modules |
_(empty)_ | 詳細なシステムログが生成されるモジュール。たとえば、これを org.apache.starrocks.catalog に設定すると、カタログモジュールのみのログが生成されます。 |
sys_log_roll_interval |
DAY |
システムログファイルのローテーション間隔。 |
sys_log_delete_age |
7d |
システムログファイルの保持期間。この値より古いファイルは削除されます。 |
sys_log_roll_num |
10 |
ローテーション間隔ごとに保持されるシステムログファイルの最大数。 |
audit_log_dir |
starrocksFe.STARROCKS_HOME_DIR/log |
監査ログファイルのディレクトリ。 |
audit_log_roll_num |
90 |
保持される監査ログファイルの最大数。 |
audit_log_modules |
"slow_query"、 "query" |
監査ログが生成されるモジュール。 |
audit_log_roll_interval |
DAY |
監査ログファイルのローテーション間隔。有効な値:DAY、HOUR。 |
audit_log_delete_age |
30d |
監査ログファイルの保持期間。この値より古いファイルは削除されます。 |
dump_log_dir |
STARROCKS_HOME_DIR/log |
ダンプログファイルのディレクトリ。 |
dump_log_modules |
"query" |
ダンプログが生成されるモジュール。 |
dump_log_roll_interval |
DAY |
ダンプログファイルのローテーション間隔。毎日ローテーションされるファイルは yyyyMMdd サフィックスを使用し、毎時ローテーションされるファイルは yyyyMMddHH サフィックスを使用します。 |
dump_log_roll_num |
90 |
ローテーション間隔ごとに保持されるダンプログファイルの最大数。 |
dump_log_delete_age |
30d |
ダンプログファイルの保持期間。この値より古いファイルは削除されます。 |
サーバー
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
frontend_address |
0.0.0.0 |
FE ノードの IP アドレス。 |
priority_networks |
_(empty)_ | 複数のネットワークインターフェースを持つサーバーの優先 CIDR ブロック。例:10.10.**/24。 |
http_port |
8030 |
HTTP サーバーポート。 |
http_backlog_num |
1024 |
HTTP サーバーのバックログキューの長さ。 |
cluster_name |
StarRocks Cluster |
Web UI に表示されるクラスター名。 |
rpc_port |
9020 |
FE 上の Thrift サーバーポート。 |
thrift_backlog_num |
1024 |
Thrift サーバーのバックログキューの長さ。 |
thrift_server_type |
THREAD_POOL |
Thrift サーバーのサービスモデル。有効な値:SIMPLE、THREADED、THREAD_POOL。 |
thrift_server_max_worker_threads |
4096 |
Thrift サーバーのワーカースレッドの最大数。 |
thrift_client_timeout_ms |
0 |
クライアントリクエストのタイムアウト。デフォルト値 0 は、リクエストがタイムアウトしないことを意味します。 |
brpc_idle_wait_max_time |
10000 |
bRPC 接続の最大アイドル待機時間。デフォルト:10 秒。単位:ミリ秒。 |
query_port |
9030 |
FE 上の MySQL サーバーポート。 |
mysql_service_nio_enabled |
FALSE |
MySQL サービスの非同期 I/O を有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
mysql_service_io_threads_num |
4 |
MySQL I/O イベントを処理するためのスレッドの最大数。 |
mysql_nio_backlog_num |
1024 |
MySQL サーバーのバックログキューの長さ。 |
max_mysql_service_task_threads_num |
4096 |
MySQL タスクを処理するためのスレッドの最大数。 |
max_connection_scheduler_threads_num |
4096 |
接続スケジューラのスレッドの最大数。 |
qe_max_connection |
1024 |
すべてのユーザーにわたる FE への同時接続の最大数。 |
check_java_version |
TRUE |
Java ランタイムバージョンがコンパイルされた Java バージョンと互換性があるかどうかを検証します。TRUE に設定すると有効になり、FALSE に設定するとスキップします。 |
メタデータとクラスター管理
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
meta_dir | StarRocksFe.STARROCKS_HOME_DIR/meta |
FE メタデータを保存するディレクトリ。 |
heartbeat_mgr_threads_num |
8 |
Heartbeat Manager がハートビートタスクを処理するために使用するスレッド数。 |
heartbeat_mgr_blocking_queue_size |
1024 |
ハートビートタスクのブロッキングキューのサイズ。 |
metadata_failure_recovery |
FALSE |
FE メタデータを強制的にリセットするかどうかを指定します。このパラメーターを有効にする際は注意が必要です。 |
edit_log_port |
9010 |
マスター、フォロワー、およびオブザーバーの FE ノード間の通信に使用されるポート。 |
edit_log_type |
BDB |
編集ログのタイプ。これを BDB に設定します。 |
bdbje_heartbeat_timeout_second |
30 |
BDB JE ベースの FE のハートビートタイムアウト。単位:秒。 |
bdbje_lock_timeout_second |
1 |
BDB JE ベースの FE のロックタイムアウト。単位:秒。 |
max_bdbje_clock_delta_ms |
5000 |
マスター FE とフォロワーまたはオブザーバー FE の間で許容される最大クロックオフセット。単位:ミリ秒。 |
txn_rollback_limit |
100 |
ロールバックできるトランザクションの最大数。 |
bdbje_replica_ack_timeout_second |
10 |
マスター FE がフォロワー FE からの ACK メッセージを待機する最大時間。単位:秒。 |
master_sync_policy |
SYNC |
マスター FE 上でログをディスクにフラッシュするポリシー。 |
replica_sync_policy |
SYNC |
フォロワー FE レプリカ上でログをディスクにフラッシュするポリシー。 |
meta_delay_toleration_second |
300 |
フォロワーおよびオブザーバー FE 上のメタデータがマスター FE に対して許容される最大遅延。単位:秒。 |
cluster_id |
-1 |
クラスター ID。同じクラスター ID を持つ FE および BE ノードは、同じクラスターに属します。デフォルト値 -1 は、マスター FE が初めて起動するときにランダムなクラスター ID が生成されることを意味します。 |
クエリエンジン
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
disable_colocate_join |
FALSE |
コロケートジョインを無効にするかどうかを指定します。FALSE に設定すると有効になり、TRUE に設定すると無効になります。 |
enable_udf |
FALSE |
ユーザー定義関数 (UDF) を有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
publish_version_interval_ms |
10 |
バージョン公開タスクがディスパッチされる間隔。単位:ミリ秒。 |
statistic_cache_columns |
100000 |
統計情報テーブル用にキャッシュされる行の最大数。 |
ロードとアンロード
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
async_load_task_pool_size |
10 |
非同期ロードジョブのスレッドプールサイズ。 |
load_checker_interval_second |
5 |
ロードジョブのステータスチェックのポーリング間隔。単位:秒。 |
transaction_clean_interval_second |
30 |
完了したトランザクションがクリーンアップされる間隔。単位:秒。 |
label_clean_interval_second |
14400 |
ロードジョブラベルがクリーンアップされる間隔。単位:秒。 |
spark_dpp_version |
1.0.0 |
Spark 動的パーティションプルーニング (DPP) のバージョン。 |
spark_resource_path |
_(empty)_ | Spark 依存関係パッケージのルートディレクトリ。 |
spark_launcher_log_dir |
sys_log_dir/spark_launcher_log |
Spark ランチャーログファイルのディレクトリ。 |
yarn_client_path |
STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn |
YARN クライアントバイナリへのパス。 |
yarn_config_dir |
STARROCKS_HOME_DIR/lib/yarn-config |
YARN 設定ファイルのディレクトリ。 |
export_checker_interval_second |
5 |
アンロードジョブスケジューリングのポーリング間隔。単位:秒。 |
export_task_pool_size |
5 |
アンロードジョブのスレッドプールサイズ。 |
ストレージ
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
storage_cooldown_second |
2592000 |
SSD から HDD へのストレージメディア移行の間隔。デフォルト:30 日。単位:秒。 |
default_storage_medium |
HDD |
メディアが指定されていない場合のテーブルとパーティションのデフォルトのストレージメディア。有効な値:HDD、SSD。 |
schedule_slot_num_per_path |
2 |
BE の各ストレージディレクトリで同時に実行できるタブレットジョブの最大数。 |
tablet_balancer_strategy |
disk_and_tablet |
タブレットの負荷分散ポリシー。有効な値:disk_and_tablet、be_load_score。 |
tablet_stat_update_interval_second |
300 |
FE が各 BE からタブレット統計情報を取得する間隔。デフォルト:5 分。単位:秒。 |
その他
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
plugin_dir |
STARROCKS_HOME_DIR/plugins |
プラグインインストールパッケージのディレクトリ。 |
small_file_dir |
STARROCKS_HOME_DIR/small_files |
small ファイルのルートディレクトリ。 |
max_agent_task_threads_num |
4096 |
エージェントタスクスレッドプール内のスレッドの最大数。 |
authentication_ldap_simple_bind_base_dn |
"" |
LDAP でユーザー認証情報を検索するためのベース DN。 |
authentication_ldap_simple_bind_root_dn |
"" |
LDAP でユーザー認証情報を検索するための管理者 DN。 |
authentication_ldap_simple_bind_root_pwd |
"" |
LDAP 管理者 DN のパスワード。 |
authentication_ldap_simple_server_host |
"" |
LDAP サーバーのホスト名。 |
authentication_ldap_simple_server_port |
389 |
LDAP サーバーのポート。 |
authentication_ldap_simple_user_search_attr |
uid |
ユーザーを識別するために使用される LDAP 属性。 |
tmp_dir |
starrocksFe.STARROCKS_HOME_DIR/temp_ddir |
バックアップや復元中に生成されるような一時ファイルのディレクトリ。 |
locale |
zh_CN.UTF-8 |
文字セットエンコーディング。 |
hive_meta_load_concurrency |
4 |
Hive メタデータをロードするための同時スレッドの最大数。 |
hive_meta_cache_refresh_interval_s |
4096 |
キャッシュされた Hive 外部テーブルメタデータがリフレッシュされる間隔。単位:秒。 |
hive_meta_cache_ttl_s |
7200 |
キャッシュされた Hive 外部テーブルメタデータの有効期間。デフォルト:2 時間。単位:秒。 |
hive_meta_store_timeout_s |
86400 |
Hive Metastore の接続タイムアウト。デフォルト:24 時間。単位:秒。 |
es_state_sync_interval_second |
10 |
FE が Elasticsearch インデックスメタデータを同期する間隔。単位:秒。 |
enable_auth_check |
TRUE |
認証チェックを有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
enable_metric_calculator |
TRUE |
クラスターメトリックを定期的に収集するかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
BE パラメーター
すべての BE パラメーターは静的パラメーターであり、BE の再起動後にのみ有効になります。
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
be_port |
9060 |
BE 上の Thrift サーバーポート。FE からのリクエストを受信するために使用されます。 |
brpc_port |
8060 |
bRPC ネットワーク統計情報を表示するための bRPC ポート。 |
brpc_num_threads |
-1 |
bRPC ワーカースレッドの数。デフォルト値 -1 は CPU コア数と同じ数を使用します。 |
priority_networks |
_(empty)_ | 複数のネットワークインターフェースを持つサーバーの優先 CIDR ブロック。例:10.10.**/24。 |
heartbeat_service_port |
9050 |
BE 上のハートビートサービスポート。FE からのハートビートを受信するために使用されます。 |
heartbeat_service_thread_count |
1 |
ハートビートサービスのスレッド数。 |
create_tablet_worker_count |
3 |
タブレットを作成するためのスレッド数。 |
drop_tablet_worker_count |
3 |
タブレットを削除するためのスレッド数。 |
push_worker_count_normal_priority |
3 |
NORMAL 優先度のロードジョブを処理するためのスレッド数。 |
push_worker_count_high_priority |
3 |
HIGH 優先度のロードジョブを処理するためのスレッド数。 |
publish_version_worker_count |
2 |
タブレットバージョンを公開するためのスレッド数。 |
clear_transaction_task_worker_count |
1 |
完了したトランザクションをクリアするためのスレッド数。 |
alter_tablet_worker_count |
3 |
スキーマ変更操作のためのスレッド数。 |
clone_worker_count |
3 |
タブレットクローニングのためのスレッド数。 |
storage_medium_migrate_count |
1 |
SSD から HDD へのホットデータの移行など、ストレージメディア移行のためのスレッド数。 |
check_consistency_worker_count |
1 |
タブレットレプリカの整合性をチェックするためのスレッド数。 |
report_task_interval_seconds |
10 |
BE がジョブステータス (テーブルの作成、削除、ロード、スキーマ変更) を FE に報告する間隔。単位:秒。 |
report_disk_state_interval_seconds |
60 |
BE がディスクステータスとデータ量を FE に報告する間隔。単位:秒。 |
report_tablet_interval_seconds |
60 |
BE がタブレットバージョン情報を FE に報告する間隔。単位:秒。 |
alter_tablet_timeout_seconds |
86400 |
BE 上のスキーマ変更ジョブのタイムアウト。単位:秒。 |
sys_log_dir |
${DORIS_HOME}/log |
BE システムログのディレクトリ。 |
user_function_dir |
${DORIS_HOME}/lib/udf |
UDF ファイルのディレクトリ。 |
sys_log_level |
INFO |
BE システムログエントリの最小重大度レベル。有効な値:INFO、WARNING、ERROR、FATAL。 |
sys_log_roll_mode |
SIZE-MB-1024 |
ローテーション前の最大ログファイルサイズ。デフォルト:1 GB。 |
sys_log_roll_num |
10 |
保持されるシステムログファイルの最大数。 |
sys_log_verbose_modules |
_(empty)_ | 詳細なシステムログが生成されるモジュール。たとえば、これを OLAP に設定すると、OLAP モジュールのみのログが生成されます。 |
sys_log_verbose_level |
10 |
ソースコードで VLOG プレフィックスが付いたログの詳細度レベル。 |
log_buffer_level |
_(empty)_ | ログフラッシュポリシー。デフォルトでは、ログはメモリにバッファリングされます。 |
num_threads_per_core |
3 |
CPU コアごとに開始されるスレッド数。 |
compress_rowbatches |
TRUE |
クエリ処理中に BE 間の bRPC 呼び出しで行バッチを圧縮するかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
serialize_batch |
FALSE |
クエリ処理中に BE 間の bRPC 呼び出しで行バッチをシリアル化するかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
status_report_interval |
5 |
BE がクエリプロファイルを FE に報告する間隔。単位:秒。 |
doris_scanner_thread_pool_thread_num |
48 |
ストレージエンジンのスキャンスレッドプール内のスレッド数。 |
doris_scanner_thread_pool_queue_size |
102400 |
ストレージエンジンでキューに入れられるスキャンタスクの最大数。 |
doris_scan_range_row_count |
524288 |
ストレージエンジンがクエリスキャン範囲を分割する粒度。 |
doris_scanner_queue_size |
1024 |
ストレージエンジンがサポートするスキャンタスクの最大数。 |
doris_scanner_row_num |
16384 |
各スキャン スレッドが呼び出しごとに返すデータ行の最大数。 |
doris_max_scan_key_num |
1024 |
分割できるスキャンキーの最大数。 |
column_dictionary_key_ratio_threshold |
0 |
STRING 型の比率のしきい値。これを下回ると辞書圧縮が適用されます。 |
column_dictionary_key_size_threshold |
0 |
列のサイズのしきい値。これを下回ると辞書圧縮が適用されます。 |
memory_limitation_per_thread_for_schema_change |
2 |
スキーマ変更ジョブのスレッドごとの最大メモリ。単位:GB。 |
file_descriptor_cache_clean_interval |
3600 |
未使用のキャッシュされたファイルディスクリプタが削除される間隔。単位:秒。 |
disk_stat_monitor_interval |
5 |
ディスクステータスがチェックされる間隔。単位:秒。 |
unused_rowset_monitor_interval |
30 |
期限切れの行セットがクリアされる間隔。単位:秒。 |
storage_root_path |
_(empty)_ | データストレージのルートディレクトリ。 |
max_tablet_num_per_shard |
1024 |
各ストレージディレクトリ内のシャードごとのタブレットの最大数。 |
pending_data_expire_time_sec |
1800 |
ストレージエンジン内の保留データの最大保持期間。単位:秒。 |
inc_rowset_expired_sec |
1800 |
増分クローニングシナリオでロードされたデータの保持期間。単位:秒。 |
max_garbage_sweep_interval |
3600 |
ディスク GC の最大間隔。単位:秒。 |
min_garbage_sweep_interval |
180 |
ディスク GC の最小間隔。単位:秒。 |
snapshot_expire_time_sec |
172800 |
スナップショットが削除されるまでの保持期間。デフォルト:48 時間。単位:秒。 |
trash_file_expire_time_sec |
259200 |
ゴミ箱内のファイルが削除されるまでの保持期間。デフォルト:72 時間。単位:秒。 |
file_descriptor_cache_capacity |
16384 |
キャッシュされたファイルディスクリプタの最大数。 |
min_file_descriptor_number |
60000 |
BE プロセスのファイルディスクリプタの最小数。 |
index_stream_cache_capacity |
10737418240 |
ブルームフィルター、最小、最大統計情報のキャッシュ容量。 |
storage_page_cache_limit |
0 |
ページキャッシュの最大容量。 |
disable_storage_page_cache |
TRUE |
ページキャッシュを無効にするかどうかを指定します。TRUE に設定すると無効になり、FALSE に設定すると有効になります。 |
base_compaction_check_interval_seconds |
60 |
ベースコンパクションのスレッドポーリング間隔。単位:秒。 |
base_compaction_num_threads_per_disk |
1 |
ディスクごとのベースコンパクションのスレッド数。 |
base_cumulative_delta_ratio |
0.3 |
ベースコンパクションをトリガーする、累積ファイルサイズとベースファイルサイズの比率。 |
base_compaction_interval_seconds_since_last_operation |
86400 |
最後のベースコンパクションから次のベースコンパクションをトリガーするまでの最小間隔。単位:秒。 |
cumulative_compaction_check_interval_seconds |
1 |
累積コンパクションのスレッドポーリング間隔。単位:秒。 |
min_cumulative_compaction_num_singleton_deltas |
5 |
累積コンパクションをトリガーするシングルトンファイルの最小数。 |
max_cumulative_compaction_num_singleton_deltas |
1000 |
累積コンパクションをトリガーするシングルトンファイルの最大数。 |
cumulative_compaction_num_threads_per_disk |
1 |
ディスクごとの累積コンパクションのスレッド数。 |
min_compaction_failure_interval_sec |
120 |
失敗したタブレットコンパクションを再スケジュールするまでの最小間隔。単位:秒。 |
max_compaction_concurrency |
-1 |
ベースコンパクションと累積コンパクションを合わせた最大同時実行数。デフォルト値 -1 は制限なしを意味します。 |
webserver_port |
8040 |
BE 上の HTTP サーバーポート。 |
webserver_num_workers |
48 |
BE HTTP サーバーのワーカースレッド数。 |
periodic_counter_update_period_ms |
500 |
カウンター統計が収集される間隔。単位:ミリ秒。 |
load_data_reserve_hours |
4 |
小規模なロードジョブによって生成されたファイルの保持期間。単位:時間。 |
load_error_log_reserve_hours |
48 |
ロードエラーログファイルの保持期間。単位:時間。 |
number_tablet_writer_threads |
16 |
Stream Load のスレッド数。 |
streaming_load_max_mb |
10240 |
単一の Stream Load の最大ファイルサイズ。単位:MB。 |
streaming_load_rpc_max_alive_time_sec |
1200 |
Stream Load の RPC タイムアウト。単位:秒。 |
fragment_pool_thread_num |
64 |
クエリ実行の初期スレッド数。必要に応じて追加のスレッドが動的に作成されます。 |
fragment_pool_queue_size |
2048 |
単一の BE ノードでキューに入れられるクエリの最大数。 |
enable_partitioned_aggregation |
TRUE |
パーティションベースの集約を有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
enable_token_check |
TRUE |
トークンベースの認証チェックを有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
load_process_max_memory_limit_bytes |
107374182400 |
BE ノード上のすべてのロードスレッドの最大メモリ。デフォルト:100 GB。 |
load_process_max_memory_limit_percent |
30 |
BE ノード上のすべてのロードスレッドが使用する合計メモリの最大パーセンテージ。 |
sync_tablet_meta |
FALSE |
タブレットメタデータの同期書き込みを有効にするかどうかを指定します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |
thrift_rpc_timeout_ms |
5000 |
Thrift RPC 呼び出しのタイムアウト。単位:ミリ秒。 |
txn_commit_rpc_timeout_ms |
10000 |
トランザクションコミット RPC 呼び出しのタイムアウト。単位:ミリ秒。 |
routine_load_thread_pool_size |
10 |
Routine Load のスレッドプールサイズ。max_routine_load_task_num_per_be 以上である必要があります。 |
tablet_meta_checkpoint_min_new_rowsets_num |
10 |
最後のタブレットメタチェックポイント以降、新しいチェックポイントをトリガーするまでの新しい行セットの最小数。 |
tablet_meta_checkpoint_min_interval_secs |
600 |
タブレットメタチェックポイントを生成するためのスレッドポーリング間隔。単位:秒。 |
brpc_max_body_size |
209715200 |
bRPC メッセージの最大本文サイズ。デフォルト:200 MB。 |
max_runnings_transactions |
2000 |
ストレージエンジンがサポートする同時トランザクションの最大数。 |
tablet_map_shard_size |
32 |
タブレットマップシャードのサイズ。 |
enable_bitmap_union_disk_format_with_set |
FALSE |
BITMAP 型の新しいディスク上のストレージフォーマットを有効にするかどうかを指定します。これにより、bitmap_union のパフォーマンスが向上します。TRUE に設定すると有効になり、FALSE に設定すると無効になります。 |