ApsaraDB for SelectDB：Profil Kueri

Parameter profil

Tabel berikut menjelaskan parameter dalam statistik yang telah dikumpulkan.

Fragmen

BlockMgr

DataStreamSender

ODBC_TABLE_SINK

EXCHANGE_NODE

SORT_NODE

AGGREGATION_NODE

HASH_JOIN_NODE

CROSS_JOIN_NODE

UNION_NODE

ANALYTIC_EVAL_NODE

OLAP_SCAN_NODE

OLAP_SCAN_NODE bertanggung jawab atas tugas pemindaian data spesifik. Node ini menghasilkan satu atau lebih pemindai OLAP, di mana setiap thread pemindai bertugas memindai sebagian data.

Sebagian atau seluruh kondisi predikat dalam kueri didorong ke OLAP_SCAN_NODE. Sebagian dari kondisi predikat tersebut didorong ke mesin penyimpanan untuk penyaringan data menggunakan indeks mesin penyimpanan. Kondisi predikat lainnya disimpan di OLAP_SCAN_NODE dan digunakan untuk menyaring data yang dikembalikan dari mesin penyimpanan.

Profil OLAP_SCAN_NODE umumnya digunakan untuk menganalisis efisiensi pemindaian data. Profil ini terbagi menjadi tiga lapisan berdasarkan hubungan panggilan: OLAP_SCAN_NODE, OlapScanner, dan SegmentIterator.

Kode contoh berikut menunjukkan node OLAP_SCAN_NODE yang tipikal. Arti beberapa metrik dapat bervariasi tergantung pada format penyimpanan (V1 atau V2).

OLAP_SCAN_NODE (id=0):(Active: 1.2ms, % non-child: 0.00%)
  - BytesRead: 265.00 B                 # Ukuran data yang dibaca dari file data. Misalnya, jika 10 bilangan bulat 32-bit dibaca, ukuran datanya adalah 10 × 4 byte = 40 byte. Parameter ini hanya menunjukkan ukuran data yang sepenuhnya ditampilkan di memori, dan tidak menunjukkan ukuran I/O aktual.  
  - NumDiskAccess: 1                    # Jumlah disk yang terlibat dalam node ScanNode.
  - NumScanners: 20                     # Jumlah pemindai yang dihasilkan oleh node ScanNode.
  - PeakMemoryUsage: 0.00               # Penggunaan memori puncak selama kueri. Memori tidak digunakan.
  - RowsRead: 7                         # Jumlah baris yang dikembalikan dari mesin penyimpanan ke pemindai, tidak termasuk jumlah baris yang difilter oleh pemindai.
  - RowsReturned: 7                     # Jumlah baris yang dikembalikan dari node ScanNode ke node induk.
  - RowsReturnedRate: 6.979K /detik    # RowsReturned/ActiveTime
  -TabletCount: 20                      # Jumlah tablet yang terlibat dalam node ScanNode.
  - TotalReadThroughput: 74.70 KB/detik # Total throughput baca yang dihitung dengan membagi BytesRead dengan total waktu eksekusi pada node ini dari inisiasi hingga penyelesaian kueri. Untuk kueri yang dibatasi I/O, nilainya mendekati total throughput disk.
  - ScannerBatchWaitTime: 426.886us     # Waktu bagi thread transfer untuk menunggu thread pemindai mengembalikan data RowBatch.
  - ScannerWorkerWaitTime: 17.745us     # Waktu bagi thread pemindai untuk menunggu thread pekerja yang tersedia di kolam thread.
  OlapScanner:
    - BlockConvertTime: 8.941us         # Waktu yang dikonsumsi untuk mengonversi blok vektor ke RowBlock berbasis baris. Blok vektor adalah VectorizedRowBatch dalam V1 dan RowBlockV2 dalam V2.
    - BlockFetchTime: 468.974us         # Waktu bagi pembaca rowset untuk mendapatkan blok.
    - ReaderInitTime: 5.475ms           # Waktu bagi pemindai OLAP untuk menginisialisasi pembaca. Waktu pembuatan MergeHeap termasuk dalam V1. Waktu yang dikonsumsi untuk menghasilkan semua level Iterator dan membaca kelompok blok pertama termasuk dalam V2.
    - RowsDelFiltered: 0                # Jumlah baris yang difilter, termasuk yang berdasarkan informasi DELETE dalam tablet dan yang untuk baris yang ditandai untuk penghapusan dalam model Unique Key.
    - RowsPushedCondFiltered: 0         # Kondisi yang difilter berdasarkan predikat yang didorong ke bawah, seperti kondisi yang dilewatkan dari BuildTable ke ProbeTable dalam operasi join. Nilai ini tidak akurat. Jika efek penyaringan buruk, tidak ada operasi penyaringan yang dilakukan.
    - ScanTime: 39.24us                 # Waktu bagi data untuk dikembalikan dari ScanNode ke node induk.
    - ShowHintsTime_V1: 0ns             # Parameter ini tidak berlaku dalam V2. Beberapa data dibaca untuk pemisahan ScanRange dalam V1.
    SegmentIterator:
      - BitmapIndexFilterTimer: 779ns   # Waktu yang dikonsumsi untuk menyaring data menggunakan indeks bitmap.
      - BlockLoadTime: 415.925us        # Waktu yang dikonsumsi untuk pembaca segmen (V1) atau iterator segmen (V2) untuk mendapatkan blok.
      - BlockSeekCount: 12              # Jumlah pencarian blok yang dilakukan selama pembacaan segmen.
      - BlockSeekTime: 222.556us        # Waktu yang dikonsumsi untuk pencarian blok selama pembacaan segmen.
      - BlocksLoad: 6                   # Jumlah blok yang dibaca.
      - CachedPagesNum: 30              # Jumlah halaman yang mengenai cache setelah cache halaman diaktifkan hanya dalam V2.
      - CompressedBytesRead: 0.00       # Ukuran data sebelum dekompresi yang dibaca dari file dalam V1, atau ukuran halaman yang dibaca sebelum kompresi yang tidak mengenai cache halaman dalam V2.
      - DecompressorTimer: 0ns          # Waktu yang dikonsumsi untuk dekompresi data.
      - IOTimer: 0ns                    # Waktu I/O aktual membaca data dari sistem operasi.
      - IndexLoadTime_V1: 0ns           # Waktu yang dikonsumsi untuk membaca aliran indeks hanya dalam V1.
      - NumSegmentFiltered: 0           # Jumlah segmen yang sepenuhnya difilter berdasarkan statistik kolom dan kondisi kueri.
      - NumSegmentTotal: 6              # Jumlah semua segmen yang terlibat dalam kueri.
      - RawRowsRead: 7                  # Jumlah baris data sumber yang dibaca dari mesin penyimpanan. Untuk informasi lebih lanjut, lihat bagian berikut.
      - RowsBitmapIndexFiltered: 0      # Jumlah baris yang difilter menggunakan indeks bitmap hanya dalam V2.
      - RowsBloomFilterFiltered: 0      # Jumlah baris yang difilter menggunakan indeks BloomFilter hanya dalam V2.
      - RowsKeyRangeFiltered: 0         # Jumlah baris yang difilter menggunakan indeks SortkeyIndex hanya dalam V2.
      - RowsStatsFiltered: 0            # Jumlah baris yang difilter menggunakan indeks ZoneMap dalam V2, termasuk kondisi penghapusan. Jumlah baris yang difilter menggunakan indeks BloomFilter termasuk dalam V1.
      - RowsConditionsFiltered: 0       # Jumlah baris yang difilter menggunakan berbagai indeks kolom hanya dalam V2.
      - RowsVectorPredFiltered: 0       # Jumlah baris yang difilter menggunakan operasi penyaringan berdasarkan kondisi vektor.
      - TotalPagesNum: 30               # Jumlah total halaman yang dibaca hanya dalam V2.
      - UncompressedBytesRead: 0.00     # Ukuran file data yang dibaca setelah dekompresi dalam V1. Jika dekompresi tidak diperlukan, parameter ini menentukan ukuran file. Parameter ini menentukan ukuran halaman yang tidak mengenai cache halaman setelah dekompresi dalam V2. Jika dekompresi tidak diperlukan, parameter ini menentukan ukuran halaman.
      - VectorPredEvalTime: 0ns         # Waktu yang dikonsumsi untuk melakukan penyaringan berdasarkan kondisi vektor.
      - ShortPredEvalTime: 0ns          # Waktu yang dikonsumsi untuk melakukan penyaringan berdasarkan predikat jalur pendek.
      - PredColumnReadTime: 0ns         # Waktu yang dikonsumsi untuk membaca kolom predikat.
      - LazyReadTime: 0ns               # Waktu yang dikonsumsi untuk membaca kolom non-predikat.
      - OutputColumnTime: 0ns           # Waktu yang dikonsumsi untuk materialisasi kolom.

Pendorongan kondisi predikat dan penggunaan indeks dapat disimpulkan dari metrik terkait jumlah baris data dalam profil. Bagian berikut menjelaskan informasi profil selama pembacaan segmen dalam format V2. Makna metrik ini sedikit berbeda untuk segmen dalam format V1.

Fase Inisialisasi

1. Selama pembacaan segmen dalam format V2, jika kueri memiliki key_ranges (rentang kueri yang terdiri dari kunci awalan), data pertama-tama difilter menggunakan indeks SortkeyIndex. Jumlah baris yang difilter dicatat dalam RowsKeyRangeFiltered.

2. Penyaringan akurat dilakukan pada kolom dengan menggunakan indeks bitmap jika kondisi kueri berisi indeks bitmap. Jumlah baris yang difilter dicatat dalam RowsBitmapIndexFiltered.

3. Data difilter berdasarkan kondisi ekuivalen (eq, in, dan is) dalam kondisi kueri menggunakan indeks BloomFilter. Jumlah baris yang difilter dicatat dalam RowsBloomFilterFiltered. Nilai RowsBloomFilterFiltered menentukan perbedaan antara jumlah total baris dalam segmen (bukan jumlah baris yang difilter menggunakan indeks bitmap) dan jumlah baris tersisa setelah penyaringan menggunakan indeks BloomFilter. Akibatnya, data yang difilter menggunakan indeks BloomFilter mungkin tumpang tindih dengan data yang difilter menggunakan indeks bitmap.

4. Data difilter menggunakan indeks ZoneMap berdasarkan kondisi kueri dan penghapusan. Jumlah baris yang difilter dicatat dalam RowsStatsFiltered.

5. Nilai RowsConditionsFiltered menentukan jumlah baris yang difilter menggunakan berbagai indeks, termasuk nilai-nilai dari RowsBloomFilterFiltered dan RowsStatsFiltered.

Fase Berikutnya

• Jumlah baris yang difilter menggunakan kondisi penghapusan dalam fase berikutnya dicatat dalam RowsDelFiltered. Jumlah baris yang sebenarnya difilter menggunakan kondisi penghapusan dicatat dalam RowsStatsFiltered dan RowsDelFiltered.

• RawRowsRead menunjukkan jumlah baris yang dibaca setelah operasi penyaringan sebelumnya dilakukan.

• RowsRead menunjukkan jumlah baris yang dikembalikan ke pemindai. Umumnya, nilai RowsRead lebih kecil daripada RawRowsRead, karena data yang dikembalikan dari mesin penyimpanan ke pemindai mungkin diagregasi. Jika selisih antara RawRowsRead dan RowsRead lebih besar dari yang diharapkan, ini menunjukkan bahwa banyak baris diagregasi, yang dapat memakan waktu.

• RowsReturned menunjukkan jumlah baris yang akhirnya dikembalikan oleh ScanNode ke node induk. Secara umum, nilai RowsReturned juga lebih kecil daripada RowsRead. Beberapa kondisi predikat tidak didorong ke mesin penyimpanan pada pemindai, menunjukkan bahwa penyaringan telah dilakukan. Jika selisih antara RowsRead dan RowsReturned lebih besar dari yang diharapkan, ini menunjukkan bahwa banyak baris disaring pada pemindai. Hal ini mengindikasikan bahwa beberapa kondisi predikat dengan selektivitas tinggi tidak didorong ke mesin penyimpanan, sehingga efisiensi penyaringan pemindai lebih rendah daripada mesin penyimpanan.

Berdasarkan metrik-metrik tersebut, Anda dapat menganalisis secara kasar jumlah baris yang diproses oleh mesin penyimpanan serta jumlah baris dalam hasil akhir setelah penyaringan. Set metrik ini (Rows***Filtered) juga memungkinkan Anda menganalisis apakah kondisi kueri didorong ke mesin penyimpanan dan efektivitas penyaringan dari berbagai indeks.

Metrik Lainnya

Anda juga dapat melakukan analisis berdasarkan metrik-metrik berikut:

• Metrik di bawah OlapScanner, seperti IOTimer dan BlockFetchTime, merupakan akumulasi dari semua metrik thread pemindai. Oleh karena itu, nilai metrik ini mungkin relatif besar. Thread pemindai membaca data secara asinkron, sehingga metrik akumulasi ini hanya mencerminkan waktu kerja kumulatif pemindai dan tidak dapat langsung menunjukkan waktu yang dikonsumsi oleh ScanNode. Proporsi waktu yang dikonsumsi oleh ScanNode dalam seluruh rencana eksekusi dicatat dalam Active. Dalam beberapa kasus, nilai IOTimer mencapai puluhan detik, sedangkan nilai Active hanya beberapa detik. Berikut adalah kemungkinan penyebabnya:

  • IOTimer adalah waktu kumulatif dari beberapa pemindai, dengan sejumlah besar pemindai tersedia.

  • Node induk memakan waktu. Misalnya, node induk menghabiskan 100 detik, sedangkan ScanNode hanya menghabiskan 10 detik. Nilai parameter Active mungkin hanya beberapa milidetik. Ketika node induk memproses data, ScanNode telah memindai data secara asinkron dan menyiapkan data. Dengan demikian, node induk dapat memperoleh data yang telah disiapkan dalam ScanNode, sehingga waktu aktifnya menjadi singkat.

• NumScanners menunjukkan jumlah tugas yang diajukan pemindai ke kolam thread, yang dijadwalkan oleh kolam thread dalam RuntimeState. Parameter doris_scanner_thread_pool_thread_num dan doris_scanner_thread_pool_queue_size masing-masing menentukan ukuran dan panjang antrian kolam thread. Jika jumlah thread berlebihan atau tidak cukup, efisiensi kueri terpengaruh. Anda juga dapat membagi beberapa metrik dengan jumlah thread untuk memperkirakan waktu yang dikonsumsi oleh setiap thread.

• TabletCount menunjukkan jumlah tablet yang harus dipindai. Jumlah tablet yang berlebihan menunjukkan bahwa banyak operasi pembacaan acak dan penggabungan data diperlukan.

• UncompressedBytesRead secara tidak langsung mencerminkan ukuran data yang dibaca. Jika nilainya besar, banyak operasi I/O mungkin dilakukan.

• Anda dapat memeriksa hit cache halaman berdasarkan CachedPagesNum dan TotalPagesNum. Rasio hit yang lebih tinggi menunjukkan bahwa operasi I/O dan dekompresi memakan waktu lebih sedikit.

Kolam buffer