ApsaraDB for SelectDB:Profil kueri

Langkah 1: Identifikasi fragment terlambat

Tujuan: Temukan fragment mana yang menjadi bottleneck utama.

Pohon rencana eksekusi menunjukkan struktur fragment dan waktu eksekusi setiap fragment. Nilai MaxActiveTime pada setiap node pengirim adalah waktu eksekusi terlama di seluruh unit eksekusi dalam fragment tersebut.

SHOW QUERY PROFILE "/<profile_id>"\G

Contoh output:

SHOW QUERY PROFILE "/c257c52f93e149ee-ace8ac14e8c9fef9"\G
*************************** 1. row ***************************
Fragments:
             ┌──────────────────────┐
             │[-1: DataBufferSender]│
             │Fragment: 0           │
             │MaxActiveTime: 6.626 ms│
             └──────────────────────┘
                         │
               ┌──────────────────┐
               │[9: EXCHANGE_NODE]│
               │Fragment: 0       │
               └──────────────────┘
                         │
             ┌──────────────────────┐
             │[9: DataStreamSender] │
             │Fragment: 1           │
             │MaxActiveTime: 5.449 ms│
             └──────────────────────┘
                         │
                 ┌──────────────┐
                 │[4: SORT_NODE]│
                 │Fragment: 1   │
                 └──────────────┘
                        ┌┘
             ┌─────────────────────┐
             │[8: AGGREGATION_NODE]│
             │Fragment: 1          │
             └─────────────────────┘
                        └┐
               ┌──────────────────┐
               │[7: EXCHANGE_NODE]│
               │Fragment: 1       │
               └──────────────────┘
                         │
             ┌──────────────────────┐
             │[7: DataStreamSender] │
             │Fragment: 2           │
             │MaxActiveTime: 3.505 ms│
             └──────────────────────┘
                        ┌┘
             ┌─────────────────────┐
             │[3: AGGREGATION_NODE]│
             │Fragment: 2 │
             └─────────────────────┘
                        │
              ┌───────────────────┐
              │[2: HASH_JOIN_NODE]│
              │Fragment: 2        │
              └───────────────────┘
           ┌────────────┴────────────┐
 ┌──────────────────┐      ┌──────────────────┐
 │[5: EXCHANGE_NODE]│      │[6: EXCHANGE_NODE]│
 │Fragment: 2       │      │Fragment: 2       │
 └──────────────────┘      └──────────────────┘
           │                         │
┌─────────────────────┐ ┌────────────────────────┐
│[5: DataStreamSender]│ │[6: DataStreamSender] │
│Fragment: 4          │ │Fragment: 3             │
│MaxActiveTime: 1.87 ms│ │MaxActiveTime: 636.767 us│
└─────────────────────┘ └────────────────────────┘
           │                        ┌┘
 ┌───────────────────┐    ┌───────────────────┐
 │[0: OLAP_SCAN_NODE]│    │[1: OLAP_SCAN_NODE]│
 │Fragment: 4        │    │Fragment: 3        │
 └──────────────────┘      └──────────────────┘
           │                        │
    ┌─────────────┐          ┌─────────────┐
    │[OlapScanner]│          │[OlapScanner]│
    │Fragment: 4  │          │Fragment: 3  │
    └─────────────┘          └─────────────┘
           │                        │
  ┌─────────────────┐      ┌─────────────────┐
  │[SegmentIterator]│      │[SegmentIterator]│
  │Fragment: 4      │      │Fragment: 3      │
  └─────────────────┘      └─────────────────┘

1 row in set (0.02 sec)

Pada contoh ini, Fragment 1 memiliki MaxActiveTime tertinggi (5.449 ms) — fragment ini merupakan bottleneck utama. Lanjutkan ke Langkah 2 dengan Fragment 1.

Langkah 2: Mengidentifikasi unit eksekusi paling lambat

Tujuan: Temukan instance node mana dalam fragment bottleneck yang paling banyak menghabiskan waktu.

Setelah mengidentifikasi fragment terlambat, tampilkan semua unit eksekusi (instance) di dalamnya:

SHOW QUERY PROFILE "/<profile_id>/<fragment_id>";

Contoh output untuk Fragment 1:

SHOW QUERY PROFILE "/c257c52f93e149ee-ace8ac14e8c9fef9/1";
+-----------------------------------+-------------------+------------+
| Instances                         | Host              | ActiveTime |
+-----------------------------------+-------------------+------------+
| c257c52f93e149ee-ace8ac14e8c9ff03 | 10.200.00.01:9060 | 5.449ms    |
| c257c52f93e149ee-ace8ac14e8c9ff05 | 10.200.00.02:9060 | 5.367ms    |
| c257c52f93e149ee-ace8ac14e8c9ff04 | 10.200.00.03:9060 | 5.358ms    |
+-----------------------------------+-------------------+------------+

Instance dengan ActiveTime tertinggi menjadi target Anda untuk Langkah 3.

Langkah 3: Periksa metrik per-operator

Tujuan: Tentukan operator mana yang paling banyak mengonsumsi waktu dan sumber daya pada unit eksekusi target.

SHOW QUERY PROFILE "/<profile_id>/<fragment_id>/<instance_id>"\G

Contoh output untuk instance c257c52f93e149ee-ace8ac14e8c9ff03 dalam Fragment 1:

SHOW QUERY PROFILE "/c257c52f93e149ee-ace8ac14e8c9fef9/1/c257c52f93e149ee-ace8ac14e8c9ff03"\G
*************************** 1. row ***************************
Instance:
 ┌───────────────────────────────────────┐
 │[9: DataStreamSender]                  │
 │(Active: 37.222 us, non-child: 0.40)    │
 │  - Counters:                          │
 │      - BytesSent: 0.00                │
 │      - IgnoreRows: 0                  │
 │      - OverallThroughput: 0.0 /sec    │
 │      - PeakMemoryUsage: 8.00 KB       │
 │      - SerializeBatchTime: 0ns        │
 │      - UncompressedRowBatchSize: 0.00 │
 └───────────────────────────────────────┘
                     └┐
                      │
    ┌──────────────────────────────────┐
    │[4: SORT_NODE]                    │
    │(Active: 5.421 ms, non-child: 0.71)│
    │  - Counters:                     │
    │      - PeakMemoryUsage: 12.00 KB │
    │ - RowsReturned: 0 │
    │      - RowsReturnedRate: 0       │
    └──────────────────────────────────┘
                     ┌┘
                     │
   ┌───────────────────────────────────┐
   │[8: AGGREGATION_NODE]              │
   │(Active: 5.355 ms, non-child: 10.68)│
   │  - Counters:                      │
   │      - BuildTime: 3.701us         │
   │      - GetResultsTime: 0 ns        │
   │      - HTResize: 0                │
   │      - HTResizeTime: 1.211 us      │
   │      - HashBuckets: 0             │
   │      - HashCollisions: 0          │
   │      - HashFailedProbe: 0         │
   │      - HashFilledBuckets: 0       │
   │      - HashProbe: 0               │
   │      - HashTravelLength: 0        │
   │      - LargestPartitionPercent: 0 │
   │      - MaxPartitionLevel: 0       │
   │      - NumRepartitions: 0         │
   │      - PartitionsCreated: 16      │
   │      - PeakMemoryUsage: 34.02 MB  │
   │      - RowsProcessed: 0           │
   │      - RowsRepartitioned: 0       │
   │      - RowsReturned: 0            │
   │      - RowsReturnedRate: 0        │
   │      - SpilledPartitions: 0       │
   └───────────────────────────────────┘
                     └┐
                      │
┌──────────────────────────────────────────┐
│[7: EXCHANGE_NODE]                        │
│(Active: 4.360 ms, non-child: 46.84)       │
│  - Counters:                             │
│      - BytesReceived: 0.00               │
│      - ConvertRowBatchTime: 387 ns        │
│      - DataArrivalWaitTime: 4.357 ms      │
│      - DeserializeRowBatchTimer: 0 ns     │
│      - FirstBatchArrivalWaitTime: 4.356 ms│
│      - PeakMemoryUsage: 0.00             │
│      - RowsReturned: 0                   │
│      - RowsReturnedRate: 0               │
│      - SendersBlockedTotalTimer(*): 0 ns  │
└──────────────────────────────────────────┘

Nilai persentase Active yang tinggi dikombinasikan dengan persentase non-child yang tinggi pada suatu node menunjukkan bahwa node tersebut merupakan bottleneck (bukan operator anaknya). Fokuskan upaya optimasi Anda di sana.

Fragment

BlockMgr

DataStreamSender

ODBC_TABLE_SINK

EXCHANGE_NODE

SORT_NODE

AGGREGATION_NODE

HASH_JOIN_NODE

CROSS_JOIN_NODE

UNION_NODE

ANALYTIC_EVAL_NODE

OLAP_SCAN_NODE

OLAP_SCAN_NODE menangani tugas pemindaian data. Node ini membuat satu atau beberapa Pemindai OLAP, masing-masing bertanggung jawab untuk memindai sebagian data. Profil diorganisasikan dalam tiga lapisan yang mencerminkan hierarki panggilan: OLAP_SCAN_NODE -> OlapScanner -> SegmentIterator.

Beberapa atau semua kondisi predikat didorong ke OLAP_SCAN_NODE. Kondisi yang dapat menggunakan indeks mesin penyimpanan didorong lebih jauh ke mesin penyimpanan untuk filtering; sisanya dievaluasi di OLAP_SCAN_NODE itu sendiri.

Contoh berikut menunjukkan profil OLAP_SCAN_NODE khas:

OLAP_SCAN_NODE (id=0):(Active: 1.2ms, % non-child: 0.00%)
  - BytesRead: 265.00 B                 # Ukuran data yang dibaca dari file data. Misalnya, 10 x integer 32-bit = 40 byte. Ini mencerminkan data yang sepenuhnya dimuat ke memori, bukan ukuran I/O mentah.
  - NumDiskAccess: 1                    # Jumlah disk yang diakses oleh ScanNode.
  - NumScanners: 20                     # Jumlah pemindai yang dibuat oleh ScanNode.
  - PeakMemoryUsage: 0.00               # Penggunaan memori puncak selama kueri.
  - RowsRead: 7                         # Baris yang dikembalikan dari mesin penyimpanan ke pemindai, tidak termasuk baris yang difilter oleh pemindai.
  - RowsReturned: 7                     # Baris yang dikembalikan dari ScanNode ke node induk.
  - RowsReturnedRate: 6.979K /sec       # RowsReturned / ActiveTime.
  - TabletCount: 20                     # Jumlah tablet yang diakses oleh ScanNode.
  - TotalReadThroughput: 74.70 KB/sec   # BytesRead dibagi dengan waktu eksekusi total. Untuk kueri yang terikat I/O, nilai ini mendekati throughput disk total.
  - ScannerBatchWaitTime: 426.886us     # Waktu bagi thread transfer untuk menunggu thread pemindai mengembalikan data RowBatch.
  - ScannerWorkerWaitTime: 17.745us     # Waktu bagi thread pemindai untuk menunggu thread pekerja yang tersedia di kolam thread.
  OlapScanner:
    - BlockConvertTime: 8.941us         # Waktu untuk mengonversi blok vektorisasi menjadi RowBlock berstruktur baris. Blok vektorisasi adalah VectorizedRowBatch (V1) atau RowBlockV2 (V2).
    - BlockFetchTime: 468.974us         # Waktu bagi pembaca rowset untuk mendapatkan blok.
    - ReaderInitTime: 5.475ms           # Waktu bagi pemindai OLAP untuk menginisialisasi pembaca. Termasuk waktu pembuatan MergeHeap (V1) dan waktu untuk menghasilkan semua level iterator serta membaca grup blok pertama (V2).
    - RowsDelFiltered: 0                # Baris yang difilter berdasarkan informasi DELETE dalam tablet dan baris yang ditandai untuk penghapusan dalam model Unique Key.
    - RowsPushedCondFiltered: 0         # Baris yang difilter oleh predikat yang didorong dari operasi join (misalnya, dari BuildTable ke ProbeTable). Nilai ini perkiraan; filtering dapat dilewati jika efeknya buruk.
    - ScanTime: 39.24us                 # Waktu bagi data untuk berpindah dari ScanNode ke node induk.
    - ShowHintsTime_V1: 0ns             # Hanya V1: waktu untuk membaca beberapa data untuk pemisahan ScanRange.
    SegmentIterator:
      - BitmapIndexFilterTimer: 779ns   # Waktu untuk memfilter data menggunakan indeks bitmap.
      - BlockLoadTime: 415.925us        # Waktu bagi pembaca segmen (V1) atau iterator segmen (V2) untuk mendapatkan blok.
      - BlockSeekCount: 12              # Jumlah pencarian blok selama pembacaan segmen.
      - BlockSeekTime: 222.556us        # Waktu yang dikonsumsi untuk pencarian blok selama pembacaan segmen.
      - BlocksLoad: 6                   # Jumlah blok yang dibaca.
      - CachedPagesNum: 30              # Hanya V2: jumlah halaman yang hit cache halaman.
      - CompressedBytesRead: 0.00       # V1: ukuran data sebelum dekompresi yang dibaca dari file. V2: ukuran halaman sebelum kompresi yang tidak hit cache halaman.
      - DecompressorTimer: 0ns          # Waktu yang dikonsumsi untuk dekompresi data.
      - IOTimer: 0ns                    # Waktu I/O aktual untuk membaca data dari sistem operasi.
      - IndexLoadTime_V1: 0ns           # Hanya V1: waktu untuk membaca stream indeks.
      - NumSegmentFiltered: 0           # Jumlah segmen yang sepenuhnya difilter berdasarkan statistik kolom dan kondisi kueri.
      - NumSegmentTotal: 6              # Jumlah total segmen yang terlibat dalam kueri.
      - RawRowsRead: 7                  # Baris data sumber yang dibaca dari mesin penyimpanan setelah semua filtering sebelumnya.
      - RowsBitmapIndexFiltered: 0      # Hanya V2: baris yang difilter menggunakan indeks bitmap.
      - RowsBloomFilterFiltered: 0      # Hanya V2: baris yang difilter menggunakan indeks BloomFilter.
      - RowsKeyRangeFiltered: 0         # Hanya V2: baris yang difilter menggunakan indeks SortkeyIndex.
      - RowsStatsFiltered: 0            # V2: baris yang difilter menggunakan indeks ZoneMap, termasuk kondisi penghapusan. V1: termasuk baris yang difilter menggunakan indeks BloomFilter.
      - RowsConditionsFiltered: 0       # Hanya V2: baris yang difilter oleh semua indeks kolom gabungan.
      - RowsVectorPredFiltered: 0       # Baris yang difilter oleh operasi kondisi vektorisasi.
      - TotalPagesNum: 30               # Hanya V2: jumlah total halaman yang dibaca.
      - UncompressedBytesRead: 0.00     # V1: ukuran data setelah dekompresi (atau ukuran file jika tidak dikompresi). V2: ukuran halaman yang tidak hit cache halaman setelah dekompresi (atau ukuran halaman jika tidak dikompresi).
      - VectorPredEvalTime: 0ns         # Waktu untuk melakukan filtering oleh kondisi vektorisasi.
      - ShortPredEvalTime: 0ns          # Waktu untuk melakukan filtering oleh predikat short-circuit.
      - PredColumnReadTime: 0ns         # Waktu yang dikonsumsi untuk membaca kolom predikat.
      - LazyReadTime: 0ns               # Waktu yang dikonsumsi untuk membaca kolom non-predikat.
      - OutputColumnTime: 0ns           # Waktu yang dikonsumsi untuk materialisasi kolom.

Buffer pool