PolarDB:Mengakses data OSS menggunakan tabel eksternal OSS

Engine OSS meningkatkan performa kueri dengan meneruskan kondisi yang memenuhi syarat ke engine OSS remote. Pengoptimalan ini disebut engine condition pushdown. Batasan berikut berlaku untuk penurunan kondisi:

• Hanya file teks CSV berkode UTF-8 yang didukung.

• Dalam pernyataan SQL, hanya jenis operator dan ekspresi aritmetika berikut yang didukung:

  • Operator perbandingan: >, <, >=, <=, ==

  • Operator logika: LIKE, IN, AND, OR

  • Ekspresi aritmetika: + , - , * , /

• Hanya kueri file tunggal yang didukung. Kueri yang menggunakan klausa JOIN, ORDER BY, GROUP BY, atau HAVING tidak didukung.

• Klausa WHERE tidak boleh berisi operasi agregasi. Misalnya, where max(age) > 100 tidak diizinkan.

• Jumlah maksimum kolom adalah 1.000, dan panjang maksimum nama kolom dalam pernyataan SQL adalah 1.024 byte.

• Dalam klausa LIKE, hingga lima karakter wildcard % didukung.

• Dalam klausa IN, hingga 1.024 konstanta didukung.

• Untuk file CSV, ukuran maksimum adalah 256 KB per baris dan 256 KB per kolom.

• Panjang maksimum pernyataan SQL adalah 16 KB. Klausa WHERE dapat berisi hingga 20 ekspresi, dan kueri dapat berisi hingga 100 operasi agregasi.

Kueri yang memenuhi kondisi ini akan diteruskan ke engine OSS. Periksa rencana eksekusi tabel eksternal OSS untuk melihat kondisi mana yang diteruskan.

• Gunakan EXPLAIN untuk melihat rencana eksekusi tabel eksternal OSS. Contoh:

  EXPLAIN SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  | id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows  | filtered | Extra                                                                                                                            |
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  |  1 | SIMPLE      | t1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 15000 |     1.23 | Using where; With pushed engine condition ((`test`.`t1`.`id` > 5) and (`test`.`t1`.`id` < 100)); Using temporary; Using filesort |
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  1 row in set, 1 warning (0.00 sec)

  Kondisi setelah With pushed engine condition diteruskan ke engine OSS remote. Kondisi yang tersisa, `name` LIKE "%1%%%%%" dan GROUP BY `id` ORDER BY `id` DESC, tidak diteruskan dan hanya dieksekusi di server OSS lokal.

• Gunakan format tree untuk melihat rencana eksekusi tabel eksternal OSS. Contoh:

  EXPLAIN FORMAT=tree  SELECT SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | EXPLAIN                                                                                                                                                                                                                                                                                                           |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | -> Sort: <temporary>.id DESC
      -> Table scan on <temporary>
          -> Aggregate using temporary table
              -> Filter: (t1.`name` like '%1%%%%%')  (cost=1690.00 rows=185)
                  -> Table scan on t1, extra ( engine conditions: ((t1.id > 5) and (t1.id < 100)) )  (cost=1690.00 rows=15000)
   |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  1 row in set (0.00 sec)

  Kondisi setelah engine conditions: diteruskan ke engine OSS remote. Kondisi yang tersisa, `name` LIKE "%1%%%%%" dan GROUP BY `id` ORDER BY `id` DESC, tidak diteruskan dan hanya dieksekusi di server OSS lokal.

  Catatan

  Kluster Anda harus menjalankan PolarDB for MySQL 8.0.2 atau lebih baru. Anda dapat mengonfirmasi versi kluster dengan mengikuti petunjuk di Memeriksa nomor versi.

• Gunakan format JSON untuk melihat rencana eksekusi tabel eksternal OSS. Contoh:

  EXPLAIN FORMAT=json  SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | EXPLAIN                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | {
    "query_block": {
      "select_id": 1,
      "cost_info": {
        "query_cost": "1875.13"
      },
      "ordering_operation": {
        "using_filesort": false,
        "grouping_operation": {
          "using_temporary_table": true,
          "using_filesort": true,
          "cost_info": {
            "sort_cost": "185.13"
          },
          "table": {
            "table_name": "t1",
            "access_type": "ALL",
            "rows_examined_per_scan": 15000,
            "rows_produced_per_join": 185,
            "filtered": "1.23",
            "engine_condition": "((`test`.`t1`.`id` > 5) and (`test`.`t1`.`id` < 100))",
            "cost_info": {
              "read_cost": "1671.49",
              "eval_cost": "18.51",
              "prefix_cost": "1690.00",
              "data_read_per_join": "146K"
            },
            "used_columns": [
              "id",
              "name"
            ],
            "attached_condition": "(`test`.`t1`.`name` like '%1%%%%%')"
          }
        }
      }
    }
  } |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  1 row in set, 1 warning (0.00 sec)

  Seperti sebelumnya, kondisi dalam field engine_condition diteruskan ke engine OSS remote. Kondisi yang tersisa, `name` LIKE "%1%%%%%" dan GROUP BY `id` ORDER BY `id` DESC, tidak diteruskan dan hanya dieksekusi di server OSS lokal.

Jika Anda menerima kesalahan berikut, artinya beberapa karakter dalam file data OSS tidak kompatibel dengan penurunan kondisi engine.

OSS error: The current query does not support engine condition pushdown. You need to use NO_ECP() hint or set optimizer_switch = 'engine_condition_pushdown=OFF' to turn off the condition push down function.

Anda dapat menonaktifkan penurunan kondisi engine secara manual dengan menggunakan hint atau optimizer_switch.

• Hints

  Gunakan hint untuk menonaktifkan penurunan kondisi engine untuk kueri tertentu. Misalnya, untuk menonaktifkan penurunan kondisi engine untuk tabel t1:

  SELECT /*+ NO_ECP(t1) */ `j` FROM `t1` WHERE `j` LIKE "%c%" LIMIT 10;

• optimizer_switch

  Gunakan optimizer_switch untuk menonaktifkan penurunan kondisi engine untuk semua kueri dalam sesi saat ini.

  SET SESSION optimizer_switch='engine_condition_pushdown=off'; # Nonaktifkan penurunan kondisi engine untuk sesi saat ini.

  Untuk memeriksa status penurunan kondisi engine untuk sesi saat ini, jalankan perintah berikut:

  select @@optimizer_switch;