PolarDB：Gunakan tabel asing OSS untuk mengakses data OSS

Selama proses kueri, mesin kueri dapat mendorong kueri dengan kondisi tertentu ke bucket OSS jarak jauh untuk meningkatkan efisiensi kueri. Optimasi ini disebut engine condition pushdown. Fitur penurunan kondisi mesin tunduk pada batasan berikut:

• Hanya file CSV yang dikodekan UTF-8 yang didukung.

• Hanya jenis operator berikut yang didukung dalam pernyataan SQL:

  • Operator perbandingan: >, <, >=, <=, dan ==

  • Operator logika: LIKE, IN, AND, dan OR

  • Operator aritmatika: +, -, *, dan /

• Hanya satu file yang dapat ditanyakan saat Anda menggunakan pernyataan SQL. Klausul berikut tidak didukung: JOIN, ORDER BY, GROUP BY, dan HAVING.

• Klausa WHERE tidak boleh mengandung kondisi agregasi. Sebagai contoh, WHERE max(age) > 100 tidak diizinkan.

• Maksimal 1.000 kolom dapat ditentukan untuk pernyataan SQL. Nama kolom dalam pernyataan SQL dapat memiliki panjang maksimal 1.024 byte.

• Maksimal lima karakter wildcard (%) didukung dalam klausa LIKE.

• Maksimal 1.024 konstanta didukung dalam klausa IN.

• Ukuran kolom maksimum dan ukuran baris untuk objek CSV adalah 256 KB.

• Ukuran maksimum pernyataan SQL adalah 16 KB. Maksimal 20 ekspresi dapat ditambahkan setelah klausa WHERE. Setiap pernyataan mendukung hingga 100 operasi agregasi.

Kueri yang memenuhi kondisi di atas didorong ke bucket OSS jarak jauh. Anda dapat menggunakan rencana eksekusi tabel asing OSS untuk melihat kueri yang didorong ke bucket OSS jarak jauh.

• Lihat rencana eksekusi tabel asing OSS dengan mengeksekusi pernyataan EXPLAIN. Contoh:

  EXPLAIN SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  | id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows  | filtered | Extra                                                                                                                            |
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  |  1 | SIMPLE      | t1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 15000 |     1.23 | Menggunakan where; Dengan kondisi mesin yang didorong ((`test`.`t1`.`id` > 5) and (`test`.`t1`.`id` < 100)); Menggunakan sementara; Menggunakan pengurutan file |
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  1 row in set, 1 warning (0.00 sec)

  Kueri dengan kondisi setelah Dengan kondisi mesin yang didorong dapat didorong ke bucket OSS jarak jauh. Kueri dengan kondisi `name` LIKE "%1%%%%%" dan GROUP BY `id` ORDER BY `id` DESC hanya dapat dilakukan di server OSS lokal.

• Lihat rencana eksekusi tabel asing OSS dalam format tree. Contoh:

  EXPLAIN FORMAT=tree  SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" Y `id` ORDER BY `id` DESC;
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | EXPLAIN                                                                                                                                                                                                                                                                                                           |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | -> Sort: <temporary>.id DESC
      -> Table scan on <temporary>
          -> Aggregate using temporary table
              -> Filter: (t1.`name` like '%1%%%%%')  (cost=1690.00 rows=185)
                  -> Table scan on t1, extra ( engine conditions: ((t1.id > 5) and (t1.id < 100)) )  (cost=1690.00 rows=15000)
   |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  1 row in set (0.00 sec)

  Kueri dengan kondisi setelah kondisi mesin: dapat didorong ke bucket OSS jarak jauh. Kueri dengan kondisi `name` LIKE "%1%%%%%" dan GROUP BY `id` ORDER BY `id` DESC hanya dapat dilakukan di server OSS lokal.

  Catatan

  Anda harus menggunakan kluster PolarDB for MySQL 8.0.2 untuk menanyakan data. Anda dapat memeriksa nomor versi untuk memeriksa versi kluster.

• Lihat rencana eksekusi tabel asing OSS dalam format JSON. Contoh:

  EXPLAIN FORMAT=json  SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | EXPLAIN                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
  +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | {
    "query_block": {
      "select_id": 1,
      "cost_info": {
        "query_cost": "1875.13"
      },
      "ordering_operation": {
        "using_filesort": false,
        "grouping_operation": {
          "using_temporary_table": true,
          "using_filesort": true,
          "cost_info": {
            "sort_cost": "185.13"
          },
          "table": {
            "table_name": "t1",
            "access_type": "ALL",
            "rows_examined_per_scan": 15000,
            "rows_produced_per_join": 185,
            "filtered": "1.23",
            "engine_condition": "((`test`.`t1`.`id` > 5) and (`test`.`t1`.`id` < 100))",
            "cost_info": {
              "read_cost": "1671.49",
              "eval_cost": "18.51",
              "prefix_cost": "1690.00",
              "data_read_per_join": "146K"
            },
            "used_columns": [
              "id",
              "name"
            ],
            "attached_condition": "(`test`.`t1`.`name` like '%1%%%%%')"
          }
        }
      }
    }
  } |
  +-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  1 row in set, 1 warning (0.00 sec)

  Kueri dengan kondisi setelah kondisi mesin: dapat didorong ke bucket OSS jarak jauh. Kueri dengan kondisi `name` LIKE "%1%%%%%" dan GROUP BY `id` ORDER BY `id` DESC hanya dapat dilakukan di server OSS lokal.

Jika kesalahan berikut terjadi, beberapa karakter dalam file data OSS saat ini tidak memenuhi persyaratan untuk penurunan kondisi mesin.

Kesalahan OSS: Kueri saat ini tidak mendukung penurunan kondisi mesin. Anda perlu menggunakan petunjuk NO_ECP() atau menyetel optimizer_switch = 'engine_condition_pushdown=OFF' untuk mematikan fungsi penurunan kondisi.

Anda dapat menggunakan petunjuk atau variabel optimizer_switch untuk menonaktifkan fitur penurunan kondisi mesin secara manual.

• hints

  Gunakan petunjuk untuk menonaktifkan fitur penurunan kondisi mesin untuk kueri. Dalam contoh berikut, fitur penurunan kondisi mesin dinonaktifkan untuk tabel t1:

  SELECT /*+ NO_ECP(t1) */ `j` FROM `t1` WHERE `j` LIKE "%c%" LIMIT 10;

• optimizer_switch

  Gunakan variabel optimizer_switch untuk menonaktifkan fitur penurunan kondisi mesin untuk semua kueri dalam sesi saat ini.

  SET SESSION optimizer_switch='engine_condition_pushdown=off'; # Setel parameter engine_condition_pushdown ke off. Dalam hal ini, fitur penurunan kondisi mesin dinonaktifkan untuk semua kueri dalam sesi saat ini.

  Anda dapat mengeksekusi pernyataan berikut untuk menentukan apakah fitur penurunan kondisi mesin diaktifkan untuk semua kueri dalam sesi saat ini berdasarkan nilai variabel optimizer_switch:

  select @@optimizer_switch;