PolarDB:OSS 外部テーブルを使用した OSS データへのアクセス

OSS エンジンは、適格な条件をリモートの OSS エンジンにプッシュダウンすることで、クエリのパフォーマンスを向上させます。この最適化は エンジン条件プッシュダウンと呼ばれます。条件プッシュダウンには次の制限が適用されます：

• UTF-8 でエンコードされた CSV テキストファイルのみがサポートされます。

• SQL 文では、次の種類の演算子と算術式のみがサポートされます：

  • 比較演算子：>、<、>=、<=、==

  • 論理演算子：LIKE、IN、AND、OR

  • 算術式：+ 、- 、 * 、 /

• 単一ファイルのクエリのみがサポートされます。`JOIN`、`ORDER BY`、`GROUP BY`、または `HAVING` 句を使用するクエリはサポートされていません。

• WHERE 句に集約操作を含めることはできません。たとえば、where max(age) > 100 は許可されません。

• 最大列数は 1,000 で、SQL 文の列名の最大長は 1,024 バイトです。

• LIKE 句では、最大 5 つの % ワイルドカードがサポートされます。

• IN 句では、最大 1,024 の定数がサポートされます。

• CSV ファイルの場合、行ごとの最大サイズは 256 KB、列ごとの最大サイズは 256 KB です。

• SQL 文の最大長は 16 KB です。WHERE 句には最大 20 の式を含めることができ、クエリには最大 100 の集約操作を含めることができます。

これらの条件を満たすクエリは OSS エンジンにプッシュダウンされます。OSS 外部テーブルの実行計画を確認して、どの条件がプッシュダウンされるかを確認します。

• EXPLAIN を使用して OSS 外部テーブルの実行計画を表示します。例：

  EXPLAIN SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  | id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows  | filtered | Extra                                                                                                                            |
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  |  1 | SIMPLE      | t1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 15000 |     1.23 | Using where; With pushed engine condition ((`test`.`t1`.`id` > 5) and (`test`.`t1`.`id` < 100)); Using temporary; Using filesort |
  +----+-------------+-------+------------+------+---------------+------+---------+------+-------+----------+----------------------------------------------------------------------------------------------------------------------------------+
  1 row in set, 1 warning (0.00 sec)

  With pushed engine condition に続く条件は、リモートの OSS エンジンにプッシュダウンされます。残りの条件、`name` LIKE "%1%%%%%" および GROUP BY `id` ORDER BY `id` DESC はプッシュダウンされず、ローカルの OSS サーバーでのみ実行されます。

• tree 形式を使用して OSS 外部テーブルの実行計画を表示します。例：

  EXPLAIN FORMAT=tree  SELECT SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | EXPLAIN                                                                                                                                                                                                                                                                                                           |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | -> Sort: <temporary>.id DESC
      -> Table scan on <temporary>
          -> Aggregate using temporary table
              -> Filter: (t1.`name` like '%1%%%%%')  (cost=1690.00 rows=185)
                  -> Table scan on t1, extra ( engine conditions: ((t1.id > 5) and (t1.id < 100)) )  (cost=1690.00 rows=15000)
   |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  1 row in set (0.00 sec)

  engine conditions: に続く条件は、リモートの OSS エンジンにプッシュダウンされます。残りの条件、`name` LIKE "%1%%%%%" および GROUP BY `id` ORDER BY `id` DESC はプッシュダウンされず、ローカルの OSS サーバーでのみ実行されます。

  説明

  ご利用のクラスターは PolarDB for MySQL 8.0.2 以降を実行している必要があります。「バージョン番号のクエリ」の指示に従ってクラスターのバージョンを確認できます。

• JSON 形式を使用して OSS 外部テーブルの実行計画を表示します。例：

  EXPLAIN FORMAT=json  SELECT count(*) FROM `t1` WHERE `id` > 5 AND `id` < 100 AND `name` LIKE "%1%%%%%" GROUP BY `id` ORDER BY `id` DESC;
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | EXPLAIN                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  | {
    "query_block": {
      "select_id": 1,
      "cost_info": {
        "query_cost": "1875.13"
      },
      "ordering_operation": {
        "using_filesort": false,
        "grouping_operation": {
          "using_temporary_table": true,
          "using_filesort": true,
          "cost_info": {
            "sort_cost": "185.13"
          },
          "table": {
            "table_name": "t1",
            "access_type": "ALL",
            "rows_examined_per_scan": 15000,
            "rows_produced_per_join": 185,
            "filtered": "1.23",
            "engine_condition": "((`test`.`t1`.`id` > 5) and (`test`.`t1`.`id` < 100))",
            "cost_info": {
              "read_cost": "1671.49",
              "eval_cost": "18.51",
              "prefix_cost": "1690.00",
              "data_read_per_join": "146K"
            },
            "used_columns": [
              "id",
              "name"
            ],
            "attached_condition": "(`test`.`t1`.`name` like '%1%%%%%')"
          }
        }
      }
    }
  } |
  +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
  1 row in set, 1 warning (0.00 sec)

  同様に、 engine_condition フィールドの条件はリモートの OSS エンジンにプッシュダウンされます。残りの条件、`name` LIKE "%1%%%%%" および GROUP BY `id` ORDER BY `id` DESC はプッシュダウンされず、ローカルの OSS サーバーでのみ実行されます。

次のエラーが表示された場合、OSS データファイル内の一部の文字がエンジン条件プッシュダウンと互換性がないことを示しています。

OSS error: The current query does not support engine condition pushdown. You need to use NO_ECP() hint or set optimizer_switch = 'engine_condition_pushdown=OFF' to turn off the condition push down function.

hint または optimizer_switch を使用して、エンジン条件プッシュダウンを手動で無効にすることができます。

• ヒント

  ヒントを使用して、特定のクエリのエンジン条件プッシュダウンを無効にします。たとえば、 t1 テーブルのエンジン条件プッシュダウンを無効にするには：

  SELECT /*+ NO_ECP(t1) */ `j` FROM `t1` WHERE `j` LIKE "%c%" LIMIT 10;

• optimizer_switch

  optimizer_switch を使用して、現在のセッションのすべてのクエリでエンジン条件プッシュダウンを無効にします。

  SET SESSION optimizer_switch='engine_condition_pushdown=off'; # 現在のセッションのエンジン条件プッシュダウンを無効にします。

  現在のセッションのエンジン条件プッシュダウンの状態を確認するには、次のコマンドを実行します：

  select @@optimizer_switch;