PolarDB:ローカルテーブルを OSS エンジンに並列でエクスポートする

前提条件

作業を開始する前に、以下の要件を満たしていることを確認してください。

• Enterprise Edition を実行している PolarDB for MySQL クラスター。リビジョン番号は 8.0.1.1.38 以降（バージョン 8.0.1）または 8.0.2.2.25 以降（バージョン 8.0.2）であること

• クラスターに設定された OSS バケットおよび OSS サーバー。セットアップ手順については、「OSS 外部テーブルを使用して OSS データにアクセスする」をご参照ください。

• （推奨）読み取り専用ノードへの接続。プライマリノードへの影響を避けるため、読み取り専用ノードでエクスポートタスクを実行してください。/*FORCE_SLAVE*/ ヒントワードを SQL ステートメントに追加するか、直接読み取り専用ノードに接続します。

制限事項

• 並列エクスポートが可能なのは単一テーブルクエリ（SELECT * FROM table）のみです。JOIN、ORDER BY、または GROUP BY を含むクエリは、並列エクスポートの対象外です。

構文

SELECT [/*+parallel(N)*/] * FROM table_name
INTO OSSOUTFILE 'outfile_path'
[COLUMNS TERMINATED BY 'string']
[[OPTIONALLY] ENCLOSED BY 'char']
[NULL_MARKER BY 'string' | ESCAPED BY 'char']
[LINES TERMINATED BY 'string'];

並列エクスポートをトリガーするには、/*+parallel(N)*/ ヒントワードを追加します。ここで、N はパラレルワーカーの数です。または、エラスティック並列クエリ機能を有効にして、データベースが自動的に並列処理の次数を決定するようにすることもできます。詳細については、「概要」をご参照ください。

INTO OSSOUTFILE 句が拡張する完全な SELECT 構文については、MySQL ドキュメントをご参照ください。

注意事項

テーブルを並列でエクスポートする

以下の例では、lineitem テーブルを 4 つのパラレルワーカーでエクスポートします。

1. クエリが並列実行をサポートしているか確認します。 プランナーがスキャンを並列化できるかどうかを検証するために、EXPLAIN を実行します。

   EXPLAIN SELECT /*+parallel(4)*/ * FROM lineitem;

   期待される出力：

   +----+-------------+-----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------+
   | id | select_type | table     | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra                     |
   +----+-------------+-----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------+
   |  1 | SIMPLE      | <gather1> | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 5392844 |   100.00 | NULL                      |
   |  1 | SIMPLE      | lineitem  | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 1348211 |   100.00 | Parallel scan (4 workers) |
   +----+-------------+-----------+------------+------+---------------+------+---------+------+---------+----------+---------------------------+

   Extra 列に Parallel scan が表示されている場合、並列実行が利用可能です。

2. OSS サーバーを作成します。 すでに OSS サーバーが設定済みの場合は、この手順をスキップしてください。

   CREATE SERVER outserver FOREIGN DATA WRAPPER oss OPTIONS (
     EXTRA_SERVER_INFO '{"oss_endpoint": "oss-cn-zhangjiakou.aliyuncs.com",
                         "oss_bucket": "polardb",
                         "oss_access_key_id": "<your-access-key-id>",
                         "oss_access_key_secret": "<your-access-key-secret>",
                         "oss_prefix": "B_outfile"}'
   );

   プレースホルダーの値を、ご利用の OSS 認証情報およびバケット情報に置き換えてください。

3. このクエリで並列エクスポートがサポートされているか確認します。 プランナーが並列エクスポートを使用することを確認するために、完全なエクスポートステートメントに対して EXPLAIN を実行します。

   EXPLAIN SELECT /*+parallel(4)*/ * FROM lineitem
   INTO OSSOUTFILE 'outserver/t1.CSV'
   COLUMNS TERMINATED BY ','
   OPTIONALLY ENCLOSED BY '"'
   NULL_MARKER BY 'NULL'
   LINES TERMINATED BY '\n';

   期待される出力：

   +----+-------------+-----------+------------+------+---------------+------+---------+------+---------+----------+--------------------------------------------------------+
   | id | select_type | table     | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra                                                  |
   +----+-------------+-----------+------------+------+---------------+------+---------+------+---------+----------+--------------------------------------------------------+
   |  1 | SIMPLE      | <gather1> | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 5805759 |   100.00 | Parallel export OSS outfile                            |
   |  1 | SIMPLE      | lineitem  | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 1451439 |   100.00 | Parallel scan (4 workers); Parallel export OSS outfile |
   +----+-------------+-----------+------------+------+---------------+------+---------+------+---------+----------+--------------------------------------------------------+

   Extra 列に Parallel export OSS outfile が表示されている場合、並列エクスポートが有効です。表示されない場合は、「トラブルシューティング」をご参照ください。

4. エクスポートを実行します。

   SELECT /*+parallel(4)*/ * FROM lineitem
   INTO OSSOUTFILE 'outserver/t1.CSV'
   COLUMNS TERMINATED BY ','
   OPTIONALLY ENCLOSED BY '"'
   NULL_MARKER BY 'NULL'
   LINES TERMINATED BY '\n';

   エクスポート実行中は、別のセッションから「注意事項」で説明されている SHOW STATUS コマンドを使用してリソース使用量をモニターできます。

トラブルシューティング

EXPLAIN の出力に Parallel export OSS outfile が表示されない場合は、オプティマイザートレースを使用してその理由を特定します。

1. オプティマイザートレースを有効にします。

   SET optimizer_trace="enabled=on";

2. 並列でエクスポートされる結果を持つ SQL ステートメントの実行計画を表示するために、以下のステートメントを実行します。

   EXPLAIN SELECT /*+parallel(4)*/ * FROM lineitem WHERE l_orderkey < 100
   INTO OSSOUTFILE 'default_oss_server/t1'
   COLUMNS TERMINATED BY ','
   OPTIONALLY ENCLOSED BY '"'
   NULL_MARKER BY 'NULL'
   LINES TERMINATED BY '\n';

3. トレース結果を照会します。

   SELECT * FROM INFORMATION_SCHEMA.OPTIMIZER_TRACE;

4. 出力結果で considered_parallel_outfile オブジェクトを見つけ、cause フィールドを確認します。

   "considered_parallel_outfile": {
     "choose": false,
     "storage": "OSS",
     "format": "CSV",
     "mean_outfile_record_length": "79 B",
     "estimate_single_worker_outfile_size": "8 KB",
     "cause": "The data written by each worker should be greater than 1024 KB (pq_oss_min_worker_write_size)."
   }

   cause フィールドには、並列エクスポートが使用されなかった理由が記述されています。

次のステップ

• OSS 外部テーブルを使用して OSS データにアクセスする

• エラスティック並列クエリの概要