ApsaraDB for SelectDB:SELECT\ INTO\ OUTFILE

仕組み

1. エクスポート対象のデータを定義する SELECT クエリを作成します。

2. OSS または HDFS 上の宛先パスを指定し、出力フォーマットおよびプロパティを設定します。

3. 文を実行します。SelectDB はクエリを実行し、結果を宛先に単一の同期操作で書き込みます。

4. 返された行のファイル数、行数、ファイルサイズを確認して、正常終了を確認します。

注意事項

総所要時間 = クエリ実行時間 + 結果書き込み時間

SET query_timeout = <秒数>;

制限事項

SELECT INTO OUTFILE は、Amazon Simple Storage Service（Amazon S3）プロトコルおよび HDFS プロトコルのみをサポートしています。

構文

query_stmt
INTO OUTFILE "file_path"
[FORMAT AS format_name]
[PROPERTIES ("key"="value", ...)]

<プレフィックス><インスタンス名>_<シーケンス>.csv

my_file_abcdefg_0.csv
my_file_abcdefg_1.csv
my_file_abcdefg_2.csv
...

応答

SELECT INTO OUTFILE は同期処理です。文の実行が完了すると、エクスポートスレッドごとに 1 行の応答が返されます。

正常終了時の応答：

SELECT * FROM tbl1 LIMIT 10 INTO OUTFILE "file:///home/work/path/result_";

+------------+-----------+----------+--------------------------------------------------------------------+
| ファイル番号 | 合計行数  | ファイルサイズ | URL                                                                |
+------------+-----------+----------+--------------------------------------------------------------------+
|          1 |         3 |        7 | file:///192.168.1.10/home/work/path/result_{fragment_instance_id}_ |
|          1 |         2 |        4 | file:///192.168.1.11/home/work/path/result_{fragment_instance_id}_ |
+------------+-----------+----------+--------------------------------------------------------------------+
2 行が取得されました (2.218 秒)

並列エクスポート時の応答（スレッドごとに 1 行、複数行）：

+------------+-----------+----------+--------------------------------------------------------------------+
| ファイル数 | 合計行数 | ファイルサイズ | URL                                                                |
+------------+-----------+----------+--------------------------------------------------------------------+
|          1 |         3 |        7 | file:///192.168.1.10/home/work/path/result_{fragment_instance_id}_ |
|          1 |         2 |        4 | file:///192.168.1.11/home/work/path/result_{fragment_instance_id}_ |
+------------+-----------+----------+--------------------------------------------------------------------+
2 行が返されました（2.218 秒）

エラー応答：

ERROR 1064 (HY000): errCode = 2, detailMessage = ...

並列エクスポートの有効化

デフォルトでは、エクスポートは単一の BE ノードスレッドで実行されます。並列エクスポートを有効化すると、ワークロードを複数の BE ノードに分散できます。

ステップ 1：セッション変数を有効化します。

SET enable_parallel_outfile = true;

ステップ 2：クエリが並列エクスポートをサポートしているか確認します。

EXPLAIN を使用して、SELECT INTO OUTFILE 文を解析します：

EXPLAIN <select_into_outfile_statement>;

出力を確認します：

• 並列エクスポートがサポートされている場合： RESULT FILE SINK が PLAN FRAGMENT 1 に表示されます。

• 並列エクスポートがサポートされていない場合： RESULT FILE SINK が PLAN FRAGMENT 0 に表示されます。

ORDER BY を含むクエリは、enable_parallel_outfile = true であっても並列実行できません。これは、並べ替えにはシングルスレッドによるマージステップが必要であるためです。

並列エクスポートがサポートされるクエリプランの例：

+-----------------------------------------------------------------------------+
| 実行計画文字列                                                         |
+-----------------------------------------------------------------------------+
| PLAN FRAGMENT 0                                                             |
|  OUTPUT EXPRS:<slot 2> | <slot 3> | <slot 4> | <slot 5>                     |
|   PARTITION: UNPARTITIONED                                                  |
|                                                                             |
|   RESULT SINK                                                               |
|                                                                             |
|   1:EXCHANGE                                                                |
|                                                                             |
| PLAN FRAGMENT 1                                                             |
|  OUTPUT EXPRS:`k1` + `k2`                                                   |
|   PARTITION: HASH_PARTITIONED: `default_cluster:test`.`multi_tablet`.`k1`   |
|                                                                             |
|   RESULT FILE SINK                                                          |
|   FILE PATH: s3://ml-bd-repo/bpit_test/outfile_1951_                        |
|   STORAGE TYPE: S3                                                          |
|                                                                             |
|   0:OlapScanNode                                                            |
|      TABLE: multi_tablet                                                    |
+-----------------------------------------------------------------------------+

ステップ 3：最大同時実行数の算出（任意）

並列エクスポートがサポートされている場合、同時実行可能な最大リクエスト数は以下のとおりです：

be_instance_num × parallel_fragment_exec_instance_num

• be_instance_num：BE ノード数。32 コア以下のクラスターでは 1 ノード、32 コア以上のクラスターでは、各ノードが 32 コアとなる複数ノードが使用されます。

• parallel_fragment_exec_instance_num：ノードごとの並列度設定。

現在の並列度設定を確認するには：

SHOW VARIABLES LIKE '%parallel_fragment_exec_instance_num%';

設定するには：

SET parallel_fragment_exec_instance_num = <値>;

例

-- fileSystem_port のデフォルト値：9000
SELECT * FROM tbl
INTO OUTFILE "hdfs://${host}:${fileSystem_port}/path/to/result_"
FORMAT AS CSV
PROPERTIES
(
    "fs.defaultFS" = "hdfs://ip:port",
    "hadoop.username" = "work"
);

-- fileSystem_port のデフォルト値：8020
SELECT * FROM tbl
INTO OUTFILE "hdfs:///path/to/result_"
FORMAT AS CSV
PROPERTIES
(
    "fs.defaultFS" = "hdfs://hacluster/",
    "dfs.nameservices" = "hacluster",
    "dfs.ha.namenodes.hacluster" = "n1,n2",
    "dfs.namenode.rpc-address.hacluster.n1" = "192.168.0.1:8020",
    "dfs.namenode.rpc-address.hacluster.n2" = "192.168.0.2:8020",
    "dfs.client.failover.proxy.provider.hacluster" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
);

SELECT k1 FROM tbl1 UNION SELECT k2 FROM tbl1
INTO OUTFILE "s3://oss-bucket/result_"
FORMAT AS PARQUET
PROPERTIES
(
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.access_key" = "****",
    "s3.secret_key" = "****",
    "s3.region" = "cn-hangzhou"
);

SET enable_parallel_outfile = true;

SELECT k1 FROM tb1 LIMIT 1000
INTO OUTFILE "s3://my_bucket/export/my_file_"
FORMAT AS CSV
PROPERTIES
(
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.access_key" = "****",
    "s3.secret_key" = "****",
    "s3.region" = "cn-hangzhou"
);

SET enable_parallel_outfile = true;

SELECT k1 FROM tb1 ORDER BY k1 LIMIT 1000
INTO OUTFILE "s3://my_bucket/export/my_file_"
FORMAT AS CSV
PROPERTIES
(
    "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",
    "s3.access_key" = "****",
    "s3.secret_key" = "****",
    "s3.region" = "cn-hangzhou"
);

データの型のマッピング

Parquet または ORC へのエクスポート時に、SelectDB はデータの型を、各ファイル形式でサポートされる型に自動的にマッピングします。