PolarDB:Batch Tool を使用したデータのインポートおよびエクスポート

データのエクスポート

以下の例では、シャーディングモードで customer テーブルから tpch データベースのデータをエクスポートします。

デフォルト設定でエクスポートする

出力ファイル数は、テーブルのシャード数と等しくなります。

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -col "c_custkey;c_name;c_nationkey"

固定数のファイルに出力する

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -F 3

-F 3 により、出力を正確に 3 つのファイルに分割します。

ファイルごとの行数を制限する

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -L 100000

-L 100000 により、各ファイルの最大行数を 100,000 行に設定します。各ファイルには 200 行～100,000 行が含まれる可能性があります。

WHERE 条件で行をフィルターする

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -w "c_nationkey=10"

-w "c_nationkey=10" により、c_nationkey が 10 に等しい行のみをエクスポートします。

フィールド値を強制的に引用符で囲む

フィールド値に区切り文字が含まれる場合は、-quote force を使用して、すべての値を二重引用符で囲みます。

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -quote force

指定カラムのみをエクスポートする

-col を使用して、指定したカラムのみをエクスポートします。

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -col "c_custkey;c_name;c_nationkey"

-col "c_custkey;c_name;c_nationkey" により、これらの 3 つのカラムのみをセミコロン区切りでエクスポートします。

GZIP 圧縮でエクスポートする

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -comp GZIP

-comp GZIP により、各出力ファイルが圧縮されます。大規模なテーブルをエクスポートする際にディスク使用率を削減する場合に使用します。

DDL を含めてエクスポートする

-DDL WITH を使用すると、データとともに CREATE TABLE ステートメントも出力されます。

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -DDL WITH

DDL のみ（データなし）をエクスポートする場合は、-DDL ONLY を使用します。

ORDER BY を使用してエクスポートする

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o export -t customer -s , -O asc -OC "c_custkey"

• -O asc により、並べ替え方向を昇順に設定します。

• -OC "c_custkey" により、並べ替え対象のカラムを指定します。

大規模なテーブルの場合、エクスポート速度を向上させるために、-para true を追加して並列マージソートを使用できます。

データのインポート

以下の例では、シャーディングモードで lineitem テーブルにデータをインポートします。このテーブルは tpch データベースにあります。

インポートを実行する前に、対象テーブルを作成してください。テーブル構造は、ソースファイルの構造と一致している必要があります。

単一ファイルをインポートする

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o import -t lineitem -s , -f "./data/lineitem.csv" -i true -H "./lineitem_history.txt"

-f "./data/lineitem.csv" により、ソース CSV ファイルのパスを指定します。

ディレクトリ内のすべてのファイルをインポートする

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o import -t lineitem -s , -dir "./data/lineitem/"

-dir "./data/lineitem/" により、指定されたディレクトリ内のすべてのファイルをインポートします。各ファイル名は対象テーブル名で始める必要があります（例： lineitem0_1）。

ブレークポイントから再開してインポートする

インポートが中断された場合、-i true および -H を使用して、中断地点から再開できます。

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o import -t lineitem -s , -f "./data/lineitem.csv" -i true -H "./lineitem_history.txt"

• -i true により、INSERT-IGNORE モードおよびブレークポイント再開が有効化されます。

• -H "./lineitem_history.txt" により、進行状況を追跡する履歴ファイルを指定します。

インポートスループットをチューニングする

大規模なインポートでは、同時実行数およびバッチサイズを調整することでパフォーマンスを向上させられます。

java -jar batch-tool.jar -P 3306 -h 127.0.XX.XX -u user_**** -p 12**** -D tpch -o import -t lineitem -s , -dir "./data/lineitem/" -pro 4 -con 8 -batchsize 500

• -pro 4 により、ファイルからデータを読み取るプロデューサー スレッド数を 4 に設定します。

• -con 8 により、データベースへデータを書き込むコンシューマー スレッド数を 8 に設定します。

• -batchsize 500 により、1 バッチあたりの挿入行数を 500 行に設定します。

これらの値から開始し、データベースの容量および実測されたスループットに基づいて調整してください。