AnalyticDB:Import data to a Data Warehouse Edition cluster using the import tool

ファイル形式の確認

1. インポートするファイルまたはフォルダーの絶対パスをメモします。

2. 行区切り文字と列区切り文字を特定します。これらはスクリプトパラメーターで設定します。

3. ファイル内の列の順序が CREATE TABLE 文と一致することを確認してください。データベースで SHOW CREATE TABLE を実行して確認してください。テーブルとそれに対応するデータファイルは、次のようになります:

   CREATE TABLE `product_info` (
     `id` bigint NOT NULL,
     `name` varchar,
     `price` decimal(15, 2) NOT NULL
   )
   DISTRIBUTED BY HASH(`id`)
   INDEX_ALL='Y';

   1|tv|1000.0
   2|computer|2000.0
   3|cup|15.8

   ファイルには、少なくとも 2 つのカラムが含まれている必要があります。最後のカラムの後ろに続くデリミタは許容されており、1|abc|3.0 と 1|abc|3.0| はどちらも有効です。

空のフィールドは、デフォルトで null として扱われます。たとえば、4||5.0 は name 列に空文字列ではなく null を挿入します。オートインクリメント列は自動的に処理されるため、事前処理は不要です。

大容量ファイルの分割

大容量ファイルをセグメントに分割すると、インポートツールがそれらを同時に読み取ることができます。セグメントサイズは 1 ～ 2 GB を推奨します。

ファイルサイズが 128 GB の filename.txt を、2 GB ずつの 64 個のセグメントに分割します：

# split -l$((`wc -l < filename.txt`/64 + 1)) filename.txt filename.txt.split -da 2;

このツールは、インポート中に 64 個すべてのセグメントを同時に読み取ります。

必須パラメーター

すべてのインポートジョブでこれらのパラメーターを設定します。

####################################
# Path to the Java command.
# If Java is already on your PATH, leave this as-is.
####################################
java_cmd=java

####################################
# Absolute path to the import tool JAR.
# If the script and JAR are in the same directory, leave this as-is.
####################################
jar_path=adb-import-tool.jar

####################################
# Database connection settings.
# If encryptPassword=true, provide a Base64-encoded password.
####################################
host=host
port=3306
user=adbuser
password=pwd
database=dbname
encryptPassword=false

####################################
# Table name.
####################################
tableName=please_set_table_name

####################################
# Path to the file or folder to import.
# For multiple files, separate paths with commas (,).
####################################
dataPath=please_set_data_file_path_or_dir_path

####################################
# The number of files that are imported in a concurrent manner.
# To fully leverage the performance of AnalyticDB for MySQL, set this
# parameter to a number within the range of 16 to 96.
####################################
concurrency=64

####################################
# The number of values that are written when the import operation is performed.
# Specify this parameter based on the lengths of individual rows.
# To fully leverage the performance of AnalyticDB for MySQL, set this
# parameter to a number within the range of 1024 to 4096.
# Smaller batches make individual failed rows easier to identify.
####################################
batchSize=4096

####################################
# File encoding. Valid values: UTF-8, GBK.
####################################
encoding=UTF-8

####################################
# Row delimiter.
# For non-printable characters, use hexadecimal notation.
# Example: \x0d\x06\x08\x0a -> hex0d06080a
####################################
lineSeparator="\\n"

####################################
# Column delimiter.
# For non-printable characters, use hexadecimal notation.
# Example: \x07\x07 -> hex0707
####################################
delimiter="\\|"

オプションパラメーター

特定のシナリオに合わせてこれらのパラメーターを調整します。

####################################
# JVM heap size. Increase if you see frequent garbage collection (GC).
####################################
jvmopts="-Xmx12G -Xms12G"

####################################
# Max number of files read concurrently from a folder.
####################################
maxConcurrentNumOfFilesToImport=64

####################################
# How to handle empty fields.
# false (default): empty fields become null.
# true: empty fields become '' (empty string).
####################################
nullAsQuotes=false

####################################
# Print the actual row count of the destination table after each file.
####################################
printRowCount=false

####################################
# Max characters to display for failed SQL statements.
####################################
failureSqlPrintLengthLimit=1000

####################################
# Dry-run mode. true=display INSERT statements only, false=execute them.
####################################
disableInsertOnlyPrintSql=false

####################################
# Skip the header row in each file.
####################################
skipHeader=false

####################################
# Buffer pool size for INSERT batches.
# Separates I/O and compute, improving client throughput.
####################################
windowSize=128

####################################
# Escape backslashes (\) and apostrophes (') in column values.
# true (default): safe for all data but slightly slower.
# false: faster, but only use if your data contains neither character.
####################################
escapeSlashAndSingleQuote=true

####################################
# Ignore batches that fail to import instead of stopping.
####################################
ignoreErrors=false

####################################
# Print failed SQL statements.
####################################
printErrorSql=true

####################################
# Print the stack trace when a SQL error occurs.
####################################
printErrorStackTrace=true

ボトルネックがクライアント側かサーバー側かを確認する方法

リソース飽和を特定するには、クライアントマシンで以下のコマンドを実行します。

jstat が頻繁な GC を示している場合は、jvmopts を -Xmx16G -Xms16G に設定して、JVM ヒープを増加させます。

1 つのスクリプトで複数のテーブルをインポートする方法

すべてのテーブルが同じデリミタを共有する場合、tableName および dataPath をパラメーター化します。

tableName=$1
dataPath=$2

次に、テーブルごとに個別の呼び出しを実行します。

# sh adb-import.sh table_name001 /path/table_001
# sh adb-import.sh table_name002 /path/table_002
# sh adb-import.sh table_name003 /path/table_003

インポートをバックグラウンドで実行する方法

# nohup sh adb-import.sh &

ログを確認します。

# tail -f nohup.out

プロセスが実行中であることを確認します。

# ps -ef|grep import

インポートエラーを無視する方法

SQL 実行エラーが発生した場合、ignoreErrors=true を設定します。ツールはインポートを継続し、影響を受けたファイル、開始行番号、および失敗した文をログに記録します。batchSize パラメーターが指定されている場合、不正な行番号は、開始行番号と batchSize 値の合計以下になります。

列数の不一致は無視できません。行内の列数がテーブル定義と一致しない場合、ツールはそのファイルを直ちに停止します。再試行する前に、ファイルを手動で確認してください。エラーメッセージは次のようになります。

[ERROR] 2021-03-22 00:46:40,444 [producer- /test2/data/lineitem.csv.split00.100-41] analyticdb.tool.ImportTool
(ImportTool.java:591) -bad line found and stop import! 16, file = /test2/data/tpch100g/lineitem.csv.split00.100, rowCount = 7, current row = 3|123|179698|145|73200.15|0.06|0.00|R|F|1994-02-02|1994-01-04|1994-02-
23|NONE|AIR|ongside of the furiously brave acco|

インポートエラーの原因を絞り込む方法

3 つのアプローチがあります。

1. 失敗したステートメントをより多く表示するために、SQL 表示長を増やします。

   printErrorSql=true
   failureSqlPrintLengthLimit=1500

2. 不良行を特定するために、`batchSize` を減らします。

   batchSize=10

3. エラーを含む分割ファイルがすでに特定されている場合は、特定のファイルセグメントを分離します。

   dataPath=/u01/this/is/the/directory/where/product_info/stores/file007

Windows でツールを実行する方法

Windows ではシェルスクリプトは提供されません。コマンドラインインターフェイスを使用して JAR を直接呼び出します。

usage: java -jar adb-import-tool.jar [-a <arg>] [-b <arg>] [-B <arg>] [-c <arg>]
      [-D <arg>] [-d <arg>] [-E <arg>] [-f <arg>] [-h <arg>] [-I <arg>]
      [-k <arg>] [-l <arg>] [-m <arg>] [-n <arg>] [-N <arg>] [-O <arg>]
      [-o <arg>] [-p <arg>] [-P <arg>] [-Q <arg>] [-s <arg>]  [-S <arg>]
      [-t <arg>] [-T <arg>] [-u <arg>] [-w <arg>][-x <arg>] [-y <arg>] [-z <arg>]

必須パラメーター:

オプションパラメーター:

例:

デフォルトパラメーターで単一ファイルをインポートします。

java -Xmx8G -Xms8G -jar adb-import-tool.jar \
  -hyourhost.ads.aliyuncs.com -uadbuser -ppassword -P3306 -Dtest \
  --dataFile /data/lineitem.sample --tableName LINEITEM

最大スループットでフォルダー内のすべてのファイルをインポートします。

java -Xmx16G -Xms16G -jar adb-import-tool.jar \
  -hyourhost.ads.aliyuncs.com -uadbuser -ppassword -P3306 -Dtest \
  --dataFile /data/tpch100g --tableName LINEITEM \
  --concurrency 64 --batchSize 2048