ApsaraDB for SelectDB:DataX を使用したデータインポート

ステップ 1：DataX 環境の構築

1. GitHub 上の Doris 拡張から DataX パッケージをダウンロードします。

2. 初期化スクリプトを実行します。

   sh init-env.sh

3. DataX プロジェクトをコンパイルします。

   必要に応じて hdfsreader、hdfswriter、ossreader、または osswriter プラグインを使用する場合は、追加の JAR パッケージが必要です。これらのプラグインをスキップする場合は、コンパイル前に DataX/pom.xml から対応するモジュールを削除してください。

   cd DataX/
   mvn package assembly:assembly -Dmaven.test.skip=true

   コンパイル後の出力は、target/datax/datax/ ディレクトリに保存されます。

4. mysqlreader および doriswriter プラグインを個別にコンパイルします。

   mvn clean install -pl plugin-rdbms-util,mysqlreader,doriswriter -DskipTests

ステップ 2：MySQL におけるテストデータの準備

1. MySQL でテストテーブルを作成します。

   CREATE TABLE `employees` (
     `emp_no`     int          NOT NULL,
     `birth_date` date         NOT NULL,
     `first_name` varchar(14)  NOT NULL,
     `last_name`  varchar(16)  NOT NULL,
     `gender`     enum('M','F') NOT NULL,
     `hire_date`  date         NOT NULL,
     PRIMARY KEY (`emp_no`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

2. Data Management (DMS) を使用してテストデータを生成します。

ステップ 3：ApsaraDB for SelectDB における送信先テーブルの作成

1. MySQL プロトコル経由で ApsaraDB for SelectDB のインスタンスに接続します。詳細については、「インスタンスへの接続」をご参照ください。

2. データベースおよび送信先テーブルを作成します。

   CREATE DATABASE test_db;
   
   USE test_db;
   CREATE TABLE employees (
       emp_no     int NOT NULL,
       birth_date date,
       first_name varchar(20),
       last_name  varchar(20),
       gender     char(2),
       hire_date  date
   )
   UNIQUE KEY(`emp_no`)
   DISTRIBUTED BY HASH(`emp_no`) BUCKETS 1;

ステップ 4：DataX インポートジョブの実行

1. ApsaraDB for SelectDB のインスタンスに対してパブリックエンドポイントを申請します。詳細については、「パブリックエンドポイントの申請またはリリース」をご参照ください。

2. DataX ホストのパブリック IP アドレスを、インスタンスの IP アドレスホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。

3. ジョブ構成ファイル mysqlToSelectDB.json を作成します。

   {
     "job": {
       "content": [
         {
           "reader": {
             "name": "mysqlreader",
             "parameter": {
               "column": [
                 "emp_no", "birth_date", "first_name",
                 "last_name", "gender", "hire_date"
               ],
               "where": "emp_no>0",
               "connection": [
                 {
                   "jdbcUrl": [
                     "jdbc:mysql://host:port/test_db?useUnicode=true&allowPublicKeyRetrieval=true&characterEncoding=utf-8"
                   ],
                   "table": ["employees"]
                 }
               ],
               "password": "123456",
               "splitPk": "emp_no",
               "username": "admin"
             }
           },
           "writer": {
             "name": "doriswriter",
             "parameter": {
               "loadUrl": [
                 "selectdb-cn-xxx-public.selectdbfe.rds.aliyuncs.com:8080"
               ],
               "loadProps": {
                 "format": "json",
                 "strip_outer_array": "true"
               },
               "column": [
                 "emp_no", "birth_date", "first_name",
                 "last_name", "gender", "hire_date"
               ],
               "username": "admin",
               "password": "123456",
               "postSql": [],
               "preSql": [],
               "connection": [
                 {
                   "jdbcUrl": "jdbc:mysql://selectdb-cn-xxx-public.selectdbfe.rds.aliyuncs.com:9030/test_db",
                   "table": ["employees"],
                   "selectedDatabase": "test_db"
                 }
               ],
               "maxBatchRows": 1000000,
               "batchSize": 536870912000
             }
           }
         }
       ],
       "setting": {
         "errorLimit": {
           "percentage": 0.02,
           "record": 0
         },
         "speed": {
           "channel": 5
         }
       }
     }
   }

4. ジョブを実行します。

   cd target/datax/datax/bin
   python datax.py ../mysqlToSelectDB.json

カスタム区切り文字の使用

区切り文字を変更するには、loadProps で設定します。\x01 や \x02 のような非表示文字を使用することで、タブや改行を含むデータとの競合を回避できます。

"loadProps": {
    "format": "csv",
    "column_separator": "\\x01",
    "line_delimiter": "\\x02"
}

JSON 形式の使用

代わりに JSON 形式でデータをインポートするには、以下のように設定します。

"loadProps": {
    "format": "json",
    "strip_outer_array": true
}