ApsaraDB for SelectDB:BitSail を使用したデータのインポート

必須パラメーター

任意パラメーター

書き込み動作

データ形式

ステップ 1：環境の準備

1. BitSail インストールパッケージをダウンロードして展開します。

   wget feilun-justtmp.oss-cn-hongkong.aliyuncs.com/bitsail.tar.gz
   tar -zxvf bitsail.tar.gz

2. ApsaraDB for SelectDB コンソールで、以下の操作を完了します。

   1. まだ SelectDB インスタンスをお持ちでない場合は、新規作成します。

   2. インスタンスへの接続 を MySQL プロトコル経由で行います。

   3. テスト用データベースおよびテーブルを作成します。

      CREATE DATABASE test_db;
      
      CREATE TABLE `test_table` (
        `id` BIGINT(20) NULL,
        `bigint_type` BIGINT(20) NULL,
        `string_type` VARCHAR(100) NULL,
        `double_type` DOUBLE NULL,
        `decimal_type` DECIMALV3(27, 9) NULL,
        `date_type` DATEV2 NULL,
        `partition_date` DATEV2 NULL
      ) ENGINE=OLAP
      DUPLICATE KEY(`id`)
      COMMENT 'OLAP'
      DISTRIBUTED BY HASH(`id`) BUCKETS 10
      PROPERTIES (
        "light_schema_change" = "true"
      );

   4. インスタンスに対してパブリックエンドポイントを申請します。

   5. BitSail ホストの IP アドレスを追加するをインスタンスの IP アドレスホワイトリストに追加します。

ステップ 2：ジョブ構成の作成

以下の内容で test.json というファイルを作成します。load_url、jdbc_url、cluster_name、user、および password の値を、実際の値に置き換えてください。

{
  "job": {
    "common": {
      "job_id": -2413,
      "job_name": "bitsail_fake_to_selectdb_test",
      "instance_id": -20413,
      "user_name": "user"
    },
    "reader": {
      "class": "com.bytedance.bitsail.connector.legacy.fake.source.FakeSource",
      "total_count": 300,
      "rate": 10000,
      "random_null_rate": 0,
      "unique_fields": "id",
      "columns_with_fixed_value": [
        {
          "name": "partition_date",
          "fixed_value": "2022-10-10"
        }
      ],
      "columns": [
        { "index": 0, "name": "id",             "type": "long" },
        { "index": 1, "name": "bigint_type",    "type": "long" },
        { "index": 2, "name": "string_type",    "type": "string" },
        { "index": 3, "name": "double_type",    "type": "double" },
        { "index": 4, "name": "decimal_type",   "type": "double" },
        { "index": 5, "name": "date_type",      "type": "date.date" },
        { "index": 6, "name": "partition_date", "type": "string" }
      ]
    },
    "writer": {
      "class": "com.bytedance.bitsail.connector.selectdb.sink.SelectdbSink",
      "load_url": "selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080",
      "jdbc_url": "selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030",
      "cluster_name": "new_cluster",
      "user": "admin",
      "password": "****",
      "table_identifier": "test_db.test_table",
      "columns": [
        { "index": 0, "name": "id",             "type": "bigint" },
        { "index": 1, "name": "bigint_type",    "type": "bigint" },
        { "index": 2, "name": "string_type",    "type": "varchar" },
        { "index": 3, "name": "double_type",    "type": "double" },
        { "index": 4, "name": "decimal_type",   "type": "double" },
        { "index": 5, "name": "date_type",      "type": "date" },
        { "index": 6, "name": "partition_date", "type": "date" }
      ]
    }
  }
}

ステップ 3：ジョブの実行

bash bin/bitsail run --engine flink --execution-mode run --deployment-mode local --conf test.json

ジョブが正常に完了した場合、対象テーブルをクエリして、レコードが正しく書き込まれていることを確認します。

SELECT COUNT(*) FROM test_db.test_table;

結果として、300 行が返されることを確認してください。