ApsaraDB for SelectDB:DataWorks を使用したデータのインポート

データソースの追加

データ同期タスクを開発する前に、DataWorks で MySQL データソースと SelectDB データソースを作成します。

1. MySQL データソースを作成します。詳細については、「MySQL データソース」をご参照ください。

2. SelectDB データソースを作成します。詳細については、「データソース管理」をご参照ください。以下の表に、主なパラメーターを示します。

   パラメーター	説明
   データソース名	データソースの名前です。
   MySQL 接続文字列	JDBC 接続文字列：jdbc:mysql://<ip>:<port>/<dbname>。 ApsaraDB for SelectDB コンソールで、インスタンスの詳細 > ネットワーク情報 ページに移動し、VPC アドレス（または インターネットアドレス）および MySQL プロトコルポート を取得します。 例：jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db 説明 MySQL インスタンスと ApsaraDB for SelectDB インスタンスが同じ VPC 内にある場合は、VPC アドレス を使用します。それ以外の場合は、インターネットアドレス を使用します。
   HTTP 接続アドレス	HTTP 接続アドレス：<ip>:<port>。 ApsaraDB for SelectDB コンソールで、インスタンスの詳細 > ネットワーク情報 ページに移動し、VPC アドレス（または インターネットアドレス）および HTTP プロトコルポート を取得します。 例：selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080 説明 MySQL インスタンスと ApsaraDB for SelectDB インスタンスが同じ VPC 内にある場合は、VPC アドレス を使用します。それ以外の場合は、インターネットアドレス を使用します。
   ユーザー名	ご利用の ApsaraDB for SelectDB インスタンスのユーザー名を入力します。
   パスワード	ご利用の ApsaraDB for SelectDB インスタンスのユーザーのパスワードを入力します。

   重要

   データソースを追加するには、SelectDB などのデータソースのホワイトリストに DataWorks リソースグループの IP アドレスを追加する必要があります。詳細については、「IP アドレスのホワイトリストへの追加」をご参照ください。ホワイトリストを構成する際は、専用および共有の Data Integration リソースグループを区別してください。

単一テーブルのオフライン同期の構成

オフライン同期タスクは、ウィザードモードまたはスクリプトモードで構成できます。詳細については、以下のトピックをご参照ください。

• ウィザードモードでの構成

• スクリプトモードでの構成

  スクリプトモードのパラメーターの完全な一覧とスクリプトサンプルについては、「スクリプトモード：サンプルとパラメーター」をご参照ください。

オフラインタスクのスクリプト構成

スクリプトモードでオフラインタスクを構成する場合は、「スクリプトモードでの構成」で説明されている形式を使用します。

MySQL Reader および SelectDB Writer のスクリプトサンプル

{
	"type":"job",
	"version":"2.0",
	"steps":[
		{
			"stepType":"mysql",
			"parameter":{
				"column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
				"connection":[
					{
						"datasource":"<mysql_datasource>",
						"table":[
							"<mysql_table_name>"
						]
					}
				],
				"where":"",
				"splitPk":"",
				"encoding":"UTF-8"
			},
			"name":"Reader",
			"category":"reader"
		},
		{
			"stepType":"selectdb",
			"parameter":{
        "postSql":[
        ],
        "preSql":[
        ],
        "username": "<selectdb_username>",
        "password": "<selectdb_password>",
        "loadUrl":[
          "<ip:port>"
        ],
        "column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
        "connection":[
					{
						"datasource":"<selectdb_datasource>",
						"table":[
							"<selectdb_table_name>"
						]
					}
				],
        "maxBatchRows":1000000,
        "loadProps":{
          "format":"csv",
          "column_separator": "\\x01",
          "line_delimiter": "\\x02"
        }
      },
			"name":"Writer",
			"category":"writer"
		}
	],
	"setting":{
		"errorLimit":{
			"record":"0"
		},
		"speed":{
			"throttle":false,
			"concurrent":1
		}
	},
	"order":{
		"hops":[
			{
				"from":"Reader",
				"to":"Writer"
			}
		]
	}
}

スクリプトパラメーター

"loadProps": {
   "format": "json",
   "strip_outer_array":true
}

"loadProps": {
   "format":"csv",
   "column_separator": "\\x01",
   "line_delimiter": "\\x02"
}