DataWorks:AnalyticDB for MySQL 3.0 データソース

バッチ読み取り

AnalyticDB for MySQL 3.0 Reader は、以下のデータの型をサポートしています。

バッチ書き込み

AnalyticDB for MySQL 3.0 Writer は、以下のデータの型をサポートしています。

単一テーブルバッチ同期タスクの設定

• 設定方法については、「コードレス UI での設定」および「コードエディタでの設定」をご参照ください。

• コードエディタ向けの全パラメーター一覧およびサンプルスクリプトについては、「付録：スクリプト例とパラメーター」をご参照ください。

単一テーブルリアルタイム同期タスクの設定

設定方法については、「単一テーブルリアルタイム同期タスクの設定」をご参照ください。

フルデータベースバッチ同期の設定

設定方法については、「フルデータベースバッチ同期タスクの設定」をご参照ください。

フルデータベースリアルタイム同期の設定

設定方法については、「フルデータベースリアルタイム同期タスクの設定」をご参照ください。

コードエディタによるバッチ同期タスクの設定

コードエディタでバッチ同期タスクを設定する場合、統一されたスクリプトフォーマット要件に基づき、関連するパラメーターをスクリプト内に設定する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下に、コードエディタでバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプト例

{
  "type": "job",
  "steps": [
    { 
      "stepType": "analyticdb_for_mysql", // プラグイン名。
      "parameter": {
        "column": [ // 読み取るカラム。
          "id",
          "value",
          "table"
        ],
        "connection": [
          {
            "datasource": "xxx", // データソース名。
            "table": [ // テーブル名。
              "xxx"
            ]
          }
        ],
        "where": "", // フィルター条件。
        "splitPk": "", // 分割キー。
        "encoding": "UTF-8" // エンコード形式。
      },
      "name": "Reader",
      "category": "reader"
    },
    { 
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "version": "2.0",
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": "0" // 許容されるエラーレコードの最大数。
    },
    "speed": {
      "throttle":true,// `true` を指定すると速度制限が有効になり、`mbps` 制限が適用されます。`false` を指定すると無効になります。
      "concurrent":1, // タスクの同時実行数。
      "mbps":"12"// MB/s 単位でのレート制限。
    }
  }
}

Reader パラメーター

Writer スクリプト例

{
  "type": "job",
  "steps": [
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "analyticdb_for_mysql", // プラグイン名。
      "parameter": {
        "postSql": [], // インポート後に実行する SQL 文。
        "tableType": null, // 予約フィールド。デフォルト値は null です。
        "datasource": "hangzhou_ads", // データソース名。
        "column": [ // 同期するカラム。
          "id",
          "value"
        ],
        "guid": null,
        "writeMode": "insert", // 書き込みモード。writeMode パラメーターの説明を参照してください。
        "batchSize": 2048, // 各バッチ書き込みのレコード数。batchSize パラメーターの説明を参照してください。
        "encoding": "UTF-8", // エンコード形式。
        "table": "t5", // 宛先テーブル名。
        "preSql": [] // インポート前に実行する SQL 文。
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "version": "2.0", // 構成ファイルフォーマットのバージョン。
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": "0" // 許容されるエラーレコードの最大数。
    },
    "speed": {
      "throttle":true,// `true` を指定すると速度制限が有効になり、`mbps` 制限が適用されます。`false` を指定すると無効になります。
      "concurrent":2, // タスクの同時実行数。
      "mbps":"12"// MB/s 単位でのレート制限。
    }
  }
}

Writer パラメーター