DataWorks:AnalyticDB for MySQL 2.0

オフライン読み取り

次の表に、AnalyticDB for MySQL 2.0 Reader のデータ型のマッピングを示します。

オフライン書き込み

次の表に、AnalyticDB for MySQL 2.0 Writer のデータ型のマッピングを示します。

単一テーブルのオフライン同期タスクの設定

• 詳細については、「コードレス UI でのタスク設定」および「コードエディタでのタスク設定」をご参照ください。

• コードエディタ用のパラメーターの完全なリストとスクリプトデモについては、「付録：スクリプトデモとパラメーターの説明」をご参照ください。

データベース全体のオフライン読み取り同期タスクの設定

詳細については、「データベース全体のリアルタイム同期タスクの設定」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスク設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

{
    "type": "job",
  "steps": [
    {
            "stepType": "ads",
      "parameter": {
        "datasource": "ads_demo",
        "table": "th_test",
        "column": [
          "id",
          "testtinyint",
          "testbigint",
          "testdate",
          "testtime",
          "testtimestamp",
          "testvarchar",
          "testdouble",
          "testfloat"
        ],
        "odps": {
          "accessId": "<yourAccessKeyId>",
          "accessKey": "<yourAccessKeySecret>",
          "account": "*********@aliyun.com",
          "odpsServer": " http://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api",
          "tunnelServer": "http://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com",
          "accountType": "aliyun",
          "project": "odps_test"
        },
        "mode": "ODPS"
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "version": "2.0",
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": ""
    },
    "speed": {
      "concurrent": 2,
      "throttle": true,// throttle が false の場合、mbps パラメーターは有効にならず、トラフィックはスロットリングされません。throttle が true の場合、トラフィックはスロットリングされます。
                  "mbps":"12"// スロットリング。1 mbps は 1 MB/s に相当します。
    }
  }
}

Reader スクリプトのパラメーター

Writer スクリプトデモ

{
    "type":"job",
    "version":"2.0",
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ads",// プラグイン名。
            "parameter":{
                "partition":"",// 宛先テーブルのパーティション名。
                "datasource":"",// データソース。
                "column":[// フィールド。
                     "id"
                ],
                "writeMode":"insert",// 書き込みモード。
                "batchSize":"256",// 1 回のバッチで送信するレコード数。
                "table":"",// テーブル名。
                "overWrite":"true",// 宛先テーブルの既存のデータを上書きするかどうかを指定します。有効な値は true と false です。true の場合、システムは既存のデータを上書きします。false の場合、システムは新しいデータを追加します。このパラメーターは、writeMode が Load に設定されている場合にのみ有効です。
                "options.ignoreEmptySource":true// ソースファイルが空の場合に報告されるエラーを無視するかどうかを指定します。このパラメーターが true に設定されている場合、タスクは失敗しません。デフォルト値：true。このパラメーターを設定しない場合、デフォルト値の true が使用されます。このパラメーターが false に設定されていて、ソースデータが読み取れない場合、タスクは失敗します。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコード数。
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは有効にならず、トラフィックはスロットリングされません。throttle が true の場合、トラフィックはスロットリングされます。
            "concurrent":1, // 同時実行ジョブ数。
            "mbps":"12"// スロットリング。1 mbps は 1 MB/s に相当します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター