DataWorks:AnalyticDB for MySQL 2.0 データソース

制限事項

• バッチ同期中にビューのデータを読み取ることができます。

• AnalyticDB for MySQL 2.0 Reader は複数値型のデータを読み取ることができません。 AnalyticDB for MySQL 2.0 Reader を使用してこのタイプのデータを読み取ると、AnalyticDB for MySQL 2.0 Reader は予期せず終了します。

データ型マッピング

バッチデータ読み取り

次の表に、AnalyticDB for MySQL 2.0 Reader がデータ型を変換する際に基づくデータ型マッピングを示します。

バッチデータ書き込み

次の表に、AnalyticDB for MySQL 2.0 Writer がデータ型を変換する際に基づくデータ型マッピングを示します。

データ同期タスクの開発

データ同期タスクのエントリポイントと設定手順については、以下のセクションを参照してください。パラメータ設定については、タスクの設定タブにある各パラメータのヒントを参照してください。

データソースの追加

特定のデータソースとのデータ同期タスクを設定する前に、DataWorks にデータソースを追加する必要があります。詳細については、「データソースの追加と管理」をご参照ください。

単一テーブルのデータを同期するためのバッチ同期タスクの設定

• 設定手順の詳細については、「コードレス UI を使用したバッチ同期タスクの設定」および「コードエディタを使用したバッチ同期タスクの設定」をご参照ください。

• コードエディタを使用してバッチ同期タスクを設定する場合に設定されるすべてのパラメータと実行されるコードについては、「付録：コードとパラメータ」をご参照ください。

データベース内のすべてのデータのバッチ同期を実装するための同期設定

設定手順の詳細については、「Data Integration での同期タスクの設定」をご参照ください。

付録：コードとパラメータ

付録：コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合は、コードエディタのフォーマット要件に基づいて、関連データソースのリーダーとライターのパラメータを設定する必要があります。フォーマット要件の詳細については、「コードエディタを使用したバッチ同期タスクの設定」をご参照ください。次の情報は、コードエディタにおけるリーダーとライターのパラメータの設定の詳細について説明しています。

AnalyticDB for MySQL 2.0 Reader のコード

{
    "type": "job",
  "steps": [
    {
            "stepType": "ads",
      "parameter": {
        "datasource": "ads_demo",
        "table": "th_test",
        "column": [
          "id",
          "testtinyint",
          "testbigint",
          "testdate",
          "testtime",
          "testtimestamp",
          "testvarchar",
          "testdouble",
          "testfloat"
        ],
        "odps": {
          "accessId": "<yourAccessKeyId>",
          "accessKey": "<yourAccessKeySecret>",
          "account": "*********@aliyun.com",
          "odpsServer": " http://service.cn-shanghai-vpc.maxcompute.aliyun-inc.com/api",
          "tunnelServer": "http://dt.cn-shanghai-vpc.maxcompute.aliyun-inc.com",
          "accountType": "aliyun",
          "project": "odps_test"
        },
        "mode": "ODPS"
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "version": "2.0",
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  },
  "setting": {
    "errorLimit": {
      "record": ""
    },
    "speed": {
      "concurrent": 2,
      "throttle": true, // スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効になっていることを示し、値 true はスロットリングが有効になっていることを示します。 mbps パラメータは、throttle パラメータが true に設定されている場合にのみ有効になります。
                  "mbps":"12" // 最大伝送速度。単位：MB/s。
    }
  }
}

AnalyticDB for MySQL 2.0 Reader のコードのパラメータ

AnalyticDB for MySQL 2.0 Writer のコード

{
    "type":"job",
    "version":"2.0",
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ads", // プラグイン名。
            "parameter":{
                "partition":"", // データを書き込むパーティションの名前。
                "datasource":"", // データソースの名前。
                "column":[ // 列の名前。
                     "id"
                ],
                "writeMode":"insert", // 書き込みモード。
                "batchSize":"256", // 一度に書き込むデータレコードの数。
                "table":"", // テーブルの名前。
                "overWrite":"true", // 宛先テーブルのデータを上書きするかどうかを指定します。値 true は、宛先テーブルのデータが上書きされることを示します。値 false は、宛先テーブルのデータが上書きされず、新しいデータが既存のデータに追加されることを示します。このパラメータは、writeMode パラメータが load に設定されている場合にのみ有効になります。
                "options.ignoreEmptySource":true // ソースにデータが含まれていない場合に、システムがエラーを報告するかどうかを指定します。値 true は、システムがエラーを報告しないことを示し、値 false は、システムがエラーを報告することを示します。このパラメータのデフォルト値は true です。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0" // 許容されるダーティデータレコードの最大数。
        },
        "speed":{
            "throttle":true, // スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効になっていることを示し、値 true はスロットリングが有効になっていることを示します。 mbps パラメータは、throttle パラメータが true に設定されている場合にのみ有効になります。
            "concurrent":1,  // 並行スレッドの最大数。
            "mbps":"12" // 最大伝送速度。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

AnalyticDB for MySQL 2.0 Writer のコードのパラメータ