DataWorks:TSDB

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでタスクを設定する」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Writer スクリプトのデモ

• RDB から TSDB へのデフォルト設定 (推奨)

  {
      "type": "job",
      "version": "2.0",
      "steps": [
          {
              "stepType": "stream",// stream プラグインは、特定の RDB タイプのプラグインの JSON に置き換えることができます。RDB タイプのデータベースには、MySQL、Oracle、PostgreSQL、DRDS が含まれます。
              "parameter": {},
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "tsdb",
              "parameter": {
                  "endpoint": "http://localhost:8242",
                  "username": "xxx",
                  "password": "xxx",
                  "sourceDbType": "RDB",
                  "batchSize": 256,
                  "columnType": [
                      "tag",
                      "tag",
                      "field_string",
                      "field_double",
                      "timestamp",
                      "field_bool"
                  ],
                  "column": [
                      "tag1",
                      "tag2",
                      "field1",
                      "field2",
                      "timestamp",
                      "field3"
                  ],
                  "multiField": "true",
                  "table": "testmetric",
                  "ignoreWriteError": "false",
                  "database": "default"
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "setting": {
          "errorLimit": {
              "record": "0"
          },
          "speed": {
              "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは無視され、速度制限は無効になります。throttle が true に設定されている場合、速度制限は有効になります。
              "concurrent":1, // 同時ジョブ数。
              "mbps":"12"// 速度制限。ここでは、1 mbps = 1 MB/秒 です。
          }
      },
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      }
  }

• OpenTSDB プロトコルをサポートするデータベースから TSDB にデータを同期する：

  {
      "type": "job",
      "version": "2.0",
      "steps": [
          {
              "stepType": "opentsdb",
              "parameter": {
                  "endpoint": "http://localhost:4242",
                  "column": [
                      "m1",
                      "m2",
   "m3",
                      "m4",
                      "m5",
                      "m6"
                  ],
                  "startTime": "2019-01-01 00:00:00",
                  "endTime": "2019-01-01 03:00:00"
              },
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "tsdb",
              "parameter": {
                  "endpoint": "http://localhost:8242"
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "setting": {
          "errorLimit": {
              "record": "0"
          },
          "speed": {
              "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは無視され、速度制限は無効になります。throttle が true に設定されている場合、速度制限は有効になります。
              "concurrent":1, // 同時ジョブ数。
              "mbps":"12"// 速度制限。ここでは、1 mbps = 1 MB/秒 です。
          }
      },
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      }
  }

• OpenTSDB (単一値) プロトコルを使用して TSDB に書き込む (非推奨)：

  
  {
      "type": "job",
      "version": "2.0",
      "steps": [
          {
              "stepType": "stream",// stream プラグインは、特定の RDB タイプのプラグインの JSON に置き換えることができます。RDB タイプのデータベースには、MySQL、Oracle、PostgreSQL、DRDS が含まれます。
              "parameter": {},
              "name": "Reader",
              "category": "reader"
          },
          {
              "stepType": "tsdb",
              "parameter": {
                  "endpoint": "http://localhost:8242",
                  "username": "xxx",
                  "password": "xxx",
                  "sourceDbType": "RDB",
                  "batchSize": 256,
                  "columnType": [
                      "tag",
                      "tag",
                      "field_string",
                      "field_double",
                      "timestamp",
                      "field_boolean"
                  ],
                  "column": [
                      "tag1",
                      "tag2",
                      "field_metric_1",
                      "field_metric_2",
                      "timestamp",
                      "field_metric_3"
                  ],
                  "ignoreWriteError": "false"
              },
              "name": "Writer",
              "category": "writer"
          }
      ],
      "setting": {
          "errorLimit": {
              "record": "0"
          },
          "speed": {
              "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは無視され、速度制限は無効になります。throttle が true に設定されている場合、速度制限は有効になります。
              "concurrent":1, // 同時ジョブ数。
              "mbps":"12"// 速度制限。ここでは、1 mbps = 1 MB/秒 です。
          }
      },
      "order": {
          "hops": [
              {
                  "from": "Reader",
                  "to": "Writer"
              }
          ]
      }
  }

  説明

  宛先の TSDB テーブル名 (メトリック) は、`column` 内のフィールドに対応する列名から派生します。上記の設定に基づき、リレーショナルデータの 1 行が `field_metric_1`、`field_metric_2`、`field_metric_3` の 3 つのメトリックに書き込まれます。

Writer スクリプトのパラメーター