DataWorks:Tablestore データソース

行モードのワイドテーブル

",// データソース。
                "newVersion":"true",// 新しい Tablestore リーダーを使用します。
                "mode": "normal",// 行モードでデータを読み取ります。
                "isTimeseriesTable":"false",// テーブルが時系列テーブルではなく、ワイドテーブルであることを指定します。
                "column":[// カラム。
                    {
                        "name":"column1"// カラム名。
                    },
                    {
                        "name":"column2"
                    },
                    {
                        "name":"column3"
                    },
                    {
                        "name":"column4"
                    },
                    {
                        "name":"column5"
                    }
                ],
                "range":{
                    "split":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint1"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint2"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint3"
                        },
                        {
                            "type":"STRING",
                            "value":"endValue"
                        }
                    ],
                    "end":[
                        {
                            "type":"STRING",
                            "value":"endValue"
                        },
                        {
                            "type":"INT",
                            "value":"100"
                        },
                        {
                            "type":"INF_MAX"
                        },
                        {
                            "type":"INF_MAX"
                        }
                    ],
                    "begin":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"INT",
                            "value":"0"
                        },
                        {
                            "type":"INF_MIN"
                        },
                        {
                            "type":"INF_MIN"
                        }
                    ]
                },
                "table":""// テーブル名。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコードの最大数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false に設定した場合、mbps は無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限レート (単位: Mbps)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"<your_data_source_name>",// データソース。
                "newVersion":"true",// 新しい Tablestore Reader を使用します。
                "mode": "normal",// 行モードでデータを読み取ります。
                "isTimeseriesTable":"false",// テーブルが時系列テーブルではなく、ワイドテーブルであることを指定します。
                "column":[// 列。
                    {
                        "name":"column1"// 列名。
                    },
                    {
                        "name":"column2"
                    },
                    {
                        "name":"column3"
                    },
                    {
                        "name":"column4"
                    },
                    {
                        "name":"column5"
                    }
                ],
                "range":{
                    "split":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint1"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint2"
                        },
                        {
                            "type":"STRING",
                            "value":"splitPoint3"
                        },
                        {
                            "type":"STRING",
                            "value":"endValue"
                        }
                    ],
                    "end":[
                        {
                            "type":"STRING",
                            "value":"endValue"
                        },
                        {
                            "type":"INT",
                            "value":"100"
                        },
                        {
                            "type":"INF_MAX"
                        },
                        {
                            "type":"INF_MAX"
                        }
                    ],
                    "begin":[
                        {
                            "type":"STRING",
                            "value":"beginValue"
                        },
                        {
                            "type":"INT",
                            "value":"0"
                        },
                        {
                            "type":"INF_MIN"
                        },
                        {
                            "type":"INF_MIN"
                        }
                    ]
                },
                "table":"<your_table_name>"// テーブル名。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容される最大エラーレコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false に設定すると、mbps は無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート (Mbps)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}</your_table_name></your_data_source_name>

行モードの時系列テーブル

",// データソース。
                "table": "",// テーブル名。
                // 時系列データを読み取るには、mode パラメーターを normal に設定する必要があります。
                "mode": "normal",
                // 時系列データを読み取るには、newVersion パラメーターを true に設定する必要があります。
                "newVersion": "true",
                // 時系列テーブルを指定します。
                "isTimeseriesTable":"true",
                // 読み取る時系列のメジャー名。任意。省略した場合は、すべてのデータが読み取られます。
                "measurementName":"measurement_1",
                "column": [
                  {
                    "name": "_m_name"
                  },
                  {
                    "name": "tagA",
                    "is_timeseries_tag":"true"
                  },
                  {
                    "name": "double_0",
                    "type":"DOUBLE"
                  },
                  {
                    "name": "string_0",
                    "type":"STRING"
                  },
                  {
                    "name": "long_0",
                    "type":"INT"
                  },
                  {
                    "name": "binary_0",
                    "type":"BINARY"
                  },
                  {
                    "name": "bool_0",
                    "type":"BOOL"
                  },
                  {
                    "type":"STRING",
                    "value":"testString"
                  }
                ]
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコードの最大数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false に設定した場合、mbps は無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート (単位: Mbps)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"<your_data_source_name>",// データソース。
                "table": "<your_table_name>",// テーブル名。
                // 時系列データを読み取るには、mode パラメーターを normal に設定する必要があります。
                "mode": "normal",
                // 時系列データを読み取るには、newVersion パラメーターを true に設定する必要があります。
                "newVersion": "true",
                // 時系列テーブルを指定します。
                "isTimeseriesTable":"true",
                // 読み取る時系列のメジャー名。オプション。省略した場合、すべてのデータが読み取られます。
                "measurementName":"measurement_1",
                "column": [
                  {
                    "name": "_m_name"
                  },
                  {
                    "name": "tagA",
                    "is_timeseries_tag":"true"
                  },
                  {
                    "name": "double_0",
                    "type":"DOUBLE"
                  },
                  {
                    "name": "string_0",
                    "type":"STRING"
                  },
                  {
                    "name": "long_0",
                    "type":"INT"
                  },
                  {
                    "name": "binary_0",
                    "type":"BINARY"
                  },
                  {
                    "name": "bool_0",
                    "type":"BOOL"
                  },
                  {
                    "type":"STRING",
                    "value":"testString"
                  }
                ]
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容される最大エラーレコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false に設定すると、mbps は無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート (Mbps)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}</your_table_name></your_data_source_name>

列モードのワイドテーブル

",// データソース。
                "table":"",// テーブル名。
                "newVersion":"true",// 新しい Tablestore リーダーを使用します。
                "mode": "multiversion",// マルチバージョンモード。
                "column":[// エクスポートする属性カラム。プライマリキーカラムはサポートされていません。
                    {"name":"mobile"},
                    {"name":"name"},
                    {"name":"age"},
                    {"name":"salary"},
                    {"name":"marry"}
                ],
                "range":{// エクスポートする範囲。
                    "begin":[
                        {"type":"INF_MIN"},
                        {"type":"INF_MAX"}
                    ],
                    "end":[
                        {"type":"INF_MAX"},
                        {"type":"INF_MIN"}
                    ],
                    "split":[
                    ]
                },

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコードの最大数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false に設定した場合、mbps は無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限レート (単位: Mbps)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"<your_data_source_name>",// データソース。
                "table":"<your_table_name>",// テーブル名。
                "newVersion":"true",// 新しい Tablestore Reader を使用します。
                "mode": "multiversion",// 多バージョンモード。
                "column":[// エクスポートする属性列。プライマリキー列はサポートされていません。
                    {"name":"mobile"},
                    {"name":"name"},
                    {"name":"age"},
                    {"name":"salary"},
                    {"name":"marry"}
                ],
                "range":{// エクスポートする範囲。
                    "begin":[
                        {"type":"INF_MIN"},
                        {"type":"INF_MAX"}
                    ],
                    "end":[
                        {"type":"INF_MAX"},
                        {"type":"INF_MIN"}
                    ],
                    "split":[
                    ]
                },

            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容される最大エラーレコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false に設定すると、mbps は無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート (Mbps)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}</your_table_name></your_data_source_name>

行モードのパラメーター (ワイドテーブル)

{
  "range": {
    "begin": [{"type": "INF_MIN"}],
    "end":   [{"type": "INF_MAX"}],
    "split": [
      {"type": "STRING","value": "1"},
      {"type": "STRING","value": "2"},
      {"type": "STRING","value": "3"},
      {"type": "STRING","value": "4"},
      {"type": "STRING","value": "5"}
    ]
  }
}

// セグメント 1
[最小値, 1)
// セグメント 2
[1, 2)
// セグメント 3
[2, 3)
// セグメント 4
[3, 4)
// セグメント 5
[4, 5)
// セグメント 6
[5, 最大値)

行モードのパラメーター (時系列テーブル)

"column": [
  {
    "name": "_m_name"               // タイムラインのメジャー名フィールド。
  },
  {
    "name": "tag_key",                // タイムラインの tags フィールドの tag_key に対応する値。
    "is_timeseries_tag":"true"
  },
  {
    "name": "string_column",        // fields 内の string_column という名前の列。
    "type":"string"                    // データ型は string。
  },
  {
    "value": "constant_value",        // 値が "constant_value" に固定された定数列。
    "type":"string"
  }
],

"timeRange":{
    // begin：オプション。デフォルト値：0。値は 0 から LONG_MAX の範囲でなければなりません。
    "begin":1400000000000,
    // end：オプション。デフォルト値：Long.MAX_VALUE (9223372036854775807)。値は 0 から LONG_MAX の範囲でなければなりません。
    "end"  :1600000000000
},

列モードのパラメーター (ワイドテーブル)

"column": [
    {"name":"{your column name1}"},
    {"name":"{your column name2}"}
],

"range":{
    // オプション。範囲の開始を指定します。
    // 空の配列、プライマリキーのプレフィックス、または完全なプライマリキーを指定できます。プレフィックスを指定した場合、システムは不足しているプライマリキーのサフィックスを補完します。
    // 昇順では、サフィックスは INF_MIN で補完されます。降順では、INF_MAX で補完されます。
    // 例：
    // テーブルに string 型と int 型の 2 つのプライマリキー列がある場合、次の入力が有効です：
    // 1. テーブル全体を読み取る：
    //    "begin":[],"end":[],
    // 2. プライマリキー ("a", INT_MIN) から ("b", INT_MAX) まで読み取る：
    //    "begin":[{"type":"string", "value":"a"}],"end":[{"type":"string", "value":"b"}],
    // 3. プライマリキー ("a", INT_MIN) からテーブルの最後まで読み取る：
    //    "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],"end":[],    
    //
    // バイナリのプライマリキー列の場合、JSON はバイナリ値を直接サポートしないため、バイナリデータを Base64 エンコードされた文字列に変換する必要があります。
    // 例 (Java)：
    //   byte[] bytes = "hello".getBytes();  // 文字列 "hello" からバイナリデータを構築します。
    //   String inputValue = Base64.encodeBase64String(bytes); // バイナリを文字列に変換します。結果は "aGVsbG8=" です。
    //   最終的な設定：{"type":"binary","value" : "aGVsbG8="}

    "begin":[{"type":"string", "value":"a"},{"type":"INF_MIN"}],

    // オプション。範囲の終了を指定します。
    // 空の配列、プライマリキーのプレフィックス、または完全なプライマリキーを指定できます。プレフィックスを指定した場合、システムは不足しているプライマリキーのサフィックスを補完します。
    // 昇順では、サフィックスは INF_MAX で補完されます。降順では、INF_MIN で補完されます。
    "end":[{"type":"string", "value":"g"},{"type":"INF_MAX"}],

    // オプション。大量のデータがある場合、同時エクスポートを有効にできます。
    // `split` パラメーターは、指定された分割ポイントに基づいて範囲を複数の同時タスクに分割します。
    //   1. `split` の値は、最初のプライマリキー列 (パーティションキー) のみであり、その型はパーティションキーの型と一致する必要があります。
    //   2. 値は `begin` と `end` で定義された範囲内でなければなりません。
    //   3. `split` の値は、`begin` と `end` の順序に対応して、昇順または降順でなければなりません。
    "split":[{"type":"string", "value":"b"}, {"type":"string", "value":"c"}]
},

"timeRange":{
    // begin：オプション。デフォルト値：0。有効な値：0 から LONG_MAX。
    "begin":1400000000000,
    // end：オプション。デフォルト値：Long.MAX_VALUE (9223372036854775807)。有効な値：0 から LONG_MAX。
    "end"  :1600000000000
},

行モード：ワイドテーブルへの書き込み

{
    "type":"job",
    "version":"2.0",// バージョン。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table":"",// テーブル名。
                "newVersion":"true",// 新しいバージョンの Tablestore プラグインを使用します。
                "mode": "normal",// 行モードでデータを書き込みます。
                "isTimeseriesTable":"false",// テーブルが時系列テーブルではなく、ワイドテーブルであることを指定します。
                "primaryKey" : [// Tablestore テーブルのプライマリキー列。
                    {"name":"gid", "type":"INT"},
                    {"name":"uid", "type":"STRING"}
                 ],
                "column" : [// 書き込む列。
                      {"name":"col1", "type":"INT"},
                      {"name":"col2", "type":"DOUBLE"},
                      {"name":"col3", "type":"STRING"},
                      {"name":"col4", "type":"STRING"},
                      {"name":"col5", "type":"BOOL"}
                  ],
                "writeMode" : "PutRow"    // 書き込みモード。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false の場合、mbps パラメーターは無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

行モード：時系列テーブルへの書き込み

{
    "type":"job",
    "version":"2.0",// バージョン。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table": "testTimeseriesTableName01",
                "mode": "normal",
                "newVersion": "true",
                "isTimeseriesTable":"true",
                "timeunit":"microseconds",
                "column": [
                      {
                        "name": "_m_name"
                      },
                      {
                        "name": "_data_source"
                      },
                      {
                        "name": "_tags"
                      },
                      {
                        "name": "_time"
                      },
                      {
                        "name": "string_1",
                        "type":"string"
                      },
                      {
                        "name":"tag3",
                        "is_timeseries_tag":"true"
                      }
                    ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false の場合、mbps パラメーターは無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

列モード：ワイドテーブルへの書き込み

{
    "type":"job",
    "version":"2.0",// バージョン。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ots",// プラグイン名。
            "parameter":{
                "datasource":"",// データソース。
                "table":"",
                "newVersion":"true",
                "mode":"multiVersion",
                "primaryKey" : [
                    "gid",
                    "uid"
                    ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコード数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効または無効にします。false の場合、mbps パラメーターは無視されます。
            "concurrent":1, // タスクの同時実行数。
            "mbps":"12"// 速度制限のレート。単位：MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

行モードのパラメーター (ワイドテーブル)

"primaryKey" : [
    {"name":"gid", "type":"INT"},
    {"name":"uid", "type":"STRING"}
                 ],

"column" : [
     {"name":"col1", "type":"INT"},
     {"name":"col2", "type":"DOUBLE"},
     {"name":"col3", "type":"STRING"},
     {"name":"col4", "type":"BINARY"},
     {"name":"col5", "type":"BOOL"}
              ],

行モードのパラメーター (時系列テーブル)

mName1    source1    ["tag1=A","tag2=B"]    1677763080000000    field_value     C

"column": [
      {
        "name": "_m_name"
      },
      {
        "name": "_data_source"
      },
      {
        "name": "_tags"
      },
      {
        "name": "_time"
      },
      {
        "name": "string_1",
        "type":"string"
      },
      {
        "name":"tag3",
        "is_timeseries_tag":"true"
      }
    ]

列モードのパラメーター (ワイドテーブル)

構成例は次のとおりです。
<p>以下は設定例です。</p>1,pk1,row1,1677699863871,value_0_0
1,pk1,row2,1677699863871,value_0_1
1,pk1,row3,1677699863871,value_0_2
2,pk2,row1,1677699863871,value_1_0
2,pk2,row2,1677699863871,value_1_1
2,pk2,row3,1677699863871,value_1_2
3,pk3,row1,1677699863871,value_2_0
3,pk3,row2,1677699863871,value_2_1
3,pk3,row3,1677699863871,value_2_2

"primaryKey" : [
    "gid",
    "uid"
    ],

gid     uid     row1        row2        row3
1       pk1     value_0_0   value_0_1   value_0_2
2       pk2     value_1_0   value_1_1   value_1_2
3       pk3     value_2_0   value_2_1   value_2_2