DataWorks:Redis データソース

• 詳細な手順については、「コードレス UI でのタスク構成」および「コードエディタでのタスク構成」をご参照ください。

• スクリプトモードのすべてのパラメーターおよびサンプルスクリプトについては、以下の付録をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合は、統一されたスクリプト形式の要件に基づいて、スクリプト内で関連パラメーターを構成する必要があります。詳細については、「コードエディタでのタスク構成」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを構成する際にデータソースに対して構成する必要のあるパラメーターについて説明します。

Writer スクリプトのサンプル

以下のサンプルスクリプトは、MySQL Reader を使用して MySQL ソースからデータを読み取り、Redis Writer を使用して Redis 宛先にデータを書き込む同期ジョブを示しています。

{
    "type":"job",
    "version":"2.0",  // バージョン番号。
    "steps":[
        { // 以下のコードはリーダー用です。パラメーターの詳細については、対応する Reader プラグインのドキュメントをご参照ください。
            "stepType":"mysql",   
            "parameter": {
                "envType": 0,
                "datasource": "xc_mysql_demo2",
                "column": [
                    "id",
                    "value",
                    "table"
                ],
                "connection": [
                    {
                        "datasource": "xc_mysql_demo2",
                        "table": []
                    }
                ],
                "where": "",
                "splitPk": "",
                "encoding": "UTF-8"
            },
            "name":"Reader",
            "category":"reader"
        },
        {// 以下のコードはライター用です。
            "stepType":"redis",                    // プラグイン名。Redis Writer の場合は redis に設定します。
            "parameter":{                          // Redis Writer の主なパラメーター。
                "expireTime":{                     // キーと値のペアの有効期限。秒数または UNIX タイムスタンプで構成できます。
                    "seconds":"1000"
                }, 
                "keyFieldDelimiter":"u0001",       // 複数の列を連結して Redis キーを形成する際のデリミタ。
                "dateFormat":"yyyy-MM-dd HH:mm:ss",// Redis に書き込まれる日付型の値のフォーマット。
                "datasource":"xc_mysql_demo2",     // データソース名。追加したデータソースの名前と一致している必要があります。
                "envType": 0,                      // 環境タイプ。0 は本番環境、1 は開発環境を示します。
                "writeMode":{                      // 書き込みモード。
                    "type":"string",               // 値のデータ型。
                    "mode":"set",                  // 指定されたデータ型に対する書き込みモード。
                    "valueFieldDelimiter":"u0001"  // 複数の列を連結して値を形成する際のデリミタ。
                             },
                "keyIndexes":[0,1],                // ソース列を Redis キーにマッピングします。キーとして使用するソース列のインデックスを指定します。列インデックスは 0 から始まります。最初と 2 番目の列を複合キーとして使用する場合、[0,1] に設定します。
                "batchSize":"1000",                // 1 回のバッチで書き込むレコード数。
        "column": [                        // このパラメーターは、文字列データ型の set 操作に適用されます。このパラメーターを構成しない場合、値はデリミタで区切られた連結値の文字列（CSV 形式）になります。たとえば、age の値が 18、sex の値が male の場合、Redis の値は "18::male" になります。以下のようにこのパラメーターを構成すると、元の列名とその値を含む JSON 形式で値が書き込まれます。たとえば、id が 1、name が "John"、age が 18、sex が "male" の場合、Redis の値は {"id":1,"name":"John","age":18,"sex":"male"} になります。
                {
                "name": "id",
                "index": "0"

                },
                {
                "name": "name",
                "index": "1"
                },
                {
                "name": "age",
                "index": "2"
                },
                {
                "name": "sex",
                "index": "3"
                }
            ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"                           // 許容される最大エラーレコード数。
        },
        "speed":{
            "throttle":true, // スロットルを有効または無効にします。false に設定すると、mbps パラメーターは無視されます。
            "concurrent":1,  // ジョブの同時実行数。
            "mbps":"12"      // 最大転送速度（MB/s）。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer パラメーター

writeMode パラメーター

"writeMode":{
        "type": "string",
        "mode": "set",
        "valueFieldDelimiter": "\u0001"
        }

"writeMode":{
    "type": "list",
    "mode": "lpush|rpush",
    "valueFieldDelimiter": "\u0001"
}

"writeMode":{
        "type": "set",
        "mode": "sadd",
        "valueFieldDelimiter": "\u0001"
        }

"writeMode":{
        "type": "zset",
        "mode": "zadd"
        }

"writeMode":{
        "type": "hash",
        "mode": "hset"
        }