DataWorks:DataHub データソース

バッチ読み書き

STRING データ型は UTF-8 エンコーディングのみをサポートします。単一の STRING 列は 1 MB を超えることはできません。

リアルタイム読み書き

• リアルタイム同期タスクはサーバーレスリソースグループをサポートします。

• DataHub にデータをリアルタイムで同期する場合、データはソースデータのハッシュ値に基づいてシャーディングされます。同じハッシュ値を持つレコードは、同じシャードに同期されます。

リアルタイム全データベース書き込み

タスクを実行すると、まずバッチ同期タスクが完全データを DataHub に書き込みます。その後、リアルタイム同期タスクが開始され、ソースから宛先に増分データが同期されます。データは次のルールに基づいて書き込まれます。

• データは TUPLE 型の DataHub トピックにのみ書き込むことができます。TUPLE データ型の詳細については、「データ型」をご参照ください。

• DataHub にデータをリアルタイムで同期する場合、ソーステーブルのフィールドに 5 つの追加フィールドが付加されます。タスクを設定する際に、他のフィールドを追加することもできます。DataHub に送信される最終的なメッセージフォーマットの詳細については、「付録：DataHub メッセージフォーマット」をご参照ください。

単一テーブルのバッチ同期タスクの設定

• 手順については、「ウィザードモードでのバッチ同期タスクの設定」および「スクリプトモードでのバッチ同期タスクの設定」をご参照ください。

• スクリプトモード設定のすべてのパラメーターとスクリプトデモについては、後述の「付録：スクリプトデモとパラメーターの説明」をご参照ください。

単一テーブルのリアルタイム同期タスクの設定

リアルタイム全データベース同期タスクの設定

手順については、「リアルタイム全データベース同期タスクの設定」をご参照ください。

コードエディターを使用したバッチ同期タスクの設定

コードエディターを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内で関連パラメーターを設定する必要があります。詳細については、「コードエディターの使用」をご参照ください。以下では、コードエディターを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
         "job": {
           "content": [
            {
                "reader": {
                    "name": "DataHubreader",
                    "parameter": {
                        "endpoint": "xxx", // DataHub のエンドポイント。
                        "accessId": "xxx", // DataHub へのアクセスに使用する AccessKey ID。
                        "accessKey": "xxx", // DataHub へのアクセスに使用する AccessKey Secret。
                        "project": "xxx", // DataHub プロジェクトの名前。
                        "topic": "xxx", // DataHub トピックの名前。
                        "batchSize": 1000, // 一度に読み取るレコード数。
                        "beginDateTime": "20180910111214", // データ消費の開始時刻。
                        "endDateTime": "20180910111614", // データ消費の終了時刻。
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                                  ]
                                }
                           },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                                 }
                            }
             }
           ]
         }
       }
     ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラー数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効にするかどうかを指定します。throttle が false の場合、mbps パラメーターは有効にならず、速度制限は無効になります。throttle が true の場合、速度制限は有効になります。
            "concurrent":1,// 同時実行数。
            "mbps":"12"// 速度制限レート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader スクリプトパラメーター

Writer スクリプトデモ

{
    "type": "job",
    "version": "2.0",// バージョン番号。
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "datahub",// プラグイン名。
            "parameter": {
                "datasource": "",// データソース。
                "topic": "",// トピックは DataHub におけるサブスクリプションとパブリッシングの最小単位です。トピックを使用して、ストリーミングデータの種類やカテゴリを表すことができます。
                "maxRetryCount": 500,// タスク失敗時の最大リトライ回数。
                "maxCommitSize": 1048576// 累積されたデータバッファーが maxCommitSize (バイト単位) に達すると、データはバッチで宛先にコミットされます。
                 // DataHub は 1 回のリクエストを 10,000 レコードに制限しています。この制限を超えるとタスクエラーが発生します。このパラメーターは、レコードあたりの平均サイズに 10,000 を掛けた値に基づいて設定してください。たとえば、各レコードが 10 KB の場合、このパラメーターを 10 × 10,000 KB 未満の値に設定します。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// エラー数。
        },
        "speed": {
            "throttle":true,// 速度制限を有効にするかどうかを指定します。throttle が false の場合、mbps パラメーターは有効にならず、速度制限は無効になります。throttle が true の場合、速度制限は有効になります。
            "concurrent":20, // 同時実行数。
            "mbps":"12"// 速度制限レート。1 mbps = 1 MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer スクリプトパラメーター