DataWorks:DataHub データソース

バッチデータ読み書き

STRING データの型は UTF-8 エンコーディングのみをサポートしています。単一の STRING フィールドのサイズは最大 1 MB です。

リアルタイムデータ読み書き

• リアルタイム同期タスクは、サーバーレスリソースグループをサポートしています。

• システムは、同じハッシュ値を持つデータを同じシャードに同期します。

リアルタイム全データベース書き込み

タスクの開始時に、バッチプロセスが完全データを DataHub に書き込みます。完全データ同期が完了すると、リアルタイムプロセスがソースから宛先への増分データの同期を開始します。

• データは DataHub の TUPLE 型の Topic にのみ書き込むことができます。TUPLE データの型の詳細については、「データの型」をご参照ください。

• DataHub にデータをリアルタイムで同期する場合、ソーステーブルフィールドに 5 つの追加フィールドが追加されます。タスクを構成する際に、カスタムフィールドを追加することもできます。DataHub に送信されるメッセージフォーマットの詳細については、「付録: メッセージフォーマット」をご参照ください。

単一テーブルバッチ同期

• プロシージャについては、「コードレス UI の使用」および「コードエディタの使用」をご参照ください。

• パラメーターの完全なリストとコードエディタのサンプルスクリプトについては、「付録: コードとパラメーター」をご参照ください。

単一テーブルリアルタイム同期

全データベースリアルタイム同期

プロシージャについては、「リアルタイム全データベース同期タスクの構成」をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合は、統一されたスクリプトフォーマット要件に基づいてスクリプト内の関連パラメーターを構成する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下の情報は、コードエディタを使用してバッチ同期タスクを構成する際に、データソースに対して構成する必要があるパラメーターについて説明しています。

Reader スクリプト例

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
         "job": {
           "content": [
            {
                "reader": {
                    "name": "DataHubreader",
                    "parameter": {
                        "endpoint": "xxx", // DataHub エンドポイント。
                        "accessId": "xxx", // DataHub にアクセスするために使用される AccessKey ID。
                        "accessKey": "xxx", // DataHub にアクセスするために使用される AccessKey Secret。
                        "project": "xxx", // 宛先 DataHub プロジェクトの名前。
                        "topic": "xxx", // 宛先 DataHub Topic の名前。
                        "batchSize": 1000, // 一度に読み取るレコード数。
                        "beginDateTime": "20180910111214", // データ消費の開始時刻。
                        "endDateTime": "20180910111614", // データ消費の終了時刻。
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                                  ]
                                }
                           },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                                 }
                            }
             }
           ]
         }
       }
     ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許可される最大エラー数。
        },
        "speed":{
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは無視され、スロットルは適用されません。throttle が true に設定されている場合、スロットルが有効になります。
            "concurrent":1,// 同時スレッド数。
            "mbps":"12"// 最大データ転送レート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader パラメーター

Writer スクリプト例

{
    "type": "job",
    "version": "2.0",// バージョン番号。
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "datahub",// プラグイン名。
            "parameter": {
                "datasource": "",// データソース。
                "topic": "",// Topic は、DataHub におけるサブスクリプションと公開の基本単位です。Topic を使用して、特定のタイプまたはカテゴリのストリーミングデータを表すことができます。
                "maxRetryCount": 500,// タスクが失敗した場合の最大再試行回数。
                "maxCommitSize": 1048576// バッファーがこのサイズ (バイト単位) に達すると、データはバッチでコミットされます。DataHub のリクエストあたりのレコード制限は 10,000 です。エラーを防止するために、この値が (平均レコードサイズ * 10,000) 未満であることを確認してください。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// 許可される最大エラー数。
        },
        "speed": {
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは無視され、スロットルは適用されません。throttle が true に設定されている場合、スロットルが有効になります。
            "concurrent":20, // 同時スレッド数。
            "mbps":"12"// 最大データ転送レート。1 mbps = 1 MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer パラメーター