DataWorks:DataHub veri kaynağı

Toplu okuma/yazma

STRING veri türü yalnızca UTF-8 kodlamasını destekler. Tek bir STRING sütunu 1 MB'ı aşamaz.

Gerçek zamanlı okuma/yazma

• Gerçek zamanlı eşitleme görevleri serverless kaynak gruplarını destekler.

• Verileri gerçek zamanlı olarak DataHub'a eşitlerken veriler, kaynak verilerin karma değerine göre parçalara ayrılır. Aynı karma değerine sahip kayıtlar aynı parçaya eşitlenir.

Gerçek zamanlı tam veritabanı yazma

Görevi çalıştırdığınızda önce bir toplu eşitleme görevi tüm verileri DataHub'a yazar. Ardından, kaynakta meydana gelen artımlı verileri hedefe eşitleyen gerçek zamanlı bir eşitleme görevi başlar. Veriler aşağıdaki kurallara göre yazılır:

• Veriler yalnızca TUPLE türündeki DataHub konularına yazılabilir. TUPLE veri türü hakkında daha fazla bilgi için bkz. Veri türleri.

• Verileri gerçek zamanlı olarak DataHub'a eşitlerken kaynak tablo alanlarına beş ek alan eklenir. Görevi yapılandırırken başka alanlar da ekleyebilirsiniz. DataHub'a gönderilen nihai mesaj biçimi hakkında daha fazla bilgi için bkz. Ek: DataHub mesaj biçimleri.

Tek tablo toplu eşitleme görevi yapılandırma

• Prosedür için bkz. Sihirbaz modunda toplu eşitleme görevi yapılandırma ve Betik modunda toplu eşitleme görevi yapılandırma.

• Betik modu yapılandırmasına yönelik tüm parametreler ve betik örnekleri için aşağıdaki Ek: Betik örnekleri ve parametre açıklaması bölümüne bakın.

Tek tablo gerçek zamanlı eşitleme görevi yapılandırma

Gerçek zamanlı tam veritabanı eşitleme görevi yapılandırma

Prosedür için bkz. Gerçek zamanlı tam veritabanı eşitleme görevi yapılandırma.

Kod düzenleyici kullanarak toplu eşitleme görevi yapılandırma

Kod düzenleyiciyi kullanarak bir toplu eşitleme görevi yapılandırmak istiyorsanız betikteki ilgili parametreleri birleşik betik biçimi gereksinimlerine göre yapılandırmanız gerekir. Daha fazla bilgi için bkz. Betik modu yapılandırması. Aşağıdaki bilgiler, kod düzenleyiciyi kullanarak bir toplu eşitleme görevi yapılandırırken veri kaynakları için yapılandırmanız gereken parametreleri açıklar.

Reader betik örneği

{
    "type":"job",
    "version":"2.0",// The version number.
    "steps":[
        {
         "job": {
           "content": [
            {
                "reader": {
                    "name": "DataHubreader",
                    "parameter": {
                        "endpoint": "xxx" // The endpoint of DataHub.
                        "accessId": "xxx", // The AccessKey ID used to access DataHub.
                        "accessKey": "xxx", // The AccessKey secret used to access DataHub.
                        "project": "xxx", // The name of the DataHub project.
                        "topic": "xxx" // The name of the DataHub topic.
                        "batchSize": 1000, // The number of records to read at a time.
                        "beginDateTime": "20180910111214", // The start time for data consumption.
                        "endDateTime": "20180910111614", // The end time for data consumption.
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                                  ]
                                }
                           },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                                 }
                            }
             }
           ]
         }
       }
     ],
    "setting":{
        "errorLimit":{
            "record":"0"// The error count.
        },
        "speed":{
            "throttle":true,// Specifies whether to enable throttling. If throttle is set to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is set to true, throttling is enabled.
            "concurrent":1,// The concurrency.
            "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader betik parametreleri

Writer betik örneği

{
    "type": "job",
    "version": "2.0",// The version number.
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "datahub",// The plug-in name.
            "parameter": {
                "datasource": "",// The data source.
                "topic": "",// A topic is the smallest unit for subscription and publishing in DataHub. You can use a topic to represent a type or category of streaming data.
                "maxRetryCount": 500,// The maximum number of retries upon task failure.
                "maxCommitSize": 1048576// The data is committed in batches to the destination when the accumulated data buffer reaches the maxCommitSize (in bytes).
                 // DataHub limits a single request to 10,000 records. Exceeding this limit causes a task error. Set this parameter based on the average size per record multiplied by 10,000. For example, if each record is 10 KB, set this parameter to a value lower than 10 × 10,000 KB.
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// The error count.
        },
        "speed": {
            "throttle":true,// Specifies whether to enable throttling. If throttle is set to false, the mbps parameter does not take effect, which means throttling is disabled. If throttle is set to true, throttling is enabled.
            "concurrent":20, // The concurrency.
            "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer betik parametreleri