DataWorks:DRDS (PolarDB-X 1.0)

Başlangıç

DRDS (PolarDB-X 1.0) ile veri senkronizasyonunu başlatmak için aşağıdaki adımları sırasıyla tamamlayın:

1. replace into iznine sahip bir veritabanı hesabı oluşturun. Bkz. Önkoşullar.

2. DRDS (PolarDB-X 1.0)'yi DataWorks'e veri kaynağı olarak ekleyin. Bkz. Veri kaynağı ekleme.

3. Bir senkronizasyon görevini yapılandırın ve çalıştırın. Bkz. Veri senkronizasyon görevi geliştirme.

Önkoşullar

Başlamadan önce şunlara sahip olduğunuzdan emin olun:

• replace into iznine sahip bir DRDS (PolarDB-X 1.0) veritabanı hesabı. Kurulum talimatları için bkz. Hesap oluşturma.

Sınırlamalar

Desteklenen alan türleri

DRDS (PolarDB-X 1.0) Reader ve Writer çoğu veri türünü destekler. Bir senkronizasyon görevini yapılandırmadan önce veri türlerinizin aşağıdaki listede yer aldığını doğrulayın.

Veri kaynağı ekleme

DataWorks'te bir senkronizasyon görevi geliştirmeden önce DRDS (PolarDB-X 1.0)'yi veri kaynağı olarak ekleyin. Talimatlar için bkz. Veri kaynağı yönetimi. Parametre açıklamaları, veri kaynağını eklerken DataWorks konsolunda mevcuttur.

Veri senkronizasyon görevi geliştirme

SSS

DRDS (PolarDB-X 1.0) Reader neden parçalar arasında veri tutarlılığını garanti edemez?

DRDS (PolarDB-X 1.0) dağıtılmış bir veritabanıdır. Reader farklı temel parçalı tablolardan veri çıkardığında anlık görüntüleri tek bir tutarlı zaman diliminden değil farklı zaman noktalarında yakalar. Parçalı veritabanları ve tablolar arasında güçlü tutarlılık garanti edilemez.

Kodlama veri senkronizasyonunu nasıl etkiler?

DRDS (PolarDB-X 1.0), alan, tablo, veritabanı ve örnek düzeylerinde kodlama ayarlarını destekler. Kodlama ayarlarının önceliği, en yüksekte en düşüğe doğru şu şekildedir: alan, tablo, veritabanı ve ardından örnek. Sorunlardan kaçınmak için kodlamayı veritabanı düzeyinde UTF-8 olarak ayarlayın.

DRDS (PolarDB-X 1.0) Reader, veri çıkarma için JDBC kullanır ve kodlama dönüştürmeyi otomatik olarak gerçekleştirir. Ancak alt katmana veri yazılırken kullanılan kodlama bildirilen kodlamadan farklıysa Reader bu uyumsuzluğu algılayamaz ve senkronizasyon sonucu bozuk karakterler içerebilir.

Artımlı veri senkronizasyonunu nasıl yapılandırırım?

DRDS (PolarDB-X 1.0) Reader, veri çıkarma için JDBC SELECT deyimlerini kullanır. Yalnızca son senkronizasyondan bu yana eklenen veya değiştirilen kayıtları filtrelemek için bir WHERE yan tümcesi kullanın:

• Zaman damgası tabanlı: Uygulamanız her kayıt için bir değişiklik zaman damgasıyla bir modify alanı yazıyorsa (eklemeler, güncellemeler veya mantıksal silmeleri kapsar), son senkronizasyon çalışmasının zaman damgasını kullanan bir WHERE yan tümcesi ekleyin.

• Otomatik artan kimlik tabanlı: Yalnızca ekleme yapılan veri akışları için önceki senkronizasyondaki maksimum otomatik artan kimliği kullanan bir WHERE yan tümcesi ekleyin.

Verilerinizde yeni veya değiştirilen kayıtları mevcut olanlardan ayıran bir alan yoksa Reader artımlı çıkarmayı destekleyemez; yalnızca tam veri senkronizasyonu kullanılabilir.

Ek: Betik demosu ve parametreler

Kod düzenleyicisini kullanarak toplu iş senkronizasyon görevi yapılandırmak için Kod düzenleyicide görev yapılandırma bölümünde açıklanan birleşik betik biçimini izleyin. Aşağıdaki bölümlerde parametreler açıklanmış ve betik örnekleri sunulmuştur.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "drds",
            "parameter": {
                "datasource": "",
                "column": [
                    "id",
                    "name"
                ],
                "where": "",
                "table": "",
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "drds",
            "parameter": {
                "postSql": [],
                "datasource": "",
                "column": [
                    "id"
                ],
                "writeMode": "insert ignore",
                "batchSize": "1024",
                "table": "test",
                "preSql": []
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}