DataWorks:Databricks veri kaynağı

Kullanım notları

• Sınırlamalar

  • Kaynak grubu: Databricks Reader yalnızca Serverless kaynak gruplarını destekler. Kaynak grubuna bağlı VPC için Internet NAT ağ geçidi ve bir EIP yapılandırın.

  • Okuma modu: Veri eşitleme yalnızca JDBC üzerinden okumayı destekler.

  • Katalog türü ve özellik sınırlamaları: Veri kaynağı bağlantısını test etmek veya sihirbaz modunda bir eşitleme görevi yapılandırmak için DataWorks, Databricks REST API'yi çağırmak üzere databricks-sdk kullanır; bu işlem yalnızca Unity Catalog'u destekler. hive_metastore gibi kataloğunuz Unity Catalog değilse bu özellikler kullanılamaz. Aşağıdaki seçeneklerden birini seçin:

    • Seçenek 1 (önerilen): Unity Catalog'a geçiş yapın. DataWorks'ün tüm özelliklerini kullanmak için verilerinizi ve meta verilerinizi Unity Catalog'a taşımanızı Databricks önerir. Talimatlar için bkz. Unity Catalog'a geçiş.

    • Seçenek 2: Doğrudan komut dosyası modunu kullanın. DataWorks'te veri kaynağını yapılandırdıktan sonra Test Connectivity adımını atlayın ve eşitleme görevini geliştirmek için komut dosyası modunu kullanın.

• Eşzamanlı okumalar ve veri tutarlılığı

  Databricks Reader, daha hızlı eşitleme sağlamak için verileri bölmek ve eşzamanlı görevler başlatmak amacıyla splitPk parametresini kullanır. Şu hususlara dikkat edin:

  • Eşzamanlı görevler aynı veritabanı işlemine dahil değildir ve tam olarak aynı anda başlamaz.

  • Veri kaynağı hala yazma işlemi alıyorsa eşzamanlı okumalar eksik veya tutarsız bir anlık görüntü üretebilir.

  Çözüm yolları: Teknik sınırlamalar nedeniyle birden çok iş parçacığı arasında mükemmel derecede tutarlı bir anlık görüntü elde edilemez. İş yükünüze göre aşağıdaki yaklaşımlardan birini seçin:

  • Seçenek 1: Veri bölme (splitPk) olmadan tek iş parçacıklı eşitleme kullanın. Bu yöntem kesin tutarlılık sağlar ancak daha yavaştır.

  • Seçenek 2: Eşitleme sırasında veri kaynağını statik tutun; örneğin tabloyu kilitleyerek, uygulama yazma işlemlerini geçici olarak devre dışı bırakarak veya çoğaltma eşitlemesini duraklatarak. Bu yöntem daha hızlıdır ancak üretim trafiğini etkileyebilir.

• Kodlama

  Databricks Reader verileri JDBC ile çıkarır; JDBC, veritabanları arasındaki kodlamaları otomatik olarak algılar ve dönüştürür. Kodlamayı manuel olarak yapılandırmanız gerekmez.

• Artımlı eşitleme

  Databricks Reader, bir SELECT ... WHERE ... deyimi çalıştırarak verileri çıkarır. Artımlı eşitleme, WHERE koşulunun oluşturulmasına bağlıdır.

  1. Önerilen yaklaşım (zaman damgası alanı):

     1. Kaynak tabloya modify_time gibi bir zaman damgası alanı ekleyin.

     2. Uygulama bir kayıt eklediğinde veya güncellediğinde (mantıksal silme dahil) zaman damgası alanını da güncelleyin.

     3. Son eşitleme noktasından sonraki değişiklikleri getirmek için görevin WHERE koşulunda zaman damgası alanını kullanın.

  2. Desteklenmeyen durum: İş tablosunda, zaman damgası veya otomatik artan ID gibi eklenen veya güncellenen kayıtları ayırt eden bir alan yoksa Databricks Reader artımlı eşitleme yapamaz ve tam eşitleme gerçekleştirmesi gerekir.

Desteklenen alan türleri

Çevrimdışı okumalar için Databricks Reader çoğu Databricks türünü destekler ancak bazı türler desteklenmez. Alan türlerinizi kontrol edin.

Aşağıdaki tabloda Databricks Reader tarafından desteklenen tür dönüşümleri listelenmiştir.

Veri kaynağı oluşturma

Bir veri eşitleme görevi geliştirmeden önce DataWorks'te ilgili veri kaynağını oluşturun. Prosedür için bkz. Veri kaynağı yapılandırması. Yapılandırma parametrelerine ilişkin açıklamalar yapılandırma arayüzünde mevcuttur.

Veri eşitleme görevi geliştirme

Bir eşitleme görevini yapılandırmaya yönelik giriş noktaları ve yaygın adımlar için aşağıdaki kılavuzlara bakın.

SSS

• S: Okuma işlemi [Databricks][JDBCDriver](500313) Error getting the data value from result set: Column13:[Databricks][JDBCDriver](500312) Error in fetching data rows: Timestamp Conversion has failed. hatasıyla başarısız oluyor.

  C: Databricks TIMESTAMP değerleri Java Timestamp tarafından desteklenen aralığın dışında kalabilir ve bu durum JDBC sürücüsü hatasına neden olur. column yapılandırmasını değiştirin; örneğin "column": ["CAST(col_timestamp AS STRING)"] şeklinde ayarlayın.

Ek: Örnek komut dosyası ve parametre açıklamaları

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "databricks",
      "parameter": {
        "datasource": "databricks",
        "schema": "schema1",
        "table": "table1",
        "readMode": "jdbc",
        "where": "id>1",
        "splitPk": "id",
        "column": [
          "c1",
          "c2"
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  }
}