Supported features for BigQuery data synchronization - DataWorks

BigQuery veri kaynağı, DataWorks ile Google BigQuery arasında bağlantı kurar ve çevrimdışı senkronizasyon görevlerinin parçası olarak BigQuery verilerini okumanızı sağlar. Görevi kod içermeyen arayüz veya kod düzenleyici kullanarak yapılandırabilirsiniz.

Desteklenen özellikler

Özellik	Destekleniyor mu?
Çevrimdışı (toplu iş) senkronizasyon	Evet
Kod içermeyen arayüz yapılandırması	Evet
Kod düzenleyici yapılandırması	Evet
Artımlı senkronizasyon (`where` filtresi ile)	Evet
Bölüm tabanlı senkronizasyon	Evet
Eşzamanlı senkronizasyon (`splitPk` ile)	Evet

Desteklenen bölgeler

BigQuery veri kaynakları aşağıdaki bölgelerde kullanılabilir: Çin (Hong Kong), Japonya (Tokyo), Singapur, Malezya (Kuala Lumpur), Endonezya (Cakarta), Almanya (Frankfurt), Birleşik Krallık (Londra), ABD (Silikon Vadisi) ve ABD (Virginia).

BigQuery SDK sürümü google-cloud-bigquery 2.29.0'dir. SDK ayrıntıları için bkz. BigQuery belgeleri.

Desteklenen alan türleri

Aşağıdaki tabloda DataWorks'ün desteklediği BigQuery alan türleri ve karşılık gelen Java türleri listelenmiştir.

BigQuery türü	Java türü
BOOL	Bool
INT64	Long
FLOAT64	BigDecimal
NUMERIC	BigDecimal
BIGNUMERIC	BigDecimal
STRING	String
BYTES	Bytes
STRUCT	String
ARRAY	String
TIMESTAMP	Date
DATE	Date
TIME	Date
DATETIME	Date
GEOGRAPHY	String
JSON	String
INTERVAL	String

Tam BigQuery tür referansı için bkz. BigQuery veri türleri belgeleri.

Önkoşullar

Başlamadan önce şunlara sahip olduğunuzdan emin olun:

BigQuery veri kaynağınız ile bir sunucusuz kaynak grubu veya Veri Entegrasyonu için özel bir kaynak grubu arasında ağ bağlantısı. Çoğu senkronizasyon görevi için sunucusuz kaynak grubu kullanın. Kurulum talimatları için bkz. Ağ bağlantısı çözümleri.
Google Cloud'dan indirilen bir hizmet hesabı kimlik doğrulama dosyası (JSON anahtarı).
Google Cloud projeniz için BigQuery Proje Kimliği.

BigQuery veri kaynağını ekleyin

Bir senkronizasyon görevi oluşturmadan önce BigQuery'yi DataWorks'te veri kaynağı olarak ekleyin. Talimatlar için bkz. Veri kaynağı yönetimi.

Aşağıdaki parametreler BigQuery veri kaynağına özeldir:

Parametre	Açıklama
BigQuery Project ID	Google Cloud projenizin kimliği.
BigQuery authorization information	Google Cloud'dan indirilen JSON kimlik doğrulama dosyasını yükleyin.

İpucu: Veri kaynağını eklerken parametre açıklamalarını doğrudan DataWorks konsolunda görüntüleyin.

Senkronizasyon görevini yapılandırın

Adım adım görev yapılandırması için bkz.:

Ek: Betik örneği ve parametre açıklamaları

Kod düzenleyicide bir BigQuery toplu iş senkronizasyon görevi yapılandırırken aşağıdaki betik örneğini ve parametre referansını kullanın. Genel kod düzenleyici gereksinimleri için bkz. Kod düzenleyicide görev yapılandırma.

Okuyucu betiği örneği

{
  "stepType": "bigquery",
  "parameter": {
    "datasource": "bq_test1",
    "dataSet": "database_0724",
    "table": "partition_1107",
    "column": [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ],
    "where": "xxx=3",
    "partition": [
      "_PARTITIONTIME='2023-11-07'"
    ]
  },
  "name": "Reader",
  "category": "reader"
}

Okuyucu parametreleri

Parametre	Zorunlu	Varsayılan	Açıklama
`datasource`	Evet	Yok	Veri kaynağının adı. DataWorks'te eklenen veri kaynağının adıyla eşleşmelidir.
`dataSet`	Evet	Yok	BigQuery veri kümesi.
`table`	Evet	Yok	Senkronize edilecek tablonun adı.
`column`	Evet	Yok	Okunacak sütunlar. Örnek: `["id", "name", "age"]`.
`where`	Hayır	Yok	Sorguya uygulanan filtre koşulu. BigQuery Reader, verileri ayıklamak için `column`, `table` ve `where` parametrelerini bir SQL ifadesinde birleştirir. Örneğin, test amacıyla `LIMIT 10` veya günlük artımlı senkronizasyon için `gmt_create>$bizdate` kullanın. Tüm verileri okumak için boş bırakın.
`partition`	Hayır	Yok	Senkronize edilecek bir veya daha fazla bölüm. Örnek: `["_PARTITIONTIME='2023-11-07'"]`.
`splitPk`	Hayır	Yok	Eşzamanlı senkronizasyon için verileri bölümlere ayırmada kullanılan alan. `partition` belirtilmişse etkisi yoktur.

DataWorks:BigQuery