DataWorks：BigQuery data source

Versi BigQuery yang didukung dan wilayah yang didukung

• BigQuery menggunakan SDK google-cloud-bigquery 2.29.0. Untuk informasi lebih lanjut tentang kemampuan SDK yang didukung oleh BigQuery, lihat dokumentasi resmi BigQuery.

• Sumber data BigQuery didukung di wilayah berikut:

  Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), dan AS (Virginia).

Pemetaan tipe data

Untuk informasi lebih lanjut tentang tipe data BigQuery, lihat dokumentasi resmi BigQuery. Tabel berikut memberikan status dukungan untuk tipe data utama di BigQuery.

Membangun koneksi jaringan antara sumber data BigQuery dan grup sumber daya eksklusif untuk Data Integration

Sebelum menggunakan sumber data BigQuery untuk sinkronisasi data di Data Integration, Anda harus membangun koneksi jaringan antara grup sumber daya eksklusif untuk Data Integration dan sumber data agar grup sumber daya dapat mengakses sumber data melalui alamat jaringan internal. Untuk informasi lebih lanjut, lihat Membangun koneksi jaringan antara grup sumber daya dan sumber data.

Mengembangkan tugas sinkronisasi data

Untuk informasi tentang titik masuk dan prosedur konfigurasi tugas sinkronisasi data, lihat subbagian berikut. Untuk informasi tentang pengaturan parameter, lihat infotip setiap parameter pada tab konfigurasi tugas.

Menambahkan sumber data

Saat menambahkan sumber data BigQuery, Anda harus mengonfigurasi item berikut:

• ID Proyek BigQuery: nama proyek BigQuery Google Cloud.

• Otorisasi dan autentikasi BigQuery: Anda harus mengunggah file autentikasi Google Cloud.

Mengonfigurasi tugas sinkronisasi batch untuk menyinkronkan data tabel tunggal

• Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Mengonfigurasi tugas sinkronisasi batch menggunakan UI tanpa kode dan Mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

• Untuk informasi tentang semua parameter yang dikonfigurasi dan kode yang dijalankan saat menggunakan editor kode untuk mengonfigurasi tugas sinkronisasi batch, lihat Lampiran: Kode dan Parameter.

Lampiran: Kode dan parameter

Mengonfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika menggunakan editor kode untuk mengonfigurasi tugas sinkronisasi batch, Anda harus mengonfigurasi parameter pembaca sumber data terkait sesuai dengan persyaratan format di editor kode. Untuk informasi lebih lanjut tentang persyaratan format, lihat Mengonfigurasi tugas sinkronisasi batch menggunakan editor kode. Informasi berikut menjelaskan detail konfigurasi parameter untuk pembaca di editor kode.

Kode untuk BigQuery Reader

{
  "stepType": "bigquery"
  "parameter":
  {
    "datasource":"bq_test1",
    "table": "partition_1107",
    "where": "xxx=3",
    "dataSet": "database_0724",
    "partition": [
      "_PARTITIONTIME='2023-11-07'"
     ],
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ]
  },
  "name": "Reader",
  "category": "reader"
}

Parameter dalam kode untuk BigQuery Reader