Sinkronkan File Tencent COS ke DataWorks untuk Integrasi Data Cross-Cloud - DataWorks - Alibaba Cloud - DataWorks

Konektor sumber data COS membaca file dari Tencent Cloud Object Storage (COS), mengurai isinya, dan menyinkronkan data ke tujuan apa pun yang didukung di DataWorks.

Tipe data

Sumber data COS mendukung tipe data berikut.

Type	Description
STRING	Teks.
LONG	Bilangan bulat.
BYTES	Array byte. Konten teks dikonversi menjadi array byte yang dikodekan UTF-8.
BOOL	Boolean.
DOUBLE	Bilangan pecahan (floating-point).
DATE	Tipe tanggal dan waktu. Format yang didukung mencakup `YYYY-MM-dd HH:mm:ss` dan `yyyy-MM-ddHH:mm:ss`.

Buat sumber data

Sebelum mengembangkan task sinkronisasi data, buat sumber data di DataWorks. Untuk prosedurnya, lihat Data Source Management. Tooltip pada antarmuka konfigurasi menyediakan deskripsi detail untuk setiap parameter.

Parameter utama:

Parameter	Description
Data Source Name	Nama kustom untuk sumber data, unik dalam ruang kerja. Nama dapat berisi huruf, angka, dan garis bawah (_), tetapi tidak boleh diawali angka atau garis bawah.
Region	Wilayah tempat bucket berada. Tentukan ID wilayahnya. Untuk informasi selengkapnya, lihat Regions and access domains.
Bucket	Nama bucket COS.
Endpoint	Titik akhir COS. Untuk informasi selengkapnya, lihat Regions and access domains.
AccessKey ID	Ini adalah `SecretId` pada platform Tencent Cloud. Anda dapat memperolehnya dari halaman API Key Management di konsol.
AccessKey Secret	Ini adalah `SecretKey` pada platform Tencent Cloud. Anda dapat memperolehnya dari halaman API Key Management di konsol.

Kembangkan task sinkronisasi data

Untuk prosedur umum dan detail konfigurasi, lihat bagian berikut.

Task sinkronisasi offline tabel tunggal

Untuk prosedurnya, lihat Configure in codeless UI dan Configure in code editor. Untuk daftar lengkap parameter dan contoh skrip untuk editor kode, lihat apendiks.

Apendiks: Contoh skrip dan parameter

Skrip task sinkronisasi offline

Saat menggunakan editor kode untuk mengonfigurasi task sinkronisasi offline, format parameter skrip sesuaikan dengan kebutuhan. Untuk informasi selengkapnya, lihat Configure in code editor. Bagian berikut menjelaskan parameter reader untuk sumber data ini.

Contoh skrip Reader

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "cos",
      "parameter": {
        "datasource": "",
        "object": ["f/z/1.csv"],
        "fileFormat": "csv",
        "encoding": "utf8/gbk/...",
        "fieldDelimiter": ",",
        "useMultiCharDelimiter": true,
        "lineDelimiter": "\n",
        "skipHeader": true,
        "compress": "zip/gzip",
        "column": [
          {
            "index": 0,
            "type": "long"
          },
          {
            "index": 1,
            "type": "boolean"
          },
          {
            "index": 2,
            "type": "double"
          },
          {
            "index": 3,
            "type": "string"
          },
          {
            "index": 4,
            "type": "date"
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Parameter skrip Reader

Parameter	Description	Required	Default
datasource	Nama sumber data. Nilai ini harus sesuai dengan nama sumber data yang telah Anda buat di DataWorks.	Yes	None
fileFormat	Format file sumber. Format yang didukung: `csv`, `text`, `parquet`, dan `orc`.	Yes	None
object	Jalur file. Mendukung wildcard asterisk (``) dan array jalur. Contohnya, untuk menyinkronkan `a/b/1.csv` dan `a/b/2.csv`, Anda dapat mengatur parameter ini menjadi `a/b/.csv`.	Yes	None
column	Daftar bidang yang akan dibaca. `type` menentukan tipe data sumber, `index` menentukan nomor kolom berbasis nol dalam file sumber, dan `value` menentukan nilai konstan. Penggunaan `value` menghasilkan kolom dengan nilai konstan yang ditentukan alih-alih membaca dari file sumber. Untuk membaca semua kolom sebagai STRING, gunakan konfigurasi berikut. `"column": [""]` Untuk menentukan kolom secara individual: `"column": { "type": "long", "index": 0 // Mengambil bidang LONG dari kolom pertama file teks COS. }, { "type": "string", "value": "alibaba" // Menghasilkan bidang STRING dengan nilai konstan "alibaba". }` Catatan* Setiap definisi column harus mencakup parameter `type` dan salah satu dari parameter `index` atau `value`.	Yes	Semua kolom dibaca sebagai tipe STRING.
fieldDelimiter	Pemisah bidang yang digunakan saat membaca data. Anda harus menentukan pemisah; jika dihilangkan, koma (,) digunakan secara default dan telah diisi sebelumnya di antarmuka. Untuk karakter tak terlihat, masukkan pengkodean Unicode, misalnya: `\u001b` atau `\u007c`.	Yes	,
lineDelimiter	Pemisah baris. Parameter ini hanya berlaku ketika `fileFormat` diatur ke `text`.	No	None
compress	Jenis kompresi. Secara default, tidak ada kompresi yang diterapkan. Jenis yang didukung: `gzip`, `bzip2`, dan `zip`.	No	Uncompressed
encoding	Pengkodean karakter file sumber.	No	utf-8
nullFormat	String dalam file sumber yang diinterpretasikan sebagai nilai null. Contohnya: Jika Anda mengatur `nullFormat` ke "null", string "null" dalam data sumber disinkronkan ke tabel target sebagai nilai NULL. Atur `nullFormat` ke `"\u0001"`, yaitu karakter tak terlihat. Jika suatu bidang sumber berupa string `"\u0001"`, bidang tersebut diperlakukan sebagai null dan ditulis ke tabel target. Jika Anda tidak menentukan `nullFormat`, data sumber ditulis ke tujuan apa adanya tanpa konversi.	No	None
skipHeader	Untuk file CSV, menentukan apakah baris pertama (baris header) dilewati. `true`: Baris pertama file dilewati. `false`: Baris pertama file dibaca sebagai catatan data. Catatan Parameter skipHeader tidak didukung untuk file terkompresi.	No	false
parquetSchema	Skema untuk membaca file Parquet. Diperlukan hanya ketika fileFormat diatur ke parquet. Format umumnya adalah: `message MessageTypeName { required\|optional DataType ColumnName; required\|optional DataType ColumnName; ...; }` Detail format `parquetSchema`: `MessageTypeName`: Nama tipe pesan. `required` atau `optional`: `required` menunjukkan bidang non-null, sedangkan `optional` memungkinkan nilai null. Kami merekomendasikan mengatur semua bidang sebagai `optional`. `DataType`: Tipe data Parquet yang didukung mencakup `BOOLEAN`, `Int32`, `Int64`, `Int96`, `FLOAT`, `DOUBLE`, `BINARY` (gunakan untuk tipe string), dan `fixed_len_byte_array`. Setiap definisi bidang harus diakhiri titik koma (;), termasuk yang terakhir. Contoh: `{"parquetSchema": "message UserProfile { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }" }`	No	None
csvReaderConfig	Parameter lanjutan untuk pembaca CSV. Jika tidak ditentukan, nilai default digunakan.	No	None