DataWorks:Doris

Konfirmasi versi Doris

Data Integration memiliki persyaratan terhadap versi Doris. Anda dapat memeriksa apakah versi kluster Doris yang ingin Anda sinkronkan datanya memenuhi persyaratan berdasarkan bagian Versi Doris yang didukung. Anda dapat mengunduh versi tertentu dari situs web resmi Doris dan menginstalnya.

Buat akun dan berikan izin

Anda harus membuat akun yang digunakan untuk login ke database Doris guna operasi selanjutnya. Tentukan password untuk akun tersebut agar dapat terhubung ke database Doris. Jika Anda ingin menggunakan user root default Doris untuk login ke database Doris, Anda harus menentukan password untuk user root tersebut karena secara default user root tidak memiliki password. Anda dapat mengeksekusi pernyataan SQL di Doris untuk menentukan password:

SET PASSWORD FOR 'root' = PASSWORD('Password')

Konfigurasi koneksi jaringan untuk Doris

Untuk menggunakan metode StreamLoad dalam menulis data, Anda perlu mengakses alamat IP pribadi node FE. Jika Anda mengakses alamat IP publik node FE, Anda akan dialihkan ke alamat IP pribadi node BE. Untuk informasi lebih lanjut mengenai pengalihan ini, lihat Masalah operasi data. Dalam kasus ini, Anda harus membuat koneksi jaringan antara sumber data Anda dan serverless resource group atau grup sumber daya eksklusif untuk Data Integration agar resource group tersebut dapat mengakses sumber data melalui jaringan internal. Untuk informasi lebih lanjut mengenai cara membuat koneksi jaringan antara database Doris dan resource group, lihat Solusi konektivitas jaringan.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasi mode skrip. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

{
  "type": "job",
  "version": "2.0",// Nomor versi. 
  "steps": [
    {
      "stepType": "doris",// Nama plug-in. 
      "parameter": {
        "column": [// Nama kolom. 
          "id"
        ],
        "connection": [
          {
            "querySql": [
              "select a,b from join1 c join join2 d on c.id = d.id;"
            ],
            "datasource": ""// Nama sumber data. 
          }
        ],
        "where": "",// Klausul WHERE. 
        "splitPk": "",// Kunci shard. 
        "encoding": "UTF-8"// Format encoding. 
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"// Jumlah maksimum catatan data kotor yang diizinkan. 
    },
    "speed": {
      "throttle": true,// Menentukan apakah pembatasan kecepatan diaktifkan. Nilai false berarti pembatasan kecepatan dinonaktifkan, dan nilai true berarti pembatasan kecepatan diaktifkan. Parameter mbps hanya berlaku ketika parameter throttle diatur ke true. 
      "concurrent": 1,// Jumlah maksimum thread paralel. 
      "mbps": "12"// Laju transmisi maksimum. Satuan: MB/s. 
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Parameter skrip Reader

Demo skrip Writer

{
  "stepType": "doris",// Nama plug-in. 
  "parameter":
  {
    "postSql":// Pernyataan SQL yang ingin dieksekusi setelah tugas sinkronisasi dijalankan. 
    [],
    "preSql":
    [],// Pernyataan SQL yang ingin dieksekusi sebelum tugas sinkronisasi dijalankan. 
    "datasource":"doris_datasource",// Nama sumber data. 
    "table": "doris_table_name",// Nama tabel. 
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ],
    "loadProps":{
      "column_separator": "\\x01",// Pemisah kolom data dalam format CSV.
      "line_delimiter": "\\x02"// Pemisah baris data dalam format CSV.
    }
  },
  "name": "Writer",
  "category": "writer"
}

Parameter skrip Writer

"loadProps": {
    "format":"csv",
    "column_separator": "\t",
    "line_delimiter": "\n"
}

"loadProps": {
    "format": "json"
}

Menulis data tipe agregat

Anda dapat menggunakan Doris Writer untuk menulis data tipe agregat, tetapi Anda harus melakukan konfigurasi tambahan di editor kode.

Misalnya, pada tabel Doris berikut, uuid bertipe bitmap (tipe agregasi) dan sex bertipe HLL (tipe agregasi).

CREATE TABLE `example_table_1` (
  `user_id` int(11) NOT NULL,
  `date` varchar(10) NOT NULL,
  `city` varchar(10) NOT NULL,
  `uuid` bitmap BITMAP_UNION, -- Tipe agregasi
  `sex` HLL HLL_UNION  -- Tipe agregasi
) ENGINE=OLAP AGGREGATE KEY(`user_id`, `date`, `city`)
COMMENT 'OLAP' DISTRIBUTED BY HASH(`user_id`) BUCKETS 32

Data mentah yang akan disinkronkan terdiri dari lima kolom, seperti ditunjukkan di bawah. Nilai dalam kolom uuid dan sex adalah nilai mentah (angka dan string biasa), bukan nilai bertipe bitmap atau HLL:

user_id,date,city,uuid,sex
0,T0S4Pb,abc,43,'54'
1,T0S4Pd,fsd,34,'54'
2,T0S4Pb,fa3,53,'64'
4,T0S4Pb,fwe,87,'64'
5,T0S4Pb,gbr,90,'56'
2,iY3GiHkLF,234,100,'54'

Nilai mentah tidak dapat langsung ditulis ke kolom bitmap atau HLL. Nilai-nilai tersebut harus dikonversi menggunakan fungsi agregat. Parameter columns pada Doris Stream Load dapat menyelesaikan konversi tersebut. Aturan pemetaannya adalah sebagai berikut: kolom dalam file dipetakan secara berurutan ke nama kolom yang tidak mengandung tanda sama dengan (=) dalam columns, sedangkan entri yang mengandung tanda sama dengan (=) merupakan transformasi ekspresi (nilai kolom tujuan dihitung dari ekspresi) dan tidak menempati posisi kolom file.

Oleh karena itu, pemetaan antara kolom file dan kolom tabel dalam contoh ini adalah sebagai berikut:

• Kolom 1 hingga 3 dalam file (user_id, date, dan city): langsung ditulis ke kolom tabel dengan nama yang sama.

• Kolom 4 dalam file (nilai mentah uuid): ditetapkan ke kolom placeholder sementara k1, dikonversi menjadi bitmap oleh ekspresi uuid=bitmap_hash(k1), dan ditulis ke kolom tabel uuid.

• Kolom 5 dalam file (nilai mentah sex): ditetapkan ke kolom placeholder sementara k2, dikonversi menjadi nilai HLL oleh ekspresi sex=hll_hash(k2), dan ditulis ke kolom tabel sex.

k1 dan k2 adalah nama placeholder sementara yang tidak ditulis ke tabel. Anda dapat mengganti nama tersebut dengan nama lain, asalkan nama yang dirujuk dalam ekspresi konsisten dengan nama kolom placeholder.

Saat menggunakan Doris Writer untuk menulis data tipe agregat, Anda harus menentukan kolom yang akan ditulis di writer.parameter.column dan mengonfigurasi aturan konversi di atas di writer.parameter.loadProps.columns. uuid dan sex di writer.parameter.column adalah nama bidang nilai mentah dalam catatan sinkronisasi. Mereka hanya menentukan bidang yang akan ditulis dan urutan penulisan. File CSV tidak berisi nama kolom, dan Stream Load mengidentifikasi kolom berdasarkan posisi. Oleh karena itu, Anda dapat menggunakan nama kustom untuk kolom keempat dan kelima dalam parameter columns (k1 dan k2 dalam contoh ini).

Kode contoh:

{
    "stepType": "doris",
    "parameter": {
        "datasource": "doris_datasource",
        "table": "example_table_1",
        "column": [
            "user_id",
            "date",
            "city",
            "uuid",
            "sex"
        ],
        "loadProps": {
            "format": "csv",
            "column_separator": "\\x01",
            "line_delimiter": "\\x02",
            "columns": "user_id,date,city,k1,uuid=bitmap_hash(k1),k2,sex=hll_hash(k2)"
        },
        "preSql": [],
        "postSql": []
    },
    "name": "Writer",
    "category": "writer"
}