ApsaraDB for HBase：Impor data inkremental dari Log Service

Catatan

Lindorm Tunnel Service (LTS) tidak lagi mendukung impor data inkremental dari Log Service mulai 10 Maret 2023. Jika Anda membeli LTS setelah 10 Maret 2023, fitur ini tidak tersedia. Jika Anda membeli LTS sebelum 10 Maret 2023, Anda masih dapat menggunakan fitur ini.

Prasyarat

• Anda telah membeli LTS dan mengonfigurasi nama akun serta kata sandi untuk konsol LTS, lalu masuk ke konsol tersebut.

• Anda telah menambahkan sumber data ApsaraDB for HBase di konsol LTS.

• Anda telah menambahkan sumber data loghub (SLS) di konsol LTS.

Edisi yang didukung

• HBase Mandiri V1.x dan V2.x dengan Kerberos dinonaktifkan.

• Alibaba Cloud E-MapReduce (EMR) HBase.

• ApsaraDB for HBase Edisi Standar dan Edisi Performa-ditingkatkan yang berjalan dalam mode kluster. Mode single-node tidak didukung.

Buat tugas

1. Di panel navigasi sisi kiri konsol LTS, pilih Data Import > SLS incremental Import.

2. Klik create new job. Dari daftar drop-down Source Cluster, pilih SLS. Dari daftar drop-down Target Cluster(HBase, Phoenix), pilih HBase. Konfigurasikan bidang pemetaan tabel.

3. Klik create. Setelah tugas dibuat, Anda dapat melihat detailnya di halaman SLS incremental Import.

Deskripsi parameter pemetaan tabel

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // Menentukan jumlah konsumen yang berlangganan loghub (SLS). Nilai default: 1.
    "logstore": "bds-test"
  },
  "writer": {
    "columns": [
      {
        "name": "f:col1",
        "value": "{{ concat('xx', name) }}" // Menentukan ekspresi yang didukung.
      },
      {
        "name": "f:col2",
        "value": "__client_ip__" // Menentukan nama kolom yang dipetakan.
      },
      {
        "name": "f:*" // Menentukan bahwa kolom yang tidak cocok mengikuti pengaturan pencocokan default.
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg',id) }}"
    },
    "tableName": "default:sls"
  }
}

• Anda dapat menggunakan ekspresi sederhana berikut:

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}