ApsaraDB for HBase:Impor data inkremental dari SLS

Catatan

Fitur impor data inkremental dari SLS telah dihentikan pada 10 Maret 2023. Instans LTS yang dibeli setelah tanggal tersebut tidak dapat menggunakan fitur impor data inkremental dari SLS. Instans LTS yang dibeli pada atau sebelum tanggal tersebut masih dapat menggunakan fitur ini.

Prasyarat

• Anda telah membeli instans LTS, mengonfigurasi kredensial akun, dan masuk ke Konsol LTS.

• Anda telah membuat sumber data HBase di Konsol LTS.

• Anda telah membuat sumber data loghub di Konsol LTS.

Versi HBase yang didukung

• HBase versi 1.x dan 2.x yang dikelola sendiri dengan Kerberos dinonaktifkan.

• E-MapReduce HBase.

• ApsaraDB for HBase Standard Edition dan ApsaraDB for HBase Performance-enhanced Edition dalam mode kluster. Mode single-node tidak didukung.

Buat Pekerjaan

1. Masuk ke Konsol LTS. Di panel navigasi sebelah kiri, pilih Import to Lindorm/HBase > SLS Real-time Data Replication..

2. Klik Create Job. Atur Source Cluster menjadi loghub (SLS) dan Target Data Source (HBase, Phoenix) menjadi sumber data HBase Anda, lalu konfigurasikan pemetaan bidang.

3. Klik Create. Anda kemudian dapat melihat detail pekerjaan tersebut.

Parameter

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // Jumlah konsumen yang berlangganan data dari loghub. Default: 1.
    "logstore": "bds-test"
  },
  "writer": {
    "columns": [
      {
        "name": "f:col1",
        "value": "{{ concat('xx', name) }}" // Ekspresi didukung.
      },
      {
        "name": "f:col2",
        "value": "__client_ip__" // Pemetaan nama kolom.
      },
      {
        "name": "f:*" // Kolom yang tidak secara eksplisit dicocokkan ditangani oleh pemetaan default.
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg',id) }}"
    },
    "tableName": "default:sls"
  }
}

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}