ApsaraDB for HBase:Importation incrémentielle des données depuis SLS

Remarque

La fonctionnalité d'importation incrémentielle des données depuis SLS a été interrompue le 10 mars 2023. Les instances LTS achetées après cette date ne peuvent pas utiliser la fonctionnalité d'importation incrémentielle des données depuis SLS. Les instances LTS achetées à cette date ou avant peuvent toujours l'utiliser.

Prérequis

• Vous avez acheté une instance LTS, configuré vos identifiants et vous êtes connecté à la console LTS.

• Vous avez créé une source de données HBase dans la console LTS.

• Vous avez créé une source de données LogHub dans la console LTS.

Versions HBase prises en charge

• HBase 1.x et 2.x auto-gérés avec Kerberos désactivé.

• E-MapReduce HBase.

• ApsaraDB for HBase Édition Standard et ApsaraDB for HBase Édition Optimisée pour les performances en mode cluster. Le mode nœud unique n'est pas pris en charge.

Créer une tâche

1. Connectez-vous à la console LTS. Dans le volet de navigation de gauche, choisissez Import to Lindorm/HBase > SLS Real-time Data Replication.

2. Cliquez sur Create Job. Définissez Source Cluster sur loghub (SLS) et Target Data Source (HBase, Phoenix) sur votre source de données HBase, puis configurez le mappage des champs.

3. Cliquez sur Create. Vous pouvez ensuite consulter les détails de la tâche.

Paramètres

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // The number of consumers that subscribe to data from the loghub. Default: 1.
    "logstore": "bds-test"
  },
  "writer": {
    "columns": [
      {
        "name": "f:col1",
        "value": "{{ concat('xx', name) }}" // Expressions are supported.
      },
      {
        "name": "f:col2",
        "value": "__client_ip__" // Column name mapping.
      },
      {
        "name": "f:*" // Columns that are not explicitly matched are handled by the default mapping.
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg',id) }}"
    },
    "tableName": "default:sls"
  }
}

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}