ApsaraDB for HBase:SLS からの増分データのインポート

注意

SLS からの増分データインポート機能は、2023 年 3 月 10 日に提供を終了しました。この日付以降に購入された LTS インスタンスでは、SLS からの増分データインポート機能を使用できません。この日付以前に購入された LTS インスタンスでは、引き続きこの機能を使用できます。

前提条件

• LTS インスタンスを購入し、アカウントの認証情報を設定して、LTS コンソールにログイン済みであること。

• LTS コンソールで HBase データソースを作成済みであること。

• LTS コンソールで LogHub データソースを作成済みであること。

サポートされている HBase のバージョン

• Kerberos が無効になっているセルフマネージド HBase 1.x および 2.x。

• E-MapReduce HBase。

• クラスターモードの ApsaraDB for HBase Standard Edition および ApsaraDB for HBase Performance-enhanced Edition。シングルノードモードはサポートされていません。

ジョブの作成

1. LTS コンソールにログインします。左側のナビゲーションウィンドウで、[Lindorm/HBase へのインポート] > [SLS リアルタイムデータレプリケーション] を選択します。

2. [ジョブの作成] をクリックします。[ソースクラスター] を [loghub (SLS)] に、[ターゲットデータソース (HBase、Phoenix)] をご利用の HBase データソースに設定し、フィールドマッピングを構成します。

3. [作成] をクリックします。その後、ジョブの詳細を表示できます。

パラメータ

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // LogHub からデータをサブスクライブするコンシューマーの数。デフォルト：1。
    "logstore": "bds-test"
  },
  "writer": {
    "columns": [
      {
        "name": "f:col1",
        "value": "{{ concat('xx', name) }}" // 式がサポートされています。
      },
      {
        "name": "f:col2",
        "value": "__client_ip__" // 列名のマッピング。
      },
      {
        "name": "f:*" // 明示的に一致しない列は、デフォルトのマッピングによって処理されます。
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg',id) }}"
    },
    "tableName": "default:sls"
  }
}

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}