DataWorks：Sumber data HBase

HBase Reader

HBase Reader mendukung mode normal dan mode multiVersionFixedColumn.

• Mode normal: Memperlakukan tabel HBase sebagai tabel dua dimensi standar dan mengambil versi terbaru dari data.

  hbase(main):017:0> scan 'users'
  ROW                                   COLUMN+CELL
  lisi                                 column=address:city, timestamp=1457101972764, value=beijing
  lisi                                 column=address:contry, timestamp=1457102773908, value=china
  lisi                                 column=address:province, timestamp=1457101972736, value=beijing
  lisi                                 column=info:age, timestamp=1457101972548, value=27
  lisi                                 column=info:birthday, timestamp=1457101972604, value=1987-06-17
  lisi                                 column=info:company, timestamp=1457101972653, value=baidu
  xiaoming                             column=address:city, timestamp=1457082196082, value=hangzhou
  xiaoming                             column=address:contry, timestamp=1457082195729, value=china
  xiaoming                             column=address:province, timestamp=1457082195773, value=zhejiang
  xiaoming                             column=info:age, timestamp=1457082218735, value=29
  xiaoming                             column=info:birthday, timestamp=1457082186830, value=1987-06-17
  xiaoming                             column=info:company, timestamp=1457082189826, value=alibaba
  2 row(s) in 0.0580 seconds

  Tabel berikut menampilkan outputnya.

  rowKey	address:city	address:contry	address:province	info:age	info:birthday	info:company
  lisi	beijing	china	beijing	27	1987-06-17	baidu
  xiaoming	hangzhou	china	zhejiang	29	1987-06-17	alibaba

• Mode multiVersionFixedColumn: Memperlakukan tabel HBase sebagai tabel vertikal. Setiap catatan terdiri dari empat kolom: rowKey, family:qualifier, timestamp, dan value. Anda harus menentukan kolom yang akan dibaca. Mode ini memperlakukan setiap nilai sel sebagai catatan terpisah. Jika sebuah sel memiliki beberapa versi, mode ini menghasilkan catatan terpisah untuk setiap versi.

  hbase(main):018:0> scan 'users',{VERSIONS=>5}
  ROW                                   COLUMN+CELL
  lisi                                 column=address:city, timestamp=1457101972764, value=beijing
  lisi                                 column=address:contry, timestamp=1457102773908, value=china
  lisi                                 column=address:province, timestamp=1457101972736, value=beijing
  lisi                                 column=info:age, timestamp=1457101972548, value=27
  lisi                                 column=info:birthday, timestamp=1457101972604, value=1987-06-17
  lisi                                 column=info:company, timestamp=1457101972653, value=baidu
  xiaoming                             column=address:city, timestamp=1457082196082, value=hangzhou
  xiaoming                             column=address:contry, timestamp=1457082195729, value=china
  xiaoming                             column=address:province, timestamp=1457082195773, value=zhejiang
  xiaoming                             column=info:age, timestamp=1457082218735, value=29
  xiaoming                             column=info:age, timestamp=1457082178630, value=24
  xiaoming                             column=info:birthday, timestamp=1457082186830, value=1987-06-17
  xiaoming                             column=info:company, timestamp=1457082189826, value=alibaba
  2 row(s) in 0.0260 seconds

  Tabel berikut menampilkan outputnya.

  rowKey	column:qualifier	timestamp	Value
  lisi	address:city	1457101972764	beijing
  lisi	address:contry	1457102773908	china
  lisi	address:province	1457101972736	beijing
  lisi	info:age	1457101972548	27
  lisi	info:birthday	1457101972604	1987-06-17
  lisi	info:company	1457101972653	baidu
  xiaoming	address:city	1457082196082	hangzhou
  xiaoming	address:contry	1457082195729	china
  xiaoming	address:province	1457082195773	zhejiang
  xiaoming	info:age	1457082218735	29
  xiaoming	info:age	1457082178630	24
  xiaoming	info:birthday	1457082186830	1987-06-17
  xiaoming	info:company	1457082189826	alibaba

HBase Writer

• HBase Writer dapat menghasilkan rowKey dengan menggabungkan beberapa kolom dari sumber.

• HBase Writer dapat mengatur version (timestamp) data dengan cara berikut:

  • Menggunakan waktu saat ini.

  • Menggunakan nilai dari kolom sumber.

  • Menggunakan waktu yang ditentukan pengguna.

Baca batch

• Tabel berikut mencantumkan pemetaan tipe data untuk HBase Reader.

  Tipe	Jenis Kolom Data Integration	Tipe data database
  Integer	long	short, int, dan long
  Floating-point	double	float dan double
  String	string	binary_string dan string
  Date and Time	date	date
  Byte	bytes	bytes
  Boolean	boolean	boolean

• HBase20xsql Reader mendukung sebagian besar, tetapi tidak semua, tipe data Phoenix. Pastikan tipe data Anda didukung sebelum digunakan.

• Tabel berikut mencantumkan pemetaan tipe yang digunakan oleh HBase20xsql Reader untuk tipe data Phoenix.

  Tipe internal DataX	Tipe data Phoenix
  long	INTEGER, TINYINT, SMALLINT, dan BIGINT
  double	FLOAT, DECIMAL, dan DOUBLE
  string	CHAR dan VARCHAR
  date	DATE, TIME, dan TIMESTAMP
  bytes	BINARY dan VARBINARY
  boolean	BOOLEAN

Tulis batch

Tabel berikut mencantumkan pemetaan tipe data untuk HBase Writer.

Tugas sinkronisasi offline single-table

• Untuk petunjuk, lihat Konfigurasikan tugas di Antarmuka tanpa kode dan Konfigurasikan tugas di editor kode.

  Secara default, Mode Wizard tidak menampilkan bagian Pemetaan Bidang karena HBase merupakan sumber data tanpa skema. Anda harus mengonfigurasi pemetaan bidang secara manual:

  • Saat HBase adalah sumber data, konfigurasikan Source Field dalam format berikut: data_type|column_family:column_name.

  • Saat HBase adalah tujuan data, konfigurasikan Destination Field dan rowkey. Untuk Destination Field, gunakan format source_field_index|data_type|column_family:column_name. Untuk rowkey, gunakan format source_primary_key_index|data_type.

  Catatan

  Setiap bidang harus berada di baris terpisah.

• Untuk daftar lengkap parameter dan contoh skrip dalam Mode Skrip, lihat Lampiran: Demo skrip dan parameter.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas di editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip HBase Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"hbase",// Nama plugin.
            "parameter":{
                "mode":"normal",// Mode untuk membaca data dari HBase. Nilai yang valid: normal dan multiVersionFixedColumn.
                "scanCacheSize":"256",// Jumlah baris yang dibaca klien dari server per RPC.
                "scanBatchSize":"100",// Jumlah kolom yang dibaca klien dari server per RPC.
                "hbaseVersion":"094x/11x",// Versi HBase.
                "column":[// Kolom yang akan dibaca.
                    {
                        "name":"rowkey",// Nama kolom.
                        "type":"string"// Tipe data.
                    },
                    {
                        "name":"columnFamilyName1:columnName1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "format":"yyyy-MM-dd",
                        "type":"date"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "type":"long"
                    }
                ],
                "range":{// Rentang rowkey untuk HBase Reader.
                    "endRowkey":"",// Rowkey akhir.
                    "isBinaryRowkey":true,// Menentukan cara mengonversi startRowkey dan endRowkey ke array byte. Nilai default adalah false.
                    "startRowkey":""// Rowkey awal.
                },
                "maxVersion":"",// Jumlah versi yang dibaca dalam mode multi-versi.
                "encoding":"UTF-8",// Format encoding.
                "table":"",// Nama tabel.
                "hbaseConfig":{// Konfigurasi koneksi untuk kluster HBase, dalam format JSON.
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs://ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah maksimum catatan error yang diizinkan.
        },
        "speed":{
            "throttle":true,// Mengaktifkan Pembatasan kecepatan. Jika true, Pembatasan kecepatan diaktifkan berdasarkan nilai mbps. Jika false, parameter mbps diabaikan.
            "concurrent":1,// Jumlah tugas konkuren untuk pekerjaan.
            "mbps":"12"// Laju pembatasan. Dalam contoh ini, 1 mbps sama dengan 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter HBase Reader

Demo skrip HBase Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"hbase",// Nama plugin.
            "parameter":{
                "mode":"normal",// Mode untuk menulis data ke HBase.
                "walFlag":"false",// Menentukan apakah akan menulis ke Write-Ahead Log (WAL). Nilai false menonaktifkannya.
                "hbaseVersion":"094x",// Versi HBase.
                "rowkeyColumn":[// Kolom yang digunakan untuk rowkey.
                    {
                        "index":"0",// Nomor seri.
                        "type":"string"// Tipe data.
                    },
                    {
                        "index":"-1",
                        "type":"string",
                        "value":"_"
                    }
                ],
                "nullMode":"skip",// Menentukan cara menangani nilai null.
                "column":[// Kolom HBase yang akan ditulis.
                    {
                        "name":"columnFamilyName1:columnName1",// Nama kolom.
                        "index":"0",// Nomor indeks.
                        "type":"string"// Tipe data.
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "index":"1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "index":"2",
                        "type":"string"
                    }
                ],
                "encoding":"utf-8",// Format encoding.
                "table":"",// Nama tabel.
                "hbaseConfig":{// Konfigurasi koneksi untuk kluster HBase, dalam format JSON.
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs://ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah maksimum catatan error yang diizinkan.
        },
        "speed":{
            "throttle":true,// Mengaktifkan Pembatasan kecepatan. Jika true, Pembatasan kecepatan diaktifkan berdasarkan nilai mbps. Jika false, parameter mbps diabaikan.
            "concurrent":1, // Jumlah tugas konkuren untuk pekerjaan.
            "mbps":"12"// Laju pembatasan.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter HBase Writer

"rowkeyColumn": [
          {
            "index":0,
            "type":"string"
          },
          {
            "index":-1,
            "type":"string",
            "value":"_"
          }
      ]

Demo skrip HBase20xsql Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"hbase20xsql",// Nama plugin.
            "parameter":{
                "queryServerAddress": "http://127.0.0.1:8765",  // Alamat Phoenix QueryServer.
                "serialization": "PROTOBUF",  // Format serialisasi QueryServer.
                "table": "TEST",    // Tabel yang akan dibaca.
                "column": ["ID", "NAME"],   // Kolom yang akan dibaca.
                "splitKey": "ID"    // Kolom pemisah, yang harus merupakan kunci primer tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah maksimum catatan error yang diizinkan.
        },
        "speed":{
            "throttle":true,// Mengaktifkan Pembatasan kecepatan. Jika true, Pembatasan kecepatan diaktifkan berdasarkan nilai mbps. Jika false, parameter mbps diabaikan.
            "concurrent":1,// Jumlah tugas konkuren untuk pekerjaan.
            "mbps":"12"// Laju pembatasan. Dalam contoh ini, 1 mbps sama dengan 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter HBase20xsql Reader

Demo skrip HBase11xsql Writer

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "setting": {
      "errorLimit": {
        "record": "0"
      },
      "speed": {
            "throttle":true,// Mengaktifkan Pembatasan kecepatan. Jika true, Pembatasan kecepatan diaktifkan berdasarkan nilai mbps. Jika false, parameter mbps diabaikan.
            "concurrent":1, // Jumlah tugas konkuren untuk pekerjaan.
            "mbps":"1"// Laju pembatasan. Dalam contoh ini, 1 mbps sama dengan 1 MB/s.
      }
    },
    "reader": {
      "plugin": "odps",
      "parameter": {
        "datasource": "",
        "table": "",
        "column": [],
        "partition": ""
      }
    },
    "plugin": "hbase11xsql",
    "parameter": {
      "table": "Nama tabel HBase target, yang case-sensitive.",
      "hbaseConfig": {
        "hbase.zookeeper.quorum": "Alamat server ZooKeeper kluster HBase target.",
        "zookeeper.znode.parent": "znode kluster HBase target."
      },
      "column": [
        "columnName"
      ],
      "batchSize": 256,
      "nullMode": "skip"
    }
  }
}

Parameter HBase11xsql Writer