DataWorks：Sumber data HBase

HBase Reader

HBase Reader mendukung mode normal dan multiVersionFixedColumn.

• Mode normal: Membaca tabel HBase sebagai tabel dua dimensi standar dan mengambil versi terbaru dari data.

  hbase(main):017:0> scan 'users'
  ROW                                   COLUMN+CELL
  lisi                                 column=address:city, timestamp=1457101972764, value=beijing
  lisi                                 column=address:contry, timestamp=1457102773908, value=china
  lisi                                 column=address:province, timestamp=1457101972736, value=beijing
  lisi                                 column=info:age, timestamp=1457101972548, value=27
  lisi                                 column=info:birthday, timestamp=1457101972604, value=1987-06-17
  lisi                                 column=info:company, timestamp=1457101972653, value=baidu
  xiaoming                             column=address:city, timestamp=1457082196082, value=hangzhou
  xiaoming                             column=address:contry, timestamp=1457082195729, value=china
  xiaoming                             column=address:province, timestamp=1457082195773, value=zhejiang
  xiaoming                             column=info:age, timestamp=1457082218735, value=29
  xiaoming                             column=info:birthday, timestamp=1457082186830, value=1987-06-17
  xiaoming                             column=info:company, timestamp=1457082189826, value=alibaba
  2 row(s) in 0.0580 seconds }

  Tabel berikut menunjukkan data setelah dibaca.

  rowKey	address:city	address:contry	address:province	info:age	info:birthday	info:company
  lisi	beijing	china	beijing	27	1987-06-17	baidu
  xiaoming	hangzhou	china	zhejiang	29	1987-06-17	alibaba

• Mode multiVersionFixedColumn: Membaca tabel HBase sebagai tabel vertikal. Setiap catatan yang dibaca memiliki format empat kolom: rowKey, family:qualifier, timestamp, dan value. Anda harus menentukan kolom yang akan dibaca. Nilai di setiap sel diperlakukan sebagai satu catatan; jika terdapat beberapa versi, beberapa catatan akan dihasilkan.

  hbase(main):018:0> scan 'users',{VERSIONS=>5}
  ROW                                   COLUMN+CELL
  lisi                                 column=address:city, timestamp=1457101972764, value=beijing
  lisi                                 column=address:contry, timestamp=1457102773908, value=china
  lisi                                 column=address:province, timestamp=1457101972736, value=beijing
  lisi                                 column=info:age, timestamp=1457101972548, value=27
  lisi                                 column=info:birthday, timestamp=1457101972604, value=1987-06-17
  lisi                                 column=info:company, timestamp=1457101972653, value=baidu
  xiaoming                             column=address:city, timestamp=1457082196082, value=hangzhou
  xiaoming                             column=address:contry, timestamp=1457082195729, value=china
  xiaoming                             column=address:province, timestamp=1457082195773, value=zhejiang
  xiaoming                             column=info:age, timestamp=1457082218735, value=29
  xiaoming                             column=info:age, timestamp=1457082178630, value=24
  xiaoming                             column=info:birthday, timestamp=1457082186830, value=1987-06-17
  xiaoming                             column=info:company, timestamp=1457082189826, value=alibaba
  2 row(s) in 0.0260 seconds }

  Tabel berikut menunjukkan data (empat kolom) setelah dibaca.

  rowKey	column:qualifier	timestamp	value
  lisi	address:city	1457101972764	beijing
  lisi	address:contry	1457102773908	china
  lisi	address:province	1457101972736	beijing
  lisi	info:age	1457101972548	27
  lisi	info:birthday	1457101972604	1987-06-17
  lisi	info:company	1457101972653	beijing
  xiaoming	address:city	1457082196082	hangzhou
  xiaoming	address:contry	1457082195729	china
  xiaoming	address:province	1457082195773	zhejiang
  xiaoming	info:age	1457082218735	29
  xiaoming	info:age	1457082178630	24
  xiaoming	info:birthday	1457082186830	1987-06-17
  xiaoming	info:company	1457082189826	alibaba

HBase Writer

• Aturan pembuatan rowkey: HBase Writer mendukung penggabungan beberapa field sumber untuk menghasilkan rowkey untuk tabel HBase.

• Dukungan versi (timestamp) untuk menulis data ke HBase:

  • Gunakan waktu saat ini sebagai versi.

  • Gunakan kolom sumber sebagai versi.

  • Gunakan waktu tertentu sebagai versi.

Baca offline

• Tabel berikut mencantumkan tipe data HBase yang dapat dibaca dan pemetaannya ke tipe HBase Reader.

  Kategori	Tipe kolom Data Integration	Tipe data database
  Integer	long	short, int, dan long
  Floating-point	double	float dan double
  String	string	binary_string dan string
  Tanggal dan waktu	date	date
  Byte	bytes	bytes
  Boolean	boolean	boolean

• HBase20xsql Reader mendukung sebagian besar tipe Phoenix. Namun, beberapa tipe tidak didukung. Pastikan Anda memeriksa tipe data Anda.

• Tabel berikut mencantumkan pemetaan antara tipe Phoenix dan tipe HBase20xsql Reader.

  Tipe internal DataX	Tipe data Phoenix
  long	INTEGER, TINYINT, SMALLINT, BIGINT
  double	FLOAT, DECIMAL, DOUBLE
  string	CHAR, VARCHAR
  date	DATE, TIME, TIMESTAMP
  bytes	BINARY, VARBINARY
  boolean	BOOLEAN

Tulis offline

Tabel berikut mencantumkan tipe data HBase yang dapat ditulis dan pemetaannya ke tipe HBase Writer.

Panduan konfigurasi untuk tugas sinkronisasi offline tabel tunggal

• Untuk informasi lebih lanjut, lihat Konfigurasi tugas sinkronisasi di antarmuka tanpa kode dan Konfigurasi tugas sinkronisasi di editor kode.

  Saat menggunakan antarmuka tanpa kode, pemetaan field tidak ditampilkan secara default karena HBase merupakan sumber data tanpa skema tetap. Anda harus mengonfigurasi pemetaan field secara manual:

  • Jika HBase adalah sumber, konfigurasikan Source Field. Formatnya: Tipe Field|Family Kolom:Nama Kolom.

  • Jika HBase adalah tujuan, konfigurasikan Destination Field dan rowkey. Format untuk Destination Field adalah Indeks Field Sumber|Tipe Field|Family Kolom:Nama Kolom. Format untuk rowkey adalah Indeks Primary Key Sumber|Tipe Field.

  Catatan

  Masukkan setiap field pada baris baru.

• Untuk daftar lengkap parameter dan demo skrip untuk editor kode, lihat Lampiran: Demo skrip dan deskripsi parameter.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip sesuai format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasi tugas di editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip HBase Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"hbase",// Nama plugin.
            "parameter":{
                "mode":"normal",// Mode untuk membaca data dari HBase. Nilai yang valid: normal dan multiVersionFixedColumn.
                "scanCacheSize":"256",// Jumlah baris yang dibaca klien HBase dari server dalam setiap panggilan prosedur remote (RPC).
                "scanBatchSize":"100",// Jumlah kolom yang dibaca klien HBase dari server dalam setiap RPC. 
                "hbaseVersion":"094x/11x",// Versi HBase.
                "column":[// Field.
                    {
                        "name":"rowkey",// Nama field.
                        "type":"string"// Tipe data.
                    },
                    {
                        "name":"columnFamilyName1:columnName1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "format":"yyyy-MM-dd",
                        "type":"date"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "type":"long"
                    }
                ],
                "range":{// Menentukan rentang rowkey untuk dibaca oleh HBase Reader.
                    "endRowkey":"",// Rowkey akhir.
                    "isBinaryRowkey":true,// Menentukan cara mengonversi startRowkey dan endRowkey yang dikonfigurasi ke array byte. Nilai default adalah false.
                    "startRowkey":""// Rowkey awal.
                },
                "maxVersion":"",// Jumlah versi yang dibaca HBase Reader dalam mode multi-versi.
                "encoding":"UTF-8",// Format encoding.
                "table":"",// Nama tabel.
                "hbaseConfig":{// Informasi konfigurasi yang diperlukan untuk menghubungkan ke kluster HBase, dalam format JSON.
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs://ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan tidak ada pembatasan laju. Jika throttle diatur ke true, pembatasan laju diterapkan.
            "concurrent":1,// Jumlah tugas konkuren.
            "mbps":"12"// Batas laju. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip HBase Reader

Demo skrip HBase Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"hbase",// Nama plugin.
            "parameter":{
                "mode":"normal",// Mode untuk menulis data ke HBase.
                "walFlag":"false",// Menonaktifkan (false) pencatatan log WAL.
                "hbaseVersion":"094x",// Versi HBase.
                "rowkeyColumn":[// Kolom rowkey yang akan ditulis ke HBase.
                    {
                        "index":"0",// Nomor seri.
                        "type":"string"// Tipe data.
                    },
                    {
                        "index":"-1",
                        "type":"string",
                        "value":"_"
                    }
                ],
                "nullMode":"skip",// Cara menangani nilai null.
                "column":[// Field HBase yang akan ditulis.
                    {
                        "name":"columnFamilyName1:columnName1",// Nama field.
                        "index":"0",// Nomor indeks.
                        "type":"string"// Tipe data.
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "index":"1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "index":"2",
                        "type":"string"
                    }
                ],
                "encoding":"utf-8",// Format encoding.
                "table":"",// Nama tabel.
                "hbaseConfig":{// Informasi konfigurasi yang diperlukan untuk menghubungkan ke kluster HBase, dalam format JSON.
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs: //ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan tidak ada pembatasan laju. Jika throttle diatur ke true, pembatasan laju diterapkan.
            "concurrent":1, // Jumlah tugas konkuren.
            "mbps":"12"// Batas laju.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip HBase Writer

"rowkeyColumn": [
          {
            "index":0,
            "type":"string"
          },
          {
            "index":-1,
            "type":"string",
            "value":"_"
          }
      ]

Demo skrip HBase20xsql Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"hbase20xsql",// Nama plugin.
            "parameter":{
                "queryServerAddress": "http://127.0.0.1:8765",  // Endpoint Phoenix QueryServer.
                "serialization": "PROTOBUF",  // Format serialisasi QueryServer.
                "table": "TEST",    // Tabel yang akan dibaca.
                "column": ["ID", "NAME"],   // Kolom yang akan dibaca.
                "splitKey": "ID"    // Kolom sharding, yang harus merupakan primary key tabel.
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan tidak ada pembatasan laju. Jika throttle diatur ke true, pembatasan laju diterapkan.
            "concurrent":1,// Jumlah tugas konkuren.
            "mbps":"12"// Batas laju. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip HBase20xsql Reader

Demo skrip HBase11xsql Writer

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "setting": {
      "errorLimit": {
        "record": "0"
      },
      "speed": {
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan tidak ada pembatasan laju. Jika throttle diatur ke true, pembatasan laju diterapkan.
            "concurrent":1, // Jumlah tugas konkuren.
            "mbps":"1"// Batas laju. 1 mbps = 1 MB/s.
      }
    },
    "reader": {
      "plugin": "odps",
      "parameter": {
        "datasource": "",
        "table": "",
        "column": [],
        "partition": ""
      }
    },
    "plugin": "hbase11xsql",
    "parameter": {
      "table": "Nama tabel HBase tujuan, case-sensitive",
      "hbaseConfig": {
        "hbase.zookeeper.quorum": "Endpoint server ZooKeeper kluster HBase tujuan",
        "zookeeper.znode.parent": "znode kluster HBase tujuan"
      },
      "column": [
        "columnName"
      ],
      "batchSize": 256,
      "nullMode": "skip"
    }
  }
}

Parameter skrip HBase11xsql Writer