DataWorks:HBase データソース

HBase Reader

HBase Reader は normal モードと multiVersionFixedColumn モードをサポートしています。設定手順については、HBase フィールドマッピングガイドをご参照ください。

• normal モードでは、HBase Reader は HBase テーブルを標準の二次元テーブル (ワイドテーブル) として扱い、データの最新バージョンを読み取ります。

  hbase:007:0> scan 'student'
  ROW                                   COLUMN+CELL
  s001                                 column=basic:age, timestamp=2026-03-09T14:41:40.240, value=20
  s001                                 column=basic:name, timestamp=2026-03-09T14:41:40.214, value=Tom
  s001                                 column=score:english, timestamp=2026-03-09T14:41:40.333, value=90
  s001                                 column=score:math, timestamp=2026-03-09T14:41:40.277, value=85
  1 row(s) in 0.0580 seconds 

  次の表に出力データを示します。

  行キー	basic:age	basic:name	score:english	score:math
  s001	20	Tom	90	85

• multiVersionFixedColumn モード：HBase テーブルをナローテーブルとして読み取ります。返される各レコードは、rowKey、family:qualifier、timestamp、value の 4 つのカラムで構成されます。読み取るカラムを明示的に指定する必要があります。各セルの値はレコードとして扱われます。複数のバージョンが存在する場合、複数のレコードが返されます。

  hbase:007:0> scan 'student',{VERSIONS=>5}
  ROW                                   COLUMN+CELL
  s001                                 column=basic:age, timestamp=2026-03-09T14:41:40.240, value=20
  s001                                 column=basic:age, timestamp=2026-03-09T14:30:00.100, value=19
  s001                                 column=basic:name, timestamp=2026-03-09T14:41:40.214, value=Tom
  s001                                 column=score:english, timestamp=2026-03-09T14:41:40.333, value=90
  s001                                 column=score:math, timestamp=2026-03-09T14:41:40.277, value=85
  1 row(s) in 0.0260 seconds }

  行キー	family:qualifier	タイムスタンプ	値
  s001	basic:age	2026-03-09T14:41:40.240	20
  s001	basic:age	2026-03-09T14:30:00.100	19
  s001	basic:name	2026-03-09T14:41:40.214	Tom
  s001	score:english	2026-03-09T14:41:40.333	90
  s001	score:math	2026-03-09T14:41:40.277	85

HBase Writer

• rowkey 生成ルール：現在、HBase Writer は、ソースから複数のフィールドを連結して HBase テーブルの rowkey として使用することをサポートしています。

• HBase にデータを書き込むためのバージョン (タイムスタンプ) を指定できます。利用可能なオプションは次のとおりです：

  • 現在の時刻をバージョンとして使用します。

  • ソースカラムをバージョンとして指定します。

  • 時刻をバージョンとして指定します。

バッチ読み取り

• この表は、サポートされている HBase データ型と、HBase Reader がそれらをどのように変換するかを示しています。

  カテゴリ	Data Integration カラム型	データベースのデータ型
  整数	long	short、int、および long
  浮動小数点	double	float および double
  文字列	string	binary_string および string
  日付と時刻	date	date
  バイト	bytes	bytes
  ブール値	boolean	boolean

• HBase20xsql Reader は、すべてではありませんが、ほとんどの Phoenix データ型をサポートしています。データ型がサポートされていることを確認してください。

• この表は、HBase20xsql Reader が Phoenix データ型を DataX 内部型にマッピングする方法を示しています。

  DataX 内部型	Phoenix データ型
  long	INTEGER、TINYINT、SMALLINT、BIGINT
  double	FLOAT、DECIMAL、DOUBLE
  string	CHAR、VARCHAR
  date	DATE、TIME、TIMESTAMP
  bytes	BINARY、VARBINARY
  boolean	BOOLEAN

バッチ書き込み

この表は、HBase Writer がサポートするデータ型をリストしています。

単一テーブルのバッチ同期の設定

• 詳細については、「コードレス UI 設定」および「スクリプトモード設定」をご参照ください。

  HBase はスキーマレスなデータソースであるため、コードレス UI ではデフォルトでフィールドマッピングが表示されません。手動で設定する必要があります。

  HBase をデータソースとして使用する場合、まず Output Mode を選択する必要があります：normal モードまたは multiVersionFixedColumn モード。

  フィールドマッピングの設定は、モードごとに異なります：

  • normal モード：これはデフォルトのモードです。このモードは HBase テーブルを標準の二次元テーブルとして読み取り、データの最新バージョンを取得します。HBase をデータソースとして使用する場合、Source Field と Target Field の間のマッピングを設定する必要があります。ソースフィールドと宛先フィールドは 1 対 1 でマッピングされます。ソーステーブルには固定フィールドがないため、フィールドはデフォルトで順序によってマッピングされます。マッピングを変更するには、手動でフィールドの順序を編集する必要があります。

    新バージョン

    フィールドマッピング設定では、マッピングは `rowkey` → `rowkey`、`basic:age` → `age`、`basic:name` → `name`、`score:english` → `english`、`score:math` → `math` となります。ソースフィールドは JSON 形式で表示され、`name` と `type` (両方とも `string`) プロパティを含みます。

    旧バージョン

    フィールドマッピング設定では、ソースフィールドは Type|ColumnFamily:ColumnName 形式で表示されます。これには string|rowkey、string|basic:age、string|basic:name、string|score:english、string|score:math が含まれます。これらはそれぞれターゲットフィールドの rowkey、age、name、english、math にマッピングされます。

    ターゲットテーブルには、rowkey、age、name、english、math、pt などのフィールドが含まれます。例：rowkey=s001, age=20, name=Tom, english=90, math=85, pt=222222。

  • multiVersionFixedColumn モード：各出力レコードは 4 つのカラム (rowKey、family:qualifier、timestamp、value) で構成され、このモードでは複数のデータバージョンを読み取ることができます。Source Field は ColumnFamily:Qualifier 形式で設定されます (例：basic:age)。宛先テーブルには row_key、cf、timestamp_col、value の 4 つの固定カラムがあり、マッピング設定は不要です。

    新バージョン

    フィールドマッピングエリアで、ソースフィールドをターゲットフィールドにマッピングします。ソースフィールドは JSON 形式です。マッピング例：{"name":"rowkey","type":"string"} はターゲットフィールド rowkey にマッピングされ、{"name":"basic:age","type":"string"} は family に、{"name":"basic:name","type":"string"} は timestamp に、{"name":"score:english","type":"string"} は value にマッピングされます。マッピングされていないソースフィールド {"name":"score:math","type":"string"} はシステムによって同期されません。どちらかの側の 編集 ボタンをクリックして、それぞれソースフィールドとターゲットフィールドを編集できます。

    旧バージョン

    フィールドマッピングエリアでは、ソースフィールド には string|rowkey、string|basic:age、string|basic:name、string|score:english、string|score:math が含まれます。ターゲットフィールド には rowkey、family、timestamp、value が含まれます。ソースフィールドとターゲットフィールドは行ごとにマッピングされます。

    ターゲットテーブルには、row_key、cf、timestamp_col、value の 4 つの固定カラムが含まれます。例：row_key=s001, cf=basic:age, timestamp_col=1234567890, value=20。

  • HBase をデータ宛先として使用する場合 (normal モードのみサポート)、Target Field と rowkey を設定する必要があります。rowkey フィールドは、複数のソースフィールドを連結して形成できます。

• スクリプトモードのパラメーターとスクリプト例については、「付録：スクリプト例とパラメーターの説明」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプト形式の要件に基づいて、スクリプト内で関連するパラメーターを設定する必要があります。詳細については、「スクリプトモード設定」をご参照ください。以下の情報は、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明しています。

HBase Reader の例

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"hbase",// プラグイン名。
            "parameter":{
                "mode":"normal",// HBase からデータを読み取るモードを指定します。有効な値：`normal` および `multiVersionFixedColumn`。
                "scanCacheSize":"256",// RPC ごとにサーバーからフェッチする行数を指定します。
                "scanBatchSize":"100",// RPC ごとにサーバーからフェッチするカラム数を指定します。
                "hbaseVersion":"094x/11x",// HBase のバージョン。
                "column":[// 読み取るフィールド。
                    {
                        "name":"rowkey",// フィールド名。
                        "type":"string"// データ型。
                    },
                    {
                        "name":"basic:age",
                        "type":"string"
                    },
                    {
                        "name":"basic:name",
                        "type":"string"
                    },
                    {
                        "name":"score:english",
                        "type":"string"
                    },
                    {
                        "name":"score:math",
                        "type":"string"
                    }
                ],
                "range":{// 読み取る rowkey の範囲を指定します。
                    "endRowkey":"",// 終了 rowkey。
                    "isBinaryRowkey":true,// startRowkey と endRowkey にバイナリ変換を使用するかどうかを指定します。デフォルト値は false です。
                    "startRowkey":""// 開始 rowkey。
                },
                "maxVersion":"",// マルチバージョンモードで読み取るバージョン数を指定します。
                "encoding":"UTF-8",// エンコード形式。
                "table":"student",// テーブル名。
                "hbaseConfig":{// HBase クラスターの接続設定。JSON 形式。
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs://ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",// 宛先のプラグイン名。この例では MaxCompute を使用します。別の Writer プラグインに置き換えることができます。
            "parameter":{
                "partition":"",// 宛先テーブルのパーティション情報。非パーティションテーブルには不要です。
                "truncate":true,// データを書き込む前に宛先テーブルまたはパーティションをクリアするかどうかを指定します。
                "datasource":"odps_datasource",// MaxCompute データソース名。
                "column":[// 宛先フィールド。
                    "rowkey",
                    "basic_age",
                    "basic_name",
                    "score_english",
                    "score_math"
                ],
                "table":"student_target"// 宛先 MaxCompute テーブルの名前。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// ジョブが失敗するまでに許容されるエラーレコードの最大数。
        },
        "speed":{
            "throttle":true,// レート制限を有効にするかどうかを指定します。false に設定すると、mbps パラメーターは無視されます。
            "concurrent":1,// 同時実行ジョブの数。
            "mbps":"12"// レート制限 (メガバイト/秒、MB/s)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Reader スクリプト (multiVersionFixedColumn モード)

multiVersionFixedColumn モードで HBase からデータを読み取り、MaxCompute に書き込む完全なスクリプトの例を以下に示します。このモードでは、HBase の各セルの値が個別のレコードに変換されます。各レコードは、rowkey、family:qualifier、timestamp、value の 4 つのカラムで構成されます。

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"hbase",// プラグイン名。
            "parameter":{
                "mode":"multiVersionFixedColumn",// HBase からデータを読み取るモード。この例では multiVersionFixedColumn モードを使用します。
                "scanCacheSize":"256",// HBase クライアントが各リモートプロシージャコール (RPC) でサーバーから読み取る行数。
                "scanBatchSize":"100",// HBase クライアントが各 RPC でサーバーから読み取るカラム数。
                "hbaseVersion":"20x",// HBase のバージョン。
                "datasource":"hbase_datasource",// HBase データソース名。
                "column":[// 読み取るカラム。最初のカラムは rowkey である必要があります。他のカラムの名前は「カラムファミリー:修飾子」形式である必要があります。
                    {
                        "name":"rowkey",// rowkey カラム。
                        "type":"string"
                    },
                    {
                        "name":"basic:age",// basic カラムファミリーの age カラム。
                        "type":"string"
                    },
                    {
                        "name":"basic:name",// basic カラムファミリーの name カラム。
                        "type":"string"
                    },
                    {
                        "name":"score:english",// score カラムファミリーの english カラム。
                        "type":"string"
                    },
                    {
                        "name":"score:math",// score カラムファミリーの math カラム。
                        "type":"string"
                    }
                ],
                "range":{
                    "isBinaryRowkey":false
                },
                "maxVersion":"-1",// 読み取るバージョンの最大数。このパラメーターは multiVersionFixedColumn モードで必須です。-1 の値はすべてのバージョンを読み取ることを指定します。
                "encoding":"UTF-8",// エンコード形式。
                "table":"student"// HBase テーブル名。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",// 宛先プラグインの名前。この例では MaxCompute を使用します。
            "parameter":{
                "partition":"",// 宛先テーブルのパーティション。このパラメーターは非パーティションテーブルには不要です。
                "truncate":true,// true に設定すると、データを書き込む前に宛先テーブルまたはパーティションをクリアします。
                "datasource":"odps_datasource",// MaxCompute データソース名。
                "column":[// 宛先には、ソースの rowkey、family:qualifier、timestamp、value にそれぞれ対応する 4 つの固定カラムがあります。
                    "row_key",
                    "cf",
                    "timestamp_col",
                    "value"
                ],
                "table":"hbase_multiversion_target"// 宛先 MaxCompute テーブルの名前。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコードの最大数。
        },
        "speed":{
            "throttle":false,// レート制限なし。
            "concurrent":2// ジョブの同時実行数。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Reader スクリプトパラメーター

HBase Writer スクリプト

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"hbase",// プラグイン名。
            "parameter":{
                "mode":"normal",// HBase の書き込みモード。
                "walFlag":"false",// `false` に設定すると、先行書き込みログ (WAL) を無効にします。
                "hbaseVersion":"094x",// HBase のバージョン。
                "rowkeyColumn":[// HBase の rowkey を構成するカラム。
                    {
                        "index":"0",// ソースデータカラムのインデックス。
                        "type":"string"// rowkey のこの部分のデータ型。
                    },
                    {
                        "index":"-1",
                        "type":"string",
                        "value":"_"
                    }
                ],
                "nullMode":"skip",// ソースからの null 値の処理方法を指定します。
                "column":[// HBase テーブルの宛先カラム。
                    {
                        "name":"columnFamilyName1:columnName1",// カラム名。`family:qualifier` 形式。
                        "index":"0",// ソースデータカラムのインデックス。
                        "type":"string"// カラム値のデータ型。
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "index":"1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "index":"2",
                        "type":"string"
                    }
                ],
                "encoding":"utf-8",// 文字エンコーディング。
                "table":"",// 宛先 HBase テーブルの名前。
                "hbaseConfig":{// HBase クラスター接続の設定。JSON 形式。
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs: //ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容されるエラーレコードの最大数。
        },
        "speed":{
            "throttle":true,// レート制限を有効 (`true`) または無効 (`false`) にします。`true` の場合、レートは `mbps` パラメーターによって定義されます。
            "concurrent":1, // 同時書き込みタスクの数。
            "mbps":"12"// 最大転送レート (メガバイト/秒、MB/s)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Writer スクリプトパラメーター

"rowkeyColumn": [
          {
            "index":0,
            "type":"string"
          },
          {
            "index":-1,
            "type":"string",
            "value":"_"
          }
      ]

HBase20xsql Reader デモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"hbase20xsql",// プラグイン名。
            "parameter":{
                "queryServerAddress": "http://127.0.0.1:8765",  // Phoenix QueryServer エンドポイント。
                "serialization": "PROTOBUF",  // QueryServer シリアル化フォーマット。
                "table": "TEST",    // 読み取るテーブル。
                "column": ["ID", "NAME"],   // 読み取るカラム。
                "splitKey": "ID"    // シャーディングキー。テーブルのプライマリキーである必要があります。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// 許容される最大エラーレコード数。
        },
        "speed":{
            "throttle":true,// レート制限を切り替えます。true の場合、レートは mbps パラメーターによって制限されます。
            "concurrent":1,// 同時実行ジョブの数。
            "mbps":"12"// レート制限 (MB/s)。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase20xsql Reader パラメーター

HBase11xsql Writer の例

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "setting": {
      "errorLimit": {
        "record": "0"
      },
      "speed": {
            "throttle":true,// レート制限を有効にします。false に設定すると、mbps パラメーターは無視されます。
            "concurrent":1, // 同時実行ジョブの数。
            "mbps":"1"// レート制限 (MB/s)。
      }
    },
    "reader": {
      "plugin": "odps",
      "parameter": {
        "datasource": "",
        "table": "",
        "column": [],
        "partition": ""
      }
    },
    "plugin": "hbase11xsql",
    "parameter": {
      "table": "宛先 HBase テーブルの名前。名前は大文字と小文字を区別します。",
      "hbaseConfig": {
        "hbase.zookeeper.quorum": "宛先 HBase クラスターの ZooKeeper エンドポイント。",
        "zookeeper.znode.parent": "宛先 HBase クラスターの znode。"
      },
      "column": [
        "columnName"
      ],
      "batchSize": 256,
      "nullMode": "skip"
    }
  }
}

HBase11xsql Writer パラメーター