Lindorm:MaxCompute への増分データのアーカイブ

サポート対象バージョン

制限事項

• LTS を使用したアーカイブは HBase のログに基づくため、バルクロードによるインポートデータはエクスポートできません。

ログデータのライフサイクル

• アーカイブ機能を有効化した後、ログデータが消費されない場合、LTS ではデフォルトで 48 時間保持されます。48 時間経過後、サブスクリプションは自動的にキャンセルされ、保持中のデータも自動的に削除されます。

• 実行中のタスク中に LTS クラスターがリリースされた場合、または同期タスクが一時停止された場合、ログデータの消費に失敗することがあります。

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• LTS の有効化

• HBase データソースの追加

• MaxCompute データソースの追加

増分データのアーカイブ

1. LTS の Web UI にログインします。左側のナビゲーションウィンドウで、[データエクスポート] ＞ [増分アーカイブ (MaxCompute)] を選択します。

   

2. [新規ジョブの作成] をクリックします。ソースとなる HBase クラスターと送信先の MaxCompute リソースパッケージを選択し、エクスポート対象の HBase テーブルを指定します。

   

   例として、wal-test HBase テーブルのデータをリアルタイムで MaxCompute へアーカイブする構成を示します。

   • アーカイブ対象カラム：cf1:a、cf1:b、cf1:c、cf1:d

   • mergeInterval：デフォルト値の 86400000（1 日 1 回のアーカイブ）に設定

   • mergeStartAt：20190930000000（2019 年 9 月 30 日 00:00）を開始時刻として指定。過去の時点を指定可能です。

3. アーカイブの進行状況を監視します。[リアルタイム同期チャネル] セクションでは、ログ同期タスクの遅延および開始オフセットが表示されます。[テーブルマージ] セクションでは、テーブルマージタスクが表示されます。マージが完了すると、新しいパーティションテーブルを MaxCompute でクエリ可能になります。

4. MaxCompute でデータをクエリします。

   

パラメーター

ジョブ設定の各行は、以下の形式で 1 つのテーブルエクスポートを指定します。

<hbaseTable>[/<odpsTable>] <tbConf>

• <hbaseTable>：ソース HBase テーブル名。

• <odpsTable>：送信先 MaxCompute テーブル名（省略可）。デフォルトでは HBase テーブル名と同じ名称が使用されます。HBase テーブル名に含まれるハイフン (-) は、MaxCompute 上ではアンダースコア (_) に変換されます。

• <tbConf>：当該テーブルのアーカイブ構成を含む JSON オブジェクト。

例：

hbaseTable/odpsTable {"cols": ["cf1:a|string", "cf1:b|int", "cf1:c|long", "cf1:d|short", "cf1:e|decimal", "cf1:f|double", "cf1:g|float", "cf1:h|boolean", "cf1:i"], "mergeInterval": 86400000, "mergeStartAt": "20191008100547"}
hbaseTable/odpsTable {"cols": ["cf1:a", "cf1:b", "cf1:c"], "mergeStartAt": "20191008000000"}
hbaseTable {"mergeEnabled": false}

tbConf オブジェクトでサポートされるパラメーターは以下のとおりです。