Lindorm Tunnel Service (LTS) は、ApsaraDB for HBase のビジネスシナリオに特化してカスタマイズされたデータエコシステムサービスです。データ移行、同期、サブスクリプション、アーカイブを一元的に処理し、クラスター間のデータ移動、リアルタイム更新のストリーミング、データレイクへのダンプ、データウェアハウスへのライトバックを、単一のサービスで実現します。LTS は以前、Big DataHub Service (BDS) と呼ばれていました。
主な機能
クラウドネイティブ分散システム： LTS は Elastic Compute Service (ECS) 上で分散システムとして動作します。スループット要件に応じてノードを追加することで、水平スケーリングが可能です。
使いやすさ： 数回のクリック操作で、データ移行、インポート、サブスクリプション、アーカイブの各タスクを設定できます。データ移行タスクでは、ソース、送信先、および同期対象のカラムを指定するだけで、LTS がスキーマ、完全データ、増分データを自動的にレプリケーションします。
高いセキュリティと信頼性： タスク開始前に、LTS はネットワーク接続およびセキュリティを検証します。タスク実行中は、同期遅延および送信先クラスターのストレージ状況をリアルタイムでモニタリングし、トラフィックの速度制限を適用、アラートを送信します。タスク完了後には、同期されたデータの検証を行います。
コスト効率： LTS は API 呼び出しではなく物理ファイルに基づいてデータをレプリケーションするため、従来のデータレプリケーション方式と比較して 10 倍の効率を実現します。最適化された Apache HBase、Apache Phoenix、Apache Cassandra の内部構造を基盤としており、CPU、キャッシュ、メモリ、ネットワーク I/O の各機能も最適化されています。
機能一覧
| 機能 | 利用シーン | 参照 |
|---|---|---|
| HBase クラスター間のデータ移行または同期 | 既存クラスターと新規クラスター間のシームレスなデータ移行、クラスターのスペックアップ、オンライン／オフラインワークロードのデカップリング、アクティブ／スタンバイ災害復旧、アクティブ地理的冗長性 | 完全データおよび増分データの同期 |
| HBase から MaxCompute（旧称：Open Data Processing Service (ODPS)）へのデータエクスポート | 履歴データおよび増分データのエクスポート | 完全データを MaxCompute へエクスポート および 増分データを MaxCompute へアーカイブ |
| Log Service からのサブスクリプションによる HBase へのデータ同期 | Log Service のリアルタイムデータをサブスクライブし、HBase へ同期 | Log Service からの増分データのインポート |
| HBase 増分データのサブスクリプション | ApsaraDB for HBase Performance-enhanced Edition のリアルタイムデータのサブスクリプション | 操作手順 |
ログのライフサイクル管理
ログサブスクリプションを有効化すると、LTS は未消費のログデータを 48 時間保持します。この期間を過ぎると、サブスクリプションは自動的にキャンセルされ、保持中のデータも自動的に削除されます。
ログデータが未消費となるケースは以下の 2 つがあります：実行中のタスクがある状態で LTS クラスターがリリースされた場合、または同期タスクが一時停止された場合です。
ログサブスクリプションは、以下のタスクタイプでサポートされています：HBase または Lindorm の増分同期、データアーカイブ、データバックアップ、データサブスクリプション。
ユースケース
ダウンタイムなしの移行
LTS は、HBase 1.x、HBase 2.x、ApsaraDB for HBase Performance-enhanced Edition、Phoenix 4.x、Phoenix 5.x に対するゼロダウンタイム移行をサポートしています。
履歴データの移行とリアルタイム増分データの同期を単一のタスクで実行 — サービス中断は不要です。
LTS は、ソース HBase クラスターとのインタラクションを経ずに、ソースクラスターの Hadoop 分散ファイルシステム (HDFS) から直接データを読み取り、オンラインワークロードへの影響を最小限に抑えます。
ファイルベースのレプリケーションは、API ベースのレプリケーションと比較して、トラフィックを 50 % 以上削減します。
各ノードは最大 100 MB/s の速度でデータを移行します。テラバイト～ペタバイト規模のデータセットに対応するには、ノードを水平方向に追加してください。
自動スキーマ同期により、ソースと送信先のパーティションが常に整合性を保ちます。
内蔵のタスクリトライ機能、リアルタイム進捗モニタリング、障害発生時のアラートにより、移行作業を確実に進行させます。
移行後のデータ検証により、精度を確認します。
オンライン／オフラインワークロードのデカップリング
オンライン業務データをリアルタイムで Object Storage Service (OSS) または HDFS へ同期します。Spark や MapReduce を使用してデータを分析しても、オンラインクエリのパフォーマンスには影響しません。
アクティブ／スタンバイ災害復旧
LTS は、プライマリクラスターとセカンダリクラスター間の双方向データ同期をサポートします。プライマリクラスターが障害を起こした場合、ワークロードをセカンダリクラスターへ切り替えます。プライマリクラスターが回復した後は、LTS を使用して、セカンダリクラスターから増分データをプライマリクラスターへ同期します。
ApsaraDB RDS のホット／コールドデータ分離
ApsaraDB RDS において、トランザクション履歴などの既存データがパフォーマンスボトルネックを引き起こす場合、LTS を使用して RDS データを ApsaraDB for HBase へリアルタイムで同期します。これにより、ホットデータとコールドデータを分離できます。ApsaraDB for HBase は、自動水平スケーリング、高同時実行数クエリ、マルチディメンションインデックス、軽量分析を提供します。Streams を使用して、順序を保ったままデータ更新をサブスクライブしたり、ApsaraDB for HBase から他の分析システムへデータを同期して複雑な分析を実行することもできます。