Lindorm Tunnel Service (LTS) は、ApsaraDB for HBase が使用されるビジネスシナリオの特性に基づいてカスタマイズされたデータエコシステムサービスです。このサービスは、以前は Big DataHub Service (BDS) と呼ばれていました。LTS は、データ交換、処理、サブスクリプションなどの使いやすい機能をサポートしています。これにより、データの移行、リアルタイムのデータ更新のサブスクライブ、データレイクへのデータのダンプ、データウェアハウスへのバックフローの設定を行うことができます。また、ユニットに基づいてマルチアクティブ冗長性を適用し、バックアップとリストアを実装することもできます。このように、LTS は ApsaraDB for HBase のためのオールインワンのデータエコシステムサービスを提供します。
コア機能
クラウドネイティブ分散システム: LTS は、Elastic Compute Service (ECS) に基づいてデプロイされる分散システムです。優れた水平スケーラビリティを備えており、ビジネス要件に基づいてリソースを設定できます。
使いやすさ: LTS を使用すると、数回クリックするだけでデータ移行、インポート、サブスクリプション、アーカイブタスクを設定できます。たとえば、データ移行タスクを作成するには、移行元、移行先、同期する列を指定するだけで済みます。LTS は、設定に基づいてスキーマ、フルデータ、増分データを自動的に複製します。
高いセキュリティと信頼性: LTS は、オンラインのソースシステムと宛先システムへの影響を最小限に抑え、互換性がないことによる潜在的な障害の影響を最小限に抑えます。タスクが開始される前に、LTS はネットワーク接続とセキュリティを事前チェックします。タスクの実行中は、同期レイテンシと宛先クラスタのストレージ使用量をリアルタイムで監視します。また、監視データに基づいてトラフィック調整を実施し、アラートを報告します。タスクが完了すると、同期されたデータを確認します。
費用対効果: LTS は、Apache HBase、Apache Phoenix、Apache Cassandra などのオープンソースシステムに基づいて最適化されたサービスです。LTS では、物理ファイルに基づいてデータを複製できます。これは、従来のデータ複製よりも 10 倍効率的です。また、最適化された CPU、キャッシュ、メモリ、ネットワーク I/O 機能も提供します。このように、LTS は費用対効果の高いトンネルを提供し、データ転送と処理のコストを削減するのに役立ちます。
機能
機能 | シナリオ | 参照 |
HBase クラスタ間のデータ移行または同期 | 既存のクラスタと新しいクラスタ間のシームレスなデータ移行、クラスタのアップグレード、オンラインとオフラインのワークロードの分離、アクティブ/スタンバイのディザスタリカバリ、アクティブな geo-redundancy | |
HBase から MaxCompute (旧称 Open Data Processing Service (ODPS)) へのデータエクスポート | 履歴データと増分データのエクスポート | |
Log Service のサブスクリプションによる HBase へのデータ同期 | Log Service のリアルタイムデータのサブスクリプションによる HBase へのデータ同期 | |
HBase 増分データのサブスクリプション | ApsaraDB for HBase パフォーマンス拡張版のリアルタイムデータのサブスクリプション |
ログライフサイクル管理
ログサブスクリプション機能を有効にした後、ログデータが消費されない場合、ログデータはデフォルトで 48 時間保持されます。期間が経過すると、サブスクリプションは自動的にキャンセルされ、保持されているデータは自動的に削除されます。
タスクの実行中に LTS クラスタが解放された場合、または同期タスクが一時停止された場合、ログデータが消費されない可能性があります。
LTS では、HBase または Lindorm の増分同期、データアーカイブ、データバックアップ、データサブスクリプションのタスクタイプでログサブスクリプション機能を有効にできます。
代表的なシナリオ
ダウンタイムなしの移行 (HBase 1.x、HBase 2.x、ApsaraDB for HBase パフォーマンス拡張版、Phoenix 4.x、Phoenix 5.x)
サービスを中断することなくデータを移行できます。LTS は、1 つのタスクで履歴データを移行し、リアルタイムの増分データを同期できます。
データの移行中、LTS はソース HBase クラスタと対話しません。LTS は、ソースクラスタの HDFS からのみデータを読み取ります。これにより、ソースクラスタで実行されているオンラインビジネスへの影響が最小限に抑えられます。
LTS は、ファイルに基づいてデータ複製を実行します。API 操作を呼び出して実行されるデータ複製と比較して、この方法では、複製中に生成されるトラフィックを 50% 以上削減できます。
高効率。各ノードは最大 100 MB/s の速度でデータを移行できます。水平スケーリングのためにノードを追加して、テラバイトまたはペタバイトのデータを移行できます。
高安定性。LTS は、失敗したタスクを再実行するための堅牢なメカニズムをサポートしています。同期速度とタスクの進捗状況をリアルタイムで監視し、タスクが失敗した場合にアラートを報告します。
データの正確性。LTS は、同期されたデータを確認します。
スキーマの自動同期。これにより、パーティションの一貫性が確保されます。
オンラインとオフラインのワークロードの分離
LTS を使用すると、オンラインビジネスデータを HDFS や OSS などのストレージにリアルタイムで同期できます。LTS は、Spark や MapReduce などのビッグデータサービスのコンポーネントと連携して、データを分析できます。これにより、オンラインビジネスクエリが影響を受けないようにします。
アクティブ/スタンバイのディザスタリカバリ
LTS は、プライマリクラスタとセカンダリクラスタ間の双方向データ同期をサポートしています。プライマリクラスタに障害が発生した場合、ワークロードをセカンダリクラスタに切り替えて、ワークロードへの影響を軽減できます。プライマリクラスタが復旧した後、LTS を使用して、セカンダリクラスタからプライマリクラスタに増分データを同期できます。
ApsaraDB RDS データベースの履歴データストレージ
トランザクション注文などの履歴データが保存されるシナリオでは、データサイズが常に増加するため、ApsaraDB RDS データベースでパフォーマンスのボトルネックが発生する可能性があります。定期的なデータアーカイブまたはシャーディングは複雑で、コストがかかります。LTS を使用すると、ApsaraDB RDS データを ApsaraDB for HBase にリアルタイムで同期できます。これにより、ホットデータとコールドデータを分離できます。ApsaraDB for HBase は、自動水平スケーリング、高並列クエリ、多次元インデックス作成、軽量分析をサポートしています。Streams を使用すると、データ更新を順番にサブスクライブできます。また、LTS を使用すると、ApsaraDB for HBase から他の分析システムにデータを同期して、複雑なデータ分析を行うこともできます。