Lindorm Tunnel Service (LTS) は、Lindorm が使用されるビジネスシナリオの特性に基づいてカスタマイズされたデータエコシステムサービスです。LTS は、データ交換、処理、変更追跡などの使いやすい機能を提供します。これらの機能を使用して、データの移行、リアルタイムのデータ変更の追跡、データレイクへのデータのダンプ、データウェアハウスから Lindorm データベースへのデータの同期を行うことができます。また、これらの機能を使用して、データのバックアップと復元、およびユニットに基づくマルチアクティブ冗長性を実装することもできます。このようにして、LTS は Lindorm のためのオールインワンのデータエコシステムサービスを提供します。
コア機能
クラウドネイティブと分散: LTS は ECS にデプロイされ、水平スケーリングとオンデマンドのリソース構成をサポートします。
使いやすさ: データ移行、インポート、変更追跡、アーカイブなどのタスクをワンクリックで構成できます。データ移行の場合、ソース、宛先、および同期する列を選択するだけです。LTS は、スキーマレプリケーションと完全データおよび増分データの同期を自動的に完了します。
安全性と信頼性: LTS は、ソースシステムと宛先システムへの影響を最小限に抑えます。タスクが開始される前に、LTS はネットワーク接続とセキュリティを自動的にチェックします。タスク中、同期遅延と宛先クラスターのストレージ使用量をリアルタイムでモニターし、スロットリングとアラートを提供します。タスクが終了すると、LTS はデータ検証を提供します。
費用対効果: LTS は、HBase や Cassandra などのオープンソースシステム向けに高度に最適化されています。物理ファイルレベルでデータを処理することにより、効率を 10 倍向上させます。CPU、キャッシュ、メモリ、およびネットワーク I/O の包括的な最適化により、データ転送コストが削減されます。
機能
機能 | シナリオ | リファレンス |
HBase と LindormTable 間のデータ移行 | 既存のクラスターと新しいクラスター間のシームレスなデータ移行、クラスターのアップグレード、オンラインとオフラインのワークロードのデカップリング、プライマリ/セカンダリのディザスタリカバリ、およびアクティブ地理的冗長性。 | |
RDS -> Lindorm 重要 この機能は、2023 年 3 月 10 日以降に購入された LTS インスタンスでは利用できなくなりました。LTS インスタンスが 2023 年 3 月 10 日より前に購入された場合は、引き続きこの機能を使用できます。 | オンラインとオフラインのワークロードのデカップリングと既存データのアーカイブ。 | ApsaraDB RDS から完全データと増分データをインポートする 説明 この機能が廃止された後、DMS を使用してデータを同期できます。 |
MaxCompute/Hive -> Lindorm | オフラインクエリの高速化、およびデータウェアハウスから Lindorm への詳細とメトリックの転送によるオンラインクエリ。 | 詳細については、テクニカルサポートにお問い合わせください。 |
Lindorm から MaxCompute (旧称 Open Data Processing Service (ODPS)) へのデータエクスポート 重要 この機能は、2023 年 6 月 16 日以降に購入された LTS インスタンスでは利用できなくなりました。LTS インスタンスが 2023 年 6 月 16 日より前に購入された場合は、引き続きこの機能を使用できます。 | 既存データと増分データのエクスポート。 | |
LogHub のリアルタイムデータのサブスクリプション 重要 この機能は、2023 年 6 月 16 日以降に購入された LTS インスタンスでは利用できなくなりました。LTS インスタンスが 2023 年 6 月 16 日より前に購入された場合は、引き続きこの機能を使用できます。 | LogHub からのリアルタイムデータのサブスクリプションと Lindorm でのデータの消費 | |
Lindorm の変更追跡 | Lindorm のリアルタイム増分データのサブスクリプション。 |
シナリオ
クラスター移行
使用範囲
HBase から Lindorm へのデータ移行。
クラスターネットワークのスイッチオーバー。たとえば、ネットワークタイプがクラシックネットワークから VPC (Virtual Private Cloud) に変更されます。
リージョン間のデータセンター移行。
ワークロードのデカップリング。
機能
サービスを中断することなくデータを移行できます。LTS は、1 つのタスクで既存データを移行し、リアルタイムの増分データを同期できます。
データが移行されているとき、LTS はソースの HBase または Lindorm クラスターと対話しません。LTS はソースクラスターの HDFS からのみデータを読み取ります。これにより、ソースクラスターで実行されているオンラインビジネスへの影響が最小限に抑えられます。
ほとんどの場合、API レイヤーでのデータ移行と比較して、ファイルレイヤーでのデータレプリケーションは、データ使用量を 50% 以上削減するのに役立ちます。
LTS は効率的です。各ノードは最大 100 MB/s のレートでデータを移行できます。ノードを追加して水平スケーリングを行い、テラバイトまたはペタバイトのデータを移行できます。
LTS は、失敗したタスクをリトライし、タスクの同期レートと進行状況をリアルタイムでモニターし、タスクが失敗したときにアラートを報告することにより、安定したサービスを提供します。
LTS は、同期されたデータを検証することにより、データの正確性を保証します。
一貫したパーティションを確保するために、自動スキーマ同期がサポートされています。
オンラインとオフラインのワークロードのデカップリング
LTS を使用すると、オンラインビジネスデータをリアルタイムで HDFS または OSS ストレージに同期できます。LTS は、Spark や MapReduce などのビッグデータサービスのコンポーネントと連携してデータを分析できます。これにより、オンラインビジネスのクエリが影響を受けないことが保証されます。
プライマリ/セカンダリのディザスタリカバリ
LTS は、アクティブなクラスターとスタンバイクラスター間の双方向データ同期をサポートします。アクティブなクラスターに障害が発生した場合、スタンバイクラスターに切り替えて、ワークロードへの影響を軽減できます。アクティブなクラスターが回復した後、LTS を使用して、スタンバイクラスターからアクティブなクラスターに増分データを同期できます。
ApsaraDB RDS データベースでの既存データのストレージ
トランザクション注文などの既存データが保存されるシナリオでは、データサイズが絶えず増加するため、ApsaraDB RDS データベースでパフォーマンスのボトルネックが発生する可能性があります。定期的なデータアーカイブやシャーディングは複雑で、高いコストがかかります。LTS を使用すると、ApsaraDB RDS から LindormTable にリアルタイムでデータを同期して、ホットデータとコールドデータを分離できます。LindormTable は、自動水平スケーリング、高同時実行クエリ、多次元インデックス作成、および軽量分析をサポートします。Lindorm Streams を使用すると、データの変更を順番に追跡できます。LTS を使用すると、LindormTable から他の分析システムにデータを同期して、複雑なデータ分析を行うこともできます。