Data Transmission Service:Data Transmission Service (DTS) とは

コア機能

DTS は、データ移行やリアルタイム同期から増分変更追跡まで、さまざまなシナリオをカバーするデータフローのコア機能を提供します。これらの機能は次のように分類できます。

プロダクトの利点

DTS は、従来のツールよりも多くの機能、優れたパフォーマンス、高い使いやすさ、強化されたセキュリティと信頼性により、複雑なデータインタラクションタスクを簡素化します。

• 高い互換性

  • 異種データソースのサポート: リレーショナルデータベース (MySQL、PostgreSQL、SQL Server、Oracle など)、NoSQL データベース (MongoDB、Redis など)、ビッグデータウェアハウス (AnalyticDB、MaxCompute など) を含む、さまざまなデータソース間のデータ伝送をサポートします。詳細については、「サポートされているデータベース」をご参照ください。

  • シームレスなクロス環境接続: クラウドサービス (ApsaraDB RDS、クラウドネイティブデータベース PolarDB など)、オンプレミスの自己管理データベース、および他のクラウドベンダーのデータベース間のデータフローを可能にし、ハイブリッドおよびマルチクラウドアーキテクチャを接続します。

  • クロスアカウントコラボレーション: 複雑な企業のコラボレーションニーズに対応するため、DTS では Alibaba Cloud アカウント間でタスクを設定できます。単に RAM 権限付与を設定するだけで、異なるアカウント間でデータを安全に共有でき、企業グループ内または部門間で統一されたデータ管理とフローを実現できます。

  • 柔軟なネットワークトポロジー: パブリックネットワーク、プライベート接続、VPN Gateway、Smart Access Gateway などのネットワークアクセス方法をサポートし、複雑な企業のネットワーク環境に適応します。

• 豊富な機能

  • データ移行、データ同期、変更追跡など、複数の伝送方法を提供します。異種データソースの移行では、DTS はデータベースとテーブルスキーマの変換をサポートします。

  • リアルタイム同期機能は、単方向または双方向の同期をサポートし、ジオディザスタリカバリ、アクティブ地理的冗長性、リアルタイムデータウェアハウスなど、さまざまなシナリオに適用できます。

• 使いやすさ

  DTS は、視覚的な管理インターフェイスとガイド付きのタスク作成ワークフローを提供し、伝送タスクを簡単に作成および管理できます。コンソールには、タスクの伝送ステータス、進行状況、パフォーマンス、およびその他の関連情報が表示されます。DTS には、ブレークポイントからの再開、自動回復、再起動機能も含まれており、ネットワークやシステムの例外に効果的に対処します。

• 高性能

  DTS は、伝送性能を確保するために高仕様のサーバーを使用します。データ移行では、複数の基盤となるパフォーマンス最適化により、ピーク時の完全データ移行性能は最大 70 MB/s に達します。リアルタイム同期では、DTS は並行処理の粒度をトランザクションレベルまで絞り込むことができ、ピーク性能 30,000 RPS を達成します。DTS は、帯域幅の消費を削減するために、マルチスレッドの圧縮伝送もサポートしています。

• 安全性と信頼性

  DTS の基盤となるアーキテクチャは、サービスクラスターを使用しています。単一ノードの障害は迅速なスイッチオーバーをトリガーし、高いタスクの安定性を確保します。このサービスは、24 時間 365 日のデータ精度検証を提供し、安全な転送プロトコル、安全なトークン認証、および SSL 暗号化を使用して、データ伝送の信頼性とセキュリティを保証します。クロスボーダーおよびクロスリージョンの同期シナリオでは、DTS はプライベート接続ネットワークを使用して隔離し、データセキュリティをさらに強化します。

• ゼロダウンタイム移行

  ソースデータベースが稼働中のままでデータを移行できるため、アプリケーションのダウンタイムを数分に短縮できます。

ユースケース

• クラウドへのゼロダウンタイムでのデータベース移行

  オンプレミスデータベース (MySQL、Oracle など) や ECS 上の自己管理データベースを ApsaraDB RDS や PolarDB などの Alibaba Cloud データベースに移行する場合、データ移行を使用して長時間の業務中断を回避できます。この機能は、完全移行と増分同期のアプローチを使用して、業務が書き込み操作を処理し続けている間にデータ移行を完了させ、アプリケーションを新しいクラウドデータベースに切り替えることができます。

• アクティブ地理的冗長性とディザスタリカバリのアーキテクチャの構築

  コア業務システムの高可用性とジオディザスタリカバリを実現するために、異なるリージョンのデータベースインスタンス間でリアルタイムの双方向同期を確立できます。この目的にはデータ同期が推奨されます。これにより、どちらかの側でのデータ変更がリアルタイムで他方に同期されることが保証されます。あるリージョンで障害が発生した場合、業務トラフィックを他のデータセンターに迅速に切り替えることができ、業務継続性を確保できます。

• リアルタイムデータウェアハウスの ETL とキャッシュの更新

  業務データが変更され、ダウンストリームの分析ウェアハウス (AnalyticDB や ClickHouse など) や Redis でリアルタイムに更新する必要がある場合、変更追跡を使用できます。DTS は、ソースデータベースから増分ログ (Binlog や WAL など) をキャプチャし、構造化された JSON データストリームに変換します。アプリケーションは、このデータストリームを利用してウェアハウスに書き込むか、直接キャッシュを更新することで、データリンクのリアルタイムなデカップリングを実現します。

• リアルタイムのデータクレンジングとフォーマット

  本番データベースから分析環境やテスト環境にデータを同期する場合、データ処理が必要になることがよくあります。たとえば、顧客の電話番号や ID などの機密情報に対してデータマスキングを実行したり、ソースの first_name フィールドと last_name フィールドをターゲットの単一の full_name フィールドにマージしたりする必要があります。このような場合、ETL を使用してデータ伝送中にこれらの変換をリアルタイムで実行できます。これにより、ターゲット側での二次開発が不要になり、データリンクが簡素化され、データセキュリティが確保されます。

• データ整合性の検証

  重要なデータベース移行を完了した後、または長期的なジオディザスタリカバリ同期プロセス中に、データ検証を使用してデータ整合性を確保できます。すべてのデータまたは指定された範囲のデータを自動的に比較し、詳細な検証レポートを生成して、どのテーブルと行にデータの不一致があるかを明確に示します。これにより、移行後の業務切り替えに対するデータレベルの信頼性が提供され、長期的な同期タスクの健全性を監視するツールが提供され、データの不整合を防ぎます。

DTS の開始方法

1. シナリオに適用可能な DTS 機能を特定します。

2. 選択した機能でデータベースがデータ移行、同期、または変更追跡でサポートされているかどうかを確認します。

3. DTS タスクを作成します。タスクは、ビジュアルな Data Transmission Service コンソール、または API または SDK を使用して作成できます。

   • データ同期タスクの管理

   • データ移行タスクの管理

   • 変更追跡タスクの管理

詳細情報

よくある質問