ApsaraDB RDS データベースの使用時にクエリが遅い場合は、データベースから Alibaba Cloud Elasticsearch クラスターにデータを同期して、データクエリと分析を行うことができます。Alibaba Cloud Elasticsearch は、Lucene ベースの分散検索および分析エンジンです。これにより、大量のデータセットをほぼリアルタイムで保存、クエリ、分析できます。Data Transmission Service (DTS)、Logstash、DataWorks、または Canal を使用して、ApsaraDB RDS データベースから Alibaba Cloud Elasticsearch クラスターにデータを同期できます。このトピックでは、各方法の使用シナリオについて説明します。必要に応じて方法を選択できます。
同期プラン | 説明 | ユースケース | 制限 | 参照 |
DTSを使用してリアルタイムでデータを同期する | DTS は、バイナリログをサブスクライブすることでデータを同期します。DTS を使用したデータ同期は、ミリ秒レベルのレイテンシーしかなく、ソースデータベースに悪影響を与えません。 | データ同期のリアルタイムパフォーマンスに対する要件が高い場合。 |
| DTSを使用してMySQLデータをAlibaba Cloud Elasticsearchクラスターにリアルタイムで同期する |
logstash-input-jdbcプラグインを使用してデータを同期する | logstash-input-jdbc プラグインを使用して、ApsaraDB RDS データベース内のデータをクエリし、データを Elasticsearch クラスターに移行できます。データ同期中、プラグインはラウンドロビン方式を使用して、データベースに新しく挿入または更新されたデータを定期的に識別します。次に、プラグインは識別されたすべてのデータを一度にクエリし、データを Elasticsearch クラスターに移行します。logstash-input-jdbc プラグインを使用したデータ同期は、DTS を使用したデータ同期よりもリアルタイムパフォーマンスが低く、秒レベルのレイテンシーがあります。 |
|
| |
DataWorksを使用してオフラインデータを同期する | DataWorksは、Data Integration、DataStudio、Data Qualityなどのモジュールを提供する包括的なサービスです。 DataWorksを使用して、構造化データをインポートおよび保存し、データを変換および開発し、処理済みデータをElasticsearchクラスターまたは他のデータシステムに同期できます。 |
|
| DataWorksを使用してMySQLデータベースからAlibaba Cloud Elasticsearchクラスターにデータを同期する |
Canalを使用してMySQLデータを同期する | Canal は、バイナリログをサブスクライブすることでリアルタイムにデータを同期します。Canal を使用したデータ同期は、ミリ秒レベルのレイテンシーしかなく、ソースデータベースに悪影響を与えません。 | データ同期のリアルタイムパフォーマンスに対する要件が高い場合。 |
|