データ移行ソリューションの選択
Alibaba Cloud Elasticsearch は、OSS スナップショット、Logstash、reindex API、elasticsearch-dump の 4 つの移行ツールをサポートしています。それぞれが異なるデータ量、ネットワークトポロジ、およびバージョン要件に適しています。以下の表を使用して、ご利用のシナリオに合ったソリューションを選択してください。
重要
Alibaba Cloud Elasticsearch のネットワークアーキテクチャは 2020 年 10 月に変更されました。2020 年 10 月より前に作成されたクラスターは元のアーキテクチャで実行され、2020 年 10 月以降に作成されたクラスターは新しいアーキテクチャで実行されます。アーキテクチャが異なるクラスター間では、インデックスの再作成、検索、レプリケーションなどのクラスター間の操作はサポートされていません。これらの操作を試みる前に、両方のクラスターが同じアーキテクチャを使用していることを確認してください。中国 (張家口) リージョンおよび中国以外のリージョンの調整日は未定です。これらのリージョンで 2020 年 10 月より前に作成されたクラスターと 2020 年 10 月以降に作成されたクラスターとの間でクラスター間の操作を実行する必要がある場合は、チケットを送信して、クラスターが接続できるかどうかを確認してください。
ピリオド (.) で始まるシステムインデックス (.monitoring、.kibana、.securityなど) は移行しないことを推奨します。これらのインデックスを移行すると、Kibana が失敗する可能性があります。
ソリューションの選択
各ツールには、それぞれ異なる役割があります：
| ツール | 機能 | 最適なシナリオ |
|---|---|---|
| OSS スナップショット | Elasticsearch スナップショットメカニズムを介してインデックスデータをストリーミングします | GB、TB、または PB スケールのデータ、同一またはアカウント間の移行 |
| Logstash | フィルタリングをサポートし、クラスター間でデータをストリーミングします | 厳密なリアルタイム要件がない増分移行またはフィルタリングされた移行 |
| reindex API | reindex API を使用してクラスター間でデータを移行します | 小規模なデータセット、Kibana からのクエリ結果の移行 |
| elasticsearch-dump | スタンドアロンツールを介してインデックスデータをエクスポートおよびインポートします | インデックス数が少ない小規模なデータセット |
| OSS スナップショット + reindex API | 中間バージョンのクラスターを介してスナップショットの復元とインデックスの再作成を連鎖させます | スナップショットだけでは互換性のないメジャーバージョン間の移行 |
Alibaba Cloud Elasticsearch クラスター間の移行
| ソリューション | 最適なシナリオ | 制限事項 | 例 |
|---|---|---|---|
| OSS スナップショット | ソースに GB、TB、または PB のデータが保存されている場合。 | 増分移行の場合、Elasticsearch サービスを停止する必要があり、移行前に送信先インデックスを無効にする必要があります。共有 OSS リポジトリの場合、クラスターは同じリージョン、同じ Alibaba Cloud アカウントまたは RAM ユーザーの下にある必要があり、ソースのバージョンは送信先のバージョン以下である必要があります。バージョンの互換性の詳細については、「スナップショットからのデータ復元のバージョンの互換性」をご参照ください。アカウント間の移行の場合、両方のクラスターが OSS バケットを所有するアカウントの AccessKey ペアを使用する必要があります。 | 共有 OSS リポジトリの設定 / 手動スナップショットの作成とデータの復元 |
| Logstash | リアルタイム性能が重要でない完全移行または増分移行。クエリ結果またはフィルタリングされたデータのみを移行する場合。V5.X から V6.X または V7.X など、異なるメジャーバージョンのクラスター間で移行する場合。 | ソースクラスター、Logstash クラスター、および送信先クラスターは、同じ Virtual Private Cloud (VPC) 内にある必要があります。異なる VPC にある場合は、Logstash クラスターに NAT Gateway を設定して、インターネット経由でトラフィックをルーティングします。3 つのクラスターすべてでバージョンの互換性を満たす必要があります。増分移行の場合、ソースインデックス ID は送信先インデックス ID と一致する必要があり、スケジュールされた移行タスクが必要です。異なる VPC を使用したアカウント間、クロスリージョンの移行にも NAT Gateway が必要です。 | Alibaba Cloud Elasticsearch クラスター間のデータ移行 / reindex API を使用した旧バージョンのマルチタイプインデックスのデータ移行 |
| reindex API | 速度要件が厳しくない小規模なデータ量。Kibana コンソールからクエリ結果のみを移行する場合。 | 両方のクラスターが同じネットワークアーキテクチャを使用する必要があります。詳細については、「reindex API を使用した旧バージョンのマルチタイプインデックスのデータ移行」をご参照ください。 | reindex API を使用したデータ移行 |
| elasticsearch-dump | インデックス数が少ない小規模なデータ量。 | ソース Elasticsearch クラスター、送信先クラスター、および elasticsearch-dump ツールを実行しているサーバー間でネットワーク接続が必要です。 | elasticsearch-dump を使用したデータ移行 |
| OSS スナップショット + reindex API | スナップショットだけでは互換性のないメジャーバージョン間の完全移行および増分移行 (例：V6.X から V8.X)。 | 中間クラスターは、ソースと送信先の両方のバージョンと互換性がある必要があります。バージョンの互換性の詳細については、「Elastic のバージョンの変更と互換性」をご参照ください。例： V6.X から V8.X に移行するには、V6.X のスナップショットを V7.X クラスターに復元し、V7.X 内でインデックスを再作成してから、V7.X のスナップショットを V8.X に復元します。 | 手動スナップショットの作成とデータの復元 / reindex API を使用したデータ移行 |
異なるリージョンのクラスター間でデータを移行するには、Elasticsearch のスナップショットと復元コマンドを、Object Storage Service (OSS) が提供するクロスリージョンレプリケーション (CRR) 機能と組み合わせて使用します。
セルフマネージド Elasticsearch クラスターからの移行
| ソリューション | 最適なシナリオ | 制限事項 | 例 |
|---|---|---|---|
| OSS スナップショット | ソースに GB、TB、または PB のデータが保存されている場合。セルフマネージドクラスターと Alibaba Cloud Elasticsearch クラスター間で、同じリージョンやアカウント、または異なるリージョンやアカウントであってもスナップショットを移行する場合。 | Alibaba Cloud Elasticsearch クラスターの各ノードに、セルフマネージドクラスターのプラグインと同じバージョンの elasticsearch-repository-oss プラグインをインストールする必要があります。増分移行の場合、Elasticsearch サービスを停止する必要があり、移行前に送信先インデックスを無効にする必要があります。 | OSS を使用してセルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行 |
| Logstash | リアルタイム性能が重要でない完全移行または増分移行。クエリ結果またはフィルタリングされたデータのみを移行する場合。5.x クラスターから V6.X または V7.X など、異なるメジャーバージョンのクラスター間で移行する場合。 | ソースクラスター、Logstash クラスター、および送信先クラスターは、同じ VPC 内にある必要があります。異なる VPC にある場合は、Logstash クラスターに NAT Gateway を設定して、インターネット経由でトラフィックをルーティングします。3 つのクラスターすべてでバージョンの互換性を満たす必要があります。増分移行の場合、ソースインデックス ID は送信先インデックス ID と一致する必要があり、スケジュールされた移行タスクが必要です。 | Alibaba Cloud Logstash を使用してセルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行 / reindex API を使用した旧バージョンのマルチタイプインデックスのデータ移行 |
| reindex API | 速度要件が厳しくない小規模なデータ量。Kibana コンソールからクエリ結果のみを移行する場合。古いセルフマネージドバージョン (6.x など) から新しい Alibaba Cloud Elasticsearch バージョン (V8.X など) に移行する場合、インデックスの再作成操作を実行する前に、PrivateLink を使用して VPC 間にプライベート接続を確立します。 | 両方のクラスターが同じネットワークアーキテクチャを使用する必要があります。詳細については、「reindex API を使用した旧バージョンのマルチタイプインデックスのデータ移行」をご参照ください。 | reindex API を使用してセルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行 |
| elasticsearch-dump | インデックス数が少ない小規模なデータ量。 | ソース Elasticsearch クラスター、送信先クラスター、および elasticsearch-dump ツールを実行しているサーバー間でネットワーク接続が必要です。 | elasticsearch-dump を使用したデータ移行 |
サードパーティの Elasticsearch ソースからの移行
| ソリューション | 最適なシナリオ | 制限事項 | 例 |
|---|---|---|---|
| OSS スナップショット | ソースに GB、TB、または PB のデータが保存されている場合。このソリューションはクラウドサービスプロバイダーに限定されず、Elasticsearch スナップショットメカニズムに依存します。たとえば、Amazon OpenSearch Service や他のプロバイダーから移行するために使用できます。 | 増分移行の場合、Elasticsearch サービスを停止する必要があり、移行前に送信先インデックスを無効にする必要があります。送信先クラスターのバージョンは、ソースと同じかそれ以降である必要があります。バージョンの互換性については、「スナップショットからのデータ復元のバージョンの互換性」をご参照ください。 | Amazon OpenSearch Service から Alibaba Cloud Elasticsearch への Elasticsearch インデックスデータの移行 |
| elasticsearch-dump | インデックス数が少ない小規模なデータ量。 | ソース Elasticsearch クラスター、送信先クラスター、および elasticsearch-dump ツールを実行しているサーバー間でネットワーク接続が必要です。 | elasticsearch-dump を使用したデータ移行 |
Tencent Cloud オブジェクトストレージ (COS) バケットから Alibaba Cloud Elasticsearch に Elasticsearch データを移行するには、データオンライン移行サービスを使用して、COS バケットから Alibaba Cloud OSS バケットにスナップショットを移動し、その後、スナップショットを送信先クラスターに復元します。移行手順については、「データの移行」をご参照ください。スナップショットの復元については、「手動スナップショットの作成および手動スナップショットからのデータ復元」をご参照ください。