ApsaraDB for SelectDB は、Catalog、 X2Doris、DataWorks、および OSS Load を使用して Hive データを移行できます。データ量とビジネスシナリオに基づいて方法を選択してください。
方法の選択
次の表では、利用可能な移行方法を比較します。適切な方法を選択する際にご参照ください。
|
方法 |
シナリオ |
推奨事項 |
手順 |
|
Catalog |
データが Alibaba Cloud プラットフォームに保存されています。 説明
Alibaba Cloud E-MapReduce (EMR) クラスターなどのシナリオが含まれます。 |
|
|
|
OSS Load |
データが Alibaba Cloud プラットフォームに保存されていません。 |
移行トラフィックコストは発生しません。 説明
OSS Load は、Object Storage Service (OSS) から SelectDB へ内部ネットワーク経由でデータを転送し、トラフィックコストを回避します。 |
|
|
DataWorks |
DataWorks でデータを管理している場合、または DataWorks をデータ開発プラットフォームとして使用している場合。 |
シンプルで使いやすいビジュアルインターフェイスを提供します。 |
増分データ移行ガイド
本番環境では、Hive データには通常、オフラインデータと増分データの両方が含まれます。Hive データを SelectDB に移行する一般的な理由は、データをデータウェアハウスに複製してクエリを高速化するためです。増分データについては、次の方法を検討してください。
-
Hive データの生成時に、並行して SelectDB にデータを書き込みます。
-
定期的なジョブをスケジュールして、Hive からパーティションデータを読み取り、SelectDB に書き込みます。
関連ドキュメント
Hive の詳細については、「Hive データソース」をご参照ください。