Object Storage Service:データ移行の概要

同一リージョン内の移行

ソースバケットと宛先バケットが同じリージョンにある場合、シナリオに応じて移行方法を選択します：

• ossutil — 同一アカウントに属するバケット内の小～中規模のデータには、ossutil コマンドラインツールを使用して バケット間でオブジェクトをコピー します。ossutil はオブジェクトの一括コピーとレジューム転送をサポートします。

• 同一リージョンレプリケーション — 大規模データ、または異なるアカウントに属するバケット間の移行には、同一リージョンレプリケーション を使用します。データは中間ロケーションにダウンロードされず、追加のネットワーク転送も不要です。ソースバケットでオブジェクトが追加、変更、削除されると、変更内容は自動的に宛先バケットに同期されます。この方法は、チームや子会社間でデータを集約して共有するシナリオに適しています。

リージョン間の移行

ソースバケットと宛先バケットが異なるリージョンにある場合 (例：China (Hangzhou) から China (Beijing) への移行) は、クロスリージョンレプリケーション を使用します。データは Alibaba Cloud の内部ネットワーク経由で転送されます。レプリケーションは継続的に実行され、ソースバケットでのオブジェクトの追加、変更、削除は自動的に宛先バケットへ同期されます。この方法は、複数拠点での共同作業やリアルタイムバックアップのシナリオに適しています。

リソースプランのストレージリージョン変更

リソースプランのリージョン制限によりストレージリージョンを切り替える必要がある場合は、クロスリージョンレプリケーション または ossutil を使用して、宛先リージョンのバケットへデータを移行します。クロスリージョンレプリケーション はソースバケットで設定します。移行が完了したら、宛先リージョンでリソースプランを購入してください。購入済みのリソースプランは別のリージョンに転送できません。

サードパーティクラウドストレージサービス

別のクラウドサービスプロバイダーに保存されているデータを Alibaba Cloud OSS に移行するには、Data Online Migration を使用します。AWS S3、Tencent Cloud COS、Huawei Cloud OBS、Volcengine TOS、Google Cloud GCS、Microsoft Azure Blob などのストレージサービスに対応しています。移行環境を構築する必要はありません。オンラインで移行タスクを送信し、いつでも移行の進捗を監視できます。ビジネスシナリオに応じた手順については、Data Online Migration チュートリアルをご参照ください。

自己管理型の S3 互換オブジェクトストレージ

Data Online Migration は、S3 プロトコルと互換性のある自己管理型オブジェクトストレージサービスにも対応しています。例：S3 互換 API を有効にした OpenStack Swift。

小規模データ

5 GB 未満のデータは、OSS コンソールで直接アップロードできます。この方法では追加ツールや複雑な設定は不要で、ブラウザーでファイルをアップロードできます。一時的なファイルアップロード、テスト目的のデータ移行、移行頻度が低いタスク、分散したファイルに適しています。

中規模データ

中規模のデータを移行する場合は、要件に応じて次のいずれかの方法を選択します：

• ossutil — 通常のビジネスデータ、ログファイル、バックアップデータを転送するには、ossutil コマンドラインツールを使用して ローカルファイルを OSS にアップロード します。ossutil は一括アップロード、レジューム転送、並列アクセラレーションをサポートします。

• Data Online Migration — オンプレミスネットワークが複雑な場合、またはクラウド上で移行タスクを集中管理する場合は、Data Online Migration を使用して LocalFS から OSS にデータを移行 します。このマネージド移行ソリューションは、タスクの作成、監視、管理をサポートし、運用の複雑さを低減します。移行プロセスを集中制御する必要がある法人のお客様に適しています。

大規模データ

大規模データを移行する場合は、要件に応じて次のいずれかの方法を選択します：

• Data Online Migration — データをインターネット経由で転送できる場合は、Data Online Migration を使用します。移行環境を構築する必要はなく、オンラインで移行タスクを送信し、移行の進捗をリアルタイムで監視できます。この方法は、柔軟なスケジューリングが必要なビジネスシナリオに適しています。

• Data Transport — インターネット帯域幅によりデータ転送が制限される場合、またはオンプレミスデータセンターからデータを移行する場合は、Data Transport を使用します。Data Transport は TB 規模から PB 規模のデータ移行向けに設計されています。データは物理デバイスに収集して転送されるため、インターネット帯域幅のボトルネックを解消できます。この方法は、データセンター全体のクラウドへの移行、企業のアーカイブファイルの移行、過去の画像データの移行などのシナリオに適しています。

HDFS データから OSS への移行

Hadoop 分散ファイルシステム (HDFS) にある大規模データの移行には、Jindo DistCp を使用して HDFS データを OSS に移行 します。Jindo DistCp は MapReduce に基づく分散ファイルコピー ツールで、大規模クラスター内またはクラスター間でファイルを転送します。Jindo DistCp はファイルとディレクトリのリストを MapReduce ジョブの入力として使用し、ジョブを並列タスクに分割します。各タスクは、移行元リスト内の一部のデータをコピーします。Jindo DistCp はフォールトトレランス、レジューム転送、エラー回復に対応しており、TB 規模、さらには PB 規模の移行において安定性とデータ整合性を維持します。このツールは、ビッグデータ計算やデータレイクの構築などのシナリオに適しています。

OSS と AnalyticDB for PostgreSQL 間のデータ交換

データが OSS 外部テーブル (gpossext) として保存されており、OSS とデータウェアハウス間でデータをインポート/エクスポートする必要がある場合は、AnalyticDB for PostgreSQL：データを並列で OSS にエクスポート を使用します。gpossext 機能は、OSS から AnalyticDB for PostgreSQL へのデータの並列インポート、または OSS へのデータの並列エクスポートを実行します。この移行は分散アーキテクチャに基づいており、高い同時実行性と高スループットを提供し、転送時間を短縮するとともに、データセキュリティとデータ整合性を維持します。この方法は、大規模データ分析、履歴データのアーカイブ、システム間のデータ交換などのシナリオに適しています。

従来型 HDFS クラスターから OSS-HDFS への移行

従来型 HDFS クラスターからデータを移行するには、Jindo DistCp を使用して HDFS データを OSS-HDFS に移行 します。このツールは、クラスター内またはクラスター間で多数のファイルを分散処理し、自動エラー検出、再試行、タスク復旧をサポートしており、移行タスクの安定性を向上させます。Jindo DistCp はファイルとディレクトリのリストを MapReduce ジョブの入力として使用し、各タスクがファイルの一部をコピーします。このアプローチは、大量データをバッチで移行する場合に適しています。

OSS-HDFS バケット間のデータ移行

ある OSS-HDFS バケットから別の OSS-HDFS バケットへデータを移行するには、Jindo DistCp を使用して OSS-HDFS バケット間でデータを移行 します。この方法は、データパーティションの調整、ストレージリソースの最適化、リージョン間のデータスケジューリングなどの要件に適しており、ビジネスデータの一貫性と高可用性を維持します。

セミマネージド JindoFS クラスターから OSS-HDFS への移行

セミマネージド JindoFS クラスターを使用している場合は、JindoDistJob を使用してセミマネージド JindoFS クラスターから OSS-HDFS にデータを移行 します。このツールはフル移行と増分移行に対応しており、データブロックを移行することなく JindoFS のサービスベースのソリューションに切り替えます。移行がビジネスに影響を与えることはないため、ストレージアーキテクチャを迅速に切り替える必要があるシナリオに適しています。

Hive テーブルおよびパーティションデータから OSS-HDFS への移行

構造化データを移行するには、JindoTable MoveTo コマンドを使用して Hive テーブルおよびパーティションデータを OSS-HDFS に移行 します。基盤となるデータがコピーされた後、コマンドはメタデータを自動的に更新し、テーブルとパーティションを新しいパスへ完全に移行します。このコマンドはフィルター条件に対応しており、多数のパーティションを一度に移行できます。また、複数のデータ検証メカニズムを使用して、データ整合性とデータセキュリティを維持します。このコマンドは、大規模な構造化データセットの移行に適しています。