ビジネスデータは、オンプレミスのデータセンター、サードパーティのクラウドストレージ、または異なるリージョンや異なるアカウントの Alibaba Cloud Object Storage Service (OSS) バケットに散在していることがよくあります。このように散在するデータの管理は複雑でコストがかかる可能性があります。これらのデータを移行先の OSS バケットに移行することで、管理が簡素化されます。Alibaba Cloud は、データオンライン移行、コマンドラインツール、Data Transport を使用したオフライン移行など、お客様のビジネスニーズを満たすためのいくつかのソリューションを提供しています。
Alibaba Cloud OSS バケット間の移行
Alibaba Cloud OSS バケット間でデータを移行する場合、効率的で簡単な移行を確実にするために、ソースバケットと宛先バケットのリージョンに基づいて移行方法を選択できます。
同一リージョン内の移行
ソースバケットと宛先バケットが同一リージョンにある場合、シナリオに基づいて移行方法を選択できます。
同一アカウント内のバケットにある中小規模のデータの場合、ossutil コマンドラインツールの cp (ファイルコピー) コマンドを使用できます。このコマンドは、バッチファイルコピーと再開可能な転送をサポートしています。
大規模なデータ移行や、異なるアカウントのバケット間の移行の場合、同一リージョンレプリケーション (SRR) 機能を使用できます。ソースバケットでデータが追加、変更、または削除されると、データは自動的に宛先バケットに同期されます。このプロセスにより、中間ダウンロードや余分なネットワーク転送が不要になります。SRR は、データの一元化や、異なるチームや子会社間での共有に最適です。
クロスリージョン移行
ソースバケットと宛先バケットが異なるリージョンにある場合、たとえば中国 (杭州) から中国 (北京) への移行など、クロスリージョンレプリケーション機能を使用できます。この機能は、Alibaba Cloud 内部ネットワークを使用して、安全で信頼性の高いデータ転送を行います。ソースバケットでデータが追加、変更、または削除されると、データは自動的に宛先バケットに同期されます。この方法は、マルチサイトコラボレーションやリアルタイムバックアップに最適です。
サードパーティストレージから OSS への移行
データが他のクラウドプロバイダーに保存されており、Alibaba Cloud OSS に移行する必要がある場合は、Alibaba Cloud データオンライン移行を使用できます。このサービスは、AWS S3、Tencent Cloud COS、Huawei Cloud OBS、Volcano Engine TOS、Google Cloud Storage (GCS)、Microsoft Azure Blob など、さまざまなストレージサービスをサポートしています。また、S3 プロトコルと互換性のある自己管理型のオブジェクトストレージサービスもサポートしています。移行環境をセットアップする必要はありません。オンラインで移行タスクを送信し、いつでもプロセスをモニターできます。ビジネスシナリオに適したオンライン移行チュートリアルを選択して、スムーズなデータ移行を実現できます。
ローカルファイルシステムから OSS への移行
小規模データ移行
少量のデータ (5 GB 未満) の場合、Object Storage Service (OSS) コンソールを使用してデータを直接アップロードできます。この方法は簡単で、追加のツールや複雑な構成は必要ありません。一時的なファイルのアップロード、テストデータの移行、または頻度の低い移行タスクに適しています。ブラウザインターフェイスを介してファイルを迅速にアップロードできるため、個々のファイルや小規模なデータセットをクラウドに移動するのに最適です。
中規模データ移行
中規模のデータ移行の場合、ニーズに応じて次の 2 つの方法のいずれかを選択できます。
通常のビジネスデータ、ログファイル、バックアップデータを効率的に転送するには、ossutil コマンドラインツールの cp (ファイルのアップロード) コマンドを使用できます。このツールは、バッチファイルのアップロード、再開可能な転送、同時高速化をサポートしています。
オンプレミスのネットワーク環境が複雑な場合、またはクラウドから移行タスクを一元的にスケジュールおよび管理したい場合は、Alibaba Cloud データオンライン移行を使用してローカルファイルシステムから OSS にデータを移行できます。このサービスは、タスクの作成、モニタリング、管理をサポートするマネージドデータ移行ソリューションを提供します。運用保守 (O&M) の複雑さを簡素化し、移行プロセスの一元管理が必要なエンタープライズのお客様に適しています。
大規模データ移行
非常に大規模なデータ移行の場合、ニーズに応じて次の 2 つの方法のいずれかを選択できます。
Alibaba Cloud データオンライン移行を使用できます。移行環境をセットアップすることなく、このサービスを使用できます。オンラインで移行タスクを送信し、リアルタイムで進捗をモニターできます。この方法は、柔軟なスケジューリングが必要で、インターネット経由で実行できるビジネスシナリオに適しています。
データ転送がパブリック帯域幅によって制限されている場合、またはオンプレミスのデータセンターから移行する必要がある場合は、オフライン移行 (Data Transport) を使用できます。この方法は、データセンター全体をクラウドに移行したり、大規模な企業アーカイブや既存の画像データを移動したりするなどのシナリオに最適です。Data Transport は、テラバイトからペタバイトレベルの大規模なデータ移行向けに設計されています。物理デバイスを使用してデータの収集と転送を行い、パブリック帯域幅のボトルネックを回避し、移行効率を大幅に向上させます。
HTTP/HTTPS ソースから OSS への移行
データが HTTP/HTTPS ソースに保存されている場合、Alibaba Cloud データオンライン移行を使用して、HTTP/HTTPS ソースから OSS にデータを効率的かつスムーズに移行できます。移行のために追加の環境をセットアップする必要はありません。オンラインで移行タスクを送信し、その進捗とステータスをリアルタイムでモニターするだけで、安全で信頼性の高いデータ転送を確保できます。
ビッグデータストレージから OSS への移行
HDFS データを OSS に移行する
Hadoop 分散ファイルシステム (HDFS) の大規模なデータは、Alibaba Cloud Jindo DistCp を使用して HDFS データを OSS に移行することができます。 Jindo DistCp は MapReduce ベースの分散ファイルコピーツールであり、大規模なクラスター内または異なるクラスター間でファイルを効率的に転送できます。 ファイルとディレクトリのリストを MapReduce タスクの入力として受け取り、それらを分割して並列実行のために分散させます。 各タスクは、ソースリストからデータの一部をコピーします。 このプロセスは転送効率を向上させ、フォールトトレランス、再開可能な転送、エラー回復をサポートし、テラバイトまたはペタバイト規模のビッグデータ移行中の安定性とデータ整合性を保証します。 このメソッドは、ビッグデータコンピューティングおよびデータレイク構築のシナリオに適しています。
OSS 外部テーブル (gpossext) データを OSS に移行する
データが OSS 外部テーブル (gpossext) として保存されており、OSS とデータウェアハウス間で効率的にインポートまたはエクスポートする必要がある場合、クラウドネイティブデータウェアハウス AnalyticDB for PostgreSQL を使用してデータを OSS に並列エクスポートできます。このサービスは gpossext 機能をサポートしており、OSS から AnalyticDB for PostgreSQL にデータを並列インポートしたり、データを OSS に並列エクスポートしたりできます。移行プロセスは分散アーキテクチャに基づいているため、高い同時実行性と高いスループットを提供します。これにより、データセキュリティと整合性を確保しながら、データ転送時間が大幅に短縮されます。この方法は、大規模なデータ分析、既存データのアーカイブ、システム間のデータ交換などのビジネスシナリオに適しています。
ビッグデータストレージから OSS-HDFS への移行
OSS-HDFS サービスは JindoFS サービスとも呼ばれ、クラウドネイティブのデータレイクストレージプロダクトです。統一されたメタデータ管理機能を提供し、HDFS ファイルシステムインターフェイスと完全な互換性を持ちながら、完全な POSIX サポートを提供します。これにより、ビッグデータコンピューティングや AI トレーニングなどのデータレイクシナリオに非常に適しています。既存のデータを OSS-HDFS に移行したり、異なる OSS-HDFS バケット間でデータを効率的に移行したりできます。
HDFS データを OSS-HDFS に移行する
従来の HDFS クラスターからのデータ移行には、Alibaba Cloud Jindo DistCp ツールを使用して HDFS データを OSS-HDFS に移行できます。このツールは、クラスター内またはクラスター間で大規模なファイル配布を可能にします。自動エラー検出、再試行、タスク回復をサポートし、移行タスクの安定性と効率を向上させます。MapReduce タスクの入力としてファイルとディレクトリのリストを受け取り、各タスクがファイルの一部をコピーすることで機能します。これは、大量のデータ移行のバッチ処理に最適です。Jindo DistCp を使用すると、スムーズな移行を実現し、データを迅速に OSS-HDFS にインポートし、ビッグデータプラットフォームをクラウドネイティブアーキテクチャに移行するのに役立ちます。
OSS-HDFS バケット間のデータ移行
OSS-HDFS サービスをデプロイしている場合は、Alibaba Cloud Jindo DistCp ツールを使用して OSS-HDFS サービス内の異なるバケット間でデータを移行することもできます。これは、データパーティションの調整、ストレージリソースの最適化、またはリージョン間のデータスケジューリングに適しており、ビジネスデータの一貫性と高可用性を確保します。
セミマネージド JindoFS クラスターから OSS-HDFS へのデータ移行
セミマネージド JindoFS クラスターを使用している場合、JindoDistJob ツールを使用してセミマネージド JindoFS クラスターから OSS-HDFS サービスにデータを移行できます。このツールは完全移行と増分移行をサポートしており、データブロックを移行することなく JindoFS サービスソリューションにスムーズに切り替えることができます。これにより、ビジネスのシームレスなトランジションが保証され、ストレージアーキテクチャの迅速な変更が必要なシナリオに適しています。
Hive テーブルとパーティションデータを OSS-HDFS に移行する
構造化データを移行するには、JindoTable MoveTo コマンドを使用して Hive テーブルとパーティションデータを OSS-HDFS サービスに移行できます。基盤となるデータをコピーした後、このコマンドはメタデータを自動的に更新し、テーブルとパーティションが新しいパスに完全に移行されることを保証します。条件によるフィルタリングをサポートしており、一度に多くのパーティションを移行できます。また、複数のデータ検証メカニズムを使用してデータ整合性とセキュリティを確保するため、大規模な構造化データセットの移行に最適です。
ゼロダウンタイム移行の構成
注意: まず、移行方法を決定します。次に、必要に応じて ミラーリングベースのオリジンフェッチ を構成して、ゼロダウンタイム移行を実現します。
業務継続性を維持し、ゼロダウンタイム移行を実現するために、ミラーリングベースのオリジンフェッチを構成できます。サービスを OSS に切り替えた後、まだ移行されていないデータへのリクエストは自動的にソースサイトから取得されます。これにより、ユーザーにとってスムーズでシームレスなトランジションが保証されます。典型的な移行フローは次のとおりです。まず、既存データの移行を完了し、ビジネスエントリポイントを OSS に切り替えます。次に、ミラーリングベースのオリジンフェッチが移行されていないデータを自動的にフェッチし、クラウドへの移行が完了するまで徐々にバックフィルします。
たとえば、あるビジネスが最初は別のクラウドストレージプラットフォームにデプロイされているとします。ビジネスの成長に伴い、オンラインサービスを中断することなく OSS に移行する必要があります。この場合、ミラーリングベースのオリジンフェッチルールを構成して、移行プロセス中に移行されていないデータを自動的にフェッチして OSS に同期させることができます。これにより、サービスが安定し、継続的に利用可能であることが保証されます。