Alibaba Cloud Cloud Backup は、非構造化ファイルシステム向けのデータ同期機能を提供します。この機能を使用すると、さまざまなソースから Alibaba Cloud 上の宛先にデータを同期できます。サポートされているソースには、File Storage NAS (NAS)、Hadoop 分散ファイルシステム (HDFS)、S3 互換ストレージ、Object Storage Service (OSS)、Cloud Parallel File Storage (CPFS)、および OSS プロトコル互換ストレージが含まれます。本トピックでは、Cloud Backup のデータ同期機能の概要、仕組み、手順、課金などについて説明します。
はじめに
データ同期機能は、Alibaba Cloud Cloud Backup が提供するオンラインデータ同期サービスです。この機能を利用することで、さまざまなデータソースから Alibaba Cloud 上の宛先にデータを同期できます。サポートされているソースには、NAS、HDFS、S3 互換ストレージ、OSS、CPFS、および OSS プロトコル互換ストレージが含まれます。
Windows 版 Cloud Backup クライアントは、NFS プロトコルを使用した NAS のマウントをサポートしていません。ソースまたは宛先に NFS ベースの NAS が含まれる場合は、同期タスクの作成時に Linux 版 Cloud Backup クライアントを選択してください。
OSS と S3 は、アーカイブストレージクラスのオブジェクトの同期をサポートしていません。シンボリックリンクが指すファイルを含め、オブジェクトデータのみがコピーされます。読み取り/書き込み権限などのメタデータはコピーされません。
主な利点
増分同期
この機能は、同期タスクをスケジュールされた時刻に自動的に実行できる増分ポリシーをサポートしています。増分同期中は、変更されたファイルのみが同期されるため、効率が大幅に向上します。
シンプルな操作
クラウドデータソースをネイティブにサポートしているため、設定が簡単になります。
優れたパフォーマンス
最適化されたデータ伝送リンクにより、従来のコピーツールよりも大幅に優れたパフォーマンスを実現します。
仕組み
まず、1 台以上のオンプレミスサーバーに Cloud Backup クライアントをインストールしてアクティベートします。次に、Cloud Backup コンソールにログインして、ソースと宛先のデータソースを追加します。
同期タスクを作成すると、Cloud Backup クライアントグループは指定されたフォルダーをスキャンし、同期が必要なファイルを検出し、増分データをクラウドにアップロードして同期を完了します。
Cloud Backup は、インターネット、VPN、または専用線経由での Alibaba Cloud へのデータ同期をサポートしています。インターネット経で同期する場合、Cloud Backup クライアントがインストールされているサーバーはインターネットにアクセスできるだけでかまいません。サーバーの IP アドレスをインターネットに公開する必要はありません。
操作手順
Cloud Backup コンソールでのデータ同期の手順は次のとおりです。
HDFS、オンプレミス NAS、S3 互換ストレージ、CPFS、OSS、または OSS プロトコル互換ストレージからデータを同期する前に、データソースがあるサーバーにクライアントをインストールする必要があります。クライアントは、Cloud Backup とのデータ接続および管理接続を確立するために使用されます。
Cloud Backup の有効化は無料で、Cloud Backup はこの機能に対して料金を請求しません。Alibaba Cloud NAS は、インターネット経由でのファイルの読み取りとファイルストレージに対して課金します。Alibaba Cloud OSS もファイルストレージに対して課金します。課金の詳細については、「Alibaba Cloud NAS の課金の概要」および「Alibaba Cloud OSS の課金の概要」 をご参照ください。
HDFS、オンプレミス NAS、S3 互換ストレージ、CPFS、OSS、または OSS プロトコル互換ストレージからデータを同期する前に、同期タスクを実行するサーバーにクライアントをインストールする必要があります。サーバーは、ネットワークを介してデータソースノードと通信できる必要があります。クライアントは、Cloud Backup との通信および管理サービスを確立するために使用されます。
Cloud Backup コンソールで、HDFS、オンプレミス NAS、S3 互換ストレージ、CPFS、OSS、または OSS プロトコル互換ストレージをデータソースとして追加します。
データ同期タスクを作成します。Cloud Backup はタスクを開始し、指定されたスケジュールに基づいてデータを継続的に同期します。データ同期サービスはデータ同期のみを行うものであり、データの一貫性や整合性を保証することはできません。同期タスクが完了したら、ソースと宛先の間で完全なデータ一貫性検証を実行する必要があります。
データ同期タスクが完了したら、宛先データを検証してその正確性を確認する必要があります。宛先データの正確性を検証する前にソースデータを削除した結果生じるデータ損失やその他の結果については、お客様が単独で責任を負うものとします。
制限事項
Windows 版 Cloud Backup クライアントは、NFS プロトコルを使用した NAS のマウントをサポートしていません。ソースまたは宛先に NFS ベースの NAS が含まれる場合は、同期タスクの作成時に Linux 版 Cloud Backup クライアントを選択してください。
OSS と S3 は、アーカイブストレージクラスのオブジェクトの同期をサポートしていません。シンボリックリンクが指すファイルを含め、オブジェクトデータのみがコピーされます。読み取り/書き込み権限などのメタデータはコピーされません。
増分ファイルリスト (ChangeList)
増分ファイルリストに基づいてデータを同期すると、ファイルシステムのフルスキャンが不要になります。これにより、ファイルスキャンのコストが削減され、同期効率が向上します。同期タスクを作成するときに、データソースとして OSS または S3 互換ストレージを選択した場合、増分ファイルリスト機能を使用できます。
増分ファイルリストは、同期する必要があるデータソース上のファイルに関する情報を含む CSV ファイルです。各行は 1 つのファイルを表します。Name フィールドは、同期パスのルートからのファイルの相対パスを指定します。たとえば、次の例は
changeList1.csvという名前のファイルを示しています。Name フィールドは、同期対象のファイルをリストアップするための必須列です。他の列はサポートされていません。Name Size LastModifiedTime Operation file_0 2 2023-09-22 20:50:39.540288 +0800 CST Add file_1 3 2023-09-22 20:50:39.540288 +0800 CST Add dir1/file_2 4 2023-09-22 20:50:39.540288 +0800 CST Add説明Name 列の値は一意である必要があります。そうでない場合、データ同期中にファイルが上書きされる可能性があります。
Name 列の値は、フォルダーパスではなく、ファイルパスである必要があります。
データ同期タスクを作成するときは、増分ファイルリストを含むフォルダーへのパスを指定します。データ同期タスクが開始されると、ソースデータソース上のそのパスにあるすべての CSV ファイルを読み取って解析します。次に、指定されたファイルを宛先に転送します。
説明たとえば、OSS から NAS への同期タスクを作成する場合、増分ファイルリストを使用して同期するファイルを指定できます。増分ファイルリスト
changeList1.csvとchangeList2.csvがソースの/changelistフォルダーに保存されている場合、増分ファイルリストのパスを/changelistに設定します。CSV ファイルにリストされているすべてのファイルが処理された後、CSV ファイルは
/Completedという名前のサブフォルダーに移動されて、処理が完了したことを示します。処理前の CSV ファイルフォルダー
処理後の CSV ファイルフォルダー
/changelist/changeList1.csv /changelist/changeList2.csv/changelist/Completed/changeList1.csv /changelist/Completed/changeList2.csv
課金
Cloud Backup はこの機能に対して料金を請求しません。
Alibaba Cloud NAS を使用する場合、ファイルストレージとインターネット経由でのファイル読み取りに対して課金されます。詳細については、「Alibaba Cloud NAS の課金の概要」 をご参照ください。
Alibaba Cloud OSS を使用する場合、ストレージ料金が請求されます。詳細については、「Alibaba Cloud OSS の課金の概要」 をご参照ください。