Object Storage Service:sync (OSS ファイルをローカルコンピューターに同期)

ファイル数の制限

sync コマンドを --delete オプションなしで実行する場合、同期できるファイル数に制限はありません。--delete を指定した場合は、一度に最大 100 万ファイルまで同期できます。この制限を超えると、次のエラーが返されます：over max sync numbers 1000000.

sync と cp の違い

これらの違いを除き、sync コマンドと cp コマンドは同様に動作します。cp の詳細については、「オブジェクトのダウンロード」をご参照ください。

パラメーター

同期動作

ファイルフィルタリング

パフォーマンスと同時実行

再開可能なダウンロード

シンボリックリンクの処理

データ整合性とエラー処理

出力とエンコーディング

課金

例 1：基本的な同期

「localdir」ディレクトリを、「examplebucket」からローカルの「destdir」ディレクトリに同期します：

ossutil sync oss://examplebucket/localdir/ destdir/

同期後、オブジェクト a.txt、b.txt、およびサブディレクトリ C が destdir に追加されます。--delete が指定されていないため、既存のファイル d.txt は保持されます。

examplebucket           ローカルルートディレクトリ
└── localdir/             └── destdir/
       ├── a.txt                ├── a.txt
       ├── b.txt                ├── b.txt
       └── C/                   ├── d.txt
                                └── C/

例 2：削除とバックアップ付きの同期

localdir を destdir に同期し、localdir に存在しないファイルを destdir から削除します。削除されたファイルは完全に削除するのではなく、backup ディレクトリに移動します。

ossutil sync oss://examplebucket/localdir/ destdir/ --delete --backup-dir backup/

同期後、destdir には localdir のオブジェクトのみが含まれます。destdir のみに存在していたファイル d.txt は backup ディレクトリに移動されます。

examplebucket              ローカルルートディレクトリ
└── localdir/               ├── destdir/
       ├── a.txt            │     ├── a.txt
       ├── b.txt            │     ├── b.txt
       └── C/               │     └── C/
                            └── backup/
                                   └──d.txt

例 3：特定のファイルタイプのみを同期

localdir から .txt ファイルのみを同期し、他のファイルタイプは除外します。

ossutil sync oss://examplebucket/localdir/ destdir/ --include "*.txt"

例 4：特定のファイルタイプを除外

localdir のすべてのオブジェクトを同期しますが、.log ファイルは除外します。

ossutil sync oss://examplebucket/localdir/ destdir/ --exclude "*.log"

例 5：増分同期

前回の同期以降に新規作成または更新されたオブジェクトのみを同期します。

ossutil sync oss://examplebucket/localdir/ destdir/ -u

--update (-u) を使用すると、OSS 内のオブジェクトの最終更新時刻が対応するローカルファイルと同じかそれより古い場合、そのオブジェクトはスキップされます。

例 6：最上位ディレクトリのみを同期

localdir 直下のオブジェクトのみを同期し、サブディレクトリには再帰しません。

ossutil sync oss://examplebucket/localdir/ destdir/ --only-current-dir

例 7：スナップショットによる繰り返し同期の高速化

--snapshot-path を使用して同期状態を保存します。次回実行時には、ossutil がスナップショットを読み取り、変更されたオブジェクトのみを同期することで、同一ディレクトリの繰り返し同期にかかる時間を短縮します。

ossutil sync oss://examplebucket/localdir/ destdir/ --snapshot-path /tmp/oss-sync-snapshot/

例 8：大規模同期時の同時実行の調整

小規模ファイルと大規模ファイルの両方を含むディレクトリを同期する際は、スループットを最適化するために --job および --parallel を調整します。

• --job は同時に処理されるオブジェクト数を制御します。多数の小規模ファイルを同期する必要がある場合は、この値を増やしてください。

• --parallel は単一大規模オブジェクトの同時ダウンロード部分数を制御します。少数の大規模ファイルをダウンロードする必要がある場合は、この値を増やしてください。

ossutil sync oss://examplebucket/data/ /local/data/ --job 10 --parallel 5

ネットワーク帯域幅を飽和させないように、ダウンロード速度を 10,240 KB/s (10 MB/s) に制限するには:

ossutil sync oss://examplebucket/data/ /local/data/ --maxdownspeed 10240

成功時の出力

同期が正常に完了すると、ossutil は次のような出力を返します。同期方向に関係なく出力に「upload」と表示されることにご注意ください。これは ossutil の標準出力形式です。

Succeed: Total num: 2, size: 750,081. OK num: 2(upload 2 files).

average speed 1641000(byte/s)