OSS 管理ツールの概要 - Object Storage Service - Alibaba Cloud ドキュメントセンター

Alibaba Cloud Object Storage Service (OSS) は、大容量ファイルのアップロード、署名付き URL の生成、データ移行、バケットのマウントなどのタスクに対応するさまざまな管理ツールを提供しています。公式ツールに加えて、OSS の使用を強化し簡素化するためのサードパーティ製ツールやコミュニティ開発のプラグインも利用できます。

公式ツール

コマンドラインツール

これらのツールを使用して、ターミナルから、または自動化されたスクリプトで OSS を管理します。

ツール	説明
ossutil 2.0 (推奨)	OSS コマンドライン管理ツールの新しいバージョンです。バケットとオブジェクトを管理するためのマルチレベルコマンド (高レベルおよび API レベルのコマンド) をサポートします。また、同時ファイルアップロード、再開可能なアップロード、およびディレクトリのアップロードとダウンロードもサポートします。外部アクセス認証情報、OpenID Connect (OIDC) 認証情報、およびロール名を自動的に取得するインスタンスロールアクセス認証情報モードをサポートします。 --output-format オプションをサポートして、出力フォーマットを変更します。デフォルトのフォーマットは raw で、XML またはテキストです。フォーマットを JSON、YAML、または XML に設定できます。
ossutil 1.0	OSS コマンドライン管理ツールです。バケットとオブジェクトを管理するためのコマンドを提供します。同時ファイルアップロードと再開可能なアップロードをサポートします。ファイルディレクトリ (フォルダ) のアップロードとダウンロードをサポートします。
Cloud Assistant CLI	Alibaba Cloud リソースの統一されたコマンドライン管理ツールです。Cloud Assistant CLI の統一されたコマンドフォーマットを使用して、OSS 内のデータを迅速に管理できます。詳細については、「Cloud Assistant CLI を使用して OSS のデータを管理する」をご参照ください。
osscmd (オフライン)	2019 年 7 月 31 日にオフラインになったコマンドラインツールです。その機能は ossutil に置き換えられました。バケットとオブジェクトを管理するための完全なコマンドを提供していました。 Windows および Linux プラットフォームをサポートしていました。制限事項: Python 2.5 から 2.7 にのみ適用可能です。Python 3.x はサポートされていません。低頻度アクセス、アーカイブストレージ、コールドアーカイブ、ディープコールドアーカイブ、クロスリージョンレプリケーション、ミラーリングベースのオリジンフェッチなどの機能はサポートされていません。

グラフィカル管理ツール

これらのツールを使用して、グラフィカルインターフェイスを通じてファイルを閲覧および管理します。

ツール

説明

ossbrowser 2.0 (推奨)

完全にアップグレードされたグラフィカル管理ツールです。

古い ossbrowser のアップグレード版として、ossbrowser 2.0 はその機能のほとんどをサポートしています。
Alibaba Cloud アプリ、Alipay、または DingTalk で QR コードをスキャンするなどのログイン方法を追加しました。
バケットをお気に入りリストに追加する機能を追加しました。
閲覧中にファイルを編集する機能を追加しました。
ファイル管理と転送操作の使いやすさと利便性を向上させることに重点を置いた、完全にアップグレードされたユーザーインターフェイスを備えています。

ossbrowser

グラフィカル管理ツールです。

Windows エクスプローラーに似た機能を提供します。
直接的なファイル閲覧をサポートします。
ファイルディレクトリ (フォルダ) のアップロードとダウンロードをサポートします。
同時ファイルアップロードと再開可能なアップロードをサポートします。
RAM ユーザー向けのグラフィカルなポリシー承認操作をサポートします。
Windows、Linux、および Mac プラットフォームをサポートします。

制限事項:

ossbrowser はグラフィカルツールです。その転送速度とパフォーマンスは、コマンドラインツール ossutil よりも低くなります。
5 GB 未満のファイルの移動またはコピーのみをサポートします。
アップロード用の単一ファイルの最大サイズは 48.8 TB を超えることはできません。

データ移行および同期ツール

これらのツールを使用して、他のソースから OSS にデータを移行または同期します。

ツール	説明
データオンライン移行 (推奨)	開発者不要で、視覚的かつ統一されたオンライン移行サービスです。簡単な構成で、さまざまなソースから OSS に大量のデータを効率的かつ安全に移行できます。 AWS S3、Tencent Cloud COS、Huawei Cloud OBS、Volcengine TOS、Google Cloud GCS、Microsoft Azure Blob など、さまざまなストレージサービスをサポートしています。また、S3 プロトコルと互換性のある自己管理型オブジェクトストレージサービスもサポートしています。移行環境をセットアップする必要はありません。オンラインで移行タスクを送信し、いつでも移行プロセスを監視できます。
オフライン移行 (Data Transport)	データ移行サービスです。カスタマイズされた移行デバイスである Data Transport を使用して、テラバイトからペタバイト規模のローカルデータをクラウドに移行します。このサービスは、大規模なデータ転送の効率を向上させ、データ転送のセキュリティ問題に対処するように設計されています。データセンター全体をクラウドに移行したり、大企業向けのファイルや過去の画像データをアーカイブしたりするなどのシナリオに適しています。オフライン移行 (Data Transport) は、テラバイトからペタバイト規模の大規模なデータ移行向けに設計されています。データ収集と転送に物理メディアを使用するため、パブリック帯域幅のボトルネックを完全に回避し、移行効率を大幅に向上させます。
ossimport	OSS データ同期ツールです。さまざまなサードパーティのデータソースから OSS にファイルを同期できます。分散デプロイメントをサポートします。複数のサーバーを使用してデータをバッチで移行できます。テラバイト以上のデータ移行をサポートします。 Windows および Linux プラットフォームをサポートします。 Java 7 が必要です。

ファイルシステムマウントツール

OSS バケットをローカルファイルシステムディレクトリとしてマウントして、ローカルファイルであるかのようにクラウドオブジェクトを管理できます。

ツール

説明

ossfs 2.0 (推奨)

ossfs 2.0 は、新しい計算集約型アプリケーション向けに完全に再構築されたバージョンです。包括的なパフォーマンスのアップグレードを提供しますが、POSIX セマンティクスにはいくつかの制限があります。これは将来の開発の主要なバージョンです。AI トレーニング、推論、または自動運転シミュレーションなどの新しいアプリケーションに取り組んでおり、OSS SDK または AI/ML 用 OSS コネクタを使用してモデルトレーニングを高速化するの使用が不便な場合は、ossfs 2.0 を使用してください。

基本的な POSIX 互換性を提供し、OSS のサーバー側の読み取りおよび書き込み機能を活用することに重点を置いています。
エンドツーエンドの読み取り/書き込みリンクの最適化により、大容量ファイルの効率的なシーケンシャル読み取りおよび書き込み機能を提供します。
効率的なメタデータ管理により、小容量ファイルの効率的な同時読み込みを提供します。

制限事項:

ossfs 2.0 を使用してリモートバケットのデータと機能をローカルファイルシステムにマッピングする場合、次の制限が適用されます。

権限要件: AccessKey がターゲットバケットまたはプレフィックス関連のリソースに対する完全な権限を持っていることを確認してください。そうでない場合、マウントが失敗したり、機能が異常になったりする可能性があります。
ストレージタイプの制限: アーカイブストレージ、コールドアーカイブ、またはディープコールドアーカイブストレージタイプのバケットのマウントはサポートされていません。
ファイル名の制限: 最大ファイル名長は 255 文字です (Linux の制限に従います)。この制限を超える OSS 内のファイルまたはディレクトリは、マウントポイントでは表示されません。
ファイル書き込みの制限: ランダム書き込みはサポートされていません。デフォルトでは、データは追加不可能な OSS オブジェクトに書き込まれます。書き込みのデフォルトのシャードサイズは 8,388,608 バイト (8 MiB) であり、これは書き込みの最大ファイルサイズが 83,886,080,000 バイト (78.125 GiB) であることを意味します。upload_buffer_size マウントオプションを使用してシャードサイズを構成できます。
ファイル名の変更操作 (非アトミック)
- ファイル: ファイルが最初にコピーされ、次にリモートソースファイルが削除されます。
- ディレクトリ: すべてのファイルがコピーされた後、ソースファイルがバッチで削除されます。ディレクトリの名前を変更する場合、子孫ファイルの数のデフォルトの制限は 200 万です。rename_dir_limit マウントオプションを使用してこの制限を構成できます。
同時書き込みの整合性: 複数のクライアントが同じバケットをマウントし、同時に同じファイルに書き込む場合、データ整合性は保証されません。
POSIX API の互換性: 部分的に互換性があります。詳細については、「POSIX API のサポート」をご参照ください。

ossfs 1.0

バケットマウントツールです。ossfs 1.0 は、OSS バケットを Linux システムのローカルファイルシステムにマウントします。マウント後、ローカルファイルシステムを通じて OSS オブジェクトを操作して、データにアクセスし共有できます。

ファイルの読み取りと書き込み、ディレクトリ、リンク操作、権限、UID、GID、拡張属性など、POSIX ファイルシステムのほとんどの機能をサポートします。
OSS のマルチパートアップロード機能を使用して大容量ファイルをアップロードすることをサポートします。
データ整合性を確保するための MD5 検証をサポートします。

制限事項:

ossfs 1.0 を使用してリモートバケットのデータと機能をローカルファイルシステムにマッピングする場合、次の制限が適用されます。

高同時読み取りおよび書き込みシナリオには適していません。
説明
- ossfs 1.0 の実装では、読み取りと書き込みの両方にディスクキャッシュが必要です。高同時読み取りおよび書き込みシナリオでは、ディスクパフォーマンスが両方の操作のボトルネックになります。
- ossfs 1.0 の実装では、同時読み取りおよび書き込みリクエスト間に競合があり、帯域幅に影響します。
ファイルのハードリンクをサポートしていません。
アーカイブストレージ、コールドアーカイブ、またはディープコールドアーカイブストレージタイプのバケットのマウントをサポートしていません。
アップロードされたファイルを編集すると、ファイルが再アップロードされます。
list directory などのメタデータ操作は、OSS サーバーへのリモートアクセスが必要なため、パフォーマンスが低下します。
ファイルまたはフォルダの名前を変更すると、エラーが発生する可能性があります。操作が失敗した場合、データ不整合が発生する可能性があります。
複数のクライアントが同じ OSS バケットをマウントする場合、データ整合性を自分で維持する必要があります。複数のクライアントが同じファイルに書き込む状況を避けるために、ファイルの使用を計画してください。

AI ツール

これらのツールを使用して、AI シナリオで OSS データに効率的にアクセスし、保存します。

ツール

説明

AI/ML 用 OSS コネクタ

PyTorch トレーニングタスクで OSS データに効率的にアクセスし、保存するための Python ライブラリです。

ランダムアクセスに適したマップ形式のデータセットの構築をサポートし、トレーニング中に特定のデータを迅速に取得しやすくします。
シーケンシャルストリームアクセスに適したイテラブル形式のデータセットの構築をサポートし、連続したデータストリームも処理できます。
OssCheckpoint オブジェクトの作成をサポートし、トレーニングプロセスから OSS に直接チェックポイントをロードします。

制限事項:

オペレーティングシステム: Linux x86-64
glibc: >=2.17
Python: 3.8–3.12
PyTorch: >=2.0
OSS チェックポイント機能を使用するには、Linux カーネルが userfaultfd をサポートしている必要があります

FTP ツール

ツール

説明

ossftp

オブジェクトを管理するための FTP ツールです。

FileZilla、WinSCP、FlashFXP などの FTP クライアントを使用して OSS を操作します。
本質的には FTP サーバーであり、FTP リクエストを受信し、ファイルおよびフォルダ操作を OSS 操作にマッピングします。
Python 2.7 以降に基づいています。
Windows、Linux、および macOS プラットフォームをサポートします。

開発および権限付与ツール

これらのツールを開発統合および詳細な権限管理に使用します。

ツール

説明

RAM ポリシーエディター

OSS 承認ポリシーの自動生成ツールです。カスタム承認ポリシーを生成する必要がある場合に使用します。

要件に基づいて承認ポリシーを自動的に生成できます。これらの承認ポリシーは、RAM のカスタムポリシーでも使用できます。
Chrome、Firefox、および Safari ブラウザをサポートします。

サードパーティ製ツールおよびプラグイン

コミュニティ開発者によって提供されたこれらのツールとプラグインは、一般的な開発ツールやアプリケーションフレームワークとシームレスに統合され、OSS の使用を簡素化します。

ツール	説明
Big Data Tools	OSS と互換性のある JetBrains IDE プラグインで、ビッグデータワークフローの最適化に重点を置いています。 OSS を含むリモートファイルシステムで作業するためのユーザーインターフェイスを提供します。ファイルマネージャーと同様のファイル操作 (ファイルのコピー、移動、名前の変更、削除、ダウンロード) を提供します。ファイルをプレビューできます。CSV ファイルの場合、テキストビューとテーブルビューを切り替えることができます。変更時間などの追加のファイル情報を簡単に取得できます。 Parquet などのバイナリファイルをプレビューできます。複数のタブでバケットとフォルダを開くことができます。詳細については、「Big Data Tools を使用して JetBrains IDE を OSS に接続する」をご参照ください。
Hacklog Remote Attachment	WordPress サイトの添付ファイルやメディアファイルをローカルサーバーではなく OSS に保存できる WordPress プラグインです。これにより、サイトの読み込み速度が向上し、ホストのストレージ負荷が軽減されます。詳細については、「WordPress のリモート添付ファイルを OSS に保存する方法」をご参照ください。
FileZilla	ローカルサイトから OSS にファイルをアップロードできる使いやすい FTP クライアントツールです。これにより、ファイルの保存とアクセスの効率が向上し、ローカルストレージの負担が軽減されます。詳細については、「FileZilla を使用してローカルサイトのファイルを OSS にアップロードする方法」をご参照ください。