OSS常用管理工具匯總 - Object Storage Service

阿里雲Object Storage Service提供了豐富的管理工具，方便高效使用OSS，例如上傳大檔案到OSS、產生簽名、遷移資料、掛載Bucket等。除了阿里雲官方提供的工具外，還有由社區開發的第三方工具和外掛程式，這些可以進一步增強和簡化OSS的使用。

官方工具

命令列工具

適用於需要通過終端或自動化指令碼管理OSS的情境。

工具	簡介
ossutil 2.0（推薦）	OSS的新版命令列管理工具。支援多級命令（進階命令和API級命令），用於管理Bucket和Object，支援檔案並發上傳、斷點續傳、目錄上傳下載等。支援外部存取憑證、OIDC憑證，執行個體角色訪問憑證模式支援自動擷取角色名稱。支援使用--output-format修改輸出格式，預設為原始格式輸出，即XML或者文本，可設定為JSON、YAML、XML格式。
ossutil 1.0	OSS的命令列管理工具。提供Bucket和Object的管理命令。支援檔案並發上傳、斷點續傳。支援檔案目錄（檔案夾）的上傳下載。
阿里雲CLI	阿里雲資源的統一命令列管理工具。可通過使用阿里雲CLI統一的命令格式，快速管理在OSS中的資料。具體操作，請參見使用阿里雲CLI管理OSS中的資料。
osscmd（已下線）	已於2019年7月31日下線的命令列工具，其功能已被ossutil替代。提供完備的Bucket、Object管理命令。支援Windows、Linux平台。使用限制：僅適用於Python2.5~2.7版本，不支援Python 3.x版本。不支援低頻訪問、Archive Storage、冷Archive Storage、深度冷Archive Storage、跨地區複製、鏡像回源等功能。

圖形化管理工具

適用於通過圖形化介面直觀瀏覽和管理檔案的情境。

工具

簡介

ossbrowser 2.0（推薦）

全新升級的圖形化管理工具。

ossbrowser 2.0作為老版ossbrowser的升級版，支援其大部分功能。
新增阿里雲APP、支付寶、DingTalk掃碼等方式登入。
新增將Bucket添加到收藏列表功能。
新增瀏覽檔案時進行編輯。
全新升級的介面互動操作，著重提升檔案管理操作以及傳輸的友好度和便捷度。

ossbrowser

圖形化的管理工具。

提供類似Windows資源管理員的功能。
支援直接瀏覽檔案。
支援檔案目錄（檔案夾）的上傳下載。
支援檔案並發上傳、斷點續傳。
支援RAM 使用者的圖形化Policy授權操作。
支援Windows、Linux、Mac平台。

使用限制：

ossbrowser是圖形化工具，傳輸速度和效能不如命令列工具ossutil。
只支援 5 GB以下的檔案移動或複製。
單檔案上傳最大不能超過48.8 TB。

資料移轉與同步工具

用於將資料從其他源遷移或同步到 OSS。

工具	簡介
線上遷移服務（推薦）	免開發、可視化的統一線上遷移服務，僅需通過簡單配置，即可高效、安全地將海量資料從不同來源集中遷移至OSS。支援包括AWS S3、騰訊雲 COS、華為雲 OBS、火山雲 TOS、Google雲 GCS、微軟 Azure Blob等在內的多種儲存服務，亦支援相容 S3 協議的自建Object Storage Service。遷移時無需搭建遷移環境，可線上提交遷移任務並隨時監控遷移過程
離線遷移（Lightning Cube）	資料移轉服務。通過定製化的遷移裝置—Lightning Cube，實現TB到PB層級的本機資料遷移上雲，致力於提高大規模資料轉送效率、解決資料轉送安全問題等難題。適合資料中心整體上雲、大型企業歸檔檔案及歷史影像資料等情境。離線遷移（Lightning Cube）專為 TB 級至 PB 級的大規模資料移轉設計，通過物理介質完成資料擷取和傳輸，徹底避免公網頻寬瓶頸，顯著提升遷移效率。
ossimport	OSS資料同步工具。可將各類第三方資料來源檔案同步到OSS上。支援分布式部署，可使用多台伺服器批量遷移資料。支援TB級以上資料移轉。支援Windows、Linux平台。適用於Java 7。

檔案系統掛載工具

將 OSS Bucket 掛載為本地檔案系統目錄，像操作本地檔案一樣操作雲端對象。

工具

簡介

ossfs 2.0（推薦）

ossfs 2.0版本是面向新形態計算密集型應用進行了全面重構的版本，實現了效能的全面升級，但對POSIX語義進行了部分限制，是未來的主線演化版本。如果正在開展AI訓練、推理、自動駕駛模擬等新型應用，且不方便使用OSS SDK和使用OSS Connector for AI/ML加速模型訓練，強烈建議使用ossfs 2.0。

提供基礎的POSIX相容性，聚焦於發揮OSS的服務端讀寫能力。
通過端到端的讀寫鏈路最佳化，提供了高效的大檔案順序讀寫能力。
通過高效的中繼資料管理能力，提供了高效的小檔案並發載入能力。

使用限制：

使用ossfs 2.0將遠程Bucket資料及功能映射到本地檔案系統時存在如下限制：

許可權要求：需確保AccessKey對目標Bucket或首碼（prefix）相關資源擁有全部許可權，否則可能導致掛載失敗或功能異常。
儲存類型限制：不支援掛載Archive Storage、冷Archive Storage、深度冷Archive Storage類型的Bucket。
檔案名稱限制：檔案名稱長度上限255字元（遵循Linux限制），OSS中超過此限制的檔案或目錄在掛載點內不可見。
檔案寫入限制：不支援隨機寫入。預設寫入不可追加的OSS對象。寫入分區大小預設是8388608位元組（8 MiB），即最大支援83886080000位元組（78.125 GiB）的檔案寫入。分區大小可根據掛載選項upload_buffer_size配置。
重新命名操作（非原子性）
- 檔案：先拷貝後再執行遠端檔案的刪除操作。
- 目錄：對所有檔案執行拷貝操作後，再批量執行源檔案的刪除操作。目錄重新命名時預設限制子孫檔案數量為200 萬，限制的子孫檔案數量可根據掛載選項rename_dir_limit配置。
並發寫入一致性：多用戶端同時掛載同一Bucket並寫入同一檔案時，無法保證資料一致性。
POSIX API相容性：部分相容，具體請參見POSIX API支援情況。

ossfs 1.0

Bucket掛載工具。ossfs 1.0用於將OSS的Bucket掛載到Linux系統的本地檔案系統中，掛載後可通過本地檔案系統操作OSS上的Object，實現資料的訪問和共用。

支援POSIX檔案系統的大部分功能，包括檔案讀寫、目錄、連結操作、許可權、UID、GID、以及擴充屬性（Extended Attributes）。
支援使用OSS的Multipart功能上傳大檔案。
支援MD5校正，保證資料完整性。

使用限制：

使用ossfs 1.0將遠程Bucket資料及功能映射到本地檔案系統時存在如下限制：

不適合高並發讀寫的情境。
說明
- 在ossfs 1.0的實現中讀寫均需要落盤。在高並發讀寫的情境下，磁碟效能對於讀和寫均是瓶頸。
- 在ossfs 1.0的實現中並發的讀寫請求之間存在競爭，影響頻寬。
不支援檔案永久連結。
不支援掛載Archive Storage、冷Archive Storage或者深度冷Archive Storage類型Bucket。
編輯已上傳檔案會導致檔案被重新上傳。
中繼資料操作，例如list directory，因為需要遠端存取OSS伺服器，所以效能較差。
重新命名檔案或檔案夾可能會出錯。若操作失敗，可能會導致資料不一致。
多個用戶端掛載同一個OSS Bucket時，資料一致性需自我維護。建議合理規劃檔案使用時間，避免出現多個用戶端寫同一個檔案的情況。

AI 工具

用於在AI情境中高效訪問和儲存OSS資料。

工具

簡介

OSS Connector for AI/ML

在PyTorch訓練任務中高效訪問和儲存OSS資料的Python庫。

支援構建適合隨機訪問，方便在訓練過程中快速擷取特定資料的映射式資料集。
支援構建適合流式順序訪問，也能處理連續的資料流的可迭代式資料集。
支援建立用於將訓練過程中的檢查點直接載入至OSS的OssCheckpoint對象。

使用限制：

作業系統：Linux x86-64
glibc：>=2.17
Python：3.8-3.12
PyTorch： >=2.0
使用OSS Checkpoint功能需Linux核心支援userfaultfd

FTP工具

工具

簡介

ossftp

管理Object的FTP工具。

使用FileZilla、WinSCP、FlashFXP等FTP用戶端操作OSS。
本質是FTP Server，用於接收FTP請求，會將檔案、檔案夾的操作映射為對OSS的操作。
基於Python2.7及以上版本。
支援Windows、Linux、macOS平台。

開發與授權工具

用於開發整合和精微調權限管理。

工具

簡介

RAM策略編輯器

OSS授權策略自動化產生工具。當需要產生自訂授權策略時，推薦使用該工具。

可根據需求自動產生授權策略，還可以在RAM的自訂權限原則中使用該授權策略。
支援瀏覽器Chrome、Firefox、Safari。

第三方工具和外掛程式

由社區開發人員貢獻，可與常用的開發工具和應用程式框架無縫整合，進一步簡化 OSS 的使用。

工具	簡介
Big Data Tools	與OSS相容的JetBrains IDE外掛程式，專註於最佳化巨量資料工作流程。便於使用遠程檔案系統（包括OSS）的使用者介面。與檔案管理工具類似的檔案操作方式（複製、移動、重新命名、刪除和下載檔案）。便於預覽檔案，而且對於CSV檔案，還可以在文本和表格視圖之間切換。便於擷取檔案的其他資訊，例如修改時間。便於預覽二進位檔案，例如Parquet。便於在多個選項卡中開啟Bucket和檔案夾。更多資訊，請參見使用Big Data Tools串連JetBrains IDE與OSS。
Hacklog Remote Attachment	WordPress外掛程式，允許將WordPress網站上的附件和媒體檔案儲存到OSS上，而不是保留在本機伺服器上，從而提升網站的載入速度，並減輕主機的儲存壓力。更多資訊，請參見WordPress如何儲存遠程附件到OSS。
FIleZilla	簡單易用的FTP用戶端工具，允許將本地網站的檔案上傳到OSS，從而提高檔案儲存體和訪問的效率，並降低本機存放區負擔。更多資訊，請參見FileZilla如何上傳本地網站檔案到OSS。