Object Storage Service：通過EFC加速OSS訪問

運行環境

硬體資源要求

EFC 用戶端會佔用計算節點的記憶體和磁碟。請根據是否開啟緩衝功能來規劃資源。

• 未開啟緩衝功能

  • 記憶體：常駐記憶體佔用通常小於 1 GiB，建議系統預留至少 5 GiB 可用記憶體以應對突發負載。

  • 磁碟：無特殊空間要求，僅需保證系統硬碟有足夠空間儲存作業記錄。

• 開啟緩衝功能 

  開啟緩衝後，資源佔用主要由緩衝介質和索引開銷構成。

  • 記憶體資源

    • 基礎佔用：同“未開啟緩衝”模式。

    • 記憶體緩衝：若配置記憶體作為緩衝，將直接佔用與配置大小相等的記憶體。

    • 索引開銷：無論使用記憶體還是磁碟緩衝，都需要額外記憶體維護資料索引。建議預留量約為緩衝總容量的 1‰。

    • 計算公式： 總記憶體佔用 ≈ 基礎運行記憶體 + 記憶體緩衝大小 + (記憶體緩衝大小 + 磁碟緩衝大小) * 0.001

  • 磁碟資源：

    • 磁碟緩衝：若配置磁碟作為緩衝介質，將佔用配置大小的磁碟空間（例如配置 1 TiB 磁碟緩衝，則佔用 1 TiB）。

功能限制

• 訪問模式：僅支援對 OSS 資料的唯讀訪問。掛載後檔案的所有者固定為 root，許可權為唯讀，不支援 chmod 或 chown。

• POSIX 相容性：相容 open、close、read、readdir、readdirplus、lookup、getattr 操作；不支援 readlink、write、rename、setattr、link、symlink 等操作。

• 儲存類型：僅支援訪問標準和低頻訪問儲存類型的 Object。不支援直接存取歸檔、冷歸檔或深度冷Archive Storage類型。

• 路徑相容性：

  • 路徑衝突：若 OSS 中同時存在 a/b（檔案）和 a/b/（目錄），掛載後僅能訪問目錄 a/b/。

  • 特殊路徑：無法訪問 Object Key 以 / 開頭、包含連續 // 或包含 . / .. 的對象。

• 存取權限：掛載和訪問 OSS 至少需要 oss:GetBucketStat、oss:ListObjects、oss:GetObject 許可權。

• 資料高可用性：EFC 是唯讀緩衝，不保障資料高可用。快取資料在特定情況（如機器損壞、節點替換下線等）下可能丟失，引起緩衝失效。再次訪問對應資料時，會發生回源，引起效能波動。

配置一：基礎掛載（快速驗證）

此配置用於快速驗證 EFC 是否能正常訪問您的 OSS Bucket，不啟用緩衝加速。

使用 STS 憑證掛載（推薦）：

# 建立本地掛載點
mkdir -p /mnt/oss_data

# 執行掛載（請替換為您的 Bucket 網域名稱）
mount -t alinas \
  -o efc,protocol=oss,g_oss_STSFile=/etc/passwd-sts \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

使用 AccessKey 掛載：

# 建立本地掛載點mkdir -p /mnt/oss_data

# 執行掛載（請替換為您的 Bucket 網域名稱）
mount -t alinas \
  -o efc,protocol=oss,passwd_file=/etc/passwd-oss \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

命令解析：

• mount -t alinas：使用 EFC 用戶端（alinas 類型）掛載。

• your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data：掛載目標配置。其中 your-bucket.oss-cn-hangzhou.aliyuncs.com 是您的 OSS Bucket 網域名稱，/mnt/oss_data 是本地掛載點。

• g_oss_STSFile=/etc/passwd-sts：指定包含 STS 憑證的設定檔路徑。

• passwd_file=/etc/passwd-oss：指定包含 OSS AccessKey 的密碼檔案路徑。

更多參數說明請參考掛載參數詳解。

驗證掛載結果：

# 檢查掛載是否成功
df -h | grep /mnt/oss_data
# 列出 OSS 中的檔案
ls /mnt/oss_data

如果能看到您 OSS Bucket 中的檔案，說明基礎掛載成功。接下來可以根據需要啟用緩衝加速。

配置二：單機緩衝模式

在基礎掛載的基礎上，啟用本節點的記憶體和磁碟緩衝，適用於單節點任務或快速測試。

說明：如果您已完成基礎掛載，需要先卸載：umount /mnt/oss_data

# 建立磁碟緩衝目錄
mkdir -p /mnt/cache/

# 掛載並啟用單機緩衝（使用 STS 憑證）
mount -t alinas \
  -o efc,protocol=oss,g_oss_STSFile=/etc/passwd-sts \
  -o g_tier_EnableClusterCache=true \
  -o g_tier_DadiIsDistributed=false \
  -o g_tier_DadiMemCacheCapacityMB=1024 \
  -o g_tier_DadiDiskCacheCapacityMB=10240 \
  -o g_tier_DadiDiskCachePath=/mnt/cache/ \
  -o g_server_Port=17871 \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

命令解析：

• mount -t alinas ... your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data：使用 EFC 用戶端將 OSS Bucket 掛載到本地 /mnt/oss_data 目錄。

• g_oss_STSFile=/etc/passwd-sts：指定包含 STS 憑證的設定檔路徑。

• g_tier_EnableClusterCache=true、g_tier_DadiIsDistributed=false：啟用單機緩衝模式，不與其他節點通訊。

• g_tier_DadiMemCacheCapacityMB=1024：分配 1 GB 記憶體用於快取資料。

• g_tier_DadiDiskCacheCapacityMB=10240：分配 10 GB 磁碟空間用於快取資料。

• g_tier_DadiDiskCachePath=/mnt/cache/：磁碟快取檔案存放目錄。

• g_server_Port=17871：開放 17871 連接埠，以便後續使用命令列工具查看快取命中率或執行資料預熱。

更多參數說明請參考掛載參數詳解。

配置三：分布式緩衝叢集模式

將多個節點群組成一個緩衝叢集，共用快取資料，通過 P2P 網路加速資料分發，適用於大規模訓練和推理的生產環境。

1. 配置緩衝節點列表

在所有節點上建立 /etc/efc/rootlist 檔案，填入叢集中所有節點的資訊：

# 格式: <唯一ID>:<節點內網IP>:<P2P連接埠>
1:192.168.1.1:17980
2:192.168.1.2:17980
3:192.168.1.3:17980

警告：rootlist 檔案在叢集中必須完全一致。不一致可能導致部分節點無法加入緩衝網路、快取命中率下降。

2. 在所有節點執行掛載

# 建立磁碟緩衝目錄
mkdir -p /mnt/cache/

# 掛載並啟用分布式緩衝（使用 STS 憑證）
mount -t alinas \
  -o efc,protocol=oss,g_oss_STSFile=/etc/passwd-sts \
  -o g_tier_EnableClusterCache=true \
  -o g_tier_DadiIsDistributed=true \
  -o g_tier_DadiAddr=/etc/efc/rootlist \
  -o g_tier_DadiMemCacheCapacityMB=1024 \
  -o g_tier_DadiDiskCacheCapacityMB=10240 \
  -o g_tier_DadiDiskCachePath=/mnt/cache/ \
  -o g_server_Port=17871 \
  your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data

命令解析：

• mount -t alinas ... your-bucket.oss-cn-hangzhou.aliyuncs.com:/ /mnt/oss_data：使用 EFC 用戶端將 OSS Bucket 掛載到本地 /mnt/oss_data 目錄。

• g_oss_STSFile=/etc/passwd-sts：指定包含 STS 憑證的設定檔路徑。

• g_tier_EnableClusterCache=true、g_tier_DadiIsDistributed=true：啟用 EFC 的核心功能——分布式緩衝加速。

• g_tier_DadiAddr=/etc/efc/rootlist：指定叢集節點設定檔路徑，用於構建 P2P 緩衝網路。

• g_tier_DadiMemCacheCapacityMB=1024：分配 1 GB 記憶體用於快取資料。

• g_tier_DadiDiskCacheCapacityMB=10240：分配 10 GB 磁碟空間用於快取資料，快取檔案將存放在 /mnt/cache/ 目錄。

• g_server_Port=17871：開放 17871 連接埠，以便後續使用命令列工具查看快取命中率或執行資料預熱。

更多參數說明請參考掛載參數詳解。

資料預熱

此功能可提前將資料從 OSS 載入到緩衝中，消除首次訪問延遲，對模型推理等情境尤其重要。

• 路徑要求：預熱路徑必須是掛載點下的相對路徑。

• 任務狀態：running（運行中）、completed（已完成）、canceled（已取消）、failed（已失敗）。

• 任務被動淘汰機制：預熱任務不會無限保留，系統會根據以下規則自動淘汰歷史任務記錄：

  • 正在預熱（running）的任務：只能通過 cancel 命令主動取消，無法被動淘汰。

  • 已完成/已取消/已失敗的任務：當滿足以下任一條件時會被自動淘汰：

    • 歷史預熱任務總數超過 10,000 條。

    • 任務記錄時間超過 7 天。

緩衝監控

此功能用於即時查看緩衝的運行狀態，如命中率、輸送量等，是效能調優的關鍵依據。

• 查看監控資料

  • HTTP 方式（推薦，返回 JSON 格式）

    curl -s "http://localhost:17871/v1/tier"

  • 命令列方式（返迴文本格式）

    aliyun-alinas-efc-cli -m <掛載點> -r tier

• 清除監控資料

  重設監控計數器（如 tier_read_hit 等指標歸零）。

  • HTTP方式

    curl -s "http://localhost:17871/v1/tier/clear"

  • 命令列方式

    aliyun-alinas-efc-cli -m <掛載點> -r tier -c

• 關鍵計量說明

  以下指標描述了從用戶端 A 訪問用戶端 B 的緩衝（B 提供cache 服務）時可能經過的路徑：

  

  指標名稱	說明	對應路徑
  tier_read	經過緩衝路徑的讀請求總數量。	i
  tier_read_bytes	經過緩衝路徑的讀請求總資料量。	i
  tier_read_hit	從分布式節點讀成功，並命中緩衝的請求數量。	ii
  tier_read_hit_bytes	從分布式節點讀成功，並命中緩衝的資料總量（可能有讀放大）。	ii
  tier_read_miss	從分布式節點讀成功，但未命中緩衝（回源）的請求數量，會觸發分布式節點讀後端。	iii
  tier_read_miss_bytes	從分布式節點讀成功，但未命中緩衝的資料總量。	iii
  tier_direct_read	從分布式節點讀失敗，用戶端直接從後端 OSS 讀取成功的請求數量。	v
  tier_direct_read_bytes	從分布式節點讀失敗，用戶端直接從後端 OSS 讀取成功的資料總量。	v
  tier_root_read_source	用戶端作為分布式節點，未命中緩衝時，讀後端的請求數量。	iv
  tier_root_read_source_bytes	用戶端作為分布式節點，未命中緩衝時，讀後端的資料總量。	iv

緩衝擴縮容

線上增刪節點

此操作用於動態調整分布式緩衝叢集的節點數量，無需中斷服務。

• 擴容：在所有節點的 rootlist 檔案中，添加新節點的 IP 位址。

• 縮容：在所有節點的 rootlist 檔案中，刪除目標節點的 IP 位址。

• 生效機制：EFC 進程會周期性（預設5s）地重新讀取 rootlist 檔案並自動應用變更。

調整單節點緩衝容量

重要：EFC 不支援動態調整單個節點的緩衝容量。如需調整，必須卸載並重新掛載檔案系統，請在業務低峰期執行。

在重新掛載時，通過修改以下參數來調整緩衝容量：

掛載參數動態調整

EFC 提供一個Python指令碼工具，用於在不手動卸載的情況下修改掛載參數。該工具的原理是：修改 EFC 的 state 檔案（儲存啟動命令），然後 kill 當前 EFC 進程，進程重啟時自動載入新的參數。

• 下載工具

  wget https://aliyun-alinas-eac-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/cache/efc_runtime_ops.latest.py

• 修改掛載參數

  python3 efc_runtime_ops.py update <本地掛載路徑> [-o <更新參數,...>]...

  樣本：

  python3 efc_runtime_ops.py update /mnt/oss_data \
            -o g_tier_EnableClusterCache=true,g_tier_tier_DadiP2PPort=23456 \
            -o g_tier_BlockSize=1048576

• 復原

  修改參數時，工具會自動備份舊的state檔案。如果修改後 EFC 出現故障，可以復原恢複：

  python3 efc_runtime_ops.py rollback <本地掛載路徑> [備份路徑]

  樣本：用預設的備份檔案路徑恢複state檔案。

  python3 efc_runtime_ops.py rollback /mnt/oss_data

目錄緩衝管理

EFC 預設開啟目錄緩衝以加速 ls 等目錄遍曆操作。如果 OSS 端的目錄結構發生變化而 EFC 未能及時感知，可手動清理目錄緩衝。

目錄緩衝相關參數（掛載時指定）：

清理目錄緩衝：

• HTTP方式

  curl -s "http://localhost:17871/v1/action/clear_readdir_cache"

• 命令列方式

  aliyun-alinas-efc-cli -m <掛載點> -r action -k clear_readdir_cache

基礎參數

緩衝配置參數

中繼資料與目錄緩衝參數

營運與進階參數

許可權與安全

• 保護密碼檔案：密碼檔案許可權必須設定為 600，並存放在安全的位置，避免憑證泄露。

• 優先使用 STS：從安全形度考慮，建議優先使用 STS 臨時憑證而非長期 AccessKey，降低密鑰泄露風險。

• 最小化安全性群組開放：僅在叢集節點之間開放 P2P 通訊連接埠 17980，並嚴格限制管理連接埠 17871 的訪問來源。

情境化配置建議

• AI 模型訓練

  • 特點：通常涉及對大型資料集（可能包含大量小檔案）的重複、順序讀取。

  • 建議：

    • 配置足夠大的磁碟緩衝，以容納整個或大部分熱點資料集。

    • 在訓練任務開始前，對核心資料集進行資料預熱，將首次讀取的開銷提前。

• AI 模型推理

  • 特點：大量計算節點需要同時載入相同的模型檔案。

  • 建議：

    • 務必啟用分布式叢集模式，充分利用 P2P 網路分發模型檔案，避免對 OSS 造成單點壓力。

    • 在服務上線或更新模型時，對模型檔案進行資料預熱。

資料一致性管理

• 理解最終一致性：EFC 是唯讀緩衝，對 OSS 後端的變更不是即時同步的。應用設計時應能容忍一定的資料延遲。

• 主動重新整理：對於需要頻繁更新並立即讀取的情境，應在應用邏輯中增加調用清除目錄緩衝介面的步驟。

• 開啟中繼資料快取：對於中繼資料不常變化的情境，通過 -o g_metadata_CacheEnable 開啟中繼資料快取，可以減少對 OSS 的 GetObjectMeta 請求。