本文介紹檔案網關緩衝盤的工作原理。
緩衝盤原理
檔案網關的緩衝盤是配置在Cloud Storage Gateway內部的雲端硬碟,用於彙總和緩衝使用者的資料和中繼資料,主要功能如下:
緩衝使用者通過掛載點寫入的資料,在檔案關閉後,網關會將資料一次性上傳至後端Object Storage Service,因此網關支援順序寫和隨機寫操作。資料上傳完成後,對應的緩衝空間會根據策略自動回收。
緩衝使用者讀取的資料,可有效降低檔案重複訪問時的延遲。對於大檔案,通過預讀機制將資料提前載入至緩衝盤,可有效提升檔案的讀取頻寬。
緩衝目錄結構等中繼資料資訊,可加速
ls、stat等檔案系統中繼資料操作。同時,提供多種靈活的中繼資料同步機制,包括極速同步、周期性反向同步和一次性反向同步,以滿足不同情境下的資料一致性需求。網關會根據緩衝盤使用方式,自動淘汰長時間未訪問的檔案資料(僅淘汰資料部分,保留中繼資料,如檔案名稱、目錄結構、許可權等),確保緩衝盤使用率維持在健康水位(通常約為60%)
緩衝盤可同時儲存資料和中繼資料,空間按比例分配:80%用於快取資料資訊,20%用於緩衝中繼資料資訊。
注意事項
選擇合適的緩衝盤類型。
在選擇緩衝盤類型時,應根據業務對頻寬和IOPS的需求進行合理匹配。同時,需注意緩衝盤效能需與網關規格相匹配,才能充分發揮效能。例如:基礎型及標準型使用ESSD PL1緩衝盤,增強型及效能型使用ESSD PL2緩衝盤。
選擇合適的緩衝盤容量。
在選擇緩衝盤容量時,需同時考慮資料緩衝和中繼資料快取兩部分的需求。
資料緩衝容量取決於並發數和最大檔案大小。為避免寫入失敗或效能下降,緩衝盤的可用空間(扣除中繼資料佔用後) 必須大於“並發數×最大檔案大小”的乘積。為了獲得更好的效能表現,建議預留約30%的可用空間。
中繼資料快取用於隱藏檔系統的結構資訊,包括:
目錄層級結構
檔案屬性(如大小、建立/修改時間等)
樁檔案:即使檔案資料被淘汰,中繼資料中仍保留該檔案記錄,這保證了使用者在瀏覽目錄時能保持一致的視圖體驗。當使用者再次訪問已被淘汰的檔案時,網關會自動從OSS中重新載入資料至緩衝。
中繼資料快取容量與總檔案數量密切相關。通常情況下:100GB緩衝盤可支援約1000萬個檔案的中繼資料管理。
當資料緩衝或中繼資料快取空間不足時,系統會分別觸發限流和中繼資料空間不足的警示。為避免影響業務,建議您在收到警示後及時進行緩衝盤擴容處理,確保網關穩定高效運行。