基於CloudFront匯入Amazon S3資料 - Simple Log Service

背景

為滿足資料分析、審計及監控業務需求，我們將 Amazon S3 儲存的檔案資料同步至 SLS（Simple Log Service）系統進行統一處理與檢索。然而，隨著資料輸送量的持續增長，AWS S3 直接出站流量費用已成為營運成本的主要壓力點。尤其在跨雲或大檔案傳輸情境下，S3 直連不僅單價較高，而且在高並發拉取時易受網路波動影響，導致傳輸效率不穩定。

本文介紹通過 Amazon CloudFront 來最佳化資料轉送鏈路。通過將 S3 配置為 CloudFront 來源站點，並將 SLS 資料拉取端點切換至 CloudFront 網域名稱，利用其邊緣分發能力替代直連。基於 CloudFront 更優的流量階梯定價及全球網路特性，在降低頻寬成本的同時，提升檔案下載的成功率與吞吐效能，實現成本與穩定性的雙重最佳化。這裡我們僅使用 CloudFront 來擷取檔案資料，仍使用原模式（通過 SQS 或直連 S3）來擷取檔案中繼資料。若有安全需求，可以使用 CloudFront 提供的函數功能來對請求進行鑒權。接下來將依次介紹：1. 鑒權函數配置；2. CloudFront 詳細配置；3. Distribution 關聯函數；4. S3 匯入任務的建立。

重要

本文檔為阿里雲原創，智慧財產權歸阿里雲所有。由於本文檔旨在介紹阿里雲與第三方產品互動的服務能力，因此可能會提及第三方公司或其產品名稱。

鑒權函數配置

步驟一：建立函數

在CloudFront中函數頁建立函數，Runtime使用cloudfront-js-2.0。

步驟二：編輯鑒權函數並發布

使用以下代碼，修改Token後構建函數並儲存。測試後發布。

function handler(event) {
    var request = event.request;
    var headers = request.headers;

    // 定義你的 Token（請替換為一個隨機產生的強密碼字串）
    var expectedToken = 'xxxxxx';

    // 校正 X-CF-Token Header
    if (!headers['x-cf-token'] || headers['x-cf-token'].value !== expectedToken) {
        return {
            statusCode: 403,
            statusDescription: 'Forbidden',
            body: {
                encoding: 'text',
                data: 'Access Denied'
            }
        };
    }

    // 校正通過，繼續轉寄請求
    return request;
}