阿里雲SLS匯入Google Cloud Storage資料 - Simple Log Service

Log Service（SLS）支援通過 S3 相容協議匯入 Google Cloud Storage（GCS）中的記錄檔，實現跨雲日誌的集中查詢、分析和監控。

重要

本文檔為阿里雲原創，智慧財產權歸阿里雲所有。由於本文檔旨在介紹阿里雲與第三方產品互動的服務能力，因此可能會提及第三方公司或其產品名稱。

方案概述

在多雲架構或雲遷移情境中，日誌資料分散在不同雲平台。將 GCS 中的日誌匯入阿里雲 SLS，可以實現統一管理和分析。

適用情境：

GCS 提供與 Amazon S3 相容的互通性介面。SLS 的資料匯入功能利用該介面，通過 HMAC 密鑰認證從 GCS Bucket 中拉取記錄檔。

開始匯入前，分別在阿里雲和Google Cloud完成以下準備。

擷取以下 GCS 關鍵配置資訊，用於後續建立 SLS 匯入任務。

配置項	說明
GCS Endpoint	預設使用全域端點 `https://storage.googleapis.com`。如需訪問特定地區的儲存桶，可使用地區端點，例如 `https://storage.googleapis.com/storage/v1`。
Bucket 名稱	儲存記錄檔的 GCS Bucket 名稱。
AccessKeyId / AccessKeySecret	GCS 的 HMAC 密鑰，用於 S3 相容協議認證。擷取方式參見下方步驟3。

SLS 資料匯入功能的費用取決於計費模式：

在匯入配置頁面，配置資料來源資訊。各參數說明如下。

參數	說明	樣本
顯示名稱	匯入任務的顯示名稱，便於識別和管理。	`gcs-log-import`
GCS Endpoint	GCS 的訪問端點。預設使用全域端點 `https://storage.googleapis.com`，通常無需修改。	`https://storage.googleapis.com`
Bucket	儲存記錄檔的 GCS Bucket 名稱。	`my-log-bucket`
AccessKeyId	GCS HMAC 密鑰的存取金鑰 ID。擷取方式參見準備工作。	`GOOG1E***`
AccessKeySecret	與 AccessKeyId 配對的 HMAC 密鑰。	`bGoa***`
檔案首碼（可選）	按檔案路徑首碼過濾待匯入的檔案。僅匯入匹配該首碼的檔案。不配置則預設匯入 Bucket 內所有檔案。	`logs/2026/`
資料格式	記錄檔的資料格式，支援 JSON、CSV、分隔字元等。根據 GCS 中實際儲存的日誌格式選擇。	JSON 字串

單擊預覽，SLS 將嘗試串連 GCS 並讀取檔案。
說明
若串連失敗，檢查網路連通性、Bucket 名稱、AccessKeyId/AccessKeySecret 是否正確，以及 HMAC 金鑰組應的服務帳號是否具有讀取許可權。
確認預覽資料無誤後，單擊下一步。

任務建立成功後，系統自動啟動並持續運行。

建立匯入任務時，單擊預覽後提示串連失敗。排查方法：

Endpoint 配置錯誤：確認 GCS Endpoint 填寫為 https://storage.googleapis.com，注意包含 https:// 首碼。
Bucket 名稱錯誤：確認 Bucket 名稱與 GCS 控制台中顯示的名稱完全一致，區分大小寫。
網路連通性問題：SLS 通過公網訪問 GCS，確認 GCS Bucket 未設定限制外部 IP 訪問的策略。

預覽或運行任務時提示認證失敗或許可權不足。排查方法：

HMAC 密鑰無效：確認 AccessKeyId 和 AccessKeySecret 是從 GCS 互通性頁面擷取的 HMAC 密鑰，而非 Google Cloud 的 API Key 或 OAuth 憑據。
許可權不足：確認 HMAC 密鑰關聯的服務帳號至少具有目標 Bucket 的 storage.objects.get 和 storage.objects.list 許可權（通常授予 Storage Object Viewer 角色即可）。
密鑰已停用或刪除：登入 GCS 控制台檢查 HMAC 密鑰狀態是否為有效。

匯入任務運行正常，但日誌資料未按預期解析為欄位。排查方法：