如何建立外部儲存保並建立Log Service與OSS的關聯 - Simple Log Service

本文介紹如何建立外部儲存，建立Log Service與OSS的關聯。

前提條件

已採集日誌。更多資訊，請參見資料擷取。
已開啟並配置索引。更多資訊，請參見建立索引。
已建立OSS Bucket。更多資訊，請參見控制台建立儲存空間。
已上傳CSV格式檔案到OSS Bucket。更多資訊，請參見控制台上傳檔案。
重要
支援關聯多個OSS檔案，單個檔案最大為50M，不支援壓縮，參數不支援Regex。

功能優勢

與OSS進行關聯查詢分析，具有如下優勢：

節省費用：將更新頻率低的資料儲存在OSS上，只需要支付少量的儲存費用，並且可以通過內網讀資料，免去流量費用。
降低營運工作：在輕量級的聯合分析平台中，不需要搬遷資料到同一個儲存系統中。
節省時間：使用SQL分析資料，分析結果秒級可見，並可以將常用的分析結果定義為報表，開啟即可看到結果。

操作步驟

登入Log Service控制台。
在Project列表地區，單擊目標Project。
在日誌儲存 > 日誌庫頁簽中，單擊目標Logstore。

輸入查詢與分析語句，單擊查詢/分析。

通過SQL定義虛擬外部表格，映射到OSS檔案。

* | create table <External storage> (<Schema>) with (endpoint='oss-cn-${your_region_name}-internal.aliyuncs.com',accessid='yourAccessKeyID',accesskey ='yourAccessKeySecret',bucket='<your bucket name>',objects=ARRAY['my.csv'],type='oss')

在查詢分析語句中定義外部儲存名稱External storage、表的Schema等資訊，並通過WITH文法指定OSS訪問資訊及檔案資訊，詳細資料如下表所示。

配置項	說明	樣本
外部儲存名稱External storage	外部儲存名稱，即虛擬表的名稱。	user_meta1
表的Schema	定義表的屬性，包括表的列名及格式。	(userid bigint, nick varchar, gender varchar, province varchar, age bigint)
endpoint	OSS訪問網域名稱。更多資訊，請參見地區和Endpoint。重要請使用內網訪問網域名稱，不支援使用公網訪問。	oss-cn-hangzhou-internal.aliyuncs.com
accessid	阿里雲帳號AccessKey ID和AccessKey Secret。建議使用具備OSS資料來源存取權限的RAM使用者的AccessKey。授予RAM使用者權限的具體操作，請參見為RAM使用者授權。如何擷取AccessKey的具體操作，請參見存取金鑰。	LTAI****************
accesskey		yourAccessKeySecret
bucket	CSV檔案所在的OSS Bucket名稱。	examplebucket
objects	支援CSV檔案和OSS目錄。objects為array類型，可以包含多個檔案或目錄。需要注意：指定目錄時需要以 '/' 結尾。若指定了一個目錄，如 `test_dir/` 就相當於這個外表關聯了對應的bucket下這個oss目錄裡的所有的csv檔案。使用限制：所有類型的檔案數總和不超過100個。	'user.csv' 'test_dir/' 'user.csv','test_dir/','my_dir/'
type	固定為oss，表示外部儲存類型為OSS。	oss

樣本命令如下所示：

* | create table user_meta1 ( userid bigint, nick varchar, gender varchar, province varchar, age bigint) with ( endpoint='oss-cn-hangzhou.aliyuncs.com',accessid='yourAccessKeyID',accesskey='yourAccessKeySecret',bucket='examplebucket',objects=ARRAY['my.csv'],type='oss')

如果執行結果中的result為true，表示執行成功。

外部儲存

驗證是否已成功定義外部儲存。
執行如下語句，其中，External storage為步驟4中定義的外部儲存名稱。返回結果為您之前定義的表內容，則表示已成功定義外部儲存。
```
* | select * from <External storage>
```
通過JOIN文法完成Log Service和OSS的聯集查詢。
例如，執行如下查詢分析語句關聯Log Service中日誌的ID和OSS檔案中的userid，補全日誌資訊。
說明
採集的日誌中需要包含參數userid。
```
* | select * from <logstore> l join <External storage> u on l.userid = u.userid
```
配置項
說明
樣本
Logstore
需要查詢的Logstore的名稱。
test_logstore
External storage
步驟4中定義的外部儲存名稱。
user_meta1

關聯OSS資料來源的最佳實務請參見關聯Logstore與OSS外表進行查詢和分析。

配置項	說明	樣本
Logstore	需要查詢的Logstore的名稱。	test_logstore
External storage	步驟4中定義的外部儲存名稱。	user_meta1