LoongCollector是Log Service提供的採集器。採集Linux伺服器上的日誌需要先在伺服器上安裝LoongCollector用戶端,請根據伺服器與Log ServiceProject的關係選擇合適的安裝方式。
使用限制
前提條件
選擇合適的安裝方式
安裝方式 | 適用情境 |
僅當伺服器為阿里雲ECS,且ECS與Project屬於同一個阿里雲帳號,所屬地區也相同時適用。 | |
當伺服器為阿里雲ECS,且ECS與Project屬於同一個阿里雲帳號,但不屬於同一個地區時適用。 | |
當伺服器為阿里雲ECS,且ECS與Project屬於同一個地區,但不屬於同一個阿里雲帳號時適用。 | |
|
同帳號同地區
僅當伺服器為阿里雲ECS,且ECS與Project屬於同一個阿里雲帳號,所屬地區也相同時,Log Service可一鍵在ECS中安裝LoongCollector,藉助OOS編排能力,無需登入ECS手動執行安裝步驟。
一鍵安裝能力已整合到Log Service的接入模板中,Log Service提供了正則、單行、多行等多種文本日誌接入模板,各模板之間僅處理外掛程式不同;模板內支援添加、刪除處理外掛程式。請根據採集日誌的特點選擇模板,或任意選擇文本日誌模板後再根據日誌特點進行處理外掛程式配置。
具體操作如下:
登入Log Service控制台,在Project列表中,單擊目標Project。
單擊
日誌儲存,在日誌庫中單擊目標Logstore前的
,展開Logstore。單擊資料接入後的
,在彈框中選擇單行 - 文本日誌接入模板,單擊立即接入。單擊,選擇與Project同地區的ECS執行個體後(可選擇多台ECS執行個體),單擊安裝並建立為機器組。
等待安裝完成,填寫名稱後即可單擊確定。若無法安裝成功,請單擊重建安裝任務,並重新選擇ECS,選擇時需確認ECS地區與Project地區相同。
單擊下一步,如果心跳為FAIL,單擊自動重試後等待兩分鐘左右直到心跳變為OK。
至此一鍵安裝完成。單擊下一步,將進行採集配置。
同帳號不同地區
當伺服器為阿里雲ECS,且ECS與Project屬於同一個阿里雲帳號,但不屬於同一個地區,此時需要手動下載安裝包,並在安裝命令中使用公網傳輸方式或傳輸加速。
具體操作如下:
下載安裝包:在伺服器上執行下載命令,範例程式碼中
${region_id}可使用cn-hangzhou替換,若想加快安裝包下載速度,請參考RegionID替換${region_id}為ECS所屬地區。wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;選擇傳輸方式並執行安裝命令:替換
${region_id}為Project所屬地區的RegionID。公網:適用於大多數情境,常見於跨地區或其他雲/自建伺服器,但受頻寬節流設定且可能不穩定。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-internet傳輸加速:用於跨地區(如中國內地到海外),通過CDN加速提升效能,避免公網延遲高,傳輸不穩定問題,但流量需額外計費。
需要先開啟Project的日誌跨域傳輸加速功能,再執行安裝命令。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-acceleration
查看啟動狀態:執行命令,返回
loongcollector is running表示啟動成功。sudo /etc/init.d/loongcollectord status配置機器組:Log Service通過機器組發現使用者自訂標識並與主機上的LoongCollector建立心跳串連。
在伺服器上將自訂字串
user-defined-test-1寫入使用者自訂標識檔案,該字串將在後續步驟中使用。#向指定檔案寫入自訂字串,若目錄不存在需手動建立。檔案路徑和名稱由Log Service固定,不可自訂。 echo "user-defined-test-1" > /etc/ilogtail/user_defined_id登入Log Service控制台。在Project列表中,單擊目標Project。
單擊資源,單擊機器組。
單擊機器組右側的
,單擊建立機器組。
進行如下配置後單擊確定。
設定機器組名稱:名稱Project內唯一,必須以小寫字母或數字開頭和結尾,且只能包含小寫字母、數字、連字號(-)和底線(_),長度為3~128字元。
機器組標識:選擇使用者自訂標識。
使用者自訂標識:輸入配置的使用者自訂標識,需要與伺服器使用者自訂標識檔案中自訂字串內容一致。此例為
user-defined-test-1。
機器組建立完成後,在機器組列表單擊目標機器組,在機器組狀態中查看心跳狀態,若為FAIL,請等待兩分鐘左右並手動重新整理。如果心跳為OK則表示建立成功。
安裝完成後若需要採集日誌還需進行採集配置。
不同帳號同地區
當伺服器為阿里雲ECS,且ECS與Project屬於同一個地區,但不屬於同一個阿里雲帳號,此時需要手動下載安裝包,並在安裝命令中使用內網傳輸方式,且需要配置使用者ID。
具體操作如下:
下載安裝包:在伺服器上執行下載命令,範例程式碼中
${region_id}可使用cn-hangzhou替換,若想加快安裝包下載速度,請參考RegionID替換${region_id}為ECS所屬地區。wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;執行安裝命令:
${region_id}需替換為Project所屬地區的RegionID。若發生連線逾時,可能是
${region_id}替換錯誤,不同地區內網傳輸無法建立串連,因而逾時。需修改後重新執行安裝命令。chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}查看啟動狀態:執行命令,返回
loongcollector is running表示啟動成功。sudo /etc/init.d/loongcollectord status配置使用者ID:使用者ID檔案包含Project所屬阿里雲主帳號的ID資訊,用於標識該帳號有許可權訪問、採集這台伺服器的日誌。
只有在採集非本帳號ECS、自建伺服器、其他雲廠商伺服器日誌時需要配置使用者ID。多個帳號對同一台伺服器進行日誌採集時,支援在同一台伺服器上建立多個使用者ID檔案。
登入Log Service控制台,滑鼠懸浮在右上方帳戶圖片上,在彈出的標籤頁中查看並複製帳號ID。注意需要複製主帳號ID。
在安裝了LoongCollector的伺服器上,以主帳號ID作為檔案名稱,建立使用者ID檔案。
touch /etc/ilogtail/users/{阿里雲帳號ID} # 如果/etc/ilogtail/users目錄不存在,請手動建立目錄。使用者ID檔案只需設定檔名,無需設定檔尾碼。
配置機器組:Log Service通過機器組發現使用者自訂標識並與主機上的LoongCollector建立心跳串連。
在伺服器上將自訂字串
user-defined-test-1寫入使用者自訂標識檔案,該字串將在後續步驟中使用。#向指定檔案寫入自訂字串,若目錄不存在需手動建立。檔案路徑和名稱由Log Service固定,不可自訂。 echo "user-defined-test-1" > /etc/ilogtail/user_defined_id登入Log Service控制台。在Project列表中,單擊目標Project。
單擊資源,單擊機器組。
單擊機器組右側的
,單擊建立機器組。
進行如下配置後單擊確定。
設定機器組名稱:名稱Project內唯一,必須以小寫字母或數字開頭和結尾,且只能包含小寫字母、數字、連字號(-)和底線(_),長度為3~128字元。
機器組標識:選擇使用者自訂標識。
使用者自訂標識:輸入配置的使用者自訂標識,需要與伺服器使用者自訂標識檔案中自訂字串內容一致。此例為
user-defined-test-1。
機器組建立完成後,在機器組列表單擊目標機器組,在機器組狀態中查看心跳狀態,若為FAIL,請等待兩分鐘左右並手動重新整理。如果心跳為OK則表示建立成功。
安裝完成後若需要採集日誌還需進行採集配置。
其他雲/自建伺服器
當伺服器是其他雲端服務器或自建伺服器時(若伺服器為阿里雲ECS,但ECS與Project不屬於同一個阿里雲帳號,也不在同一個地區時,也可視為自建伺服器),需要手動下載安裝包,並在安裝命令中使用公網傳輸方式或傳輸加速,且需要配置使用者ID。
伺服器使用限制請參考支援的Linux系統版本。
具體操作如下:
下載安裝包:在伺服器上執行下載命令,範例程式碼中
${region_id}可使用cn-hangzhou替換,若想加快安裝包下載速度,請參考RegionID替換${region_id}為ECS所屬地區。wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;選擇傳輸方式並執行安裝命令:替換
${region_id}為Project所屬地區的RegionID。公網:適用於大多數情境,常見於跨地區或其他雲/自建伺服器,但受頻寬節流設定且可能不穩定。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-internet傳輸加速:用於跨地區(如中國內地到海外),通過CDN加速提升效能,避免公網延遲高,傳輸不穩定問題,但流量需額外計費。
需要先開啟Project的日誌跨域傳輸加速功能,再執行安裝命令。
chmod +x loongcollector.sh; ./loongcollector.sh install ${region_id}-acceleration
查看啟動狀態:執行命令,返回
loongcollector is running表示啟動成功。sudo /etc/init.d/loongcollectord status配置使用者ID:使用者ID檔案包含Project所屬阿里雲主帳號的ID資訊,用於標識該帳號有許可權訪問、採集這台伺服器的日誌。
只有在採集非本帳號ECS、自建伺服器、其他雲廠商伺服器日誌時需要配置使用者ID。多個帳號對同一台伺服器進行日誌採集時,支援在同一台伺服器上建立多個使用者ID檔案。
登入Log Service控制台,滑鼠懸浮在右上方帳戶圖片上,在彈出的標籤頁中查看並複製帳號ID。注意需要複製主帳號ID。
在安裝了LoongCollector的伺服器上,以主帳號ID作為檔案名稱,建立使用者ID檔案。
touch /etc/ilogtail/users/{阿里雲帳號ID} # 如果/etc/ilogtail/users目錄不存在,請手動建立目錄。使用者ID檔案只需設定檔名,無需設定檔尾碼。
配置機器組:Log Service通過機器組發現使用者自訂標識並與主機上的LoongCollector建立心跳串連。
在伺服器上將自訂字串
user-defined-test-1寫入使用者自訂標識檔案,該字串將在後續步驟中使用。#向指定檔案寫入自訂字串,若目錄不存在需手動建立。檔案路徑和名稱由Log Service固定,不可自訂。 echo "user-defined-test-1" > /etc/ilogtail/user_defined_id登入Log Service控制台。在Project列表中,單擊目標Project。
單擊資源,單擊機器組。
單擊機器組右側的
,單擊建立機器組。
進行如下配置後單擊確定。
設定機器組名稱:名稱Project內唯一,必須以小寫字母或數字開頭和結尾,且只能包含小寫字母、數字、連字號(-)和底線(_),長度為3~128字元。
機器組標識:選擇使用者自訂標識。
使用者自訂標識:輸入配置的使用者自訂標識,需要與伺服器使用者自訂標識檔案中自訂字串內容一致。此例為
user-defined-test-1。
機器組建立完成後,在機器組列表單擊目標機器組,在機器組狀態中查看心跳狀態,若為FAIL,請等待兩分鐘左右並手動重新整理。如果心跳為OK則表示建立成功。
安裝完成後若需要採集日誌還需進行採集配置。
大量安裝LoongCollector
ECS與Project同帳號同地區情境下,自動安裝功能中支援選擇多台ECS。
其餘情境下需藉助ECS雲助手來直接通過命令的方式執行臨時任務,實現在ECS機器中批量執行LoongCollector安裝命令的功能。
下載與安裝命令請參考上述安裝情境選擇,如何使用ECS雲助手請參考建立/執行命令。
常見問題
伺服器無法串連外部網路時如何安裝
在需要安裝
LoongCollector的伺服器上執行uname -m查看系統架構後,在可以訪問公網的伺服器上選擇對應下載命令執行:${region_id}需替換為Project所屬地區的RegionID。ARM架構:
wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz;x86-64架構:
wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;
將下載的安裝指令碼和安裝包拷貝至需要安裝
LoongCollector的伺服器上,執行如下命令:${region_id}需替換為Project所屬地區的RegionID。chmod +x loongcollector.sh; ./loongcollector.sh install-local ${region_id}-internet執行查看命令,返回
loongcollector is running表示啟動成功。sudo /etc/init.d/loongcollectord status由於伺服器無法訪問公網,你還需要通過配置代理的方式與公網建立串連。
一鍵安裝失敗
自動安裝僅支援ECS與Project同帳號同地區情況,若不滿足請選擇其他安裝方式,若滿足請檢查前提條件中許可權與網路要求是否滿足。
無心跳/心跳為FAIL如何解決
心跳為FAIL時,可能是初次建立心跳需要花費一些時間,請等待兩分鐘左右後重新整理心跳狀態,若仍為FAIL,請按如下步驟檢查:
請確認伺服器與Log ServiceProject的關聯關係,不同關係對應不同的安裝流程。
若發現流程選擇錯誤,在伺服器上執行
chmod +x loongcollector.sh; sudo ./loongcollector.sh uninstall;卸載命令,再重新選擇正確的流程執行即可。
若流程選擇正確但心跳為FAIL,請查看安裝LoongCollector的伺服器上
/usr/local/ilogtail/ilogtail_config.json檔案中region資訊是否與Log ServiceProject地區的RegionID一致。若不一致,請替換安裝命令中的${region_id}後重新執行安裝命令,LoongCollector將更新上述檔案中內容。
此方式將會執行覆蓋安裝,丟失原配置,慎用於已經進行採集配置的伺服器。
若資訊一致或重新安裝後心跳仍為FAIL,請繼續執行後續檢查步驟。
若流程中需要設定使用者ID檔案(即跨帳號情況),請檢查:
使用者ID的值必須為主帳號ID,否則請修改。
該主帳號ID應為Log ServiceProject所屬的主帳號ID,而非ECS伺服器所屬的主帳號ID。
請檢查Log Service控制台的機器組中配置的使用者自訂標識內容,與伺服器使用者自訂標識檔案中的內容是否一致。若不一致,修改任意一處的內容以保持一致。
若心跳仍然為FAIL,請檢查是否滿足前提條件中的網路要求。
IP/使用者自訂標識機器組的區別
使用者自訂標識機器組雖然配置相較於IP地址機器組更複雜,但適用情境更廣泛。因此上述安裝中除一鍵安裝為了簡化流程使用了IP地址機器組,其他安裝方式均推薦使用使用者自訂標識機器組。
IP地址機器組
使用IP地址機器組時,需要在機器組中添加IP地址資訊來與伺服器關聯。
該種方式建立與配置更簡單。
當IP地址發生衝突或IP改變會導致心跳失敗,影響資料擷取。
使用者自訂標識機器組
通過在機器組中配置一個使用者自訂的字串作為識別標識,並在伺服器上的標識檔案中添加該字串來進行關聯。一台伺服器的標識檔案中可配置多個使用者自訂標識,標識之間以分行符號分隔。
配置流程相比IP地址機器組更複雜。但在VPC等自訂網路環境,IP地址衝突會導致採集失敗。而使用者自訂標識可避免此類情況發生。
可實現機器組的自動Auto Scaling。為新增的伺服器配置相同的使用者自訂標識,Simple Log Service可自動識別並添加至機器組中。若不再需要採集伺服器日誌,直接刪除伺服器上配置的標識檔案,機器組自動將該伺服器移除。
通常業務系統由多個模組組成,各模組均可進行獨立的水平擴充,即支援添加多台伺服器。為實現高效的日誌資料收集和分類,建議為各模組建立單獨的機器組。如常見網站分為HTTP請求模組、邏輯模組和儲存模組,其自訂標識可分別定義為
http_module、logic_module和store_module。
相關參考
地區
登入Log Service控制台,在Project列表中,單擊目標Project。
單擊Project名稱右側的
進入專案概覽頁面。在基礎資訊中可查看當前Project的地區名稱,地區名稱對應RegionID請參考下表。
地區代表雲端服務資源的物理資料中心所在的地理位置,RegionID 是雲端服務地區的唯一識別碼。
LoongCollector網路傳輸類型
服務入口(Endpoint)表示Log Service對外服務的訪問網域名稱,是訪問一個專案(Project)及其內部日誌資料的URL,與Project所在的地區相關。Log Service提供私網網域名稱、公網網域名稱與傳輸加速網域名稱。可通過如下操作查看網域名稱:
登入Log Service控制台,在Project列表中,單擊目標Project。
單擊Project名稱右側的
進入專案概覽頁面。在訪問網域名稱中可查看當前Project的網域名稱資訊,不同的網路傳輸方式對應不同的網域名稱。合適的網路傳輸方式有利於日誌資料的傳輸更快速穩定。
網路類型 | 對應網域名稱類型 | 描述 | 適用情境 |
阿里雲內網 | 私網網域名稱 | 阿里雲內網為千兆共用網路,日誌資料通過阿里雲內網傳輸比公網傳輸更快速、穩定,內網包括VPC和傳統網路。 | ECS執行個體和Log ServiceProject屬於同一地區或自建伺服器打通內網的情況。 說明 推薦在ECS所在地區建立Log ServiceProject,通過阿里雲內網採集ECS中日誌,不消耗公網頻寬。 |
公網 | 公網網域名稱 | 使用公網傳輸日誌資料,不僅會受到網路頻寬的限制,還可能會因網路抖動、延遲、丟包等影響資料擷取的速度和穩定性。 | 以下兩種情況,可以選擇公網傳輸資料。
|
傳輸加速 | 傳輸加速網域名稱 | 利用阿里雲CDN邊緣節點進行日誌採集加速,相對公網採集在網路延遲、穩定性上具有很大優勢,但流量需額外計費。 | 如果商務服務器、Log ServiceProject分別屬於國內地區和國外地區,使用公網傳輸資料可能會出現網路延遲高、傳輸不穩定等問題,您可以選擇傳輸加速傳輸資料。更多資訊,請參見傳輸加速。 |
