Simple Log Service：對接Kibana

使用Docker Compose部署

1. 在伺服器執行以下命令，建立一個名為sls-kibana的新目錄，在sls-kibana目錄下建立一個名為data子目錄。更改data目錄的許可權，確保Elasticsearch容器具有對該目錄的讀、寫和執行許可權。

   mkdir sls-kibana
   
   cd sls-kibana
   
   mkdir data
   chmod 777 data 

2. 在sls-kibana目錄建立.env檔案，內容如下，請根據實際參數修改。

   ES_PASSWORD=aStrongPassword  # 請根據實際情況修改
   
   SLS_ENDPOINT=cn-huhehaote.log.aliyuncs.com
   SLS_PROJECT=etl-dev-7494ab****
   SLS_ACCESS_KEY_ID=xxx
   SLS_ACCESS_KEY_SECRET=xxx
   # ECS_ROLE_NAME="" # 如果使用ecs ram角色的方式訪問，這裡填具體ecs ram角色名稱
   #SLS_PROJECT_ALIAS=etl-dev # 可選，如果覺得SLS_PROJECT名字太長，可以設定一下別名
   #SLS_LOGSTORE_FILTERS="access*" # 可選，過濾哪些logstore自動建立index pattern，多個index pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號
   #KIBANA_SPACE=default # 可選，指定索引模式（index pattern）建立在哪個space下， 不存在則自動建立。
   
   # 如果有更多project，可以繼續加； 注意超過6個的話，docker-compose.yml中引用也要加
   #SLS_ENDPOINT2=cn-huhehaote.log.aliyuncs.com
   #SLS_PROJECT2=etl-dev2
   #SLS_ACCESS_KEY_ID2=xxx
   #SLS_ACCESS_KEY_SECRET2=xxx
   #SLS_PROJECT_ALIAS2=etl-dev2 # 可選，如果覺得SLS_PROJECT名字太長，可以設定一下別名
   #SLS_LOGSTORE_FILTERS2="test*log" # 可選，過濾哪些logstore自動建立index pattern建立,多個pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號
   #KIBANA_SPACE2=default # 可選，指定index parttern建立在哪個space下; 不存在則自動建立

   參數	說明
   ES_PASSWORD	Elasticsearch的密碼，也是Kibana的密碼。
   ECS_ROLE_NAME	ECS執行個體RAM角色，RAM角色需要的許可權操作請參見RAM授權。
   SLS_ENDPOINT	Project的訪問網域名稱，請參見管理Project。
   SLS_PROJECT	Log Service的Project名稱，請參見管理Project。
   SLS_ACCESS_KEY_ID	前提條件中建立的RAM使用者的AK。RAM使用者需要具備LogStore的查詢許可權，請參見RAM授權。
   SLS_ACCESS_KEY_SECRET	前提條件中建立的RAM使用者的SK。RAM使用者需要具備LogStore的查詢許可權，請參見RAM授權。
   SLS_PROJECT_ALIAS	可選，如果SLS_PROJECT名稱過長，可以選擇設定一個別名。
   SLS_LOGSTORE_FILTERS	可選，過濾哪些logstore自動建立index pattern，多個index pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號。
   KIBANA_SPACE	可選，指定索引模式（index pattern）建立在哪個space下， 不存在則自動建立。

3. 在sls-kibana目錄中建立docker-compose.yaml檔案，內容如下。

   services:
     es:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.26
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.26-arm64
       environment:
         - "discovery.type=single-node"
         - "ES_JAVA_OPTS=-Xms2G -Xmx2G"
         - ELASTIC_USERNAME=elastic
         - ELASTIC_PASSWORD=${ES_PASSWORD}
         - xpack.security.enabled=true
       volumes:
         # TODO 這裡的./data目錄需要提前建立, 確認已經mkdir data && chmod 777 data
         - ./data:/usr/share/elasticsearch/data
     kproxy:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8-arm64
       depends_on:
         - es
       environment:
         - ES_ENDPOINT=es:9200
   
         - ECS_ROLE_NAME=${ECS_ROLE_NAME}
         # 第一個sls project
         - SLS_ENDPOINT=${SLS_ENDPOINT}
         - SLS_PROJECT=${SLS_PROJECT}
         - SLS_LOGSTORE_FILTERS=${SLS_LOGSTORE_FILTERS}
         - KIBANA_SPACE=${KIBANA_SPACE}
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         # 第二個sls project
         - SLS_ENDPOINT2=${SLS_ENDPOINT2}
         - SLS_PROJECT2=${SLS_PROJECT2}
         - SLS_LOGSTORE_FILTERS2=${SLS_LOGSTORE_FILTERS2}
         - KIBANA_SPACE2=${KIBANA_SPACE2}
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_ENDPOINT3=${SLS_ENDPOINT3}
         - SLS_PROJECT3=${SLS_PROJECT3}
         - SLS_LOGSTORE_FILTERS3=${SLS_LOGSTORE_FILTERS3}
         - KIBANA_SPACE3=${KIBANA_SPACE3}
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_ENDPOINT4=${SLS_ENDPOINT4}
         - SLS_PROJECT4=${SLS_PROJECT4}
         - SLS_LOGSTORE_FILTERS4=${SLS_LOGSTORE_FILTERS4}
         - KIBANA_SPACE4=${KIBANA_SPACE4}
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_ENDPOINT5=${SLS_ENDPOINT5}
         - SLS_PROJECT5=${SLS_PROJECT5}
         - SLS_LOGSTORE_FILTERS5=${SLS_LOGSTORE_FILTERS5}
         - KIBANA_SPACE5=${KIBANA_SPACE5}
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_ENDPOINT6=${SLS_ENDPOINT6}
         - SLS_PROJECT6=${SLS_PROJECT6}
         - SLS_LOGSTORE_FILTERS6=${SLS_LOGSTORE_FILTERS6}
         - KIBANA_SPACE6=${KIBANA_SPACE6}
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
         # 如有更多，可以繼續加，最多255個
     kibana:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26-arm64
       depends_on:
         - kproxy
       environment:
         - ELASTICSEARCH_HOSTS=http://kproxy:9201
         - ELASTICSEARCH_USERNAME=elastic
         - ELASTICSEARCH_PASSWORD=${ES_PASSWORD}
         - XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true
       ports:
         - "5601:5601"
   
     # 這個服務元件是可選的，作用是自動建立kibana index pattern
     index-patterner:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8-arm64
       command: /usr/bin/python3 -u /workspace/create_index_pattern.py
       depends_on:
         - kibana
       environment:
         - KPROXY_ENDPOINT=http://kproxy:9201
         - KIBANA_ENDPOINT=http://kibana:5601
         - KIBANA_USER=elastic
         - KIBANA_PASSWORD=${ES_PASSWORD}
   
         - ECS_ROLE_NAME=${ECS_ROLE_NAME}
   
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
   
         # 如有更多，可以繼續加，最多255個

4. 執行以下命令，啟動服務。

   docker compose up -d

5. 執行以下命令，查看服務狀態。

   docker compose ps

6. 部署完成後，在瀏覽器中輸入http://${部署Kibana的IP地址}:5601，進入Kibana的登入頁面，輸入步驟二中設定的Elasticsearch的使用者名稱和密碼。

   重要

   必須在伺服器的安全性群組規則中添加5601連接埠，請參見添加安全性群組規則。

   http://${部署Kibana的IP地址}:5601

   

使用Helm部署

使用Docker部署

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch所在機器的IP地址}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_PROJECT=prjA \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch所在機器的IP地址}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_ENDPOINT2=https://prjB.cn-guangzhou.log.aliyuncs.com/es/ \ 
            -e SLS_PROJECT=prjA \
            -e SLS_PROJECT2=prjB \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \ 
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \ 
            -e SLS_ACCESS_KEY_ID2=${aliyunAccessId} \ #如果值和SLS_ACCESS_KEY_ID相同，無需配置。
            -e SLS_ACCESS_KEY_SECRET2=${aliyunAccessKey} \ #如果值和SLS_ACCESS_KEY_SECRET相同，無需配置。
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.8

curl http://${Proxy所在機器IP地址}:9201

{"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

sudo docker pull  sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26

sudo docker run -d --name kibana \
            -e ELASTICSEARCH_HOSTS=http://${Proxy所在機器的IP地址}:9201 \
            -e ELASTICSEARCH_USERNAME=elastic \
            -e ELASTICSEARCH_PASSWORD=passwd \
            -e XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true \
            -p 5601:5601 \
            sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26

http://${部署Kibana的IP地址}:5601

查詢和分析資料

1. 在左側導覽列中，選擇Analytics>Discover。

   重要

   使用Kibana和Elasticsearch相容介面分析Log Service資料時，目前只支援使用Discover和Dashboard這兩個模組。

   

2. 在頁面左上方選擇目標索引，在頁面右上方選擇時間範圍，查詢日誌資料。

   

手動設定IndexPattern（可選）

1. 在左側導覽列中，選擇Management > Stack Management。

2. 在左側導覽列中，選擇Kibana > Index Patterns。

3. 首次使用時，請先在提示框中單擊create an index pattern against hidden or system indices.

   說明

   在Index pattern列表中看不到資料是正常的，Simple Log Service的logstore映射到Kibana中的Index patterns需要手動建立。

4. 在Create index pattern視窗中，配置相關參數。

   

   參數名稱	說明
   Name	索引名稱，該名稱的命名規則為${Log ServiceProject名稱}.${LogStore名稱}。 重要 索引名稱僅支援精準匹配，不支援使用萬用字元，即您需要輸入完整的索引名稱。 例如Project名稱為etl-guangzhou，LogStore名稱為es_test22，那麼此處名稱為etl-guangzhou.es_test22。
   Timestamp field	時間戳記欄位，固定選擇為@timestamp。

5. 單擊Create index pattern。