Simple Log Service:Kibana に接続する

Docker Compose を使用してデプロイする

1. サーバー上で、次のコマンドを実行して sls-kibana という名前の新しいディレクトリと、sls-kibana ディレクトリ内に data という名前のサブディレクトリを作成します。次に、data ディレクトリの権限を変更して、Elasticsearch コンテナーに読み取り、書き込み、および実行の権限を付与します。

   mkdir sls-kibana
   
   cd sls-kibana
   
   mkdir data
   chmod 777 data 

2. sls-kibana ディレクトリに .env という名前のファイルを作成します。次のサンプルコードは、ファイルの内容を示しています。実際の要件に基づいてパラメーターを変更します。

   ES_PASSWORD=aStrongPassword  # 実際の要件に基づいて値を変更します。
   
   SLS_ENDPOINT=cn-huhehaote.log.aliyuncs.com
   SLS_PROJECT=etl-dev-7494ab****
   SLS_ACCESS_KEY_ID=xxx
   SLS_ACCESS_KEY_SECRET=xxx
   # ECS_ROLE_NAME="" # Simple Log Service にアクセスするために ECS インスタンス RAM ロールを使用する場合は、ECS インスタンス RAM ロールの名前を指定します。
   #SLS_PROJECT_ALIAS=etl-dev # オプション。 SLS_PROJECT の名前が長すぎる場合は、エイリアスを設定できます。
   #SLS_LOGSTORE_FILTERS="access*" # オプション。インデックスパターンを自動的に作成するログストアをフィルタリングします。複数のインデックスパターンを指定するには、カンマ（,）で区切ります。たとえば、"access*,error*" のように指定します。値は二重引用符（""）で囲む必要があることに注意してください。
   #KIBANA_SPACE=default # オプション。インデックスパターンを作成するスペースを指定します。スペースが存在しない場合は、自動的に作成されます。
   
   # さらにプロジェクトを追加するには、追加を続けます。 6 つ以上のプロジェクトを追加する場合は、docker-compose.yml ファイルにも参照を追加する必要があることに注意してください。
   #SLS_ENDPOINT2=cn-huhehaote.log.aliyuncs.com
   #SLS_PROJECT2=etl-dev2
   #SLS_ACCESS_KEY_ID2=xxx
   #SLS_ACCESS_KEY_SECRET2=xxx
   #SLS_PROJECT_ALIAS2=etl-dev2 # オプション。 SLS_PROJECT の名前が長すぎる場合は、エイリアスを設定できます。
   #SLS_LOGSTORE_FILTERS2="test*log" # オプション。インデックスパターンを自動的に作成するログストアをフィルタリングします。複数のパターンを指定するには、カンマ（,）で区切ります。たとえば、"access*,error*" のように指定します。値は二重引用符（""）で囲む必要があることに注意してください。
   #KIBANA_SPACE2=default # オプション。インデックスパターンを作成するスペースを指定します。スペースが存在しない場合は、自動的に作成されます。

   パラメーター	説明
   ES_PASSWORD	Elasticsearch のパスワード。これは Kibana のパスワードでもあります。
   ECS_ROLE_NAME	インスタンス RAM ロール。 RAM ロールに必要な権限については、「RAM 認証」をご参照ください。
   SLS_ENDPOINT	プロジェクトのエンドポイント。詳細については、「プロジェクトの管理」をご参照ください。
   SLS_PROJECT	Simple Log Service プロジェクトの名前。詳細については、「プロジェクトの管理」をご参照ください。
   SLS_ACCESS_KEY_ID	「前提条件」セクションで作成した RAM ユーザーの AccessKey ID。 RAM ユーザーには、ログストア内のデータをクエリする権限が必要です。詳細については、「RAM 認証」をご参照ください。
   SLS_ACCESS_KEY_SECRET	「前提条件」セクションで作成した RAM ユーザーの AccessKey シークレット。 RAM ユーザーには、ログストア内のデータをクエリする権限が必要です。詳細については、「RAM 認証」をご参照ください。
   SLS_PROJECT_ALIAS	オプション。 SLS_PROJECT の名前が長すぎる場合は、エイリアスを設定できます。
   SLS_LOGSTORE_FILTERS	オプション。インデックスパターンを自動的に作成するログストアをフィルタリングします。複数のインデックスパターンを指定するには、カンマ（,）で区切ります。たとえば、"access*,error*" のように指定します。値は二重引用符（""）で囲む必要があることに注意してください。
   KIBANA_SPACE	オプション。インデックスパターンを作成するスペースを指定します。スペースが存在しない場合は、自動的に作成されます。

3. sls-kibana ディレクトリに docker-compose.yaml という名前のファイルを作成します。次のサンプルコードは、ファイルの内容を示しています。

   services:
     es:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.26
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.26-arm64
       environment:
         - "discovery.type=single-node"
         - "ES_JAVA_OPTS=-Xms2G -Xmx2G"
         - ELASTIC_USERNAME=elastic
         - ELASTIC_PASSWORD=${ES_PASSWORD}
         - xpack.security.enabled=true
       volumes:
         # TODO: ./data ディレクトリは事前に作成する必要があります。 mkdir data && chmod 777 data コマンドを実行したことを確認してください。
         - ./data:/usr/share/elasticsearch/data
     kproxy:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5-arm64
       depends_on:
         - es
       environment:
         - ES_ENDPOINT=es:9200
   
         - ECS_ROLE_NAME=${ECS_ROLE_NAME}
         # 最初の SLS プロジェクト
         - SLS_ENDPOINT=${SLS_ENDPOINT}
         - SLS_PROJECT=${SLS_PROJECT}
         - SLS_LOGSTORE_FILTERS=${SLS_LOGSTORE_FILTERS}
         - KIBANA_SPACE=${KIBANA_SPACE}
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         # 2 番目の SLS プロジェクト
         - SLS_ENDPOINT2=${SLS_ENDPOINT2}
         - SLS_PROJECT2=${SLS_PROJECT2}
         - SLS_LOGSTORE_FILTERS2=${SLS_LOGSTORE_FILTERS2}
         - KIBANA_SPACE2=${KIBANA_SPACE2}
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_ENDPOINT3=${SLS_ENDPOINT3}
         - SLS_PROJECT3=${SLS_PROJECT3}
         - SLS_LOGSTORE_FILTERS3=${SLS_LOGSTORE_FILTERS3}
         - KIBANA_SPACE3=${KIBANA_SPACE3}
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_ENDPOINT4=${SLS_ENDPOINT4}
         - SLS_PROJECT4=${SLS_PROJECT4}
         - SLS_LOGSTORE_FILTERS4=${SLS_LOGSTORE_FILTERS4}
         - KIBANA_SPACE4=${KIBANA_SPACE4}
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_ENDPOINT5=${SLS_ENDPOINT5}
         - SLS_PROJECT5=${SLS_PROJECT5}
         - SLS_LOGSTORE_FILTERS5=${SLS_LOGSTORE_FILTERS5}
         - KIBANA_SPACE5=${KIBANA_SPACE5}
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_ENDPOINT6=${SLS_ENDPOINT6}
         - SLS_PROJECT6=${SLS_PROJECT6}
         - SLS_LOGSTORE_FILTERS6=${SLS_LOGSTORE_FILTERS6}
         - KIBANA_SPACE6=${KIBANA_SPACE6}
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
         # さらにプロジェクトを追加するには、追加を続けます。最大 255 個のプロジェクトを追加できます。
     kibana:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26-arm64
       depends_on:
         - kproxy
       environment:
         - ELASTICSEARCH_HOSTS=http://kproxy:9201
         - ELASTICSEARCH_USERNAME=elastic
         - ELASTICSEARCH_PASSWORD=${ES_PASSWORD}
         - XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true
       ports:
         - "5601:5601"
   
     # このサービスコンポーネントはオプションです。 Kibana インデックスパターンを自動的に作成するために使用されます。
     index-patterner:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5
       #image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5-arm64
       command: /usr/bin/python3 -u /workspace/create_index_pattern.py
       depends_on:
         - kibana
       environment:
         - KPROXY_ENDPOINT=http://kproxy:9201
         - KIBANA_ENDPOINT=http://kibana:5601
         - KIBANA_USER=elastic
         - KIBANA_PASSWORD=${ES_PASSWORD}
   
         - ECS_ROLE_NAME=${ECS_ROLE_NAME}
   
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
   
         # さらにプロジェクトを追加するには、追加を続けます。最大 255 個のプロジェクトを追加できます。

4. 次のコマンドを実行して、サービスを開始します。

   docker compose up -d

5. 次のコマンドを実行して、サービスのステータスをクエリします。

   docker compose ps

6. デプロイメントが完了したら、ブラウザに http://${Kibana がデプロイされているサーバーの IP アドレス}:5601 と入力して、Kibana ログインページを開きます。次に、ステップ 2 で Elasticsearch に指定したユーザー名とパスワードを入力します。

   重要

   ポート 5601 でのトラフィックを許可するには、サーバーのセキュリティグループにルールを追加する必要があります。詳細については、「セキュリティグループルールの追加」をご参照ください。

   http://${Kibana がデプロイされているサーバーの IP アドレス}:5601

   

Helm を使用してデプロイする

Docker を使用したデプロイ

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch がデプロイされているマシンの IP アドレス}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_PROJECT=prjA \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch がデプロイされているマシンの IP アドレス}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_ENDPOINT2=https://prjB.cn-guangzhou.log.aliyuncs.com/es/ \ 
            -e SLS_PROJECT=prjA \
            -e SLS_PROJECT2=prjB \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \ 
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \ 
            -e SLS_ACCESS_KEY_ID2=${aliyunAccessId} \ // 値が SLS_ACCESS_KEY_ID と同じ場合は、このパラメーターを設定する必要はありません。
            -e SLS_ACCESS_KEY_SECRET2=${aliyunAccessKey} \ // 値が SLS_ACCESS_KEY_SECRET と同じ場合は、このパラメーターを設定する必要はありません。
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.5

curl http://${プロキシがデプロイされているマシンの IP アドレス}:9201

{"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

sudo docker pull  sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26

sudo docker run -d --name kibana \
            -e ELASTICSEARCH_HOSTS=http://${プロキシがデプロイされているマシンの IP アドレス}:9201 \
            -e ELASTICSEARCH_USERNAME=elastic \
            -e ELASTICSEARCH_PASSWORD=passwd \
            -e XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true \
            -p 5601:5601 \
            sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.26

http://${Kibana がデプロイされているサーバーの IP アドレス}:5601

データのクエリと分析

1. 左側のナビゲーションウィンドウで、[分析] > [ディスカバー] を選択します。

   重要

   Elasticsearch 互換 API を使用して Kibana で Simple Log Service データを分析する場合、使用できるのはディスカバーモジュールとダッシュボードモジュールのみです。

   

2. ページの左上隅で、宛先インデックスを選択します。ページの右上隅で、ログデータをクエリする時間範囲を選択します。

   

インデックスパターンの手動設定 (オプション)

1. 左側のナビゲーションウィンドウで、[管理] >[スタック管理] を選択します。

2. 左側のナビゲーションウィンドウで、[Kibana] > [インデックスパターン] を選択します。

3. Kibana を初めて使用する場合は、表示されたダイアログボックスで [非表示またはシステムインデックスに対してインデックスパターンを作成する] をクリックします。

   説明

   デフォルトでは、インデックスパターンリストにはデータは表示されません。Kibana で手動でインデックスパターンを作成し、Simple Log Service の Logstore にマップする必要があります。

4. [インデックスパターンの作成] ウィンドウで、パラメータを設定します。

   

   パラメータ名	説明
   Name	インデックスの名前。命名規則は ${Simple Log Service プロジェクト名}.${Logstore 名} です。 重要 インデックス名は完全一致のみをサポートしています。ワイルドカード文字はサポートされていません。完全なインデックス名を入力する必要があります。 たとえば、プロジェクト名が etl-guangzhou で、Logstore 名が es_test22 の場合、インデックス名は etl-guangzhou.es_test22 です。
   Timestamp field	タイムスタンプフィールド。値は @timestamp に固定されています。

5. [インデックスパターンの作成] をクリックします。