Elasticsearch:Alibaba Cloud Elasticsearch と Rsbeat を使用した Redis スローログのリアルタイム分析

事前準備

ステップ 1：ApsaraDB for Redis インスタンスのスロークエリパラメーターの設定

ステップ 2：Rsbeat のインストールと設定

ステップ 3：Kibana コンソールでのグラフを使用した Redis スローログの分析

Alibaba Cloud Elasticsearch クラスターを作成し、クラスターの自動インデックス作成機能を有効にします。

ApsaraDB for Redis インスタンスを作成します。

ECS インスタンスを作成します。

ApsaraDB for Redis インスタンスへのアクセスのための IP アドレスホワイトリストを設定します。

ApsaraDB for Redis コンソールにログインします。

上部のナビゲーションバーで、リージョンを選択します。

クラスター ページで、ターゲットインスタンスの ID をクリックします。

左側のナビゲーションウィンドウで、パラメーターの設定 をクリックします。

[システムパラメーター] タブで、slowlog-log-slower-than と slowlog-max-len パラメーターを見つけます。次に、要件に応じてこれらのパラメーターを変更します。

ECS インスタンスに接続します。

Rsbeat のパッケージをダウンロードして解凍します。

wget https://github.com/Yourdream/rsbeat/archive/master.zip
unzip master.zip

Rsbeat の設定を変更します。

1. 次のコマンドを実行して rsbeat.yml ファイルを開きます。

   cd rsbeat-master
   vim rsbeat.yml

2. 以下の指示に基づいて rsbeat および output.elasticsearch セクションの設定を変更し、変更を保存します。

   以下は rsbeat.yml 設定の例です。

   ################################ Rsbeat ######################################
   
   rsbeat:
     # Defines how often an event is sent to the output
     period: 1s
     redis: ["r-xxx.redis.rds.aliyuncs.com:6379"]
     slowerThan: 100
   
   #================================ General =====================================
   
   # The name of the shipper that publishes the network data. It can be used to group
   # all the transactions sent by a single shipper in the web interface.
   #name:
   
   # The tags of the shipper are included in their own field with each
   # transaction published.
   #tags: ["service-X", "web-tier"]
   
   # Optional fields that you can specify to add additional information to the
   # output.
   #fields:
   #  env: staging
   
   #============================== Outputs =======================================
   
   # Configure what outputs to use when sending the data collected by the beat.
   # Multiple outputs may be used.
   
   #-------------------------- Elasticsearch output ------------------------------
   output.elasticsearch:
     # Array of hosts to connect to.
     hosts: ["es-cn-xxx.elasticsearch.aliyuncs.com:9200"]
   
     # Optional protocol and basic auth credentials.
     #protocol: "https"
     username: "elastic"
     password: "xxx"
   
     # Overwrite existing template
     template.overwrite: true

   表 1. rsbeat セクションの設定

   パラメーター	説明
   period	Rsbeat が Redis スローログを Elasticsearch クラスターに送信する間隔。
   redis	ApsaraDB for Redis インスタンスへの接続に使用されるエンドポイント。詳細については、「エンドポイントの表示」をご参照ください。 重要 ApsaraDB for Redis インスタンスへのアクセスに使用されるパスワードは、Rsbeat の設定ファイルには指定されていません。Rsbeat が ApsaraDB for Redis インスタンスにアクセスできるようにするには、エンドポイントを取得した後にパスワードなしのアクセスを有効にする必要があります。詳細については、「パスワードなしのアクセスを有効にする」をご参照ください。
   slowerThan	config set slowlog-log-slower-than コマンドを Redis サーバーに送信するために必要な時間。単位：マイクロ秒。

   表 2. output.elasticsearch セクションの設定

   パラメーター	説明
   hosts	Elasticsearch クラスターへのアクセスに使用されるエンドポイント。エンドポイントは、Elasticsearch クラスターの [基本情報] ページで取得できます。詳細については、「クラスターの基本情報の表示」をご参照ください。
   username	Elasticsearch クラスターへのアクセスに使用されるユーザー名。デフォルトのユーザー名は elastic です。
   password	Elasticsearch クラスターへのアクセスに使用されるパスワード。パスワードは Elasticsearch クラスターの作成時に指定します。パスワードを忘れた場合は、リセットできます。パスワードのリセットに関する注意事項と手順の詳細については、「Elasticsearch クラスターのアクセスパスワードのリセット」をご参照ください。
   template.overwrite	Rsbeat が作成したインデックステンプレートが、Elasticsearch クラスターのインデックステンプレートと同じ名前を持つ場合に、Elasticsearch クラスターのインデックステンプレートを上書きするかどうかを指定します。デフォルト値：true。

Rsbeat サービスを開始します。

./rsbeat.linux.amd64 -c rsbeat.yml -e -d "*"

Elasticsearch クラスターの Kibana コンソールにログインします。

インデックスパターンを作成します。

1. 左側のナビゲーションウィンドウで、[Management] をクリックします。
2. [Kibana] セクションで、[Index Patterns] をクリックします。
3. [Create index pattern] をクリックします。

4. 表示されたセクションで、[Index pattern] フィールドにインデックスパターン名を入力し、[Next step] をクリックします。

5. [Time Filter field name] を指定します。このトピックでは、このパラメーターを [@timestamp] に設定します。
6. [Create index pattern] をクリックします。

Redis スローログの詳細を表示します。

1. 左側のナビゲーションウィンドウで、[Discover] をクリックします。

2. [Discover] ページの左側で、[Add a filter] の下のドロップダウンリストから rsbeat-* を選択します。

3. ページの右上隅で時間範囲を選択し、その時間範囲内の Redis スローログの詳細を表示します。

   [Discover] ページで、インデックスパターンとして rsbeat-* を選択し、時間範囲を [Last 24 hours] に設定して、その期間のスローログレコードを表示します。ページには、一致した結果の数、時間分布を示すヒストグラム、および cmd、ipPort、slowId、key、duration などのフィールドを含むログエントリのリストが表示されます。

Redis スローログの数が最も多い上位 10 件のキーを記録し、降順に並べ替えます。

1. 左側のナビゲーションウィンドウで、[Visualize] をクリックします。

2. [Visualize] ページで、 アイコンをクリックします。

3. [New Visualization] ダイアログボックスで、[Pie] をクリックします。

4. [From a New Search, Select Index] セクションで、rsbeat-* をクリックします。

5. [Metrics] および [Buckets] セクションでパラメーターを設定します。

   メトリクス設定：

   • [Slice Size]：[Aggregation] を [Count] に設定し、[Custom Label] を slowlog count に設定します。

   バケット設定：

   • [Split Slices]：[Aggregation] を [Terms] に設定し、[Field] を key に設定し、[Order By] を [metric: slowlog count] に設定し、[Order] を [Descend] に設定し、[Size] を 10 に設定します。

6. アイコンをクリックして結果を表示します。

   

   説明

   Kibana コンソールの使用上の注意については、「Kibana ユーザーガイド」をご参照ください。