:Elasticsearch マシンラーニングを使用して、ビジネスデータに対してインテリジェントな検出と予測を実行します。

フライト遅延予測タスクのトレーニング

この例では、Kibana によって提供されるサンプルデータセットの特定の履歴データに基づいて、回帰アルゴリズムを使用して、フライト遅延予測の教師あり機械学習タスクをトレーニングします。 サンプルデータセットは Sample flight data という名前で、シミュレートされたフライトデータを提供します。 このタスクは、航空会社と乗客に重要な参考情報を提供し、乗客が旅程とフライトのスケジュールをより適切に計画するのに役立ちます。

次のコードは、サンプルフライトデータデータセットのデータレコードを示しています。

{
  "_index": "kibana_sample_data_flights",
  "_type": "_doc",
  "_id": "7b0aeogBmNQSVxOwslB_",
  "_version": 1,
  "_score": null,
  "_source": {
    "FlightNum": "QYX9S3I",
    "DestCountry": "CH",
    "OriginWeather": "Cloudy",
    "OriginCityName": "Chicago",
    "AvgTicketPrice": 824.8516378170061,
    "DistanceMiles": 4442.909325899777,
    "FlightDelay": false,
    "DestWeather": "Thunder & Lightning",
    "Dest": "Zurich Airport",
    "FlightDelayType": "No Delay",
    "OriginCountry": "US",
    "dayOfWeek": 4,
    "DistanceKilometers": 7150.1694661808515,
    "timestamp": "2023-06-02T07:28:15",
    "DestLocation": {
      "lat": "47.464699",
      "lon": "8.54917"
    },
    "DestAirportID": "ZRH",
    "Carrier": "Logstash Airways",
    "Cancelled": false,
    "FlightTimeMin": 420.59820389299125,
    "Origin": "Chicago O'Hare International Airport",
    "OriginLocation": {
      "lat": "41.97859955",
      "lon": "-87.90480042"
    },
    "DestRegion": "CH-ZH",
    "OriginAirportID": "ORD",
    "OriginRegion": "US-IL",
    "DestCityName": "Zurich",
    "FlightTimeHour": 7.009970064883188,
    "FlightDelayMin": 0
  }
}

1. Kibana コンソールの左上隅にある アイコンをクリックします。左側のナビゲーションペインで、[分析] > [機械学習] を選択します。

2. 表示されるページの左側のナビゲーションペインで、[データフレーム分析] > [ジョブ] を選択します。

3. [データフレーム分析ジョブ] ページで、[ジョブの作成] をクリックします。

4. [新しい分析ジョブ] / [ソースデータビューの選択] ページで、kibana_sample_data_logs インデックスを選択します。

5. [ジョブの作成] ページの [構成] ステップで、ジョブの基本情報を構成します。

   1. [回帰] を選択します。

      

   2. [従属変数] ドロップダウンリストから FlightDelayMin を選択します。従属変数は、予測を実行する必要がある変数です。

   3. [含まれるフィールド] セクションの [フィールド名] 列で、Cancelled、FlightDelay、および FlightDelayType をクリアします。

      Cancelled、FlightDelay、および FlightDelayType フィールドは、遅延予測には役に立ちません。タスクが不要な要因の影響を受けないようにし、予測精度を向上させるために、これらのフィールドを除外することをお勧めします。

   4. [トレーニングパーセント] セクションで、ノブをスライドさせて、トレーニングに使用するデータのパーセンテージを変更します。

      ビジネス要件に基づいてパーセンテージを変更できます。この例では、パーセンテージは 90% に設定されています。

      説明

      トレーニングに大量のデータを使用する場合、タスクのトレーニングに必要な時間に注意する必要があります。データ量が多いほど、トレーニング期間が長くなります。データ量が多い場合は、50% 以下などの小さいパーセンテージを指定することをお勧めします。次に、ビジネス要件に基づいてパーセンテージを変更して、適切な精度を得ることができます。

6. [続行] をクリックします。[追加オプション] ステップで設定を構成します。

   1. [特徴量の重要度の値] を 5 に設定します。これにより、予測結果に最も大きく影響する上位 5 つの特徴量が決定されます。これは、予測結果に最も影響を与える特徴を特定し、最も適切な特徴を選択してタスクを最適化するのに役立ちます。

   2. [予測フィールド名] を FlightDelayMin_prediction に設定します。このパラメーターは、予測を実行する変数の名前を指定します。

   3. [推定モデルメモリ制限を使用する] を無効にし、[モデルメモリ制限] を 500 MB に設定します。[モデルメモリ制限] パラメーターは、機械学習タスクで使用できるメモリのサイズの上限を指定します。データセットのデータサイズが大きく、機械学習タスクが複雑な場合、大量のメモリが消費される可能性があります。使用されるメモリのサイズが上限を超えると、機械学習タスクのトレーニングが失敗したり、タスクのパフォーマンスが低下したりする可能性があります。データセットのデータサイズと機械学習タスクの複雑さに基づいて、適切な上限を指定する必要があります。

   4. [最大スレッド数] を 1 に設定します。このパラメーターは、機械学習タスクのトレーニングに使用できる最大スレッド数を指定します。多数のスレッドを指定すると、メモリが不足したり、システムが応答しなくなる可能性があります。

   5. [続行] をクリックし、[ジョブの詳細] ステップでパラメーターを構成します。ジョブ ID を flightdelaymin_job に設定します。

   6. [続行] をクリックします。システムはタスクを検証します。

   7. 検証に合格した場合は、[続行] をクリックします。

   8. [作成] ステップで、[作成] をクリックします。

      ジョブを生成するには、一定の時間がかかります。実際に消費される時間は、トレーニングに使用されるデータ量によって決まります。

7. ジョブの作成後、[結果の表示] をクリックして、ジョブの実行結果を表示します。

   表示されるページの [モデル評価] セクションで、タスクの信頼性を示すメトリックを表示します。

   • 汎化誤差: タスクの汎化能力を反映する新しいデータでのタスクのパフォーマンスを測定します。汎化誤差が小さいほど、汎化能力が高いことを示します。汎化能力が高いタスクは、新しいデータに対してより正確な予測を実行できます。

   • トレーニング誤差: データセットベースのトレーニングでのタスクのパフォーマンスと、タスクの学習プロセス中に生成された誤差を反映します。値が小さいほど、データセットベースのトレーニングでのタスクのパフォーマンスが向上します。

   • 評価メトリックの説明:

     • 平均二乗誤差: 回帰タスクのパフォーマンスを測定する重要なメトリックです。値が小さいほど、予測結果がより正確になります。この値は、実際の値と回帰タスクによって提供される予測値の差の二乗平均を計算することによって得られます。

     • 決定係数 (R 2 乗): 回帰タスクのパフォーマンスを測定する重要なメトリックです。1 に近い値は、タスクが実際の値によりよく適合していることを示します。0.8 を超える値は、タスクの適合度が高いことを示します。

     • 平均二乗対数誤差: 値が小さいほど、予測効果が向上します。この値は、予測値と実際の値の対数を返した後、二乗誤差の合計の平均値を計算することによって得られます。

     説明

     複数の回帰タスクを比較する場合、平均二乗誤差メトリックの値と決定係数メトリックの値に注意する必要があります。これは、最適なタスクまたは特定のデータセットに適したタスクを決定するのに役立ちます。

     • ほとんどの場合、平均二乗誤差メトリックの値が 0 になることはなく、決定係数メトリックの値が 1 になることはありません。その理由は、タスクの予測結果が複数の要因の影響を受けるためです。これらの要因すべてを考慮してエラーを排除することはできない場合があります。

     • 平均二乗対数誤差メトリックの値 NaN は、予測結果または実際の値が負の数または 0 であることを示します。

     詳細については、「データフレーム分析の評価」をご参照ください。

フライト遅延予測タスクを使用する

Kibana によって提供される推論プロセッサに基づいて、フライト遅延予測タスクを使用できます。

1. Kibana コンソールの左上隅にある アイコンをクリックします。左側のナビゲーションペインで、[管理] > [開発ツール] を選択します。

2. [コンソール] タブで、次のコマンドを実行して model_id パラメータの値を表示および記録します。

   GET _ml/inference/flightdelaymin_job*?human=true

   このコマンドは、ID が flightdelaymin_job のジョブのすべての推論と分析結果をクエリし、結果を人間が読める形式で返すために使用されます。コマンドの flightdelaymin_job は、回帰と推論タスクのトレーニングのために作成されたジョブの ID を指定します。

3. 回帰と推論タスク、および推論プロセッサに基づいてパイプラインを作成します。

   説明

   次のコマンドの model_id パラメータの値を、前の手順で取得した値に置き換える必要があります。

   PUT _ingest/pipeline/flight_flightDelayMin_predict
   {
     "description": "各フライトの遅延時間 (分) を予測する",
     "processors": [
       {
         "inference": {
           "model_id": "flightDelayMin_job-168609891****",
           "inference_config": {
             "regression": {}
           },
           "field_map": {},
           "tag": "flightDelayMin_prediction"
         }
       }
     ]
   }

4. kibana_sample_data_flightsインデックスのデータに基づいて、FlightDelayMin 変数に対してデータ分析と予測を実行します。

   POST _ingest/pipeline/flight_flightDelayMin_predict/_simulate
   {
     "docs": [
       {
         "_source": {
           "FlightNum": "EDGSV3T",
           "DestCountry": "CN",
           "OriginWeather": "Damaging Wind",
           "OriginCityName": "Durban",
           "AvgTicketPrice": 1065.7037805199147,
           "DistanceMiles": 7273.460817641552,
           "FlightDelay": true,
           "DestWeather": "Rain",
           "Dest": "Shanghai Pudong International Airport",
           "FlightDelayType": "Carrier Delay",
           "OriginCountry": "ZA",
           "dayOfWeek": 5,
           "DistanceKilometers": 11705.500526106527,
           "timestamp": "2023-06-03T09:34:00",
           "DestLocation": {
             "lat": "31.14340019",
             "lon": "121.8050003"
           },
           "DestAirportID": "PVG",
           "Carrier": "Kibana Airlines",
           "Cancelled": false,
           "FlightTimeMin": 881.1071804361806,
           "Origin": "King Shaka International Airport",
           "OriginLocation": {
             "lat": "-29.61444444",
             "lon": "31.11972222"
           },
           "DestRegion": "SE-BD",
           "OriginAirportID": "DUR",
           "OriginRegion": "SE-BD",
           "DestCityName": "Shanghai",
           "FlightTimeHour": 14.685119673936343,
           "FlightDelayMin": 45
         }
       }
     ]
   }

   次の図は結果を示しています。

   

   FlightDelayMin 変数の実際の値は 45 分です。予測で得られた FlightDelayMin_prediction 変数の値は 50.28 分で、実際の値に近いです。

   feature_importance パラメータは、フライト遅延の予測結果に最も大きく影響する上位 5 つの要因を返します: FlightTimeMin、DistanceKilometers、DistanceMiles、OriginAirportID、および FlightTimeHour。これらの要因の値を変更して、異なる予測結果を得ることができます。これにより、タスクは各フライトの遅延時間をより正確に予測できます。