Elasticsearch：通過Elasticsearch機器學習實現業務資料的智能檢測和預測

訓練航班延誤預測任務

本操作通過迴歸演算法訓練一個監督機器學習任務，使用Kibana內建的範例資料Sample flight data，該資料集為虛構的航班資料，通過迴歸演算法根據歷史資料訓練航班延誤時間的任務。預測任務可以為航空公司和旅客提供重要的參考資訊，協助旅客更好地規划行程和航班安排。

下面是Sample flight data資料集中的一條資料資訊。

{
  "_index": "kibana_sample_data_flights",
  "_type": "_doc",
  "_id": "7b0aeogBmNQSVxOwslB_",
  "_version": 1,
  "_score": null,
  "_source": {
    "FlightNum": "QYX9S3I",
    "DestCountry": "CH",
    "OriginWeather": "Cloudy",
    "OriginCityName": "Chicago",
    "AvgTicketPrice": 824.8516378170061,
    "DistanceMiles": 4442.909325899777,
    "FlightDelay": false,
    "DestWeather": "Thunder & Lightning",
    "Dest": "Zurich Airport",
    "FlightDelayType": "No Delay",
    "OriginCountry": "US",
    "dayOfWeek": 4,
    "DistanceKilometers": 7150.1694661808515,
    "timestamp": "2023-06-02T07:28:15",
    "DestLocation": {
      "lat": "47.464699",
      "lon": "8.54917"
    },
    "DestAirportID": "ZRH",
    "Carrier": "Logstash Airways",
    "Cancelled": false,
    "FlightTimeMin": 420.59820389299125,
    "Origin": "Chicago O'Hare International Airport",
    "OriginLocation": {
      "lat": "41.97859955",
      "lon": "-87.90480042"
    },
    "DestRegion": "CH-ZH",
    "OriginAirportID": "ORD",
    "OriginRegion": "US-IL",
    "DestCityName": "Zurich",
    "FlightTimeHour": 7.009970064883188,
    "FlightDelayMin": 0
  }
}

1. 單擊Kibana頁面左上方的表徵圖，選擇Kibana>Machine Learning。

2. 在左側功能表列，單擊資料幀分析 > 作業。

3. 在資料幀分析作業頁面，單擊建立作業。

4. 選擇kibana_sample_data_flights索引。

5. 在建立作業的配置地區，配置作業基本參數。

   1. 選中迴歸任務。

      

   2. 因變數選擇FlightDelayMin，因變數即要預測的目標變數。

   3. 在已包括欄位中，取消選中Cancelled、FlightDelay和FlightDelayType欄位。

      Cancelled、FlightDelay和FlightDelayType欄位對預測航班延誤時間沒有影響，排除多餘欄位可避免任務受到不必要的影響，提升預測準確性。

   4. 拖動圓點，調整訓練百分比。

      您可以根據業務實際情況，調整參加訓練的資料量百分比，本文設定訓練百分比為90%。

      說明

      如果資料量比較大，還需要考慮訓練的時間問題，訓練時間會隨著資料量的增加而增加。資料量比較大時建議選擇較小的比例進行訓練，例如50%或者更低的比例，然後不斷地進行矯正，直到得到合適的正確率。

6. 單擊繼續，配置其他選項。

   1. 設定功能重要性值為5。計算5個對於預測結果重要的特徵，以便我們瞭解哪些特徵對於預測結果的貢獻最大，有助於進行特徵選取和任務最佳化。

   2. 設定預測欄位名稱為FlightDelayMin_prediction。指定要預測的目標變數的名稱。

   3. 取消選中使用估計的模型記憶體限制，設定模型記憶體限制為500MB。指定機器學習任務可以使用的記憶體上限。如果資料集比較大，任務較為複雜，可能會消耗大量記憶體，如果超出了限制，可能會導致任務訓練失敗或者效能下降，因此需要根據資料集的大小和任務的複雜度來設定適當的記憶體上限。

   4. 設定最大線程數為1。用於指定訓練任務的最大線程數，如果設定的線程數過多，可能會導致記憶體不足或者系統崩潰。

   5. 單擊繼續，設定作業ID為flightdelaymin_job。

   6. 單擊繼續，自動對任務進行驗證。

   7. 驗證通過後，單擊繼續。

   8. 在建立地區，單擊建立，建立任務。

      產生任務需要時間，具體耗時由訓練的資料量大小決定。

7. 任務建立完畢後，單擊查看結果，查看分析作業的結果。

   在模型評估地區，查看任務的可靠性。

   • 泛化誤差：衡量任務在新資料上表現的能力，反映了任務的泛化能力。泛化誤差越小，表示任務具有更好的泛化能力，能夠更準確地對未知資料進行預測。

   • 訓練誤差：指任務在訓練資料集上的表現能力，反映了任務在學習過程中所做的誤差。訓練誤差越小，表示任務在訓練資料集上的表現越好。

   • 評估指標說明：

     • 均方誤差：評估迴歸任務效能的重要指標，數值越小表示任務的預測結果越精確。通過計算真實值與迴歸任務預測值之間的差值的平均平方和獲得。

     • R平方：評估迴歸任務效能的重要指標，數值越接近1表示任務的擬合程度越好。一般認為超過0.8的任務擬合優度比較高。

     • 均方根對數誤差：數值越小，表示任務的預測效果越好。通過對預測值和真實值取對數後計算誤差平方和的平均值獲得。

     說明

     比較多個迴歸任務時，需要同時考慮均方誤差和R平方，以找到最佳平衡任務或適合特定資料集的任務。

     • 均方誤差為0或R平方值為1通常是不可能的，因為任務的預測結果受到多種因素的影響，而這些因素無法全部考慮到並完全消除誤差。

     • 均方根對數誤差為NaN表示任務預測的結果或真實結果存在非正數或零的情況。

     更多詳細資料請參見迴歸評估。

使用航班延誤預測任務

通過Kibana中的推理處理器使用上面訓練的航班延誤預測任務。

1. 單擊Kibana頁面左上方的表徵圖，選擇Management > 開發工具。

2. 在Kibana控制台中，執行以下命令查看並記錄model_id值。

   GET _ml/inference/flightdelaymin_job*?human=true

   此命令表示查詢名為flightdelaymin_job的所有推理分析結果，並將結果以人類可讀的格式進行輸出。命令中flightdelaymin_job為建立迴歸推理任務中定義的作業ID。

3. 基於上面建立的迴歸推理任務，建立一個基於推理處理器的pipeline管道。

   說明

   將代碼中的model_id值替換為您擷取到的model_id值。

   PUT _ingest/pipeline/flight_flightDelayMin_predict
   {
     "description": "Predict the number of minutes of delay for each flight",
     "processors": [
       {
         "inference": {
           "model_id": "flightDelayMin_job-168609891****",
           "inference_config": {
             "regression": {}
           },
           "field_map": {},
           "tag": "flightDelayMin_prediction"
         }
       }
     ]
   }

4. 使用kibana_sample_data_flights索引中的資料，以航班延誤時間FlightDelayMin為目標變數，進行資料分析和預測。

   POST _ingest/pipeline/flight_flightDelayMin_predict/_simulate
   {
     "docs": [
       {
         "_source": {
           "FlightNum": "EDGSV3T",
           "DestCountry": "CN",
           "OriginWeather": "Damaging Wind",
           "OriginCityName": "Durban",
           "AvgTicketPrice": 1065.7037805199147,
           "DistanceMiles": 7273.460817641552,
           "FlightDelay": true,
           "DestWeather": "Rain",
           "Dest": "Shanghai Pudong International Airport",
           "FlightDelayType": "Carrier Delay",
           "OriginCountry": "ZA",
           "dayOfWeek": 5,
           "DistanceKilometers": 11705.500526106527,
           "timestamp": "2023-06-03T09:34:00",
           "DestLocation": {
             "lat": "31.14340019",
             "lon": "121.8050003"
           },
           "DestAirportID": "PVG",
           "Carrier": "Kibana Airlines",
           "Cancelled": false,
           "FlightTimeMin": 881.1071804361806,
           "Origin": "King Shaka International Airport",
           "OriginLocation": {
             "lat": "-29.61444444",
             "lon": "31.11972222"
           },
           "DestRegion": "SE-BD",
           "OriginAirportID": "DUR",
           "OriginRegion": "SE-BD",
           "DestCityName": "Shanghai",
           "FlightTimeHour": 14.685119673936343,
           "FlightDelayMin": 45
         }
       }
     ]
   }

   得到的結果，如圖所示。

   

   實際的航班延誤時間FlightDelayMin為45min，預測得到的航班延誤時間FlightDelayMin_prediction為50.28min，與實際相差不大。

   feature_importance裡顯示了對估算航班延誤時間貢獻最大的5個影響因素：FlightTimeMin，DistanceKilometers，DistanceMiles，OriginAirportID和FlightTimeHour。您可以通過調整5個影響因素的值來調整任務預測結果，從而更為精確地估計未來每個航班的延誤時間。