Elasticsearch:Detectar e prever dados com machine learning do Elasticsearch

{
  "_index": "kibana_sample_data_logs",
  "_type": "_doc",
  "_id": "n6GHI4gBmNQSVxOwNnPn",
  "_version": 1,
  "_score": null,
  "_source": {
    "agent": "Mozilla/5.0 (X11; Linux i686) AppleWebKit/534.24 (KHTML, like Gecko) Chrome/11.0.696.50 Safari/534.24",
    "bytes": 847,
    "clientip": "122.62.233.59",
    "extension": "",
    "geo": {
      "srcdest": "CN:CO",
      "src": "CN",
      "dest": "CO",
      "coordinates": {
        "lat": 31.24905556,
        "lon": -82.39530556
      }
    },
    "host": "www.elastic.co",
    "index": "kibana_sample_data_logs",
    "ip": "122.62.233.59",
    "machine": {
      "ram": 4294967296,
      "os": "win xp"
    },
    "memory": null,
    "message": "122.62.233.59 - - [2018-08-21T02:34:54.901Z] \"GET /logging HTTP/1.1\" 200 847 \"-\" \"Mozilla/5.0 (X11; Linux i686) AppleWebKit/534.24 (KHTML, like Gecko) Chrome/11.0.696.50 Safari/534.24\"",
    "phpmemory": null,
    "referer": "http://twitter.com/success/paul-w-richards",
    "request": "/logging",
    "response": 200,
    "tags": [
      "success",
      "info"
    ],
    "timestamp": "2023-06-06T02:34:54.901Z",
    "url": "https://www.elastic.co/solutions/logging",
    "utc_time": "2023-06-06T02:34:54.901Z",
    "event": {
      "dataset": "sample_web_logs"
    }
  },
  "fields": {
    "@timestamp": [
      "2023-06-06T02:34:54.901Z"
    ],
    "utc_time": [
      "2023-06-06T02:34:54.901Z"
    ],
    "hour_of_day": [
      2
    ],
    "timestamp": [
      "2023-06-06T02:34:54.901Z"
    ]
  },
  "sort": [
    1686018894901
  ]
}

Treinar um modelo de previsão de atraso de voo

Nesta seção, treina-se um modelo de machine learning supervisionado usando regressão. Essa previsão ajuda companhias aéreas e passageiros a planejar melhor voos e horários.

O exemplo a seguir mostra um registro de dados do conjunto Sample flight data.

{
  "_index": "kibana_sample_data_flights",
  "_type": "_doc",
  "_id": "7b0aeogBmNQSVxOwslB_",
  "_version": 1,
  "_score": null,
  "_source": {
    "FlightNum": "QYX9S3I",
    "DestCountry": "CH",
    "OriginWeather": "Cloudy",
    "OriginCityName": "Chicago",
    "AvgTicketPrice": 824.8516378170061,
    "DistanceMiles": 4442.909325899777,
    "FlightDelay": false,
    "DestWeather": "Thunder & Lightning",
    "Dest": "Zurich Airport",
    "FlightDelayType": "No Delay",
    "OriginCountry": "US",
    "dayOfWeek": 4,
    "DistanceKilometers": 7150.1694661808515,
    "timestamp": "2023-06-02T07:28:15",
    "DestLocation": {
      "lat": "47.464699",
      "lon": "8.54917"
    },
    "DestAirportID": "ZRH",
    "Carrier": "Logstash Airways",
    "Cancelled": false,
    "FlightTimeMin": 420.59820389299125,
    "Origin": "Chicago O'Hare International Airport",
    "OriginLocation": {
      "lat": "41.97859955",
      "lon": "-87.90480042"
    },
    "DestRegion": "CH-ZH",
    "OriginAirportID": "ORD",
    "OriginRegion": "US-IL",
    "DestCityName": "Zurich",
    "FlightTimeHour": 7.009970064883188,
    "FlightDelayMin": 0
  }
}

1. No painel de navegação à esquerda do Kibana, clique no ícone de menu e, em seguida, clique em Kibana>Machine learning.

2. No painel de navegação à esquerda, clique em Data frame analytics > Job.

3. Na página Data frame analytics jobs, clique em Create job.

4. Selecione a visualização de dados kibana_sample_data_flights.

5. Na seção Configure da página Create job, configure os parâmetros do job.

   1. Selecione regression como tipo de análise.

   2. Para a dependent variable, selecione FlightDelayMin. Este é o campo que o modelo aprenderá a prever.

   3. Nos campos incluídos, exclua os campos Cancelled, FlightDelay e FlightDelayType.

      Esses campos estão diretamente relacionados ao resultado. Incluí-los causaria overfitting no modelo, reduzindo sua precisão de previsão em novos dados.

   4. Ajuste a porcentagem de treinamento.

      Essa configuração divide os dados em um conjunto de treinamento e um conjunto de teste. Este tutorial usa uma porcentagem de treinamento de 90%.

      Nota

      O tempo de treinamento aumenta conforme a quantidade de dados. Para conjuntos de dados muito grandes, comece com uma porcentagem menor, como 50%, e ajuste conforme necessário para equilibrar o tempo de treinamento e a precisão do modelo.

6. Clique em Continue e configure as Additional options.

   1. Defina feature importance values como 5. Isso calcula as cinco principais features que mais contribuem para as previsões, ajudando na seleção de features e na otimização do job.

   2. Defina Prediction field name como FlightDelayMin_prediction. Isso especifica o nome do campo que armazenará os resultados da previsão.

   3. Desmarque a caixa de seleção Use estimated model memory limit e defina o Model memory limit como 500MB. Isso especifica a memória máxima que o job pode usar. Jobs complexos em grandes conjuntos de dados consomem muita memória. Se o job exceder esse limite, ele poderá falhar ou ter baixo desempenho.

   4. Defina The maximum number of threads como 1. Esse parâmetro especifica o número máximo de threads para o job de treinamento. Usar muitas threads pode causar problemas de memória ou instabilidade no sistema.

   5. Clique em Continue e defina o ID do job como flightdelaymin_job.

   6. Clique em Continue para validar a configuração do job.

   7. Após a aprovação da validação, clique em Continue.

   8. Na seção Create, clique em Create para iniciar o job.

      O tempo necessário para criar o job depende da quantidade de dados de treinamento.

7. Quando o job for concluído, clique em View Results para ver a análise.

   Na seção model evaluation, é possível revisar o desempenho do modelo.

   • Erro de generalização: Mede o desempenho do modelo em dados novos e não vistos. Um erro de generalização menor indica que o modelo é mais preciso em dados desconhecidos.

   • Erro de treinamento: Mede o desempenho do modelo no conjunto de dados de treinamento. Um erro de treinamento menor indica que o modelo se ajusta bem aos dados de treinamento.

   • Métricas de avaliação:

     • mean squared error: Métrica importante para avaliar o desempenho da regressão. É a média das diferenças quadráticas entre os valores reais e previstos. Um valor menor indica previsões mais precisas.

     • R squared: Métrica que indica quão bem o modelo se ajusta aos dados. Um valor mais próximo de 1 indica um ajuste melhor. Um valor acima de 0,8 geralmente é considerado um bom ajuste.

     • mean squared logarithmic error: Média das diferenças quadráticas entre o logaritmo dos valores reais e previstos. Um valor menor indica melhor desempenho de previsão.

     Nota

     Ao comparar vários modelos de regressão, considere tanto o mean squared error quanto os valores de R squared para encontrar o modelo que melhor se adapta ao seu conjunto de dados.

     • Um mean squared error de 0 ou um valor de R squared de 1 geralmente é impossível, pois as previsões do modelo são influenciadas por muitos fatores que não podem ser totalmente contabilizados.

     • Um mean squared logarithmic error de NaN (Not a Number) indica que o valor real ou previsto era um número não positivo ou zero.

     Para mais informações, consulte Evaluating data frame analytics.

8. Usar o modelo treinado para inferência

   Use um processador de inferência em um pipeline de ingestão para fazer previsões com seu modelo treinado de atraso de voo.

   1. No painel de navegação à esquerda do Kibana, clique no ícone de menu e, em seguida, clique em Management > Developer Tools.

   2. No Console, execute o seguinte comando para localizar e registrar o model_id.

      GET _ml/inference/flightdelaymin_job*?human=true

      Esse comando consulta todos os resultados de análise de inferência para jobs correspondentes a flightdelaymin_job e retorna a saída em formato legível. O flightdelaymin_job é o job ID you defined when creating the regression job.

   3. Crie um pipeline de ingestão que use o inference processor e seu modelo treinado.

      Nota

      Substitua o model_id no comando pelo valor obtido na etapa anterior.

      PUT _ingest/pipeline/flight_flightDelayMin_predict
      {
        "description": "Predict the number of minutes of delay for each flight",
        "processors": [
          {
            "inference": {
              "model_id": "flightDelayMin_job-168609891****",
              "inference_config": {
                "regression": {}
              },
              "field_map": {},
              "tag": "flightDelayMin_prediction"
            }
          }
        ]
      }

   4. Simule o pipeline para fazer uma previsão em novos dados, usando FlightDelayMin como variável alvo.

      POST _ingest/pipeline/flight_flightDelayMin_predict/_simulate
      {
        "docs": [
          {
            "_source": {
              "FlightNum": "EDGSV3T",
              "DestCountry": "CN",
              "OriginWeather": "Damaging Wind",
              "OriginCityName": "Durban",
              "AvgTicketPrice": 1065.7037805199147,
              "DistanceMiles": 7273.460817641552,
              "FlightDelay": true,
              "DestWeather": "Rain",
              "Dest": "Shanghai Pudong International Airport",
              "FlightDelayType": "Carrier Delay",
              "OriginCountry": "ZA",
              "dayOfWeek": 5,
              "DistanceKilometers": 11705.500526106527,
              "timestamp": "2023-06-03T09:34:00",
              "DestLocation": {
                "lat": "31.14340019",
                "lon": "121.8050003"
              },
              "DestAirportID": "PVG",
              "Carrier": "Kibana Airlines",
              "Cancelled": false,
              "FlightTimeMin": 881.1071804361806,
              "Origin": "King Shaka International Airport",
              "OriginLocation": {
                "lat": "-29.61444444",
                "lon": "31.11972222"
              },
              "DestRegion": "SE-BD",
              "OriginAirportID": "DUR",
              "OriginRegion": "SE-BD",
              "DestCityName": "Shanghai",
              "FlightTimeHour": 14.685119673936343,
              "FlightDelayMin": 45
            }
          }
        ]
      }

      O resultado é o seguinte.

      "flightDelayMin_prediction" : {
        "FlightDelayMin_prediction" : 50.278760382477095,
        "feature_importance" : [
          {
            "feature_name" : "FlightTimeMin",
            "importance" : 43.5994522867254
          },
          {
            "feature_name" : "DistanceKilometers",
            "importance" : -16.095227076624866
          },
          {
            "feature_name" : "DistanceMiles",
            "importance" : -15.496369672570939
          },
          {
            "feature_name" : "OriginAirportID",
            "importance" : -5.120423036009302
          },
          {
            "feature_name" : "FlightTimeHour",
            "importance" : 3.944654321505046
          }
        ],
        "model_id" : "flightdelaymin_job3-1686721092815"
      }

      O atraso real do voo (FlightDelayMin) foi de 45 minutos, e o atraso previsto (FlightDelayMin_prediction) é de 50,28 minutos, o que representa uma estimativa próxima.

      O objeto feature_importance mostra os cinco principais fatores que mais contribuíram para a previsão: FlightTimeMin, DistanceKilometers, DistanceMiles, OriginAirportID e FlightTimeHour. Use essas informações para entender melhor os fatores que influenciam os atrasos de voos e, possivelmente, refinar seu modelo.