Elasticsearch:文字化けコードの Elasticsearch マシンラーニングによる認識

準備

Kibana コンソールの [Dev Tools] ページで文字化けテキストを識別する

1. Kibana コンソールの左上隅にある アイコンをクリックします。左側のナビゲーションウィンドウで、[管理] > [dev Tools] を選択します。

2. [Dev Tools] ページの [コンソール] タブで、次のコードを実行します。

   1. インデックスを作成します。
   PUT /gibberish_index
   {
     "mappings": {
       "properties": {
         "text_field": { "type": "text" }
       }
     }
   }
   
   2. データを追加します。
   POST /gibberish_index/_doc/1
   {
     "text_field": "how are you" // こんにちは
   }
   
   POST /gibberish_index/_doc/2
   {
     "text_field": "sdfgsdfg wertwert" // 文字化けの例
   }
   
   POST /gibberish_index/_doc/3
   {
     "text_field": "I am not sure this makes sense" // これは意味があるか分かりません
   }
   
   POST /gibberish_index/_doc/4
   {
     "text_field": "䧀䳀䇀䛀䧀䳀痀糀䧀䳀䇀䛀䧀䳀䇀䛀䧀䳀" // 文字化けの例
   }
   
   POST /gibberish_index/_doc/5
   {
     "text_field": "The test fields." // テストフィールド
   }
   
   POST /gibberish_index/_doc/6
   {
     "text_field": "䇀䛀䧀䳀痀糀䧀䳀䇀䛀䧀䳀䇀䛀䧀" // 文字化けの例
   }
   
   3. インジェストパイプラインを作成します。
   推論プロセッサフィールド：
   model_id：推論に使用されるマシンラーニングモデルの ID。
   target_field：推論結果を格納するために使用されるフィールド。
   field_map.text_field：ドキュメント内の入力フィールドをモデルが予期するフィールドにマッピングするために使用されるフィールド。
   
   PUT /_ingest/pipeline/gibberish_detection_pipeline
   {
     "description": "A pipeline to detect gibberish text", // 文字化けテキストを検出するためのパイプライン
     "processors": [
       {
         "inference": {
           "model_id": "models--madhurjindal--autonlp-gibberish-detector",
           "target_field": "inference_results",
           "field_map": {
             "text_field": "text_field"
           }
         }
       }
     ]
   }
   
   4. パイプラインを使用して、インデックス内のドキュメントを更新します。
   POST /gibberish_index/_update_by_query?pipeline=gibberish_detection_pipeline
   
   5. 推論結果を含むドキュメントを検索します。
   GET /gibberish_index/_search
   {
     "query": {
       "exists": {
         "field": "inference_results"
       }
     }
   }
   
   6. 完全一致を実行します。
   inference_results.predicted_value.keyword フィールドの値が「word salad」と一致します。
   inference_results.prediction_probability フィールドの値が 0.1 以上です。
   
   GET /gibberish_index/_search
   {
     "query": {
       "bool": {
         "must": [
           {
             "match": {
               "inference_results.predicted_value.keyword": "word salad"
             }
           },
           {
             "range": {
               "inference_results.prediction_probability": {
                 "gte": 0.1
               }
             }
           }
         ]
       }
     }
   }

   完全一致を実行すると、次の 2 つのデータレコードが返されます。2 つのデータレコードの word salad メトリックは最高のスコアを獲得しており、2 つのデータレコードが文字化けである可能性が非常に高いことを示しています。

   { /* レスポンス例 */
     // ... (省略)
   }

Python スクリプトを使用して文字化けテキストを識別する

Python スクリプトを使用して文字化けテキストを識別することもできます。 ECS インスタンスで Python3 コマンドを実行して、Python 環境を読み込みます。次に、次のコマンドを実行します。

from elasticsearch import Elasticsearch

es_username = 'elastic'
es_password = '****'

# basic_auth パラメータを使用して、Elasticsearch クライアントインスタンスを作成します。
es = Elasticsearch(
    "http://es-cn-lbj3l7erv0009****.elasticsearch.aliyuncs.com:9200",
    basic_auth=(es_username, es_password)
)

# インデックスを作成し、インデックスのマッピングを構成します。
create_index_body = {
  "mappings": {
    "properties": {
      "text_field": { "type": "text" }
    }
  }
}
es.indices.create(index='gibberish_index2', body=create_index_body)

# ドキュメントを挿入します。
docs = [
    {"text_field": "how are you"}, // こんにちは
    {"text_field": "sdfgsdfg wertwert"}, // 文字化けの例
    {"text_field": "I am not sure this makes sense"}, // これは意味があるか分かりません
    {"text_field": "䧀䳀䇀䛀䧀䳀痀糀䧀䳀䇀䛀䧀䳀䇀䛀䧀䳀"}, // 文字化けの例
    {"text_field": "The test fields."}, // テストフィールド
    {"text_field": "䇀䛀䧀䳀痀糀䧀䳀䇀䛀䧀䳀䇀䛀䧀"} // 文字化けの例
]

for i, doc in enumerate(docs):
    es.index(index='gibberish_index2', id=i+1, body=doc)

# プロセッサとパイプラインを作成します。
pipeline_body = {
    "description": "A pipeline to detect gibberish text", // 文字化けテキストを検出するためのパイプライン
    "processors": [
      {
        "inference": {
          "model_id": "models--madhurjindal--autonlp-gibberish-detector",
          "target_field": "inference_results",
          "field_map": {
            "text_field": "text_field"
          }
        }
      }
    ]
}
es.ingest.put_pipeline(id='gibberish_detection_pipeline2', body=pipeline_body)

# パイプラインを使用して、既存のドキュメントを更新します。
es.update_by_query(index='gibberish_index2', body={}, pipeline='gibberish_detection_pipeline2')

# 推論結果を含むドキュメントを検索します。
search_body = {
  "query": {
    "exists": {
      "field": "inference_results"
    }
  }
}
response = es.search(index='gibberish_index2', body=search_body)
print(response)

# 完全一致を実行します。
# 1.inference_results.predicted_value.keyword フィールドの値が「word salad」と一致します。
# 2.inference_results.prediction_probability フィールドの値が 0.1 以上です。
search_query = {
    "query": {
        "bool": {
            "must": [
                {
                    "match": {
                        "inference_results.predicted_value.keyword": "word salad"
                    }
                },
                {
                    "range": {
                        "inference_results.prediction_probability": {
                            "gte": 0.1
                        }
                    }
                }
            ]
        }
    }
}
response = es.search(index='gibberish_index2', body=search_query)
print(response)

完全一致を実行すると、次の 2 つのデータレコードが返されます。2 つのデータレコードの word salad メトリックは最高のスコアを獲得しており、2 つのデータレコードが文字化けである可能性が非常に高いことを示しています。

{ /* レスポンス例 */
	// ... (省略)
}

参照

クライアントを使用して Alibaba Cloud Elasticsearch クラスターにアクセスする