Simple Log Service:Consulta de frase (índice de posición)

Funcionamiento

Un índice de posición es un modificador a nivel de logstore que hereda las configuraciones de índice existentes para distinción entre mayúsculas y minúsculas, segmentación de palabras en chino y delimitadores. No amplía la cobertura de los índices existentes. Al habilitar esta función, el sistema registra las posiciones de los tokens para los índices de texto tokenizables existentes, incluidos los índices de texto completo, los índices de campos de tipo texto y los campos hoja indexados como texto dentro de los índices de campos de tipo JSON. Los campos sin índice de texto no generan un índice de posición.

Por ejemplo, si el índice de texto completo está deshabilitado y solo message tiene un índice de campo de tipo texto, y el campo hoja error bajo el campo JSON payload tiene un índice de tipo texto, únicamente message y payload.error generarán un índice de posición.

Requisitos previos

• Ha enviado un ticket para agregar el logstore objetivo a la lista de permitidos del índice de posición.

• El logstore objetivo tiene un full-text index or a text-type field index configurado.

Habilitar un índice de posición

pip install -U aliyun-log-python-sdk

from aliyun.log import LogClient

class IndexConfigJson(dict):
    def to_json(self):
        return self

client = LogClient(
    "your-endpoint",
    "your-access-key-id",
    "your-access-key-secret",
)

project = "your-project"
logstore = "your-logstore"

config = client.get_index_config(project, logstore).get_body()
config.pop("lastModifyTime", None)
config["position_index"] = True
client.update_index(project, logstore, IndexConfigJson(config))

Uso de consultas de frase

Una phrase query utiliza # como identificador y encierra la frase entre comillas dobles.

Una consulta de frase coincide con secuencias de tokens y posiciones adyacentes; no realiza una coincidencia carácter por carácter. Por ejemplo, connection reset by peer coincide con #"connection reset", pero connection was reset by peer no.

not #"connection reset"
#"connection reset" and host:api-*
#"connection reset" | SELECT level, count(*) GROUP BY level
#"connection reset" | where level = 'ERROR'

Notas de uso

• Un índice de posición solo surte efecto en datos recién escritos o en datos con índices reconstruidos. Los datos históricos no generan automáticamente un índice de posición.

• La consulta de frase mejorada se utiliza solo cuando todos los datos dentro del rango de consulta cuentan con un índice de posición. Si algún dato en el rango carece de este índice, la consulta recurre a la ruta de procesamiento sin índice de posición.

• Habilitar un índice de posición incrementa la sobrecarga de construcción y almacenamiento del índice. Este aumento depende principalmente de la frecuencia de aparición de los tokens.

• Los tokens de alta frecuencia y los rangos de tiempo más amplios aumentan el volumen de lectura de datos de posición. Reduzca el rango de tiempo, agregue condiciones de campo o utilice frases más específicas.

• Si un logstore tiene tanto un índice de texto completo como índices de campos de tipo texto con diferentes configuraciones de tokenización, la consulta de frase de texto completo #"phrase" solo coincidirá según el resultado de tokenización del índice de texto completo. Para contenido que solo puede coincidir mediante un índice de campo, utilice la consulta de frase de campo field:#"phrase".

• Al actualizar un índice mediante la API o el SDK, conserve la configuración existente para evitar sobrescribir y perder los ajustes actuales.