Referência de funções de transformação de dados do SLS - Simple Log Service: Central de Documentação do Alibaba Cloud

Lista todas as funções integradas para transformação de dados do SLS, organizadas por categoria.

Funções globais de processamento

Classificação da função	Nome da função	Descrição
Funções de controle de fluxo	e_if	Avalia vários pares de condição-operação em sequência. Se uma condição for atendida, executa a operação correspondente. Caso contrário, avalia a próxima condição. Se uma operação excluir um log, as operações subsequentes serão ignoradas.
	e_if_else	Executa operações diferentes dependendo se uma condição é avaliada como verdadeira ou falsa.
	e_switch	Avalia múltiplos pares de condição-operação e executa a operação referente à primeira condição correspondente. Ao atender uma condição, realiza a operação associada e retorna o resultado. Se não houver correspondência, passa para a próxima condição. Caso nenhuma condição seja satisfeita e exista um parâmetro padrão configurado, executa a operação padrão e retorna o resultado. Quando uma operação remove um log, o sistema ignora as etapas seguintes.
	e_compose	Agrupa diversas operações em uma única operação composta. Utilizada frequentemente dentro das funções e_if, e_switch ou e_if_else. Processa as operações em um log sequencialmente e retorna o resultado final. Se alguma operação eliminar o log, as ações posteriores são puladas.
Funções de operação de eventos	e_drop	Descarta um log caso uma condição específica seja atendida.
	e_keep	Mantém um log quando uma condição definida é satisfeita.
	e_split	Divide um log em vários logs com base no valor de um campo. Permite extração JMESPath antes da divisão.
	e_output	Envia um log para um Logstore especificado, permitindo configurar tópico, source, tag e hash do shard. Interrompe transformações adicionais neste log.
	e_coutput	Direciona um log para um Logstore definido, com opções de tópico, source, tag e hash do shard configuráveis. Permite continuar a transformação do log.
	e_to_metric	Converte um log em uma métrica apta para armazenamento em um Metricstore.
Funções de operação de campos	v	Extrai o valor de um campo de um log. Ao especificar vários nomes de campos, retorna o valor do primeiro campo existente.
	e_set	Adiciona um novo campo ou define um valor atualizado para um campo já existente.
	e_drop_fields	Remove campos do log que correspondem a uma condição determinada.
	e_keep_fields	Preserva os campos do log que atendem a uma condição específica.
	e_pack_fields	Empacota campos do log e os atribui como valor de um novo campo.
	e_rename	Renomeia campos do log que satisfazem uma condição indicada.
Funções de extração de valores	e_regex	Obtém o valor de um campo via expressão regular e atribui o resultado a outros campos.
	e_json	Processa objetos JSON em um campo. Suporta expansão, extração de valores com JMESPath ou extração combinada com expansão de dados JSON.
	e_kv	Extrai pares chave-valor de múltiplos campos de origem utilizando um caractere de citação definido.
	e_kv_delimit	Extrai pares chave-valor dos campos de origem através de um delimitador específico.
	e_csv	Extrai diversos campos de um campo indicado usando um delimitador e nomes de campos predefinidos. O delimitador padrão é a vírgula (,).
	e_tsv	Extrai múltiplos campos de um campo alvo empregando um delimitador e nomes predefinidos. O separador padrão é `\t`.
	e_psv	Extrai vários campos de um campo específico mediante delimitador e nomenclatura prévia. A barra vertical (\|) atua como delimitador padrão.
	e_syslogrfc	Calcula facility e severidade a partir de um valor de prioridade conforme o protocolo Syslog, determinando o nível de log correspondente.
	e_anchor	Recupera strings aplicando regras de âncora definidas.
Funções de mapeamento e enriquecimento	e_dict_map	Mapeia um campo de entrada para um novo campo utilizando um dicionário de mapeamento.
	e_table_map	Busca a linha correspondente em uma tabela de mapeamento e retorna o valor do campo associado ao campo de entrada.
	e_tablestore_map	Enriquece dados de log usando uma tabela de dados do Tablestore como tabela de dimensão.
	e_redis_map	Enriquece dados de log empregando uma tabela de dados do ApsaraDB for Redis como tabela de dimensão.

Funções de expressão

Classificação da função	Nome da função	Descrição
Funções de verificação de eventos	e_has	Verifica a existência de um campo.
	e_not_has	Verifica se um campo está ausente.
	e_search	Busca logs usando uma sintaxe de consulta simplificada, similar à do Lucene.
	e_match, e_match_all e e_match_any	Verifica se o valor de um campo de log corresponde a uma expressão regular especificada.
Funções de operadores	op_if	Retorna o valor de uma expressão condicionado a um critério específico.
	op_ifnull	Retorna o valor da primeira expressão que não seja None.
	op_coalesce	Retorna o valor da primeira expressão cujo conteúdo difira de None.
	op_nullif	Retorna None caso duas expressões tenham valores iguais; caso contrário, retorna o valor da primeira expressão.
	op_and	Retorna True se todas as expressões forem verdadeiras. Aceita qualquer tipo de dado.
	op_not	Inverte o valor booleano de uma expressão. Compatível com todos os tipos de dados.
	op_or	Retorna True se ao menos uma expressão for verdadeira, ou False se todas forem falsas. Suporta qualquer tipo de dado.
	op_eq	Avalia a condição `a==b` e retorna True ou False.
	op_ge	Avalia a condição `a>=b` e retorna True ou False.
	op_gt	Avalia a condição `a>b` e retorna True ou False.
	op_le	Avalia a condição `a<=b` e retorna True ou False.
	op_lt	Avalia a condição `a<b` e retorna True ou False.
	op_ne	Avalia a condição `a!=b` e retorna True ou False.
	op_len	Retorna a quantidade de elementos presentes em uma string, tupla, lista ou dicionário.
	op_in	Verifica se uma string, tupla, lista ou dicionário contém um elemento específico e retorna True ou False.
	op_not_in	Verifica se um elemento está ausente em uma string, tupla, lista ou dicionário e retorna True ou False.
	op_slice	Fatiar uma string, array ou tupla especificada.
	op_index	Retorna o elemento localizado em um índice definido dentro de uma string, array ou tupla.
	op_add	Retorna a soma de múltiplos valores, que podem ser strings ou números.
	op_max	Retorna o maior valor entre diversos campos ou expressões.
	op_min	Retorna o menor valor encontrado entre vários campos ou expressões.
Funções de conversão	ct_int	Converte o valor de um campo ou expressão em um número inteiro.
	ct_float	Converte o valor de um campo ou expressão para ponto flutuante.
	ct_str	Converte o valor de um campo ou expressão para o formato de string.
	ct_bool	Converte o valor de um campo ou expressão para um valor booleano.
	ct_chr	Converte o valor ANSI ou Unicode de um campo ou expressão em seu caractere correspondente.
	ct_ord	Converte caracteres de um campo ou expressão em seus respectivos valores ANSI ou Unicode.
	ct_hex	Converte o valor de um campo ou expressão para a base hexadecimal.
	ct_oct	Converte o valor de um campo ou expressão para a base octal.
	ct_bin	Converte o valor de um campo ou expressão para binário.
	bin2oct	Converte uma string de bytes binários em uma string octal.
	bin2hex	Converte uma string de bytes binários para o formato hexadecimal.
Funções aritméticas	op_abs	Retorna o valor absoluto de uma entrada.
	op_div_floor	Executa a divisão inteira do valor de entrada.
	op_div_true	Executa a divisão do valor fornecido.
	op_pow	Eleva um valor de entrada a uma potência definida.
	op_mul	Multiplica o valor de entrada.
	op_neg	Retorna o oposto matemático de um valor de entrada.
	op_mod	Calcula o resto da divisão (módulo) do valor de entrada.
	op_sub	Subtrai o valor de entrada.
	op_round	Arredonda o valor recebido.
	op_sum	Retorna a soma dos valores de entrada.
	mat_ceil	Arredonda um valor de entrada para cima, até o inteiro mais próximo.
	mat_exp	Retorna o número e elevado à potência do valor de entrada.
	mat_fabs	Retorna o valor absoluto de uma entrada numérica.
	mat_floor	Arredonda um valor de entrada para baixo, até o inteiro mais próximo.
	mat_log	Calcula o logaritmo do valor de entrada.
	mat_log10	Retorna o logaritmo na base 10 de um valor de entrada.
	mat_sqrt	Retorna a raiz quadrada de um valor de entrada.
	mat_degrees	Converte radianos em graus.
	mat_radians	Converte graus para radianos.
	mat_sin	Retorna o seno de um valor de entrada em radianos.
	mat_cos	Retorna o cosseno de um valor de entrada em radianos.
	mat_tan	Retorna a tangente de um valor de entrada em radianos.
	mat_acos	Retorna o arco cosseno de um valor de entrada em radianos.
	mat_asin	Retorna o arco seno de um valor de entrada em radianos.
	mat_atan	Retorna o arco tangente de um valor de entrada em radianos.
	mat_atan2	Retorna o arco tangente das coordenadas X e Y.
	mat_atanh	Retorna a tangente hiperbólica inversa de um valor de entrada.
	mat_hypot	Calcula a norma euclidiana dos valores de entrada.
Funções de string	str_format	Formata uma string seguindo um padrão definido.
	str_join	Une strings de entrada utilizando um separador específico.
	str_zip	Divide dois valores ou resultados de expressões em paralelo e combina os resultados em uma única string.
	str_encode	Codifica uma string conforme um formato de codificação determinado.
	str_decode	Decodifica um valor de entrada usando um formato de codificação específico.
	str_hex_escape_encode	Escapa caracteres especiais em uma string e converte sequências de escape hexadecimais em seus caracteres correspondentes.
	str_sort	Ordena um objeto especificado.
	str_reverse	Inverte a ordem dos caracteres de uma string.
	str_replace	Substitui uma substring específica dentro de uma string por uma nova string.
	str_logtash_config_normalize	Converte dados da linguagem de configuração do Logstash para o formato JSON.
	str_translate	Substitui caracteres definidos em uma string por caracteres de mapeamento.
	str_strip	Remove caracteres específicos de uma string.
	str_lstrip	Remove caracteres indicados do início de uma string.
	str_rstrip	Remove caracteres selecionados do final de uma string.
	str_lower	Converte uma string para letras minúsculas.
	str_upper	Converte uma string para letras maiúsculas.
	str_title	Capitaliza a primeira letra de cada palavra e converte o restante para minúsculas.
	str_capitalize	Capitaliza apenas a primeira letra da string, mantendo as demais em minúsculas.
	str_swapcase	Alterna entre maiúsculas e minúsculas os caracteres de uma string.
	str_count	Conta quantas vezes um caractere aparece em uma string.
	str_find	Verifica se uma string contém uma substring específica.
	str_rfind	Retorna a posição da última ocorrência de um caractere em uma string.
	str_endswith	Verifica se uma string termina com um sufixo determinado.
	str_startswith	Verifica se uma string começa com um prefixo específico.
	str_split	Divide uma string usando um delimitador definido.
	str_splitlines	Divide uma string baseada em quebras de linha.
	str_partition	Divide uma string em três partes, da esquerda para a direita, usando um delimitador.
	str_rpartition	Divide uma string em três partes, da direita para a esquerda, mediante um delimitador.
	str_center	Centraliza uma string preenchendo-a até atingir um comprimento definido com um caractere específico.
	str_ljust	Alinha uma string à esquerda, completando o tamanho desejado com um caractere escolhido.
	str_rjust	Alinha uma string à direita, preenchendo o comprimento estipulado com um caractere definido.
	str_zfill	Preenche uma string com zeros à esquerda até alcançar um tamanho específico.
	str_expandtabs	Substitui caracteres `\t` em uma string por espaços.
	str_isalnum	Verifica se uma string é composta apenas por letras e dígitos.
	str_isalpha	Verifica se uma string contém exclusivamente letras.
	str_isascii	Verifica se uma string pertence à tabela ASCII.
	str_isdecimal	Verifica se uma string possui apenas caracteres decimais.
	str_isdigit	Verifica se uma string é formada somente por dígitos.
	str_isidentifier	Verifica se uma string representa um identificador Python válido.
	str_islower	Verifica se uma string contém apenas letras minúsculas.
	str_isnumeric	Verifica se uma string é constituída unicamente por caracteres numéricos.
	str_isprintable	Verifica se todos os caracteres de uma string são imprimíveis.
	str_isspace	Verifica se uma string contém apenas espaços em branco.
	str_istitle	Verifica se uma string segue o formato de título.
	str_isupper	Verifica se uma string está totalmente em maiúsculas.
	str_uuid	Gera um identificador universalmente único (UUID) aleatório.
Funções de data e hora	dt_parse	Converte um valor ou o valor de uma expressão de tempo em um objeto datetime.
	dt_str	Converte um valor ou expressão temporal em uma string.
	dt_parsetimestamp	Converte um valor ou expressão de tempo em um timestamp UNIX.
	dt_prop	Retorna um atributo específico (como dia ou ano) de um valor datetime ou expressão de tempo.
	dt_now	Retorna a data e hora atuais.
	dt_today	Retorna a data atual.
	dt_utcnow	Retorna o objeto datetime atual no fuso horário corrente.
	dt_fromtimestamp	Converte um timestamp UNIX em um objeto datetime.
	dt_utcfromtimestamp	Converte um timestamp UNIX em um objeto datetime no fuso horário atual.
	dt_strptime	Analisa uma string de tempo como um objeto datetime.
	dt_currentstamp	Retorna o timestamp UNIX atual.
	dt_totimestamp	Converte um objeto datetime em um timestamp UNIX.
	dt_strftime	Formata um objeto datetime em uma string conforme um padrão definido.
	dt_strftimestamp	Converte um timestamp UNIX em uma string formatada especificamente.
	dt_truncate	Extrai um valor de tempo de um valor ou expressão temporal baseado em uma granularidade de tempo definida.
	dt_add	Modifica um valor ou expressão de tempo conforme uma granularidade temporal especificada.
	dt_MO	Valor passado ao parâmetro `weekday` na função `dt_add`, representando o deslocamento para uma segunda-feira específica.
	dt_TU	Valor fornecido ao parâmetro `weekday` da função `dt_add`, indicando o deslocamento para uma terça-feira específica.
	dt_WE	Valor atribuído ao parâmetro `weekday` na função `dt_add`, correspondendo ao deslocamento para uma quarta-feira específica.
	dt_TH	Valor enviado ao parâmetro `weekday` da função `dt_add`, definindo o deslocamento para uma quinta-feira específica.
	dt_FR	Valor utilizado no parâmetro `weekday` dentro da função `dt_add`, representando o deslocamento para uma sexta-feira específica.
	dt_SA	Valor passado para o parâmetro `weekday` na função `dt_add`, indicando o deslocamento para um sábado específico.
	dt_SU	Valor informado ao parâmetro `weekday` da função `dt_add`, correspondendo ao deslocamento para um domingo específico.
	dt_astimezone	Converte um valor ou expressão de tempo para um objeto datetime em um fuso horário determinado.
	dt_diff	Calcula a diferença entre dois valores ou expressões de tempo baseada em uma granularidade temporal definida.
Funções de expressão regular	regex_select	Extrai um valor que corresponde a uma expressão regular.
	regex_findall	Extrai todos os valores correspondentes a uma expressão regular.
	regex_match	Verifica se um valor atende a uma expressão regular.
	regex_replace	Substitui caracteres que correspondem a uma expressão regular dentro de uma string.
	regex_split	Divide uma string em um array de strings.
Função Grok	grok	Extrai um valor compatível com uma expressão regular.
Funções específicas de dados estruturados	json_select	Extrai ou calcula valores específicos de uma expressão JSON usando JMESPath.
	json_parse	Analisa um valor e o converte em um objeto JSON.
	xml_to_json	Converte dados XML em JSON e, em seguida, expande os dados convertidos.
Funções de análise de endereços IP	geo_parse	Identifica cidade, estado e país com base em um endereço IP.
	ip_cidrmatch	Verifica se um endereço IP pertence a um bloco CIDR (Classless Inter-Domain Routing).
	ip_version	Verifica se a versão de um endereço IP é IPv4 ou IPv6.
	ip_type	Verifica se um endereço IP é privado ou público.
	ip_makenet	Converte um endereço IP em um bloco CIDR.
	ip_to_format	Converte um bloco CIDR para o formato de máscara de rede ou comprimento de prefixo.
	ip_overlaps	Verifica se há sobreposição entre dois blocos CIDR.
	ip2long	Converte um endereço IP em um valor do tipo long.
	long2ip	Converte um valor do tipo long em um endereço IP.
Funções de codificação e decodificação	url_encoding	Aplica codificação URL aos dados.
	url_decoding	Aplica decodificação URL nos dados.
	protobuf_decoding	Converte dados para o formato JSON usando um modelo Protobuf definido.
	str_encode	Codifica uma string utilizando um formato de codificação específico.
	str_decode	Decodifica um valor de entrada conforme um formato de codificação determinado.
	base64_encoding	Codifica dados usando o algoritmo Base64.
	base64_decoding	Decodifica dados utilizando o algoritmo Base64.
	html_encoding	Codifica dados no formato HTML.
	html_decoding	Decodifica dados codificados em HTML.
	md5_encoding	Codifica dados através do algoritmo MD5.
	sha1_encoding	Codifica dados usando o algoritmo SHA1.
	crc32_encoding	Calcula um código de verificação cíclica de redundância (CRC) para os dados.
	gzip_compress	Comprime e codifica dados.
	gzip_decompress	Descomprime dados compactados.
	zlib_compress	Compacta e codifica dados.
	zlib_decompress	Descompacta dados comprimidos.
	aes_encrypt	Criptografa dados utilizando o algoritmo AES.
	aes_decrypt	Descriptografa dados usando o algoritmo AES.
	jwt_encoding	Codifica dados JSON seguindo o padrão JSON Web Token (JWT).
	jwt_decoding	Decodifica dados para JSON bruto conforme o padrão JWT.
	hashids_encoding	Codifica dados usando a biblioteca Hashids.
	hashids_decoding	Decodifica dados que foram codificados com a biblioteca Hashids.
Funções de análise	ua_parse_device	Analisa o User-Agent e retorna informações sobre o dispositivo.
	ua_parse_os	Analisa o User-Agent e retorna detalhes do sistema operacional.
	ua_parse_agent	Analisa o User-Agent e retorna informações do navegador.
	ua_parse_all	Analisa o User-Agent e extrai todas as informações disponíveis.
	url_parse	Analisa uma URL e retorna seus componentes.
	url_parse_qs	Analisa a string de consulta de uma URL e retorna seus componentes.
Funções de lista	lst_make	Cria uma lista.
	lst_insert	Insere elementos em uma posição específica de uma lista.
	lst_append	Adiciona elementos ao final de uma lista.
	lst_delete_at	Remove o elemento situado em uma posição definida da lista.
	lst_reverse	Inverte a ordem dos elementos de uma lista.
	lst_get	Retorna o elemento localizado em uma posição específica de uma lista ou tupla.
Funções de dicionário	dct_make	Cria um dicionário.
	dct_update	Atualiza um dicionário.
	dct_delete	Exclui pares chave-valor de um dicionário.
	dct_keys	Retorna as chaves de um dicionário.
	dct_values	Retorna os valores contidos em um dicionário.
	dct_get	Retorna o valor associado a uma chave específica em um dicionário.
Funções de tabela	tab_parse_csv	Cria uma tabela a partir de texto CSV (valores separados por vírgula).
Funções de tabela	tab_to_dict	Cria um dicionário com base em uma tabela.
Funções de recursos	res_local	Obtém valores de parâmetros avançados do job de transformação de dados atual.
	res_rds_mysql	Obtém dados de uma tabela do ApsaraDB RDS for MySQL ou resultado de consulta SQL. Permite atualizações periódicas.
	res_log_LogStore_pull	Obtém dados de outro Logstore. Suporta extração contínua de dados.
	res_oss_file	Obtém dados de um objeto OSS. Permite atualizações periódicas.