Simple Log Service:Solucionar erros de consulta em tabela de dimensão do Logstore

Impacto do erro:

• O sistema descarta eventos de log em conflito com a regra de transformação. A saída transformada não inclui esses eventos.

• O job de transformação ignora os eventos com falha e continua a processar os restantes, sem tentar reprocessá-los.

• Se a divisão de um único evento de source gerar vários eventos e um deles causar erro, o sistema descartará todos os eventos derivados dessa mesma source.

  Nota

  Antes da saída, os eventos divididos são vinculados em uma estrutura de árvore e não são independentes.

Parâmetro obrigatório ausente

• Regra de transformação

  e_table_map(res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx",
          ak_secret="xxx",project="etl-test-shenzhen",
          fields=["__source__"]),field="processid",output_fields=["__source__"])

• Mensagem de erro

  error when calling : res_log_logstore_pull\nDetail: res_log_logstore_pull() missing 1 required positional argument: 'logstore'", "requestId": "

• Causa

  A mensagem missing 1 required positional argument indica a ausência de um parâmetro obrigatório na chamada da função. Neste exemplo, o parâmetro logstore não foi especificado em res_log_logstore_pull.

• Resolução

  Verifique a mensagem de erro para identificar o parâmetro ausente. Adicione-o à regra de transformação, salve e reinicie o job de transformação de dados.

primary_keys especificado sem delete_data

• Regra de transformação

  e_table_map(res_log_logstore_pull(endpoint="xx",ak_id="xxx",
          ak_secret="xxx",project="etl-test-shenzhen",logstore="rds-mysql-test",
          fields=["__source__"],primary_keys="cid"),field="processid",output_fields=["__source__"])

• Mensagem de erro

  when setting parameter primart_keys,need set delete_data\nDetail: None

• Causa

  Os parâmetros primary_keys e delete_data são interdependentes. Não é permitido definir primary_keys sem delete_data.

• Resolução

  Adicione o parâmetro delete_data junto com primary_keys na regra de transformação. Salve e reinicie o job de transformação de dados.

O Logstore não existe (LogStoreNotExist)

• Regra de transformação

  e_table_map(res_log_logstore_pull(endpoint="xx",ak_id="xxx",
          ak_secret="xxx",project="etl-test-shenzhen",logstore="pull_logstore_test9900881",
          fields=["__source__"],primary_keys="cid"),field="processid",output_fields=["__source__"])

• Mensagem de erro

  message:  fetch data get errors:{"errorCode": "LogStoreNotExist", "errorMessage": "logstore pull_logstore_test9900881 does not exist", "requestId": "5D7227AA269948500404B777"},retrytimes=2

• Causa

  O Logstore especificado não existe no projeto de destino. O nome do Logstore pode estar incorreto ou ele pode ter sido excluído.

• Resolução

  Verifique se o Logstore de destino existe no console do Simple Log Service. Corrija o nome do Logstore na regra de transformação, salve e reinicie o job de transformação de dados.

AccessKey incorreto (SignatureNotMatch / Unauthorized)

• Regra de transformação

  e_table_map(res_log_logstore_pull(
          endpoint="cn-hangzhou.log.aliyuncs.com",
          ak_id="xx",
          ak_secret="xx",
          project="sls-test",
          logstore="pull_logstore_test",
          fields=[("id", "new_id"), "name", "status"],
          from_time="begin"), "name", "new_id")

• Mensagem de erro

  message:  fetch data get errors:{"errorCode": "SignatureNotMatch", "errorMessage": "signature gdaL/nWSRtve5FOB+QqHO/sBdnA= not match", "requestId": "5D760261ED35D40AA4AB1953"},retrytimes=1

  message:  fetch data get errors:{"errorCode": "Unauthorized", "errorMessage": "AccessKeyId not found: xx", "requestId": "5D7602A01808F9EAA6EB0E2B"},retrytimes=3

• Causa

  O par de AccessKey configurado na regra de transformação é inválido. O valor de ak_id não existe ou os valores de ak_id e ak_secret não correspondem.

• Resolução

  Verifique no console do RAM se o AccessKey ID existe e se o AccessKey Secret corresponde ao AccessKey ID. Atualize os parâmetros ak_id e ak_secret na regra de transformação, salve e reinicie o job de transformação de dados.

Permissões insuficientes do AccessKey (Unauthorized)

• Regra de transformação

  e_table_map(res_log_logstore_pull(
          endpoint="cn-hangzhou.log.aliyuncs.com",
          ak_id="xx",
          ak_secret="xx",
          project="sls-test",
          logstore="pull_logstore_test",
          fields=[("id", "new_id"), "name", "status"],
          from_time="begin"), "name", "new_id")

• Mensagem de erro

  message:  fetch data get errors:{"errorCode": "Unauthorized", "errorMessage": "denied by sts or ram, action: log:ListShards, resource: acs:log:cn-hangzhou:1654218965343050:...}

• Causa

  O par de AccessKey não tem as permissões necessárias para acessar o Logstore de destino. A mensagem de erro especifica a ação negada e o ARN do recurso de destino.

• Resolução

  Identifique a permissão necessária no campo de ação da mensagem de erro. No console do RAM, anexe uma política que conceda as permissões necessárias no Logstore de destino ao usuário ou função do RAM associado ao par de AccessKey e reinicie o job de transformação de dados.

Endpoint incorreto (ProjectNotExist / LogRequestError)

• Regra de transformação

  e_table_map(res_log_logstore_pull(
          endpoint="xxx",
          ak_id="xx",
          ak_secret="xx",
          project="sls-test",
          logstore="pull_logstore_test",
          fields=[("id", "new_id"), "name", "status"],
          from_time="begin"), "name", "new_id")

• Mensagem de erro

  message:  fetch data get errors:{"errorCode": "ProjectNotExist", "errorMessage": "The Project does not exist : ali-sls-etl-regression-test", "requestId": "5D760AB12ECD0722AA1DD681"}

  message:  fetch data get errors:{"errorCode": "LogRequestError", "errorMessage": "HTTPConnectionPool(host='ali-sls-etl-regression-test.xx', port=80): Max retries exceeded with url: /logstores/pull_logstore_test/shards (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f968a298ef0>: Failed to establish a new connection: [Errno -2] Name or service not known))

• Causa

  Os erros ProjectNotExist ou LogRequestError ocorrem devido a um valor incorreto no parâmetro endpoint. Um endpoint incorreto causa uma de duas falhas: impossibilidade de resolver o nome do host, resultando em falha de conexão; ou conexão estabelecida com sucesso, mas o projeto não existe no endpoint resolvido.

• Resolução

  Verifique o endpoint correto para a região de destino. Para obter mais informações, consulte Endpoints. Atualize o parâmetro endpoint na regra de transformação, salve e reinicie o job de transformação de dados.