SLS ログ変換における res_log_logstore_pull エラーの修正 - Simple Log Service

このトピックでは、データ変換ルールにおけるリソースデータのロードエラーの原因と、そのトラブルシューティングおよび解決方法について説明します。

エラー処理メカニズム

リソースのロードエラーのエラー処理メカニズムの詳細については、「res_log_logstore_pull」、「res_rds_mysql」、および「res_oss_file」をご参照ください。

一般的なトラブルシューティング

リソース関数を単独で使用すると、リソースのロードエラーが発生します。

変換ルールの例

res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",
        fields=["__source__"]),field="processid",output_fields=["xx"]

res_rds_mysql(address="xx",username="xx",password="xx",database="xx")

res_oss_file(endpoint='xx',ak_id="xx",ak_key="xx",bucket='xx', file='xx',format='xx',change_detect_interval=0)

エラーログ

aliyun.log.logexception.LogException: {"errorCode": "InvalidEtlConfig", "errorMessage": "ETL config doesn't pass security check, detail: invalid type detected: <class '_ast.Expr'>", "requestId": ""}

トラブルシューティング方法

上記のエラーログは、変換構成に構文エラーがあることを示しています。これは、res_log_logstore_pull、res_rds_mysql、または res_oss_file 関数を単独で使用した場合に発生します。リソース関数は単独では使用できません。
ソリューション

e_table_map 関数をリソース関数と組み合わせて使用できます。詳細については、「リソース関数」をご参照ください。

参考文献

別の LogStore からデータをプルする際に発生するエラーについては、「LogStore データ (ディメンションテーブル) のロードエラー」をご参照ください。
OSS からデータをプルする際に発生するエラーについては、「OSS データのロードエラー」をご参照ください。
RDS からデータをプルする際に発生する構文エラーについては、「RDS MySQL データのロード構文エラー」をご参照ください。