このトピックでは、データ変換中に発生するデータプルエラーについて説明し、これらのエラーのトラブルシューティングに使用できる方法を提供します。
エラー処理
For more information about how to troubleshoot data pull errors, see res_log_logstore_pull, res_rds_mysql, and res_oss_file.
一般的なエラーのトラブルシューティング
リソース関数を1つだけ使用すると、データプルエラーが発生します。
- 変換ルールのサンプル
res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx", ak_secret="xxx",project="etl-test-shenzhen", fields=["__source__"]),field="processid",output_fields=["xx"]
res_rds_mysql(address="xx",username="xx",password="xx",database="xx")
res_oss_file(endpoint='xx',ak_id="xx",ak_key="xx",bucket='xx', file='xx',format='xx',change_detect_interval=0)
- エラーログ
aliyun.log.logexception.LogException: {"errorCode": "InvalidEtlConfig", "errorMessage": "ETL config doesn't pass security check, detail: invalid type detected: <class '_ast.Expr'>", "requestId": ""}
- 対処方法
上記のエラーログは、指定された関数の構文が無効であることを示しています。 res_log_logstore_pull、res_rds_mysql、またはres_oss_file関数のみを使用するため、このエラーログが返されます。 リソース関数は1つだけ使用できません。
- ソリューション
リソース関数は、e_table_mapやe_search_table_mapなどの別の関数と一緒に使用する必要があります。 詳細については、「リソース関数」をご参照ください。
参考資料
- 他のLogstoreからデータを取り込む際に発生するエラーの修正方法については、以下を参照してください。How can I fix errors that occur when I pull Logstore data (dimension table).
- Object Storage Service(OSS)からデータを引き出す際に発生するエラーの修正方法については、以下を参照してください。How can I fix errors that occur during data pulls from OSS.
- ApsaraDB RDS for MySQLからデータを引き出す際に発生するエラーを修正する方法については、以下を参照してください。How can I fix errors of the syntax used to pull data from ApsaraDB RDS for MySQL.