Kesalahan umum dan metode pemecahan masalah saat menarik data dari Logstore - Simple Log Service

Jika aturan transformasi data memerlukan penarikan data dari Logstore lain, kesalahan mungkin terjadi selama proses penarikan atau pembaruan. Topik ini menjelaskan kesalahan tersebut serta menyediakan solusi.

Setelah mesin transformasi data membaca data dari Logstore, mesin akan mentransformasi data tersebut. Jika aturan transformasi memerlukan penarikan data dari sumber eksternal seperti Object Storage Service (OSS), ApsaraDB RDS, atau Logstore lainnya, kesalahan dapat terjadi selama proses penarikan atau pembaruan.

Kesalahan penarikan atau pembaruan data dapat memiliki dampak berikut:

Peristiwa log yang bertentangan dengan aturan transformasi akan menghasilkan kesalahan dan diabaikan. Peristiwa log ini tidak akan disertakan dalam hasil transformasi.
Peristiwa log yang diabaikan tidak akan ditransformasi lebih lanjut. Pekerjaan transformasi akan tetap melanjutkan transformasi untuk peristiwa log lainnya.
Jika sebuah peristiwa log dibagi menjadi beberapa bagian dan salah satu bagiannya diabaikan, semua bagian terkait juga akan diabaikan.
Catatan
Bagian-bagian peristiwa log ini saling terkait dalam struktur pohon sebelum diekspor.

Kesalahan 1: Parameter yang diperlukan tidak ada

Aturan Transformasi

e_table_map(res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",
        fields=["__source__"]),field="processid",output_fields=["__source__"])

Log Kesalahan

error when calling : res_log_logstore_pull\nDetail: res_log_logstore_pull() missing 1 required positional argument: 'logstore'", "requestId": "

Metode Pemecahan Masalah
Pesan kesalahan missing 1 required positional argument muncul karena parameter yang diperlukan logstore tidak tersedia.
Solusi
Periksa sintaksis orkestrasi dan konfigurasikan parameter yang hilang.

Kesalahan 2: Parameter delete_data tidak dikonfigurasi

Aturan Transformasi

e_table_map(res_log_logstore_pull(endpoint="xx",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",logstore="rds-mysql-test",
        fields=["__source__"],primary_keys="cid"),field="processid",output_fields=["__source__"])

Log Kesalahan

when setting parameter primart_keys,need set delete_data\nDetail: None

Metode Pemecahan Masalah
Kesalahan ini terjadi karena parameter delete_data tidak dikonfigurasi saat parameter primary_keys telah dikonfigurasi. Parameter primary_keys dan delete_data harus dikonfigurasi secara bersamaan.
Solusi
Konfigurasikan parameter primary_keys dan delete_data, lalu mulai ulang pekerjaan transformasi data.

Kesalahan 3: Logstore target tidak ada

Aturan Transformasi

e_table_map(res_log_logstore_pull(endpoint="xx",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",logstore="pull_logstore_test9900881",
        fields=["__source__"],primary_keys="cid"),field="processid",output_fields=["__source__"])

Log Kesalahan

message:  fetch data get errors:{"errorCode": "LogStoreNotExist", "errorMessage": "logstore pull_logstore_test9900881 does not exist", "requestId": "5D7227AA269948500404B777"},retrytimes=2

Metode Pemecahan Masalah
Kesalahan ini terjadi karena Logstore yang ditentukan tidak tersedia.
Solusi
Periksa sintaksis orkestrasi dan masukkan nama Logstore yang valid.

Kesalahan 4: Pasangan AccessKey tidak valid

Aturan Transformasi

e_table_map(res_log_logstore_pull(
        endpoint="cn-hangzhou.log.aliyuncs.com",
        ak_id="xx",
        ak_secret="xx",
        project="sls-test",
        logstore="pull_logstore_test",
        fields=[("id", "new_id"), "name", "status"],
        from_time="begin"), "name", "new_id")

Log Kesalahan

message:  fetch data get errors:{"errorCode": "SignatureNotMatch", "errorMessage": "signature gdaL/nWSRtve5FOB+QqHO/sBdnA= not match", "requestId": "5D760261ED35D40AA4AB1953"},retrytimes=1

message:  fetch data get errors:{"errorCode": "Unauthorized", "errorMessage": "AccessKeyId not found: xx", "requestId": "5D7602A01808F9EAA6EB0E2B"},retrytimes=3

Metode Pemecahan Masalah
Kesalahan ini terjadi karena parameter ak_secret dan ak_id dalam sintaksis orkestrasi tidak cocok atau ak_id tidak tersedia.
Solusi
Tentukan nilai yang valid untuk parameter ak_secret dan ak_id, lalu mulai ulang pekerjaan transformasi data.

Kesalahan 5: Pengguna RAM saat ini tidak memiliki izin yang cukup

Aturan Transformasi

e_table_map(res_log_logstore_pull(
        endpoint="cn-hangzhou.log.aliyuncs.com",
        ak_id="xx",
        ak_secret="xx",
        project="sls-test",
        logstore="pull_logstore_test",
        fields=[("id", "new_id"), "name", "status"],
        from_time="begin"), "name", "new_id")

Log Kesalahan

message:  fetch data get errors:{"errorCode": "Unauthorized", "errorMessage": "denied by sts or ram, action: log:ListShards, resource: acs:log:cn-hangzhou:1654218965343050:...}

Metode Pemecahan Masalah
Pesan kesalahan Unauthorized muncul karena pengguna RAM saat ini tidak memiliki izin baca dan tulis yang cukup pada Logstore yang ditentukan.
Solusi
Berikan izin yang cukup kepada pengguna RAM.

Kesalahan 6: Titik akhir yang ditentukan tidak valid

Aturan Transformasi

e_table_map(res_log_logstore_pull(
        endpoint="xxx",
        ak_id="xx",
        ak_secret="xx",
        project="sls-test",
        logstore="pull_logstore_test",
        fields=[("id", "new_id"), "name", "status"],
        from_time="begin"), "name", "new_id")

Log Kesalahan

message:  fetch data get errors:{"errorCode": "ProjectNotExist", "errorMessage": "The Project does not exist : ali-sls-etl-regression-test", "requestId": "5D760AB12ECD0722AA1DD681"}

message:  fetch data get errors:{"errorCode": "LogRequestError", "errorMessage": "HTTPConnectionPool(host='ali-sls-etl-regression-test.xx', port=80): Max retries exceeded with url: /logstores/pull_logstore_test/shards (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f968a298ef0>: Failed to establish a new connection: [Errno -2] Name or service not known))

Metode Pemecahan Masalah
Pesan kesalahan ProjectNotExist atau LogRequestError muncul karena titik akhir yang ditentukan tidak valid atau proyek yang diperlukan tidak ada di titik akhir yang ditentukan.
Solusi
Perbaiki pengaturan titik akhir. Untuk informasi lebih lanjut, lihat Titik Akhir.