Perbaiki Error res_log_logstore_pull di Simple Log Service - Simple Log Service

Jika suatu aturan transformasi melibatkan pemuatan resource dari LogStore lain, error pemuatan atau refresh resource dapat terjadi. Dokumen ini menjelaskan error umum yang muncul saat memperoleh data dari LogStore lain serta metode troubleshooting-nya.

Setelah mesin transformasi data berhasil membaca data dari LogStore sumber, proses pengolahan event log dimulai. Jika aturan transformasi melibatkan pemuatan resource eksternal seperti OSS, RDS, atau LogStore lain, error pemuatan atau refresh resource dapat terjadi.

Dampak error:

Saat transformasi event log, event log yang tidak sesuai dengan aturan transformasi akan menghasilkan error dan dibuang. Output hasil transformasi tidak mencakup event log tersebut.
Pekerjaan transformasi data membuang event log yang tidak sesuai dengan aturan transformasi tetapi tetap memproses event log lainnya. Event yang gagal tidak akan dicoba ulang.
Jika beberapa event di-split dari satu event sumber, dan salah satunya dibuang karena error, semua event lain yang di-split dari event sumber yang sama juga akan dibuang.

Catatan
Sebelum output, event-event tersebut saling terkait dalam struktur pohon dan tidak bersifat independen.

Parameter yang diperlukan tidak tersedia

Aturan transformasi

e_table_map(res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",
        fields=["__source__"]),field="processid",output_fields=["__source__"])

Log error

error when calling : res_log_logstore_pull\nDetail: res_log_logstore_pull() missing 1 required positional argument: 'logstore'", "requestId": "

Troubleshooting

Pesan error missing 1 required positional argument muncul karena parameter logstore yang diperlukan tidak tersedia. Periksa aturan Anda untuk memastikan tidak ada parameter yang hilang.
Solusi

Konfigurasi ulang sintaks orkestrasi dan tambahkan parameter yang hilang.

Maintenance primary key diatur tetapi parameter delete_data tidak disetel

Aturan transformasi

e_table_map(res_log_logstore_pull(endpoint="xx",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",logstore="rds-mysql-test",
        fields=["__source__"],primary_keys="cid"),field="processid",output_fields=["__source__"])

Log error

when setting parameter primart_keys,need set delete_data\nDetail: None

Troubleshooting

Error ini terjadi karena parameter delete_data tidak disetel saat parameter primary_keys diatur. Parameter primary_keys dan delete_data harus dikonfigurasi secara bersamaan.
Solusi

Konfigurasi kedua parameter primary_keys dan delete_data, lalu restart layanan transformasi data.

LogStore target tidak ada

Aturan transformasi

e_table_map(res_log_logstore_pull(endpoint="xx",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",logstore="pull_logstore_test9900881",
        fields=["__source__"],primary_keys="cid"),field="processid",output_fields=["__source__"])

Log error

message:  fetch data get errors:{"errorCode": "LogStoreNotExist", "errorMessage": "logstore pull_logstore_test9900881 does not exist", "requestId": "5D7227AA269948500404B777"},retrytimes=2

Troubleshooting

Log error di atas muncul ketika LogStore target yang dikonfigurasi tidak ada.
Solusi

Periksa apakah LogStore target benar-benar ada, lalu konfigurasi ulang sintaks orkestrasi dengan nama LogStore yang benar.

Konfigurasi AccessKey salah

Aturan transformasi

e_table_map(res_log_logstore_pull(
        endpoint="cn-hangzhou.log.aliyuncs.com",
        ak_id="xx",
        ak_secret="xx",
        project="sls-test",
        logstore="pull_logstore_test",
        fields=[("id", "new_id"), "name", "status"],
        from_time="begin"), "name", "new_id")

Log error

message:  fetch data get errors:{"errorCode": "SignatureNotMatch", "errorMessage": "signature gdaL/nWSRtve5FOB+QqHO/sBdnA= not match", "requestId": "5D760261ED35D40AA4AB1953"},retrytimes=1

message:  fetch data get errors:{"errorCode": "Unauthorized", "errorMessage": "AccessKeyId not found: xx", "requestId": "5D7602A01808F9EAA6EB0E2B"},retrytimes=3

Troubleshooting

Saat error di atas terjadi, periksa apakah parameter AccessKey dalam sintaks orkestrasi sudah benar. Error ini muncul jika nilai `ak_secret` dan `ak_id` tidak cocok, atau `ak_id` tidak tersedia.
Solusi

Konfigurasi ulang parameter AccessKey yang benar dan restart pekerjaan transformasi data.

Izin AccessKey tidak mencukupi

Aturan transformasi

e_table_map(res_log_logstore_pull(
        endpoint="cn-hangzhou.log.aliyuncs.com",
        ak_id="xx",
        ak_secret="xx",
        project="sls-test",
        logstore="pull_logstore_test",
        fields=[("id", "new_id"), "name", "status"],
        from_time="begin"), "name", "new_id")

Log error

message:  fetch data get errors:{"errorCode": "Unauthorized", "errorMessage": "denied by sts or ram, action: log:ListShards, resource: acs:log:cn-hangzhou:1654218965343050:...}

Troubleshooting

Pesan error Unauthorized biasanya menunjukkan izin yang tidak mencukupi. Periksa apakah AccessKey yang dikonfigurasi memiliki izin baca dan tulis pada LogStore target.
Solusi

Periksa izin AccessKey. Jika izin tidak mencukupi, berikan izin yang diperlukan.

Endpoint salah

Aturan transformasi

e_table_map(res_log_logstore_pull(
        endpoint="xxx",
        ak_id="xx",
        ak_secret="xx",
        project="sls-test",
        logstore="pull_logstore_test",
        fields=[("id", "new_id"), "name", "status"],
        from_time="begin"), "name", "new_id")

Log error

message:  fetch data get errors:{"errorCode": "ProjectNotExist", "errorMessage": "The Project does not exist : ali-sls-etl-regression-test", "requestId": "5D760AB12ECD0722AA1DD681"}

message:  fetch data get errors:{"errorCode": "LogRequestError", "errorMessage": "HTTPConnectionPool(host='ali-sls-etl-regression-test.xx', port=80): Max retries exceeded with url: /logstores/pull_logstore_test/shards (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f968a298ef0>: Failed to establish a new connection: [Errno -2] Name or service not known))

Troubleshooting

Error ProjectNotExist atau LogRequestError biasanya terjadi karena endpoint salah. Hal ini dapat menyebabkan error koneksi atau koneksi berhasil tetapi proyek yang diminta tidak ditemukan di endpoint tersebut.
Solusi

Konfigurasi endpoint yang benar. Untuk informasi lebih lanjut, lihat Endpoints.