Bu konu, veri zenginleştirme amacıyla başka bir Logstore'dan veri almak için kaynak işlevlerinin nasıl kullanılacağını açıklar.
Arka plan bilgileri
Bir otel, misafirlerin kişisel bilgilerini user_logstore adlı bir Logstore'da ve check-in bilgilerini check-in_logstore adlı bir Logstore'da saklar. Otel, check-in_logstore'dan bazı alanları alıp bunları user_logstore'daki verilerle birleştirmek istemektedir. Bu amaçla Simple Log Service; check-in_logstore'dan veri almak için res_log_logstore_pull işlevini ve verileri zenginleştirmek için e_table_map işlevini sunar.
Farklı Logstore'lardaki günlükleri birleştirme
-
Ham veriler
-
Kişisel bilgiler için Logstore (user_logstore)
topic:xxx city:xxx cid:12345 name:maki topic:xxx city:xxx cid:12346 name:vicky topic:xxx city:xxx cid:12347 name:mary -
Check-in bilgileri için Logstore (check-in_logstore)
time:1567038284 status:check in cid:12345 name:maki room_number:1111 time:1567038284 status:check in cid:12346 name:vicky room_number:2222 time:1567038500 status:check in cid:12347 name:mary room_number:3333 time:1567038500 status:leave cid:12345 name:maki room_number:1111
-
-
Dönüşüm kuralı
Notres_log_logstore_pull işlevi ile bir zaman aralığı belirtebilirsiniz. Bir zaman aralığı veya yalnızca bir başlangıç zamanı belirtin.
Dönüşüm kuralında from_time=1567038284,to_time=1567038500 ayarını yapmak yalnızca bu zaman aralığı içindeki Logstore verilerini alır.
Dönüşüm kuralında from_time="begin" ayarını yapmak Logstore verilerini sürekli olarak alır.
res_log_logstore_pull işlevinin parametreleri hakkında daha fazla bilgi için bkz. res_log_logstore_pull.
-
e_table_map işlevi
Bu işlev, her iki Logstore'daki ortak
cidalanına göre günlükleri eşleştirir. Eşleşme yalnızcacidalan değerleri aynı olduğunda başarılı olur. Eşleşme başarılı olduğunda check-in_logstore'danroom_numberalanı ve değeri döndürülür; user_logstore'daki verilerle birleştirilerek yeni veriler oluşturulur.e_table_map(res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, fields=["cid","room_number"], from_time="begin", ), "cid","room_number")
-
Dönüşüm sonucu
-
e_table_map işlevi
topic:xxx city:xxx cid:12345 name:maki room_nuber:1111 topic:xxx city:xxx cid:12346 name:vicky room_number:2222 topic:xxx city:xxx cid:12347 name:mary room_number:3333
-
Kara liste ve izin listesini kullanarak verileri filtreleme
İzin listesi ayarlama
-
Dönüşüm kuralı
Bir izin listesi ayarlamak için fetch_include_data parametresini kullanın. Örneğin fetch_include_data="room_number:1111" ayarı yalnızca room_number alanının değeri 1111 olan verileri alır.
res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, ["cid","name","room_number","status"],from_time=1567038284,to_time=1567038500,fetch_include_data="room_number:1111") -
Alınan veriler
status: check in cid:12345 name:maki room_number:1111 status:leave cid:12345 name:maki room_number:1111
Kara liste ayarlama
-
Dönüşüm kuralı
Bir kara liste ayarlamak için fetch_exclude_data parametresini kullanın. Örneğin fetch_exclude_data="room_number:1111" ayarı room_number alanının değeri 1111 olan verileri atar.
res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, ["cid","name","room_number","status"],from_time=1567038284,to_time=1567038500,fetch_exclude_data="room_number:1111") -
Alınan veriler
status:check in cid:12346 name:vicky room_number:2222 status:check in cid:12347 name:mary room_number:3333
Kara liste ve izin listesi ayarlama
-
Dönüşüm kuralı
Hem kara liste hem de izin listesi ayarladığınızda önce kara liste uygulanır, ardından izin listesi uygulanır. Örneğin
fetch_exclude_data="time:1567038285",fetch_include_data="status:check in"ayarı öncetimedeğeri1567038285olan verileri atar. Ardından durum değeri 'check in' olan verileri alır.res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, ["cid","name","room_number","status"],from_time=1567038284,to_time=1567038500,fetch_exclude_data="time:1567038285",fetch_include_data="status:check in") -
Alınan veriler
status:check in cid:12345 name:maki room_number:1111 status:check in cid:12346 name:vicky room_number:2222 status:check in cid:12347 name:mary room_number:3333
Hedef Logstore'dan veri almak için birincil anahtar bakımını etkinleştirme
Veriler dönüştürülmeden önce alınan verileri silmek istiyorsanız birincil anahtar bakım özelliğini etkinleştirebilirsiniz. Örneğin check-in_logstore'dan check-in yapmış ancak check-out yapmamış misafirlerin check-in bilgilerini almak isteyebilirsiniz. Alınan veriler status:leave içeriyorsa bu, misafirin check-out yaptığını gösterir. Bu verilerin dönüştürülmesini önlemek için res_log_logstore_pull işlevinin primary_keys parametresini ayarlayarak bir birincil anahtar belirtin.
primary_keys parametresi yalnızca tek bir dizeyi destekler ve bu dizenin fields parametresinde de belirtilmesi gerekir.
Birincil anahtar bakımını etkinleştirdiğinizde verilerin çekildiği Logstore yalnızca bir parçaya sahip olabilir.
Birincil anahtar bakımını etkinleştirdiğinizde delete_data parametresi None olarak ayarlanamaz.
-
Dönüşüm kuralı
res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, ["cid","name","room_number","status","time"],from_time=1567038284,to_time=None,primary_keys="cid",delete_data="status:leave") -
Alınan veriler
name değeri maki olan misafir için son durum status:leave şeklindedir. Bu, misafirin check-out yaptığını gösterir. Bu nedenle bu misafirle ilgili veriler dönüştürülmez.
time:1567038284 status:check in cid:12346 name:vicky room_number:2222 time:1567038500 status:check in cid:12347 name:mary room_number:3333