Simple Log Service veri dönüştürme özelliği, ApsaraDB RDS for MySQL veritabanlarından veri çeker ve dönüşüm kurallarına göre günlük verilerini zenginleştirir.
Arka plan bilgileri
Veriler genellikle farklı kaynaklarda dağınık halde bulunur. Örneğin, kullanıcı işlem ve davranış verileri Simple Log Service içinde saklanırken kullanıcı profilleri ve kayıt bilgileri bir ApsaraDB RDS for MySQL örneğinde tutulabilir. Simple Log Service veri dönüştürmeyi kullanarak ApsaraDB RDS for MySQL örneğinden veri alabilir ve zenginleştirilmiş verileri bir Logstore içinde depolayabilirsiniz.
ApsaraDB RDS for MySQL veritabanından veri almak için res_rds_mysql işlevini, ardından veriyi zenginleştirmek için e_table_map işlevini kullanın.
ApsaraDB RDS for MySQL örneğiniz, Simple Log Service projenizle aynı bölgede yer almalıdır. Aksi takdirde veritabanından veri alamazsınız.
ApsaraDB RDS for MySQL veritabanına örneğin iç uç noktasını kullanarak erişebilirsiniz. Daha fazla bilgi için bkz. Simple Log Service kullanarak veri zenginleştirme amacıyla RDS for MySQL örneğine bağlanma.
e_table_map işleviyle veriyi zenginleştirin
Aşağıdaki örnekte, veriyi zenginleştirmek için e_table_map ve res_rds_mysql işlevleri kullanılır.
-
Ham veriler
-
ApsaraDB RDS for MySQL veritabanındaki bir tabloda bulunan örnek veri kayıtları
province
city
population
cid
eid
Shanghai
Shanghai
2000
1
00001
Tianjin
Tianjin
800
1
00002
Beijing
Beijing
4000
1
00003
Henan
Zhengzhou
3000
2
00004
Jiangsu
Nanjing
1500
2
00005 -
Simple Log Service Logstore'undan alınan örnek günlükler:
time:"1566379109" data:"test-one" cid:"1" eid:"00001" time:"1566379111" data:"test_second" cid:"1" eid:"12345" time:"1566379111" data:"test_three" cid:"2" eid:"12345" time:"1566379113" data:"test_four" cid:"2" eid:"12345"
-
-
Dönüşüm kuralı
Logstore içindeki cid alanı, ApsaraDB RDS for MySQL tablosundaki cid alanıyla eşleşir. Eşleşme yalnızca cid değerleri aynı olduğunda başarılı olur. Başarılı eşleşme sonrasında province, city ve population alanları veritabanı tablosundan alınarak Logstore verilerine eklenir.
NotTabloda birden çok satır eşleşirse e_table_map işlevi yalnızca ilk eşleşen kaydı döndürür. Bu örnekte tablodaki cid alanında birden fazla 1 değeri bulunur.
e_table_map(res_rds_mysql(address="rds-host", username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"cid",["province","city","population"])res_rds_mysql işlevinde ApsaraDB RDS for MySQL veritabanını nasıl yapılandıracağınız hakkında daha fazla bilgi için bkz. res_rds_mysql.
-
Dönüşüm sonuçları
time:"1566379109" data:"test-one" cid:"1" eid:"00001" province:"Shanghai" city:"Shanghai" population:"2000" time:"1566379111" data:"test_second" cid:"1" eid:"12345" province:"Shanghai" city:"Shanghai" population:"2000" time:"1566379111" data:"test_three" cid:"2" eid:"12345" province:"Henan" city:"Zhengzhou" population:"3000" time:"1566379113" data:"test_four" cid:"2" eid:"12345" province:"Henan" city:"Zhengzhou" population:"3000"