Kaynak ve eşleme işlevlerini kullanarak Object Storage Service (OSS) üzerinden bir CSV dosyasını çeker ve alanlarını Log Service günlükleriyle birleştirirseniz eksik günlük verilerini referans bilgileriyle zenginleştirebilirsiniz.
Arka plan
OSS, nadiren değişen referans verilerini depolamak için son derece uygundur; örneğin hesap takma adı eşleşmeleri, IP-bölge tabloları veya hata kodu açıklamaları bu tür verilere örnek olarak verilebilir. Log Service'teki günlük verileriniz eksik olduğunda OSS üzerindeki bir CSV nesnesinden referans verileri çekerek bu verileri zenginleştirebilirsiniz.
Veri dönüştürme özelliği aşağıdaki üç işlevi birlikte kullanır:
res_oss_file — bir OSS nesnesinin ham içeriğini alır
tab_parse_csv — alınan içeriği yapılandırılmış bir tabloya ayrıştırır
e_table_map — günlükteki bir alanı tablo ile eşleştirir ve ilgili alanları günlüğe ekler
Ön koşullar
Başlamadan önce aşağıdaki adımları tamamladığınızdan emin olun:
-
OSS paketinize erişmek için bir AccessKey oluşturun. Ayrıntılı bilgi için bkz. AccessKey oluşturma.
İki AccessKey oluşturun: Biri OSS'den nesne almak için salt okunur izinlere sahipken diğeri OSS'ye nesne yüklemek için salt yazma izinlerine sahip olmalıdır. Yetkilendirme hakkında daha fazla bilgi için bkz. RAM ilkesine genel bakış.
-
Referans verilerinizi içeren CSV nesnesini bir OSS paketine yükleyin. Ayrıntılı bilgi için bkz. Nesne yükleme.
Yükleme işlemi için salt yazma izinlerine sahip bir AccessKey kullanın.
Bir OSS CSV dosyasıyla günlük verilerini zenginleştirme
Aşağıdaki örnekte bir Logstore'daki account alanının bir OSS CSV nesnesiyle nasıl eşleştirileceği ve her günlük girdisine karşılık gelen nickname alanının nasıl ekleneceği gösterilmektedir.
-
Logstore'daki ham günlük
account : Sf24asc4ladDS -
Bir OSS paketindeki CSV nesnesindeki veriler
Id
Account
Nickname
1
Sf24asc4ladDS
Doflamingo
2
Sf24asc4ladSA
Kaido
3
Sf24asc4ladCD
Roger -
Dönüşüm kuralı
Kural, Logstore'daki account/@parmname alanını CSV nesnesindeki account/@parmname sütunuyla eşleştirir. Eşleşme yalnızca account/@parmname değerleri tamamen aynı olduğunda başarılı olur. Eşleşme bulunduğunda nickname/@parmname alanı ve değeri günlüğe eklenir.
e_table_map(tab_parse_csv(res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com', ak_id=res_local("AK_ID"), ak_key=res_local("AK_KEY"), bucket='test', file='account.csv',change_detect_interval=30)), "account","nickname")e_table_mapiçinde ilk dize bağımsız değişkeni ("account") CSV tablosundaki satırları eşleştirmek için kullanılan alanı belirtirken ikinci bağımsız değişken ("nickname") eşleşen satırdan alınan ve günlüğe eklenen alanı belirtir.Aşağıdaki tabloda
res_oss_fileişlevinin temel parametreleri açıklanmaktadır. Tüm parametreler için bkz. Kaynak işlevleri.
Parametre
Açıklama
endpoint
OSS'e erişim için kullanılan uç nokta. Daha fazla bilgi için bkz. res_oss_file.
ak_id
OSS için salt okunur izinlere sahip AccessKey ID'si. Kimlik bilgilerini kurala gömmek yerine değeri Gelişmiş Parametre Ayarları/@parmname bölümünden almak için bu parametreyi res_local("AK_ID")/@parmname olarak ayarlayın. Gelişmiş Parametre Ayarları/@parmname bölümünü yapılandırmak için bkz. Veri dönüştürme işi oluşturma. Gelişmiş seçenekler bölümünde iki anahtar-değer çifti ekleyin:AK_IDAccessKey ID'nize veAK_KEYAccessKey gizli anahtarınıza ayarlanmalıdır.
ak_key
OSS için salt okunur izinlere sahip AccessKey gizli anahtarı. Değeri Gelişmiş Parametre Ayarları/@parmname bölümünden almak için res_local("AK_KEY")/@parmname olarak ayarlayın.
bucket
CSV nesnesinin depolandığı OSS paketi.
file
Hedef OSS nesnesinin yolu; örneğin test/data.txt/@filepath. Yol eğik çizgi (/) ile başlayamaz.
change_detect_interval
Log Service'in OSS nesnesinin değişip değişmediğini kontrol etme sıklığı (saniye cinsinden). Varsayılan değer0olup periyodik kontrolleri devre dışı bırakır; veri dönüştürme işi başladığında nesne yalnızca bir kez alınır. Periyodik kontrolleri etkinleştirmek için sıfırdan farklı bir değer girin; Log Service değişiklik algılandığında nesneyi yeniden alır. -
Sonuç
account : Sf24asc4ladDS nickname: Doflamingo