Veri dönüştürme, günlük verilerini işlemek için temel türler, olay türleri, sabit tanımlayıcılar ve JSON nesneleri dahil olmak üzere çeşitli veri yapılarını kullanır.
Temel veri yapıları
Aşağıdaki tabloda temel veri yapı türleri listelenmiştir.
|
Tür |
Açıklama |
|
Integer |
Alan değerlerini ayarlamak veya işlevlere parametre aktarmak için kullanılır. Örnek: |
|
Float |
Alan değerlerini ayarlamak veya işlevlere parametre aktarmak için kullanılır. Örnek: |
|
String |
Dizeler aşağıdaki kuralları destekler:
Not
Dış dize için tek tırnak, iç arama değeri için çift tırnak kullanın. |
|
Bytes |
Dize bellek kodlamasından farklıdır. |
|
empty |
Not
Boş dize, None veya null değerinden farklı bir veri türüne sahiptir. |
|
List |
Bir dizi; örneğin
|
|
Tuple |
Liste ile aynı şekilde çalışır. Örnek: |
|
Dictionary (Dict) |
|
|
Boolean (Bool) |
Örneğin, |
|
Table |
Çok sütunlu bir tablo yapısıdır. Tablolar, harici kaynaklardan çok satırlı CSV içeriği yüklenerek veya ApsaraDB RDS ya da Logstore'dan çok sütunlu veri alınarak oluşturulur. Tablolar başlıca veri zenginleştirme eşlemeleri veya diğer ileri düzey yapılandırma senaryolarında kullanılır. |
|
Datetime object |
Bellekteki bir tarih ve saati temsil eder. Unix zaman damgası dizesine veya biçimlendirilmiş saat dizesine dönüştürülebilir ya da daha fazla dönüştürme için |
Olay türleri
Veri dönüştürme aşağıdaki olay türlerini destekler.
-
İlkel tür
Veri dönüştürme, günlük verilerini bir sözlük olarak işler; örneğin
{"__topic__": "access_log", "content": "....."}.Sözlük anahtarları ve değerleri, günlük alanlarına ve değerlerine karşılık gelir.
NotOlay anahtarları ve değerlerinin her ikisi de dizedir ve anahtarlar benzersiz olmalıdır.
-
Meta-alanlar
Meta-alanlar şunları içerir:
Zaman alanı
__time__: Günlüğün yazıldığı Unix zaman damgası (1 Ocak 1970 00:00:00 UTC'den bu yana geçen saniye). Tamsayı dizesi olarak depolanır.Konu
__topic__: Logstore içindeki günlükleri konuya göre düzenler. Günlükleri yazarken veya sorgularken bir konu belirtebilirsiniz.Kaynak
__source__: Günlük kaynağı; örneğin günlüğü oluşturan makinenin IP adresi.
-
Zaman alanı değişikliği
Olay zamanını değiştirmek için zaman alanı değerini değiştirin. Bu alanda diğer işlemler yapmak üzere datetime işlevlerini de kullanabilirsiniz.
NotZaman alanı silinirse sistem, günlüğü hedefe gönderirken işlem zamanını olay zamanı olarak kullanır.
-
Etiketler
Etiket, sınıflandırma amacıyla kullanılan bir günlük etiketidir ve
__tag__:namebiçimindedir.Kaynak Logstore için genel IP adresi kaydı etkinleştirilirse günlükler
tag:__tag__:__receive_time__etiketini içerir.Container Service günlükleri,
__tag__:__container_name__gibi birden fazla konteyner ile ilgili etiket içerir.Etiket ekleyebilir veya değiştirebilirsiniz. type adlı bir etiket eklemek için
e_set("__tag__:type", "access_log")kullanın.
-
Atamada otomatik dönüştürme
Olay anahtarları ve değerleri dizedir. Bir değer atadığınızda veya yeni bir alan ayarladığınızda anahtarlar ve değerler otomatik olarak dizeye dönüştürülür. Örnek:
e_set("v1", 12.3) e_set("v2", True)Bu işlem,
v1değerini "12.3" dizesine vev2değerini "true" dizesine ayarlar.Aşağıdaki tabloda farklı veri türlerinin dizeye nasıl dönüştürüldüğü gösterilmektedir.
Tür
Örnek
Dönüştürülen tür
Dönüştürülen örnek
Integer
1String
"1"Float
1.2String
"1.2"Boolean
TrueString
"true"Bytes
b"123"UTF-8 kullanılarak dizeye kod çözülür
"123"Tuple
-
Örnek 1:
(1, 2, 3) -
Örnek 2:
("a", 1)
Liste dizesi
-
Örnek 1:
"[1, 2, 3]" -
Örnek 2:
"[\"a\", 1]"
List
-
Örnek 1:
[1,2,3] -
Örnek 2:
["a", 1]
String
-
Örnek 1:
"[1, 2, 3]" -
Örnek 2:
"[\"a\", 1]"
Dictionary
{"1":2, "3":4}String
"{\"1\": 2, \"3\": 4}"Datetime
datetime(2018, 10, 10, 10, 10, 10)ISO biçimli dize
2018-10-10 10:10:10 -
Sabit tanımlayıcılar
Veri dönüştürme, kodu basitleştirmek ve okunabilirliği artırmak için sabit tanımlayıcılar sağlar.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
JSON nesneleri
JSON nesnesi, json_select veya json_parse kullanılarak bir dizeden ayrıştırılır. Temel veri yapılarından oluşur. Aşağıdaki tabloda giriş dizelerinin JSON nesnelerine nasıl dönüştürüldüğü gösterilmektedir.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|