Bu konuda eşleme ve zenginleştirme işlevlerinin söz dizimi ve parametreleri açıklanmaktadır. Ayrıca bu işlevlerin kullanımına ilişkin örnekler sunulmaktadır.
İşlevler
Kategori | İşlev | Açıklama |
Alan tabanlı eşleme | Bir giriş alanının değerini belirtilen bir veri sözlüğündeki değerle eşler ve yeni bir alan döndürür. Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Verileri zenginleştirmek için e_dict_map işlevini kullanma. | |
Bir giriş alanının değerini belirtilen bir tablodaki satırla eşler ve yeni bir alan döndürür. Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. e_table_map işlevini kullanarak HTTP yanıt durum kodlarını zenginleştirme. | ||
Boyut tablosu olarak Tablestore içindeki bir veri tablosunu kullanarak ham günlüğü zenginleştirir. | ||
Boyut tablosu olarak ApsaraDB for Redis içindeki bir veri tablosunu kullanarak ham günlüğü zenginleştirir. |
e_dict_map
e_dict_map işlevi, bir giriş alanının değerini belirtilen bir veri sözlüğündeki değerle eşler ve yeni bir alan döndürür.
-
Söz dizimi
e_dict_map(data, field, output_field, case_insensitive=True, missing=None, mode="overwrite") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
data
Dict
Evet
Eşleme için kullanılan veri sözlüğü. Bu parametrenin değeri
{key01:value01,key01:value02,...}standart biçiminde olmalıdır. Anahtarlar dize türünde olmalıdır. Örnek:{"1": "TCP", "2": "UDP", "3": "HTTP", "*": "Unknown"}.field
Dize veya dize listesi
Evet
Bir veya daha fazla alan adı. Bu parametrenin değeri birden çok alan adı içeriyorsa sistem aşağıdaki işlemleri gerçekleştirir:
Sistem, alan adları üzerinde sırayla eşleme uygular.
Sistem alanlar için birden çok değerle eşleşirse ve mode parametresi overwrite olarak ayarlanırsa sistem son eşleşen değeri döndürür.
Sistem alanlar için hiçbir değerle eşleşmezse missing parametresinin değerini döndürür.
output_field
Dize
Evet
İşlevin döndürmesini istediğiniz alanın adı.
case_insensitive
Boolean
Hayır
Eşleme sırasında büyük/küçük harf duyarlılığını devre dışı bırakıp bırakmayacağınızı belirtir.
True: Büyük/küçük harf duyarlılığını devre dışı bırakır. Varsayılan değerdir.
False: Büyük/küçük harf duyarlılığını etkinleştirir.
NotVeri sözlüğü yalnızca harf durumunda farklılık gösteren birden çok anahtar içeriyorsa ve case_insensitive parametresi True olarak ayarlanırsa sistem önce giriş alanının değerini aynı harf durumuna sahip anahtarla eşler. Aynı harf durumuna sahip anahtar yoksa sistem değeri birden çok anahtardan biriyle rastgele eşler.
missing
Dize
Hayır
Giriş alanı için eşleşme bulunamadığında output_field tarafından belirtilen alana atanan değer. Varsayılan değer: None, bu değer atama yapılmadığını gösterir.
NotVeri sözlüğü yıldız işareti () içeren bir anahtar içeriyorsa
missingparametresi geçersiz hale gelir. Bunun nedeni, yıldız işaretinin ()missingparametresinden daha yüksek önceliğe sahip olmasıdır.mode
Dize
Hayır
Alanların üzerine yazma modu. Varsayılan değer: overwrite. Daha fazla bilgi için bkz. Alan çıkarma denetimi ve üzerine yazma modları.
-
Yanıt
Yeni bir alan içeren günlük döndürülür.
-
Örnekler
-
Örnek 1: Ham günlükteki pro alanının değerini bir veri sözlüğündeki değerle eşleyin ve protocol adlı yeni bir alan oluşturun.
-
Ham günlük
data: 123 pro: 1 -
Dönüşüm kuralı
e_dict_map( {"1": "TCP", "2": "UDP", "3": "HTTP", "6": "HTTPS", "*": "Unknown"}, "pro", "protocol", ) -
Sonuç
data: 123 pro: 1 protocol: TCP
-
-
Örnek 2: Ham günlüklerdeki status alanının değerini bir veri sözlüğündeki değerlerle eşleyin ve message adlı yeni bir alan oluşturun.
-
Ham günlükler
status: 500status: 400status: 200 -
Dönüşüm kuralı
e_dict_map({"400": "Error", "200": "Success", "*": "Other"}, "status", "message") -
Sonuç
status: 500 message: Otherstatus: 400 message: Errorstatus: 200 message: Success
-
-
-
İlgili konular
Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Verileri zenginleştirmek için e_dict_map işlevini kullanma.
e_table_map
e_table_map işlevi, bir giriş alanının değerini belirtilen bir tablodaki satırla eşler ve yeni bir alan döndürür.
-
Söz dizimi
e_table_map(data, field, output_fields, missing=None, mode="fill-auto") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
data
Tablo
Evet
Eşleme için kullanılan tablo.
NotKaynak işlevleri
res_rds_mysqlveres_log_logstore_pullveri kaynağı olarak kullanıyorsanızprimary_keysparametresini ayarlamanız gerekir. Aksi takdirde performans ciddi şekilde etkilenir ve görev gecikmelerine neden olabilir.primary_keysparametresinin nasıl ayarlanacağı hakkında daha fazla bilgi için bkz. Kaynak işlevleri.field
Dize, dize listesi veya tuple listesi
Evet
Giriş alanı. Günlük bu alanı içermiyorsa günlük üzerinde herhangi bir işlem yapılmaz.
output_fields
Dize, dize listesi veya tuple listesi
Evet
Çıkış alanları. Örnek:
["province", "pop"].missing
Dize
Hayır
Giriş alanı için eşleşme bulunamadığında output_fields tarafından belirtilen alanlara atanan değer. Varsayılan değer: None, bu değer atama yapılmadığını gösterir. Giriş alanını birden çok sütunla eşlemek istiyorsanız
missingparametresini giriş alanına karşılık gelen varsayılan değerler listesine ayarlayabilirsiniz. Varsayılan değerlerin sayısı sütun sayısıyla aynı olmalıdır.NotTablo yıldız işareti () içeren bir sütun içeriyorsa
missingparametresi geçersiz hale gelir. Bunun nedeni, yıldız işaretinin ()missingparametresinden daha yüksek önceliğe sahip olmasıdır.mode
Dize
Hayır
Alanların üzerine yazma modu. Varsayılan değer: fill-auto. Daha fazla bilgi için bkz. Alan çıkarma denetimi ve üzerine yazma modları.
-
Yanıt
Yeni alanlar içeren günlük döndürülür.
-
Örnekler
-
Örnek 1: city alanının değerini bir tablodaki satırla eşleyin ve bu satır için province alanının değerini döndürün.
-
Ham günlük
data: 123 city: nj -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), "city", "province" ) -
Sonuç
data: 123 city: nj province: js
-
-
Örnek 2: city alanının değerini bir tablodaki satırla eşleyin ve bu satır için province ve pop alanlarının değerlerini döndürün.
-
Ham günlük
data: 123 city: nj -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), "city", ["province", "pop"], ) -
Sonuç
data: 123 city: nj province: js pop: 800
-
-
Örnek 3: Bir tablo oluşturmak için tab_parse_csv işlevini kullanın, city alanının değerini tablodaki satırla eşleyin ve bu satır için province ve pop alanlarının değerlerini döndürün.
-
Ham günlük
data: 123 city: nj -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city#pop#province\nnj#800#js\nsh#2000#sh", sep="#"), "city", ["province", "pop"], ) -
Sonuç
data: 123 city: nj province: js pop: 800
-
-
Örnek 4: Bir tablo oluşturmak için tab_parse_csv işlevini kullanın, city alanının değerini tablodaki satırla eşleyin ve bu satır için province ve pop alanlarının değerlerini döndürün.
-
Ham günlük
data: 123 city: nj -
Dönüşüm kuralı
e_table_map( tab_parse_csv( "city,pop,province\n|nj|,|800|,|js|\n|shang hai|,2000,|SHANG,HAI|", quote="|" ), "city", ["province", "pop"], ) -
Sonuç
data: 123 city: nj province: js pop: 800
-
-
Örnek 5: Giriş alanı, eşleme için kullanılan tablodaki karşılık gelen alandan farklıdır. cty ve city alanlarına göre tabloda satır bulun ve bu satır için province alanının değerini döndürün.
-
Ham günlük
data: 123 cty: nj -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("cty", "city")], "province", ) -
Sonuç
data: 123 cty: nj province: js
-
-
Örnek 6: Giriş alanı, eşleme için kullanılan tablodaki karşılık gelen alandan farklıdır. Verileri eşleyin ve çıkış alanını yeniden adlandırın.
-
Ham günlük
data: 123 cty: nj -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("cty", "city")], [("province", "pro")], ) -
Sonuç
data: 123 cty: nj pro: js
-
-
Örnek 7: Birden çok alanın değerlerini bir tablodaki satırla eşleyin.
-
Ham günlük
data: 123 city: nj pop: 800 -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), ["city", "pop"], "province", ) -
Sonuç
data: 123 city: nj pop: 800 province: js
-
-
Örnek 8: Birden çok alanın değerlerini bir tablodaki satırla eşleyin. Giriş alanları, eşleme için kullanılan tablodaki karşılık gelen alanlardan farklıdır.
-
Ham günlük
data: 123 cty: nj pp: 800 -
Dönüşüm kuralı
e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("cty", "city"), ("pp", "pop")], "province", ) -
Sonuç
data: 123 cty: nj pp: 800 province: js
-
-
-
İlgili konular
Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. e_table_map işlevini kullanarak HTTP yanıt durum kodlarını zenginleştirme.
e_tablestore_map
e_tablestore_map işlevi, boyut tablosu olarak Tablestore içindeki bir veri tablosunu kullanarak ham günlüğü zenginleştirir.
-
Söz dizimi
e_tablestore_map( fields, endpoint, ak_id, ak_secret, instance_name, table_names, output_fields=None, output_table_name=None, encoding="utf8", mode="fill-auto", ) -
Parametreler
Parametre
Tür
Gerekli
Açıklama
fields
Dize, sayı, liste veya tuple listesi
Evet
Ham günlük ile veri tablosu arasında veri eşlemek için kullanılan ham günlük alanları. İşlev, birden çok ham günlük alanını veri tablosundaki birincil anahtarlarla tek tek eşler. Örnekler:
Veri tablosu a birincil anahtarını içeriyorsa ve ham günlük a alanını içeriyorsa
fields="a"kullanabilirsiniz.Veri tablosu a, b ve c birincil anahtarlarını içeriyorsa ve ham günlük a, b ve c alanlarını içeriyorsa
fields=["a", "b", "c"]kullanabilirsiniz.Veri tablosu a, b ve c birincil anahtarlarını içeriyorsa ve ham günlük a1, b1 ve c1 alanlarını içeriyorsa
fields=[("a1", "a"), ("b1", "b"), ("c1", "c")]kullanabilirsiniz.
endpoint
Dize
Evet
Veri tablosunun oluşturulduğu Tablestore örneğinin uç noktası. Daha fazla bilgi için bkz. Uç noktalar.
NotTablestore örneğinin sanal özel cloud (VPC) uç noktasını veya genel uç noktasını kullanabilirsiniz. VPC uç noktası aynı bölge içindeki erişim için kullanılır; genel uç nokta ise bölgelerden bağımsız olarak İnternet üzerinden erişim için kullanılır.
ak_id
Dize
Evet
Tablestore örneğine erişim iznine sahip hesabın AccessKey kimliği. Daha fazla bilgi için bkz. AccessKey oluşturma.
RAM kullanıcı kullanıyorsanız RAM kullanıcısına AliyunOTSReadOnlyAccess gibi erişim izinlerinin verildiğinden emin olun. Daha fazla bilgi için bkz. RAM kullanıcı izinlerini yönetme.
ak_secret
Dize
Evet
Tablestore örneğine erişim iznine sahip hesabın AccessKey gizli anahtarı. Daha fazla bilgi için bkz. AccessKey oluşturma.
instance_name
Dize
Evet
Tablestore örneğinin adı.
table_names
Dize, dize listesi veya tuple listesi
Evet
Veri tablosunun adı. Veri tablosu ikincil dizin kullanıyorsa bu parametreyi dizinin adına ayarlayın. İkincil dizin özelliği hakkında daha fazla bilgi için bkz. İkincil dizin oluşturma.
Örneğin, veri tablosu için index1 ikincil dizini oluşturulduysa bu parametreyi
"index1"olarak ayarlayın.output_fields
Liste
Hayır
Çıkış alanları. Birincil anahtar sütunlarının veya nitelik sütunlarının adlarını belirtebilirsiniz. Örnek:
["province", "pop"]. Bu parametreyi yapılandırmazsanız giriş alanlarına göre eşlenen satırın tüm sütunları döndürülür.NotTablestore örneğinde birden çok veri tablosu oluşturulduysa işlev yalnızca eşleme için ilk kullanılan veri tablosundaki verileri döndürür.
output_table_name
Dize
Hayır
Döndürülen verilerin depolandığı veri tablosunun adı. Varsayılan değer: None, bu değer çıkış alanlarının tablo adı içermediğini gösterir. Bu parametreyi bir dizeye ayarlarsanız çıkış alanları tablo adını içerir.
Örneğin, test adlı veri tablosu kullanılır ve dönüşüm kuralı
output_fields=["province", "pop"],output_table_name="table_name"ifadesini içerir. test veri tablosundaki["province", "pop"]veri sütunları eşlenirse çıkış alanlarıprovince: xxx, pop:xxx,table_name:testolur.encoding
Dize
Hayır
HTTPS istek parametrelerinin kodlama yöntemi. Varsayılan değer: utf-8.
mode
Dize
Hayır
Alanların üzerine yazma modu. Varsayılan değer: fill-auto. Daha fazla bilgi için bkz. Alan çıkarma denetimi ve üzerine yazma modları.
-
Yanıt
Yeni alanlar içeren günlük döndürülür.
-
Örnekler
Aşağıdaki örnekler, table_name_test veri tablosuna dayanmaktadır.
city (birincil anahtar)
pop (birincil anahtar)
cid
province
region
bj
300
1
bj
huabei
nj
800
2
js
huadong
sh
200
3
sh
huadong-
Örnek 1: city ve pop alanlarına göre veri tablosunda satır bulun ve bu satır için province ve cid sütunlarının değerlerini döndürün.
-
Ham günlük
city:sh name:maki pop:200 -
Dönüşüm kuralı
e_tablestore_map( ["city","pop"], "https://d00s0dxa****.cn-hangzhou.ots.aliyuncs.com", "LTA3****", "VIH9****", "d00s0dxa****", "table_name_test", output_fields=["province","cid"]) -
Sonuç
city:sh name:maki pop:200 cid:3 province:sh
-
-
Örnek 2: Ham günlükteki city1 ve pop1 alanlarını veri tablosundaki city ve pop birincil anahtarlarıyla eşleyin, alanlara göre veri tablosunda satır bulun ve bu satır için tüm sütunların değerlerini döndürün.
-
Ham günlük
city1:sh name:maki pop1:200 -
Dönüşüm kuralı
e_tablestore_map( [("city1","city"), ("pop1", "pop")], "https://d00s0dxa****.cn-hangzhou.ots.aliyuncs.com", "LTA3****", "VIH9****", "d00s0dxa****", "table_name_test") -
Sonuç
city:sh name:maki pop:200 cid:3 province:sh region:huadong
-
-
Örnek 3: city ve pop alanlarına göre veri tablosunda satır bulun ve bu satır için tüm sütunların değerlerini döndürün. output_table_name parametresini
"table_name"olarak ayarlayın. Döndürülen sonuçta, döndürülen verilerin depolandığı veri tablosunun adını görüntüleyebilirsiniz.-
Ham günlük
city:sh name:maki pop:200 -
Dönüşüm kuralı
e_tablestore_map( ["city","pop"], "https://d00s0dxa****.cn-hangzhou.ots.aliyuncs.com", "LTA3****", "VIH9****", "d00s0dxa****", "table_name_test", output_table_name="table_name" ) -
Sonuç
city:sh name:maki pop:200 cid:3 province:sh region:huadong table_name:table_name_test
-
-
Örnek 4: city ve pop alanlarına göre table_name_test, table_name_test1 ve table_name_test2 veri tablolarında satır bulun ve bu satır için tüm sütunların değerlerini döndürün. Döndürülen sonuçta yalnızca eşleme için ilk kullanılan table_name_test veri tablosundaki verileri görüntüleyebilirsiniz.
-
Ham günlük
city:sh name:maki pop:200 -
Dönüşüm kuralı
e_tablestore_map( ["city","pop"], "https://d00s0dxa****.cn-hangzhou.ots.aliyuncs.com", "LTA3****", "VIH9****", "d00s0dxa****", ["table_name_test","table_name_test1","table_name_test2"], output_table_name="table_name" ) -
Sonuç
city:sh name:maki pop:200 cid:3 province:sh region:huadong table_name:table_name_test
-
-
Örnek 5: index1 ikincil dizini için pk1 ve pk2 birincil anahtarlarına göre veri tablosunda satır bulun ve bu satır için definedcol2 önceden tanımlanmış sütununun değerini döndürün. Önceden tanımlanmış sütun, index1 ikincil dizini için belirtilmiştir.
-
Veri tablosu (index1)
pk1 (birincil anahtar)
pk2 (birincil anahtar)
definedcol2 (önceden tanımlanmış sütun)
definedcol3 (önceden tanımlanmış sütun)
pk1_1
pk2_1
definedcol2_1
definedcol3_1
pk1_2
pk2_2
definedcol2_2
definedcol3_2 -
Ham günlük
pk1:pk1_1 pk2:pk2_1 -
Dönüşüm kuralı
e_tablestore_map( ["pk1","pk2"], "https://d00s0dxa****.cn-hangzhou.ots.aliyuncs.com", "LTA3****", "VIH9****", "d00s0dxa****", "index1", output_fields= ["definedcol2"], output_table_name="table_name", ) -
Sonuç
pk1:pk1_1 pk2:pk2_1 definedcol2:definedcol2_1 table_name:index1
-
-
e_redis_map
e_redis_map işlevi, boyut tablosu olarak ApsaraDB for Redis içindeki bir veri tablosunu kullanarak ham günlüğü zenginleştirir.
-
Söz dizimi
e_redis_map(field, output_field, host, port=6379, db=0, username=None, password=None, encoding="utf-8", max_retries=5, mode="fill-auto") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
field
Dize
Evet
Ham günlük ile veri tablosu arasında veri eşlemek için kullanılan ham günlük alanı. Ham günlük bu alanı içermiyorsa günlük üzerinde herhangi bir işlem yapılmaz.
output_field
Dize
Evet
Çıkış alanı.
host
Dize
Evet
ApsaraDB for Redis veritabanının uç noktası.
username
Dize
Hayır
ApsaraDB for Redis veritabanına bağlanmak için kullanmak istediğiniz hesabın kullanıcı adı. Bu parametre varsayılan olarak boştur, bu da kimlik doğrulaması yapılmadığını gösterir.
password
Dize
Hayır
ApsaraDB for Redis veritabanına bağlanmak için kullanmak istediğiniz hesabın parolası. Bu parametre varsayılan olarak boştur, bu da kimlik doğrulaması yapılmadığını gösterir.
port
Tamsayı
Hayır
ApsaraDB for Redis veritabanının bağlantı noktası. Varsayılan değer: 6379.
db
Tamsayı
Hayır
ApsaraDB for Redis veritabanının adı. Varsayılan değer: 0.
encoding
Dize
Hayır
ApsaraDB for Redis veritabanındaki verilerin kodlama yöntemi. Varsayılan değer: utf-8.
max_retries
Tamsayı
Hayır
ApsaraDB for Redis veritabanına bağlanma isteği başarısız olduğunda izin verilen maksimum yeniden deneme sayısı. Varsayılan değer: 5.
Maksimum yeniden deneme sayısından sonra bağlantı isteği başarısız olursa işlev dönüştürme işlemindeki mevcut günlüğü atlar. Sonraki dönüştürme etkilenmez.
Her yeniden deneme aralığı, önceki aralığın iki katıdır. Aralıklar 1 saniye ile 120 saniye arasında değişir.
mode
Dize
Hayır
Alanların üzerine yazma modu. Varsayılan değer: fill-auto. Daha fazla bilgi için bkz. Alan çıkarma denetimi ve üzerine yazma modları.
-
Yanıt
Yeni bir alan içeren günlük döndürülür.
-
Örnekler
Aşağıdaki örnekler, ApsaraDB for Redis içindeki aşağıdaki veri tablosuna dayanmaktadır.
ÖnemliYalnızca dize türündeki değerler desteklenir.
Anahtar
Değer
i1001
{ "name": "Orange", "price": 10 }
i1002
{ "name": "Apple", "price": 12 }
i1003
{ "name": "Mango", "price": 16 }-
Örnek 1: item alanına göre veri tablosunda değer bulun ve değeri döndürün. Dönüşüm kuralında ApsaraDB for Redis veritabanına bağlanmak için kullanılan hesabın kullanıcı adı ve parolası belirtilmemiştir.
-
Ham günlük
item: i1002 count: 7 -
Dönüşüm kuralı
e_redis_map("item", "detail", host="r-bp1olrdor8353v4s.redis.rds.aliyuncs.com") -
Sonuç
item: i1002 count: 7 detail: { "name": "Apple", "price": 12 }
-
-
Örnek 2: item alanına göre veri tablosunda değer bulun ve değeri döndürün. Dönüşüm kuralında ApsaraDB for Redis veritabanına bağlanmak için kullanılan hesabın kullanıcı adı ve parolası belirtilmiştir.
-
Ham günlük
item: i1003 count: 7 -
Dönüşüm kuralı
e_redis_map("item", "detail", host="r-bp1olrdor8353v4s****.redis.rds.aliyuncs.com", username="r-bp****", password="***") -
Sonuç
item: i1003 count: 7 detail:{ "name": "Mango", "price": 16 }
-
-