Bu konuda kaynak işlevlerinin sözdizimi ve parametreleri açıklanmaktadır. Ayrıca bu işlevlerin nasıl kullanılacağına ilişkin örnekler sunulmaktadır.
İşlevler
Aşağıdaki kaynak işlevlerini çağırırken, gerekli verileri çekmek için Gelişmiş önizleme modunu yapılandırmanız gerekir. Gelişmiş önizleme modunun nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Gelişmiş önizleme.
|
|
|
|
Geçerli veri dönüştürme işinden gelişmiş parametrelerin değerlerini çeker. Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme. |
|
|
ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanındaki belirtilen tablodan veri çeker veya bir SQL ifadesinin yürütme sonucunu alır. Veriler ve sonuçlar düzenli aralıklarla güncellenebilir. Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme. |
|
|
Bir Logstore'da veri dönüştürürken başka bir Logstore'dan veri çeker. Veriler sürekli olarak çekilebilir. Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Bir Logstore'dan veri çekerek başka bir Logstore'daki günlük verilerini zenginleştirme. |
|
|
Belirtilen Object Storage Service (OSS) paketindeki bir nesneden veri çeker. Veriler düzenli aralıklarla güncellenebilir. Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Veri zenginleştirmek için OSS'ten CSV dosyası çekme. |
res_local
res_local işlevi, geçerli veri dönüştürme işinden gelişmiş parametrelerin değerlerini çeker.
-
Sözdizimi
res_local(param, default=None, type="auto") -
Parametreler
Parametre
Tür
Gerekli
Açıklama
param
String
Evet
Geçerli veri dönüştürme işi için Advanced Parameter Settings bölümünde belirtilen anahtar.
default
String
Hayır
param parametresi için belirtilen anahtar mevcut değilse döndürülen değer. Varsayılan değer: None.
type
String
Hayır
Çıktı verilerinin biçimi. Geçerli değerler:
-
auto: Ham veriler JSON dizesine dönüştürülür. Dönüştürme başarısız olursa ham veriler döndürülür. Bu, varsayılan değerdir.
-
JSON: Ham veriler JSON dizesine dönüştürülür. Dönüştürme başarısız olursa default parametresinin değeri döndürülür.
-
raw: Ham veriler döndürülür.
-
-
Yanıt
Parametre ayarlarına bağlı olarak bir JSON dizesi veya ham veri döndürülür.
-
Başarılı dönüştürmeler
Ham veri
Dönüş değeri
Dönüş değerinin veri türü
1
1
Tamsayı
1,2
1,2
Kayan nokta
true
True
Boole
false
False
Boole
"123"
123
Dize
null
None
None
["v1", "v2", "v3"]
["v1", "v2", "v3"]
Liste
["v1", 3, 4.0]
["v1", 3, 4.0]
Liste
{"v1": 100, "v2": "good"}
{"v1": 100, "v2": "good"}
Liste
{"v1": {"v11": 100, "v2": 200}, "v3": "good"}
{"v1": {"v11": 100, "v2": 200}, "v3": "good"}
Liste -
Başarısız dönüştürmeler
Aşağıdaki tabloda bazı başarısız dönüştürme örnekleri verilmiştir. Aşağıdaki ham veriler JSON dizelerine dönüştürülemez ve ham veriler dize olarak döndürülür.
Ham veri
Dönüş değeri
Açıklama
(1,2,3)
"(1,2,3)"
Demetler desteklenmez. Listeler kullanılmalıdır.
True
"True"
Boole veri türünün değeri yalnızca true veya false olabilir. Değerler küçük harfle yazılmalıdır.
{1: 2, 3: 4}
"{1: 2, 3: 4}"
Sözlük anahtarı yalnızca dize olabilir.
-
-
Örnekler
Gelişmiş Parametre Ayarları'nda belirtilen anahtarı alın ve alınan anahtarın değerini local parametresine atayın.
Gelişmiş Parametre Ayarları'nda anahtar endpoint, değer ise hangzhou şeklindedir.

-
Ham günlük
content: 1 -
Dönüştürme kuralı
e_set("local", res_local('endpoint')) -
Sonuç
content: 1 local: hangzhou
-
-
İlgili konular
Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.
res_rds_mysql
res_rds_mysql işlevi, ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanındaki belirtilen tablodan veri çeker veya bir SQL ifadesinin yürütme sonucunu alır. Log Service, aşağıdaki yöntemleri kullanarak veri çekmenize olanak tanır:
res_rds_mysql işlevini kullanarak ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanından veri çekiyorsanız, örnekte bir izin listesi oluşturmanız ve
0.0.0.0değerini izin listesine eklemeniz gerekir. Bu, tüm IP adreslerinden veritabanına erişime izin verir. Ancak bu durum veritabanı için risk oluşturabilir. Log Service'in IP adresini izin listesine eklemek istiyorsanız bir destek talebi göndermeniz gerekir.Log Service, ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanına genel veya dahili uç nokta kullanarak erişebilir. Dahili uç nokta kullanılıyorsa gelişmiş parametreleri yapılandırmanız gerekir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.
-
Tüm verileri yalnızca bir kez çekme
Bir veri dönüştürme işini ilk kez çalıştırdığınızda Log Service, belirtilen bir tablodan tüm verileri çeker ve ardından artık veri çekmez. Veritabanınız güncellenmiyorsa bu yöntemi kullanmanızı öneririz.
-
Tüm verileri düzenli aralıklarla çekme
Bir veri dönüştürme işi çalıştırdığınızda Log Service, belirtilen bir tablodan tüm verileri düzenli aralıklarla çeker. Bu sayede Log Service, verilerinizi veritabanınızla zamanında senkronize edebilir. Ancak bu yöntem uzun bir süre gerektirir. Veritabanınızın veri hacmi 2 GB veya daha azsa ve refresh_interval parametresinin değeri 300 saniye veya daha fazlaysa bu yöntemi kullanmanızı öneririz.

-
Artımlı verileri düzenli aralıklarla çekme
Bir veri dönüştürme işi çalıştırdığınızda Log Service, belirtilen bir veritabanının zaman damgası alanına göre yalnızca artımlı verileri çeker. Bu yöntemi kullandığınızda Log Service yalnızca yeni eklenen verileri çeker. Bu yöntem verimlidir. Verileri saniyeler içinde senkronize etmek için refresh_interval parametresini 1 saniye olarak ayarlayabilirsiniz. Veritabanınızın veri hacmi büyükse, verileriniz sık sık güncelleniyorsa veya verilerin zamanında çekilmesi gerekiyorsa bu yöntemi kullanmanızı öneririz.

-
Sözdizimi
res_rds_mysql(address="The address of the database from which data is pulled", username="The username used to connect to the database", password="The password used to connect to the database", database="The name of the database", table=None, sql=None, fields=None, fetch_include_data=None, fetch_exclude_data=None, refresh_interval=0, base_retry_back_off=1, max_retry_back_off=60, primary_keys=None, use_ssl=false, update_time_key=None, deleted_flag_key=None)Notres_rds_mysql işlevini kullanarak AnalyticDB for MySQL veya PolarDB for MySQL kümesinde oluşturulan bir veritabanından da veri çekebilirsiniz. Bu senaryolarda dönüşüm kuralındaki veritabanı adresini, kullanıcı adını, parolasını ve adını gerçek değerlerle değiştirmeniz yeterlidir.
-
Parametreler
Parametre
Tür
Gerekli
Açıklama
address
String
Evet
Bağlanmak istediğiniz veritabanının uç noktası veya IP adresi. Bağlantı noktası numarası 3306 değilse değeri
IP address:Portbiçiminde belirtin. Daha fazla bilgi için bkz. Uç noktaları ve bağlantı noktalarını görüntüleme veya değiştirme.username
String
Evet
Veritabanına bağlanmak için kullanılan kullanıcı adı.
password
String
Evet
Veritabanına bağlanmak için kullanılan parola.
database
String
Evet
Bağlanmak istediğiniz veritabanının adı.
table
String
Evet
Veri çekmek istediğiniz tablonun adı. sql parametresi yapılandırılmışsa bu parametre gerekli değildir.
sql
String
Evet
Veritabanından ilgili tüm verileri almak ve bunları işleme belleğine yüklemek için bir SQL SELECT ifadesi kullanın. SQL, alanları ve satırları filtreleyerek bellek kullanımını optimize edebilir ve işleme belleği tablosunun kapladığı alanı azaltabilir. table parametresi yapılandırılmışsa bu parametre gerekli değildir.
fields
Dize listesi
Hayır
Dize listesi veya dize takma adı listesi. Bu parametreyi yapılandırmazsanız sql veya table parametresi için döndürülen tüm sütunlar kullanılır. Örneğin, ["user_id", "province", "city", "name", "age"] listesindeki name sütununu user_name olarak yeniden adlandırmak istiyorsanız fields parametresini ["user_id", "province", "city", ("name", "user_name"), ("nickname", "nick_name"), "age"] olarak ayarlamanız gerekir.
Notsql, table ve fields parametrelerini birlikte yapılandırırsanız sql parametresindeki SQL ifadesi yürütülür. table ve fields parametreleri etkili olmaz.
fetch_include_data
String
Hayır
Alan izin listesi. Alanları fetch_include_data parametresiyle eşleşen günlükler korunur. Bu parametreyle eşleşmeyen alanlara sahip günlükler atılır.
-
Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan izin listesi özelliği devre dışı bırakılır.
-
Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler korunur.
fetch_exclude_data
String
Hayır
Alan engelleme listesi. Alanları fetch_exclude_data parametresiyle eşleşen günlükler atılır. Bu parametreyle eşleşmeyen alanlara sahip günlükler korunur.
-
Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan engelleme listesi özelliği devre dışı bırakılır.
-
Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler atılır.
Notfetch_include_data ve fetch_exclude_data parametrelerinin her ikisini de yapılandırırsanız veriler önce fetch_include_data parametresinin ayarına göre, ardından fetch_exclude_data parametresinin ayarına göre çekilir.
refresh_interval
Sayısal dize veya sayı
Hayır
ApsaraDB RDS for MySQL'den verilerin çekilme aralığı. Birim: saniye. Varsayılan değer: 0. Bu değer, tüm verilerin yalnızca bir kez çekildiğini gösterir.
base_retry_back_off
Sayı
Hayır
Çekme işlemi başarısız olduktan sonra sistemin verileri yeniden çekmeyi deneme aralığı. Varsayılan değer: 1. Birim: saniye.
max_retry_back_off
Int
Hayır
Çekme işlemi başarısız olduktan sonra iki ardışık yeniden deneme arasındaki maksimum aralık. Varsayılan değer: 60. Birim: saniye. Varsayılan değeri kullanmanızı öneririz.
primary_keys
String/Liste
Hayır
Bellek içi boyut tablosunun anahtar-değer deposundaki birincil anahtar. Bu parametreyi yapılandırırsanız tablodaki veriler belleğe Key:Value biçiminde bir sözlük olarak kaydedilir. Sözlükteki bir anahtar, primary_keys parametresinin değeridir. Sözlükteki bir değer, tablodaki tüm bir satır veridir.
Not-
primary_keys parametresi ayarlanmalıdır. Aksi takdirde performans önemli ölçüde etkilenir ve görev gecikmelerine neden olabilir.
-
primary_keys parametresinin değeri, tablodan çekilen alanlarda bulunmalıdır.
-
primary_keys parametresinin değeri büyük/küçük harfe duyarlıdır.
use_ssl
Boole
Hayır
ApsaraDB RDS for MySQL örneğine bağlanmak için SSL protokolünün kullanılıp kullanılmayacağını belirtir. Varsayılan değer: false.
NotApsaraDB RDS for MySQL örneğinde SSL şifrelemesi etkinleştirilmişse Log Service örneğe SSL üzerinden bağlanır. Ancak sunucu sertifikası doğrulanmaz. Sunucu sertifikası bağlantı kurmak için kullanılamaz.
update_time_key
String
Hayır
Artımlı verileri çekmek için kullanılan zaman alanı. Bu parametreyi yapılandırmazsanız tüm veriler çekilir. Örneğin, update_time_key="update_time" içindeki update_time, veritabanındaki veri güncelleme zaman alanını gösterir. Zaman alanı şu veri türlerini destekler: datetime, timestamp, tamsayı, kayan nokta ve ondalık. Zaman alanı değerlerinin kronolojik sırayla arttığından emin olun.
NotLog Service, zaman alanına göre artımlı verileri çeker. Tabloda bu alan için bir dizin yapılandırıldığından emin olun. Dizin yapılandırılmazsa tam tablo taraması gerçekleştirilir. Ayrıca, artımlı verilerin çekilemediğini belirten bir hata rapor edilir.
deleted_flag_key
String
Hayır
Artımlı veriler çekilirken dönüştürülmesi gerekmeyen ve atılan veriler. Örneğin, update_time_key="key" içindeki key değeri aşağıdaki koşulu karşılıyorsa değer silinen veri olarak ayrıştırılır:
-
Boolean: true
-
Datetime ve timestamp: boş değil
-
Char ve varchar: 1, true, t, yes ve y
-
Integer: sıfır olmayan
Not-
deleted_flag_key parametresini update_time_key parametresi ile birlikte yapılandırmanız gerekir.
-
update_time_key parametresini yapılandırır ancak deleted_flag_key parametresini yapılandırmazsanız artımlı veriler çekilirken hiçbir veri atılmaz.
connector
String
Hayır
Veritabanına uzaktan bağlanmak için kullanılan bağlayıcı. Geçerli değerler: mysql ve pgsql. Varsayılan değer: mysql.
-
-
Yanıt
Birden çok sütun içeren bir tablo döndürülür. Sütunlar fields parametresi tarafından tanımlanır.
-
Hata işleme
Veri çekme sırasında bir hata oluşursa hata rapor edilir ancak veri dönüştürme işlemi çalışmaya devam eder. Yeniden denemeler base_retry_back_off parametresinin değerine göre gerçekleştirilir. Örneğin, ilk yeniden deneme aralığı 1 saniyedir ve ilk yeniden deneme başarısız olur. İkinci yeniden deneme aralığı ilkinin iki katıdır. Aralık max_retry_back_off parametresinin değerine ulaşana kadar işlem devam eder. Hata devam ederse yeniden denemeler max_retry_back_off parametresinin değerine göre gerçekleştirilir. Bir yeniden deneme başarılı olursa yeniden deneme aralığı 1 saniye olan başlangıç değerine sıfırlanır.
-
Örnekler
-
Tüm verileri çekme
-
Örnek 1: test_db veritabanındaki test_table tablosundan 300 saniyelik aralıklarla veri çekme.
res_rds_mysql( address="rm-uf6wjk5****mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", refresh_interval=300, ) -
Örnek 2: test_table tablosundan status değeri delete olan veri kayıtları hariç veri çekme.
res_rds_mysql( address="rm-uf6wjk5****mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", refresh_interval=300, fetch_exclude_data="'status':'delete'", ) -
Örnek 3: test_table tablosundan status değeri exit olan veri kayıtlarını çekme.
res_rds_mysql( address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", refresh_interval=300, fetch_include_data="'status':'exit'", ) -
Örnek 4: test_table tablosundan status değeri exit olan veri kayıtlarını çekme; name değeri aliyun olan veri kayıtları hariç.
res_rds_mysql( address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", refresh_interval=300, fetch_include_data="'status':'exit'", fetch_exclude_data="'name':'aliyun'", ) -
Örnek 5: pgsql bağlayıcısını kullanarak bir Hologres veritabanına bağlanma ve test_table tablosundan veri çekme.
res_rds_mysql( address="hgpostcn-cn-****-cn-hangzhou.hologres.aliyuncs.com:80", username="test_username", password="****", database="aliyun", table="test_table", connector="pgsql", ) -
Örnek 6: primary_keys parametresini kullanarak veri çekme.
primary_keys parametresini yapılandırırsanız değeri anahtar olarak çıkarılır. Tablodan çekilen veriler belleğe {"10001":{"userid":"10001","city_name":"beijing","city_number":"12345"}} biçiminde kaydedilir. Bu durumda veriler yüksek hızda çekilir. Büyük hacimli veriler çekmek istiyorsanız bu yöntemi kullanmanızı öneririz. primary_keys parametresini yapılandırmazsanız işlev tabloyu satır satır tarar. Ardından işlev verileri çeker ve belleğe [{"userid":"10001","city_name":"beijing","city_number":"12345"}] biçiminde kaydeder. Bu durumda veriler düşük hızda çekilir ancak belleğin yalnızca küçük bir kısmı kullanılır. Küçük hacimli veriler çekmek istiyorsanız bu yöntemi kullanmanızı öneririz.
-
Tablo
userid
city_name
city_number
10001
beijing
12345 -
Ham günlük
# Data Record 1 userid:10001 gdp:1000 # Data Record 2 userid:10002 gdp:800 -
Dönüştürme kuralı
e_table_map( res_rds_mysql( address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", primary_keys="userid", ), "userid", ["city_name", "city_number"], ) -
Sonuç
# Data Record 1 userid:10001 gdp:1000 city_name: beijing city_number:12345 # Data Record 2 userid:10002 gdp:800
-
-
Artımlı verileri çekme
-
Örnek 1: Artımlı verileri çekme.
NotYalnızca aşağıdaki koşullar karşılandığında bir tablodan artımlı veriler çekebilirsiniz:
Tabloda benzersiz bir birincil anahtar ve item_id ve update_time alanları gibi bir zaman alanı bulunur.
primary_keys, refresh_interval ve update_time_key parametreleri yapılandırılmıştır.
-
Tablo
item_id
item_name
price
1001
Orange
10
1002
Apple
12
1003
Mango
16 -
Ham günlük
# Data Record 1 item_id: 1001 total: 100 # Data Record 2 item_id: 1002 total: 200 # Data Record 3 item_id: 1003 total: 300 -
Dönüştürme kuralı
e_table_map( res_rds_mysql( address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", primary_key="item_id", refresh_interval=1, update_time_key="update_time", ), "item_id", ["item_name", "price"], ) -
Sonuç
# Data Record 1 item_id: 1001 total: 100 item_name: Orange price:10 # Data Record 2 item_id: 1002 total: 200 item_name: Apple price:12 # Data Record 3 item_id: 1003 total: 300 item_name: Mango price:16
-
Örnek 2: Artımlı veriler çekilirken belirtilen verileri atmak için deleted_flag_key parametresini yapılandırma.
-
Tablo
item_id
item_name
price
update_time
Is_deleted
1001
Orange
10
1603856138
False
1002
Apple
12
1603856140
False
1003
Mango
16
1603856150
False -
Ham günlük
# Data Record 1 item_id: 1001 total: 100 # Data Record 2 item_id: 1002 total: 200 # Data Record 3 item_id: 1003 total: 300 -
Dönüştürme kuralı
e_table_map( res_rds_mysql( address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", primary_key="item_id", refresh_interval=1, update_time_key="update_time", deleted_flag_key="is_deleted", ), "item_id", ["item_name", "price"], ) -
Sonuç
res_rds_mysql işlevi, tablodan üç veri kaydını Log Service'in çalıştığı sunucunun belleğine çeker. Bu veri kayıtları, kayıtların eşleşip eşleşmediğini kontrol etmek için kaynak Logstore'daki mevcut veri kayıtlarıyla karşılaştırılır. item_id değeri 1001 olan veri kaydını atmak istiyorsanız tablodaki item_id değeri 1001 olan veri kaydını bulun ve Is_deleted alanının değerini true olarak değiştirin. Bu şekilde, bellek içi boyut tablosu bir sonraki güncellendiğinde 1001 veri kaydı atılır.
# Data Record 2 item_id: 1002 total: 200 item_name: Apple price:12 # Data Record 3 item_id: 1003 total: 300 item_name: Mango price:1
-
-
-
İlgili konular
Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.
res_log_logstore_pull
res_log_logstore_pull işlevi, bir Logstore'da veri dönüştürürken başka bir Logstore'dan veri çeker.
-
Sözdizimi
res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, fields, from_time="begin", to_time=None, fetch_include_data=None, fetch_exclude_data=None, primary_keys=None, fetch_interval=2, delete_data=None, base_retry_back_off=1, max_retry_back_off=60, ttl=None, role_arn=None) -
Parametreler
Parametre
Tür
Gerekli
Açıklama
endpoint
String
Evet
Uç nokta. Daha fazla bilgi için bkz. Uç nokta. Varsayılan olarak HTTPS uç noktası kullanılır. HTTP uç noktası da kullanabilirsiniz. Özel durumlarda 80 veya 443 numaralı bağlantı noktası dışında bir bağlantı noktası kullanmanız gerekebilir.
ak_id
String
Evet
Alibaba Cloud hesabınızın AccessKey ID'si. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.
ak_secret
String
Evet
Alibaba Cloud hesabınızın AccessKey gizli anahtarı. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.
project
String
Evet
Veri çekmek istediğiniz projenin adı.
logstore
String
Evet
Veri çekmek istediğiniz Logstore'un adı.
fields
Dize listesi
Evet
Dize listesi veya dize takma adı listesi. Bir günlük belirtilen bir alanı içermiyorsa bu alanın değeri boş dizedir. Örneğin, ["user_id", "province", "city", "name", "age"] listesindeki name sütununu user_name olarak yeniden adlandırmak istiyorsanız bu parametreyi ["user_id", "province", "city", ("name", "user_name"), ("nickname", "nick_name"), "age"] olarak ayarlamanız gerekir.
from_time
String
Hayır
Logstore'dan ilk veri çekmenin başladığı sunucu saati. Varsayılan değer: begin. Bu değer, Log Service'in ilk günlükten başlayarak veri çekmeye başladığını gösterir. Aşağıdaki saat biçimleri desteklenir:
-
UNIX zaman damgası.
-
Saat dizesi.
-
Özel dize, örneğin begin veya end.
-
İfade: dt_ işlevi tarafından döndürülen saat. Örneğin, dt_totimestamp(dt_truncate(dt_today(tz="Asia/Shanghai"), day=op_neg(-1))) işlevi, veri çekmenin başlangıç saatini, yani geçerli saatten bir gün önceki saati döndürür. Geçerli saat 2019-5-5 10:10:10 (UTC+8) ise döndürülen saat 2019-5-4 10:10:10 (UTC+8) olur.
to_time
String
Hayır
Logstore'dan ilk veri çekmenin sona erdiği sunucu saati. Varsayılan değer: None. Bu değer, Log Service'in son günlükte veri çekmeyi durdurduğunu gösterir. Aşağıdaki saat biçimleri desteklenir:
-
UNIX zaman damgası.
-
Saat dizesi.
-
Özel dize, örneğin begin veya end.
-
İfade: dt_ işlevi tarafından döndürülen saat.
Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız veriler en son günlüklerden sürekli olarak çekilir.
NotBu parametreyi geçerli saatten sonraki bir zamana ayarlarsanız yalnızca Logstore'daki mevcut veriler çekilir. Yeni veriler çekilmez.
fetch_include_data
String
Hayır
Alan izin listesi. Alanları fetch_include_data parametresiyle eşleşen günlükler korunur. Bu parametreyle eşleşmeyen alanlara sahip günlükler atılır.
-
Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan izin listesi özelliği devre dışı bırakılır.
-
Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler korunur.
fetch_exclude_data
String
Hayır
Alan engelleme listesi. Alanları fetch_exclude_data parametresiyle eşleşen günlükler atılır. Bu parametreyle eşleşmeyen alanlara sahip günlükler korunur.
-
Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan engelleme listesi özelliği devre dışı bırakılır.
-
Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler atılır.
NotHem engelleme listesi hem de izin listesi parametrelerini yapılandırırsanız önce engelleme listesi parametresiyle eşleşen alanlara sahip günlükler atılır, ardından kalan ve izin listesi parametresiyle eşleşen günlükler korunur.
primary_keys
Dize listesi
Hayır
Tabloyu sürdürmek için kullanılan birincil anahtar alanlarının listesi. fields parametresini kullanarak bir birincil anahtar alanının adını değiştirirseniz bu parametre için birincil anahtar alanını belirtmek üzere yeni adı kullanmanız gerekir.
Not-
primary_keys parametresinin değeri yalnızca fields parametresinin değerinde belirtilen tek değerli dizeleri içerebilir.
-
Bu parametre, verilerin çekildiği Logstore'da yalnızca bir parça bulunduğunda geçerlidir.
-
primary_keys parametresi ayarlanmalıdır. Aksi takdirde performans önemli ölçüde etkilenir ve görev gecikmelerine neden olabilir.
-
primary_keys parametresinin değeri büyük/küçük harfe duyarlıdır.
fetch_interval
Int
Hayır
Veriler sürekli olarak çekilirken iki ardışık veri çekme isteği arasındaki aralık. Varsayılan değer: 2. Birim: saniye. Değer 1 saniye veya daha fazla olmalıdır.
delete_data
String
Hayır
Tablodan veri silme işlemi. Belirtilen koşulları karşılayan ve
primary_keysdeğerini içeren veri kayıtları silinir. Daha fazla bilgi için bkz. Sorgu dizesi sözdizimi.base_retry_back_off
Sayı
Hayır
Çekme işlemi başarısız olduktan sonra sistemin verileri yeniden çekmeyi deneme aralığı. Varsayılan değer: 1. Birim: saniye.
max_retry_back_off
Int
Hayır
Çekme işlemi başarısız olduktan sonra iki ardışık yeniden deneme arasındaki maksimum aralık. Varsayılan değer: 60. Birim: saniye. Varsayılan değeri kullanmanızı öneririz.
ttl
Int
Hayır
Sürekli veri çekme için aralığı belirlemek için kullanılan saniye sayısı. Veri çekme, günlük verileri oluşturulduğunda başlar ve günlük verilerinin oluşturulmasından ttl saniye sonra sona erer. Birim: saniye. Varsayılan değer: None. Bu değer, tüm günlük verilerinin çekildiğini gösterir.
role_arn
String
Hayır
Kullanılan RAM rolünün Alibaba Cloud Resource Name (ARN) değeri. RAM rolünün, verilerin çekildiği Logstore üzerinde okuma iznine sahip olması gerekir. RAM konsolunda, rolün ayrıntılar sayfasındaki Basic Information bölümünde bir RAM rolünün ARN değerini görüntüleyebilirsiniz. Örnek:
acs:ram::137944:role/role-a. RAM rolünün ARN değerini alma hakkında daha fazla bilgi için bkz. RAM rolünü görüntüleme. -
-
Yanıt
Birden çok sütun içeren bir tablo döndürülür.
-
Hata işleme
Veri çekme sırasında bir hata oluşursa hata rapor edilir ancak veri dönüştürme işlemi çalışmaya devam eder. Yeniden denemeler base_retry_back_off parametresinin değerine göre gerçekleştirilir. Örneğin, ilk yeniden deneme aralığı 1 saniyedir ve ilk yeniden deneme başarısız olur. İkinci yeniden deneme aralığı ilkinin iki katıdır. Aralık max_retry_back_off parametresinin değerine ulaşana kadar işlem devam eder. Hata devam ederse yeniden denemeler max_retry_back_off parametresinin değerine göre gerçekleştirilir. Bir yeniden deneme başarılı olursa yeniden deneme aralığı 1 saniye olan başlangıç değerine sıfırlanır.
-
Örnekler
-
Bu örnekte, test_project projesinin test_logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler yalnızca bir kez çekilir.
res_log_logstore_pull( "cn-hangzhou.log.aliyuncs.com", "LT****Gw", "ab****uu", "test_project", "test_logstore", ["key1", "key2"], from_time="begin", to_time="end", ) -
Bu örnekte, test_project projesinin test_logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler sürekli olarak 30 saniyelik aralıklarla çekilir.
res_log_logstore_pull( "cn-hangzhou.log.aliyuncs.com", "LT****Gw", "ab****uu", "test_project", "test_logstore", ["key1", "key2"], from_time="begin", to_time=None, fetch_interval=30, ) -
Bu örnekte, bir Logstore'dan veri çekilirken key1:value1 içeren veri kayıtlarını atlamak için bir engelleme listesi yapılandırılır.
res_log_logstore_pull( "cn-hangzhou.log.aliyuncs.com", "LT****Gw", "ab****uu", "test_project", "test_logstore", ["key1", "key2"], from_time="begin", to_time=None, fetch_interval=30, fetch_exclude_data="key1:value1", ) -
Bu örnekte, bir Logstore'dan key1:value1 içeren veri kayıtlarını çekmek için bir izin listesi yapılandırılır.
res_log_logstore_pull( "cn-hangzhou.log.aliyuncs.com", "LT****Gw", "ab****uu", "test_project", "test_logstore", ["key1", "key2"], from_time="begin", to_time=None, fetch_interval=30, fetch_include_data="key1:value1", ) -
Bu örnekte, test_project projesinin test_logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Veri çekme, günlük verileri oluşturulduğunda başlar ve günlük verilerinin oluşturulmasından 40.000.000 saniye sonra sona erer.
res_log_logstore_pull( "cn-hangzhou.log.aliyuncs.com", "LTAI*****Cajvr", "qO0Tp*****jJ9", "test_project", "test_logstore", fields=["key1","key2"], ttl="40000000" ) -
Bu örnekte, project-test1 projesinin test-logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Yetkilendirme için Log Service hizmet bağlantılı rolü kullanılır. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler yalnızca bir kez çekilir.
res_log_logstore_pull( "pub-cn-hangzhou-staging-intranet.log.aliyuncs.com", "", "", "project-test1", "test-logstore", ["key1", "key2"], from_time="2022-7-27 10:10:10 8:00", to_time="2022-7-27 14:30:10 8:00", role_arn="acs:ram::***:role/aliyunserviceroleforslsaudit", ) -
Bu örnekte, project-test1 projesinin test-logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Yetkilendirme için varsayılan bir rol kullanılır. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler yalnızca bir kez çekilir.
res_log_logstore_pull( "cn-chengdu.log.aliyuncs.com", "", "", "project-test1", "test-logstore", ["key1", "key2"], from_time="2022-7-21 10:10:10 8:00", to_time="2022-7-21 10:30:10 8:00", role_arn="acs:ram::***:role/aliyunlogetlrole", )
-
-
İlgili konular
Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Bir Logstore'dan veri çekerek başka bir Logstore'daki günlük verilerini zenginleştirme.
res_oss_file
res_oss_file işlevi, belirtilen OSS paketindeki bir nesneden veri çeker. Veriler düzenli aralıklarla güncellenebilir.
NotOSS paketiyle aynı bölgede bulunan bir Log Service projesi kullanmanızı öneririz. Bu şekilde, paketteki nesne verileri Alibaba Cloud'un dahili ağı üzerinden çekilebilir. Dahili ağ kararlı ve hızlıdır.
-
Sözdizimi
res_oss_file(endpoint, ak_id, ak_key, bucket, file, format='text', change_detect_interval=0, base_retry_back_off=1, max_retry_back_off=60, encoding='utf8', error='ignore') -
Parametreler
Parametre
Tür
Gerekli
Açıklama
endpoint
String
Evet
OSS paketinin uç noktası. Daha fazla bilgi için bkz. Bölgeler ve uç noktalar. Varsayılan olarak HTTPS uç noktası kullanılır. HTTP uç noktası da kullanabilirsiniz. Özel durumlarda 80 veya 443 numaralı bağlantı noktası dışında bir bağlantı noktası kullanmanız gerekebilir.
ak_id
String
Evet
Alibaba Cloud hesabınızın AccessKey ID'si. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.
ak_key
String
Evet
Alibaba Cloud hesabınızın AccessKey gizli anahtarı. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.
bucket
String
Evet
Veri çekmek istediğiniz OSS paketinin adı.
file
String
Evet
Veri çekmek istediğiniz nesnenin yolu. Örnek: test/data.txt. Yolun başına eğik çizgi (/) girmeyin.
format
String
Evet
Çıktı dosyasının biçimi. Geçerli değerler:
-
Text: metin biçimi
-
Binary: bayt akışı biçimi
change_detect_interval
String
Hayır
Log Service'in OSS'ten nesne verilerini çekme aralığı. Birim: saniye. Sistem, veri çekilirken nesnenin güncellenip güncellenmediğini kontrol eder. Nesne güncellenirse artımlı veriler çekilir. Varsayılan değer: 0. Bu değer, artımlı verilerin çekilmediğini gösterir. İşlev çağrıldığında tüm veriler yalnızca bir kez çekilir.
base_retry_back_off
Sayı
Hayır
Çekme işlemi başarısız olduktan sonra sistemin verileri yeniden çekmeyi deneme aralığı. Varsayılan değer: 1. Birim: saniye.
max_retry_back_off
Int
Hayır
Çekme işlemi başarısız olduktan sonra iki ardışık yeniden deneme arasındaki maksimum aralık. Varsayılan değer: 60. Birim: saniye. Varsayılan değeri kullanmanızı öneririz.
encoding
String
Hayır
Kodlama biçimi. format parametresini Text olarak ayarlarsanız bu parametre otomatik olarak utf8 olarak ayarlanır.
error
String
Hayır
Hataları işleme yöntemi. Bu parametre yalnızca UnicodeError mesajı bildirildiğinde geçerlidir. Geçerli değerler:
-
ignore: Sistem geçersiz biçimdeki verileri atlar ve verileri kodlamaya devam eder.
-
xmlcharrefreplace: Sistem kodlanamayan karakterleri uygun XML karakter başvurularıyla değiştirir.
Daha fazla bilgi için bkz. Error Handlers.
decompress
String
Hayır
Nesnenin sıkıştırmasının açılıp açılmayacağını belirtir. Geçerli değerler:
-
None: Nesnenin sıkıştırması açılmaz. Bu, varsayılan değerdir.
-
gzip: Nesnenin sıkıştırması gzip kullanılarak açılır.
-
-
Yanıt
Nesne verileri bayt akışı veya metin biçiminde döndürülür.
-
Hata işleme
Veri çekme sırasında bir hata oluşursa hata rapor edilir ancak veri dönüştürme işlemi çalışmaya devam eder. Yeniden denemeler base_retry_back_off parametresinin değerine göre gerçekleştirilir. Örneğin, ilk yeniden deneme aralığı 1 saniyedir ve ilk yeniden deneme başarısız olur. İkinci yeniden deneme aralığı ilkinin iki katıdır. Aralık max_retry_back_off parametresinin değerine ulaşana kadar işlem devam eder. Hata devam ederse yeniden denemeler max_retry_back_off parametresinin değerine göre gerçekleştirilir. Bir yeniden deneme başarılı olursa yeniden deneme aralığı 1 saniye olan başlangıç değerine sıfırlanır.
-
Örnekler
-
Örnek 1: OSS'ten JSON verisi çekme.
-
JSON verisi
{ "users": [ { "name": "user1", "login_historys": [ { "date": "2019-10-10 0:0:0", "login_ip": "203.0.113.10" }, { "date": "2019-10-10 1:0:0", "login_ip": "203.0.113.10" } ] }, { "name": "user2", "login_historys": [ { "date": "2019-10-11 0:0:0", "login_ip": "203.0.113.20" }, { "date": "2019-10-11 1:0:0", "login_ip": "203.0.113.30" }, { "date": "2019-10-11 1:1:0", "login_ip": "203.0.113.50" } ] } ] } -
Ham günlük
content: 123 -
Dönüştürme kuralı
e_set( "json_parse", json_parse( res_oss_file( endpoint="http://oss-cn-hangzhou.aliyuncs.com", ak_id="LT****Gw", ak_key="ab****uu", bucket="log-etl-staging", file="testjson.json", ) ), ) -
Sonuç
content: 123 prjson_parse: '{ "users": [ { "name": "user1", "login_historys": [ { "date": "2019-10-10 0:0:0", "login_ip": "203.0.113.10" }, { "date": "2019-10-10 1:0:0", "login_ip": "203.0.113.10" } ] }, { "name": "user2", "login_historys": [ { "date": "2019-10-11 0:0:0", "login_ip": "203.0.113.20" }, { "date": "2019-10-11 1:0:0", "login_ip": "203.0.113.30" }, { "date": "2019-10-11 1:1:0", "login_ip": "203.0.113.50" } ] } ] }'
-
-
Örnek 2: OSS'ten metin içeriği çekme.
-
Metin içeriği
Test bytes -
Ham günlük
content: 123 -
Dönüştürme kuralı
e_set( "test_txt", res_oss_file( endpoint="http://oss-cn-hangzhou.aliyuncs.com", ak_id="LT****Gw", ak_key="ab****uu", bucket="log-etl-staging", file="test.txt", ), ) -
Sonuç
content: 123 test_txt: Test bytes
-
-
Örnek 3: Sıkıştırılmış bir OSS nesnesinden veri çekme ve nesnenin sıkıştırmasını açma.
-
Sıkıştırılmış nesnenin içeriği
Test bytes\nupdate\n123 -
Ham günlük
content:123 -
Dönüştürme kuralı
e_set( "text", res_oss_file( endpoint="http://oss-cn-hangzhou.aliyuncs.com", ak_id="LT****Gw", ak_key="ab****uu", bucket="log-etl-staging", file="test.txt.gz", format="binary", change_detect_interval=30, decompress="gzip", ), ) -
Sonuç
content:123 text: Test bytes\nupdate\n123
-
-
Örnek 4: ACL'si public-read-write olan bir OSS paketindeki bir nesneye erişme. AccessKey çiftleri kullanılmaz.
-
Sıkıştırılmış nesnenin içeriği
Test bytes -
Ham günlük
content:123 -
Dönüştürme kuralı
e_set( "test_txt", res_oss_file( endpoint="http://oss-cn-hangzhou.aliyuncs.com", bucket="log-etl-staging", file="test.txt", ), ) -
Sonuç
content: 123 test_txt: Test bytes
-
-
-
İlgili konular
Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Veri zenginleştirmek için OSS'ten CSV dosyası çekme.
-
-