Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:Kaynak işlevleri

Son Güncelleme:Sep 30, 2026

Bu konuda kaynak işlevlerinin sözdizimi ve parametreleri açıklanmaktadır. Ayrıca bu işlevlerin nasıl kullanılacağına ilişkin örnekler sunulmaktadır.

İşlevler

Önemli

Aşağıdaki kaynak işlevlerini çağırırken, gerekli verileri çekmek için Gelişmiş önizleme modunu yapılandırmanız gerekir. Gelişmiş önizleme modunun nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Gelişmiş önizleme.


İşlev


Açıklama


res_local

Geçerli veri dönüştürme işinden gelişmiş parametrelerin değerlerini çeker.

Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.


res_rds_mysql

ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanındaki belirtilen tablodan veri çeker veya bir SQL ifadesinin yürütme sonucunu alır. Veriler ve sonuçlar düzenli aralıklarla güncellenebilir.

Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.


res_log_logstore_pull

Bir Logstore'da veri dönüştürürken başka bir Logstore'dan veri çeker. Veriler sürekli olarak çekilebilir.

Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Bir Logstore'dan veri çekerek başka bir Logstore'daki günlük verilerini zenginleştirme.


res_oss_file

Belirtilen Object Storage Service (OSS) paketindeki bir nesneden veri çeker. Veriler düzenli aralıklarla güncellenebilir.

Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Veri zenginleştirmek için OSS'ten CSV dosyası çekme.

res_local

res_local işlevi, geçerli veri dönüştürme işinden gelişmiş parametrelerin değerlerini çeker.

  • Sözdizimi

    res_local(param, default=None, type="auto")
  • Parametreler

    Parametre

    Tür

    Gerekli

    Açıklama

    param

    String

    Evet

    Geçerli veri dönüştürme işi için Advanced Parameter Settings bölümünde belirtilen anahtar.

    default

    String

    Hayır

    param parametresi için belirtilen anahtar mevcut değilse döndürülen değer. Varsayılan değer: None.

    type

    String

    Hayır

    Çıktı verilerinin biçimi. Geçerli değerler:

    • auto: Ham veriler JSON dizesine dönüştürülür. Dönüştürme başarısız olursa ham veriler döndürülür. Bu, varsayılan değerdir.

    • JSON: Ham veriler JSON dizesine dönüştürülür. Dönüştürme başarısız olursa default parametresinin değeri döndürülür.

    • raw: Ham veriler döndürülür.

  • Yanıt

    Parametre ayarlarına bağlı olarak bir JSON dizesi veya ham veri döndürülür.

    • Başarılı dönüştürmeler


      Ham veri


      Dönüş değeri


      Dönüş değerinin veri türü


      1


      1


      Tamsayı


      1,2


      1,2


      Kayan nokta


      true


      True


      Boole


      false


      False


      Boole


      "123"


      123


      Dize


      null


      None


      None


      ["v1", "v2", "v3"]


      ["v1", "v2", "v3"]


      Liste


      ["v1", 3, 4.0]


      ["v1", 3, 4.0]


      Liste


      {"v1": 100, "v2": "good"}


      {"v1": 100, "v2": "good"}


      Liste


      {"v1": {"v11": 100, "v2": 200}, "v3": "good"}


      {"v1": {"v11": 100, "v2": 200}, "v3": "good"}


      Liste

    • Başarısız dönüştürmeler

      Aşağıdaki tabloda bazı başarısız dönüştürme örnekleri verilmiştir. Aşağıdaki ham veriler JSON dizelerine dönüştürülemez ve ham veriler dize olarak döndürülür.


      Ham veri


      Dönüş değeri


      Açıklama


      (1,2,3)


      "(1,2,3)"


      Demetler desteklenmez. Listeler kullanılmalıdır.


      True


      "True"


      Boole veri türünün değeri yalnızca true veya false olabilir. Değerler küçük harfle yazılmalıdır.


      {1: 2, 3: 4}


      "{1: 2, 3: 4}"


      Sözlük anahtarı yalnızca dize olabilir.

  • Örnekler

    Gelişmiş Parametre Ayarları'nda belirtilen anahtarı alın ve alınan anahtarın değerini local parametresine atayın.

    Gelişmiş Parametre Ayarları'nda anahtar endpoint, değer ise hangzhou şeklindedir. Advanced Parameter Settings

    • Ham günlük

      content: 1
    • Dönüştürme kuralı

      e_set("local", res_local('endpoint'))
    • Sonuç

      content: 1
      local: hangzhou
  • İlgili konular

    Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.

res_rds_mysql

res_rds_mysql işlevi, ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanındaki belirtilen tablodan veri çeker veya bir SQL ifadesinin yürütme sonucunu alır. Log Service, aşağıdaki yöntemleri kullanarak veri çekmenize olanak tanır:

Önemli
  • res_rds_mysql işlevini kullanarak ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanından veri çekiyorsanız, örnekte bir izin listesi oluşturmanız ve 0.0.0.0 değerini izin listesine eklemeniz gerekir. Bu, tüm IP adreslerinden veritabanına erişime izin verir. Ancak bu durum veritabanı için risk oluşturabilir. Log Service'in IP adresini izin listesine eklemek istiyorsanız bir destek talebi göndermeniz gerekir.

  • Log Service, ApsaraDB RDS for MySQL örneğinde oluşturulan bir veritabanına genel veya dahili uç nokta kullanarak erişebilir. Dahili uç nokta kullanılıyorsa gelişmiş parametreleri yapılandırmanız gerekir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.

  • Tüm verileri yalnızca bir kez çekme

    Bir veri dönüştürme işini ilk kez çalıştırdığınızda Log Service, belirtilen bir tablodan tüm verileri çeker ve ardından artık veri çekmez. Veritabanınız güncellenmiyorsa bu yöntemi kullanmanızı öneririz.

  • Tüm verileri düzenli aralıklarla çekme

    Bir veri dönüştürme işi çalıştırdığınızda Log Service, belirtilen bir tablodan tüm verileri düzenli aralıklarla çeker. Bu sayede Log Service, verilerinizi veritabanınızla zamanında senkronize edebilir. Ancak bu yöntem uzun bir süre gerektirir. Veritabanınızın veri hacmi 2 GB veya daha azsa ve refresh_interval parametresinin değeri 300 saniye veya daha fazlaysa bu yöntemi kullanmanızı öneririz. Pull all data

  • Artımlı verileri düzenli aralıklarla çekme

    Bir veri dönüştürme işi çalıştırdığınızda Log Service, belirtilen bir veritabanının zaman damgası alanına göre yalnızca artımlı verileri çeker. Bu yöntemi kullandığınızda Log Service yalnızca yeni eklenen verileri çeker. Bu yöntem verimlidir. Verileri saniyeler içinde senkronize etmek için refresh_interval parametresini 1 saniye olarak ayarlayabilirsiniz. Veritabanınızın veri hacmi büyükse, verileriniz sık sık güncelleniyorsa veya verilerin zamanında çekilmesi gerekiyorsa bu yöntemi kullanmanızı öneririz. Pull incremental data

  • Sözdizimi

    res_rds_mysql(address="The address of the database from which data is pulled", username="The username used to connect to the database", password="The password used to connect to the database", database="The name of the database", table=None, sql=None, fields=None, fetch_include_data=None, fetch_exclude_data=None, refresh_interval=0, base_retry_back_off=1, max_retry_back_off=60, primary_keys=None, use_ssl=false, update_time_key=None, deleted_flag_key=None)
    Not

    res_rds_mysql işlevini kullanarak AnalyticDB for MySQL veya PolarDB for MySQL kümesinde oluşturulan bir veritabanından da veri çekebilirsiniz. Bu senaryolarda dönüşüm kuralındaki veritabanı adresini, kullanıcı adını, parolasını ve adını gerçek değerlerle değiştirmeniz yeterlidir.

  • Parametreler

    Parametre

    Tür

    Gerekli

    Açıklama

    address

    String

    Evet

    Bağlanmak istediğiniz veritabanının uç noktası veya IP adresi. Bağlantı noktası numarası 3306 değilse değeri IP address:Port biçiminde belirtin. Daha fazla bilgi için bkz. Uç noktaları ve bağlantı noktalarını görüntüleme veya değiştirme.

    username

    String

    Evet

    Veritabanına bağlanmak için kullanılan kullanıcı adı.

    password

    String

    Evet

    Veritabanına bağlanmak için kullanılan parola.

    database

    String

    Evet

    Bağlanmak istediğiniz veritabanının adı.

    table

    String

    Evet

    Veri çekmek istediğiniz tablonun adı. sql parametresi yapılandırılmışsa bu parametre gerekli değildir.

    sql

    String

    Evet

    Veritabanından ilgili tüm verileri almak ve bunları işleme belleğine yüklemek için bir SQL SELECT ifadesi kullanın. SQL, alanları ve satırları filtreleyerek bellek kullanımını optimize edebilir ve işleme belleği tablosunun kapladığı alanı azaltabilir. table parametresi yapılandırılmışsa bu parametre gerekli değildir.

    fields

    Dize listesi

    Hayır

    Dize listesi veya dize takma adı listesi. Bu parametreyi yapılandırmazsanız sql veya table parametresi için döndürülen tüm sütunlar kullanılır. Örneğin, ["user_id", "province", "city", "name", "age"] listesindeki name sütununu user_name olarak yeniden adlandırmak istiyorsanız fields parametresini ["user_id", "province", "city", ("name", "user_name"), ("nickname", "nick_name"), "age"] olarak ayarlamanız gerekir.

    Not

    sql, table ve fields parametrelerini birlikte yapılandırırsanız sql parametresindeki SQL ifadesi yürütülür. table ve fields parametreleri etkili olmaz.

    fetch_include_data

    String

    Hayır

    Alan izin listesi. Alanları fetch_include_data parametresiyle eşleşen günlükler korunur. Bu parametreyle eşleşmeyen alanlara sahip günlükler atılır.

    • Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan izin listesi özelliği devre dışı bırakılır.

    • Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler korunur.

    fetch_exclude_data

    String

    Hayır

    Alan engelleme listesi. Alanları fetch_exclude_data parametresiyle eşleşen günlükler atılır. Bu parametreyle eşleşmeyen alanlara sahip günlükler korunur.

    • Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan engelleme listesi özelliği devre dışı bırakılır.

    • Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler atılır.

    Not

    fetch_include_data ve fetch_exclude_data parametrelerinin her ikisini de yapılandırırsanız veriler önce fetch_include_data parametresinin ayarına göre, ardından fetch_exclude_data parametresinin ayarına göre çekilir.

    refresh_interval

    Sayısal dize veya sayı

    Hayır

    ApsaraDB RDS for MySQL'den verilerin çekilme aralığı. Birim: saniye. Varsayılan değer: 0. Bu değer, tüm verilerin yalnızca bir kez çekildiğini gösterir.

    base_retry_back_off

    Sayı

    Hayır

    Çekme işlemi başarısız olduktan sonra sistemin verileri yeniden çekmeyi deneme aralığı. Varsayılan değer: 1. Birim: saniye.

    max_retry_back_off

    Int

    Hayır

    Çekme işlemi başarısız olduktan sonra iki ardışık yeniden deneme arasındaki maksimum aralık. Varsayılan değer: 60. Birim: saniye. Varsayılan değeri kullanmanızı öneririz.

    primary_keys

    String/Liste

    Hayır

    Bellek içi boyut tablosunun anahtar-değer deposundaki birincil anahtar. Bu parametreyi yapılandırırsanız tablodaki veriler belleğe Key:Value biçiminde bir sözlük olarak kaydedilir. Sözlükteki bir anahtar, primary_keys parametresinin değeridir. Sözlükteki bir değer, tablodaki tüm bir satır veridir.

    Not
    • primary_keys parametresi ayarlanmalıdır. Aksi takdirde performans önemli ölçüde etkilenir ve görev gecikmelerine neden olabilir.

    • primary_keys parametresinin değeri, tablodan çekilen alanlarda bulunmalıdır.

    • primary_keys parametresinin değeri büyük/küçük harfe duyarlıdır.

    use_ssl

    Boole

    Hayır

    ApsaraDB RDS for MySQL örneğine bağlanmak için SSL protokolünün kullanılıp kullanılmayacağını belirtir. Varsayılan değer: false.

    Not

    ApsaraDB RDS for MySQL örneğinde SSL şifrelemesi etkinleştirilmişse Log Service örneğe SSL üzerinden bağlanır. Ancak sunucu sertifikası doğrulanmaz. Sunucu sertifikası bağlantı kurmak için kullanılamaz.

    update_time_key

    String

    Hayır

    Artımlı verileri çekmek için kullanılan zaman alanı. Bu parametreyi yapılandırmazsanız tüm veriler çekilir. Örneğin, update_time_key="update_time" içindeki update_time, veritabanındaki veri güncelleme zaman alanını gösterir. Zaman alanı şu veri türlerini destekler: datetime, timestamp, tamsayı, kayan nokta ve ondalık. Zaman alanı değerlerinin kronolojik sırayla arttığından emin olun.

    Not

    Log Service, zaman alanına göre artımlı verileri çeker. Tabloda bu alan için bir dizin yapılandırıldığından emin olun. Dizin yapılandırılmazsa tam tablo taraması gerçekleştirilir. Ayrıca, artımlı verilerin çekilemediğini belirten bir hata rapor edilir.

    deleted_flag_key

    String

    Hayır

    Artımlı veriler çekilirken dönüştürülmesi gerekmeyen ve atılan veriler. Örneğin, update_time_key="key" içindeki key değeri aşağıdaki koşulu karşılıyorsa değer silinen veri olarak ayrıştırılır:

    • Boolean: true

    • Datetime ve timestamp: boş değil

    • Char ve varchar: 1, true, t, yes ve y

    • Integer: sıfır olmayan

    Not
    • deleted_flag_key parametresini update_time_key parametresi ile birlikte yapılandırmanız gerekir.

    • update_time_key parametresini yapılandırır ancak deleted_flag_key parametresini yapılandırmazsanız artımlı veriler çekilirken hiçbir veri atılmaz.

    connector

    String

    Hayır

    Veritabanına uzaktan bağlanmak için kullanılan bağlayıcı. Geçerli değerler: mysql ve pgsql. Varsayılan değer: mysql.

  • Yanıt

    Birden çok sütun içeren bir tablo döndürülür. Sütunlar fields parametresi tarafından tanımlanır.

  • Hata işleme

    Veri çekme sırasında bir hata oluşursa hata rapor edilir ancak veri dönüştürme işlemi çalışmaya devam eder. Yeniden denemeler base_retry_back_off parametresinin değerine göre gerçekleştirilir. Örneğin, ilk yeniden deneme aralığı 1 saniyedir ve ilk yeniden deneme başarısız olur. İkinci yeniden deneme aralığı ilkinin iki katıdır. Aralık max_retry_back_off parametresinin değerine ulaşana kadar işlem devam eder. Hata devam ederse yeniden denemeler max_retry_back_off parametresinin değerine göre gerçekleştirilir. Bir yeniden deneme başarılı olursa yeniden deneme aralığı 1 saniye olan başlangıç değerine sıfırlanır.

  • Örnekler

    • Tüm verileri çekme

      • Örnek 1: test_db veritabanındaki test_table tablosundan 300 saniyelik aralıklarla veri çekme.

        res_rds_mysql(
            address="rm-uf6wjk5****mo.mysql.rds.aliyuncs.com",
            username="test_username",
            password="****",
            database="test_db",
            table="test_table",
            refresh_interval=300,
        )
      • Örnek 2: test_table tablosundan status değeri delete olan veri kayıtları hariç veri çekme.

        res_rds_mysql(
            address="rm-uf6wjk5****mo.mysql.rds.aliyuncs.com",
            username="test_username",
            password="****",
            database="test_db",
            table="test_table",
            refresh_interval=300,
            fetch_exclude_data="'status':'delete'",
        )
      • Örnek 3: test_table tablosundan status değeri exit olan veri kayıtlarını çekme.

        res_rds_mysql(
            address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com",
            username="test_username",
            password="****",
            database="test_db",
            table="test_table",
            refresh_interval=300,
            fetch_include_data="'status':'exit'",
        )
      • Örnek 4: test_table tablosundan status değeri exit olan veri kayıtlarını çekme; name değeri aliyun olan veri kayıtları hariç.

        res_rds_mysql(
            address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com",
            username="test_username",
            password="****",
            database="test_db",
            table="test_table",
            refresh_interval=300,
            fetch_include_data="'status':'exit'",
            fetch_exclude_data="'name':'aliyun'",
        )
      • Örnek 5: pgsql bağlayıcısını kullanarak bir Hologres veritabanına bağlanma ve test_table tablosundan veri çekme.

        res_rds_mysql(
            address="hgpostcn-cn-****-cn-hangzhou.hologres.aliyuncs.com:80",
            username="test_username",
            password="****",
            database="aliyun",
            table="test_table",
            connector="pgsql",
        )
      • Örnek 6: primary_keys parametresini kullanarak veri çekme.

        primary_keys parametresini yapılandırırsanız değeri anahtar olarak çıkarılır. Tablodan çekilen veriler belleğe {"10001":{"userid":"10001","city_name":"beijing","city_number":"12345"}} biçiminde kaydedilir. Bu durumda veriler yüksek hızda çekilir. Büyük hacimli veriler çekmek istiyorsanız bu yöntemi kullanmanızı öneririz. primary_keys parametresini yapılandırmazsanız işlev tabloyu satır satır tarar. Ardından işlev verileri çeker ve belleğe [{"userid":"10001","city_name":"beijing","city_number":"12345"}] biçiminde kaydeder. Bu durumda veriler düşük hızda çekilir ancak belleğin yalnızca küçük bir kısmı kullanılır. Küçük hacimli veriler çekmek istiyorsanız bu yöntemi kullanmanızı öneririz.

        • Tablo


          userid


          city_name


          city_number


          10001


          beijing


          12345

        • Ham günlük

          # Data Record 1
          userid:10001
          gdp:1000
          
          # Data Record 2
          userid:10002
          gdp:800
        • Dönüştürme kuralı

          e_table_map(
              res_rds_mysql(
                  address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com",
                  username="test_username",
                  password="****",
                  database="test_db",
                  table="test_table",
                  primary_keys="userid",
              ),
              "userid",
              ["city_name", "city_number"],
          )
        • Sonuç

          # Data Record 1
          userid:10001
          gdp:1000
          city_name: beijing
          city_number:12345
          # Data Record 2
          userid:10002
          gdp:800
      • Artımlı verileri çekme

        • Örnek 1: Artımlı verileri çekme.

          Not

          Yalnızca aşağıdaki koşullar karşılandığında bir tablodan artımlı veriler çekebilirsiniz:

          • Tabloda benzersiz bir birincil anahtar ve item_id ve update_time alanları gibi bir zaman alanı bulunur.

          • primary_keys, refresh_interval ve update_time_key parametreleri yapılandırılmıştır.

          • Tablo


            item_id


            item_name


            price


            1001


            Orange


            10


            1002


            Apple


            12


            1003


            Mango


            16

          • Ham günlük

            # Data Record 1
            item_id: 1001
            total: 100
            
            # Data Record 2
            item_id: 1002
            total: 200
            
            # Data Record 3
            item_id: 1003
            total: 300
          • Dönüştürme kuralı

            e_table_map(
                res_rds_mysql(
                    address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com",
                    username="test_username",
                    password="****",
                    database="test_db",
                    table="test_table",
                    primary_key="item_id",
                    refresh_interval=1,
                    update_time_key="update_time",
                ),
                "item_id",
                ["item_name", "price"],
            )
          • Sonuç

            # Data Record 1
            item_id: 1001
            total: 100
            item_name: Orange
            price:10
            
            # Data Record 2
            item_id: 1002
            total: 200
            item_name: Apple
            price:12
            
            # Data Record 3
            item_id: 1003
            total: 300
            item_name: Mango
            price:16
        • Örnek 2: Artımlı veriler çekilirken belirtilen verileri atmak için deleted_flag_key parametresini yapılandırma.

          • Tablo


            item_id


            item_name


            price


            update_time


            Is_deleted


            1001


            Orange


            10


            1603856138


            False


            1002


            Apple


            12


            1603856140


            False


            1003


            Mango


            16


            1603856150


            False

          • Ham günlük

            # Data Record 1
            item_id: 1001
            total: 100
            
            # Data Record 2
            item_id: 1002
            total: 200
            
            # Data Record 3
            item_id: 1003
            total: 300
          • Dönüştürme kuralı

            e_table_map(
                res_rds_mysql(
                    address="rm-uf6wjk5***mo.mysql.rds.aliyuncs.com",
                    username="test_username",
                    password="****",
                    database="test_db",
                    table="test_table",
                    primary_key="item_id",
                    refresh_interval=1,
                    update_time_key="update_time",
                    deleted_flag_key="is_deleted",
                ),
                "item_id",
                ["item_name", "price"],
            )
          • Sonuç

            res_rds_mysql işlevi, tablodan üç veri kaydını Log Service'in çalıştığı sunucunun belleğine çeker. Bu veri kayıtları, kayıtların eşleşip eşleşmediğini kontrol etmek için kaynak Logstore'daki mevcut veri kayıtlarıyla karşılaştırılır. item_id değeri 1001 olan veri kaydını atmak istiyorsanız tablodaki item_id değeri 1001 olan veri kaydını bulun ve Is_deleted alanının değerini true olarak değiştirin. Bu şekilde, bellek içi boyut tablosu bir sonraki güncellendiğinde 1001 veri kaydı atılır.

            # Data Record 2
            item_id: 1002
            total: 200
            item_name: Apple
            price:12
            
            # Data Record 3
            item_id: 1003
            total: 300
            item_name: Mango
            price:1
      • İlgili konular

        Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. ApsaraDB RDS for MySQL'den veri zenginleştirme.

      res_log_logstore_pull

      res_log_logstore_pull işlevi, bir Logstore'da veri dönüştürürken başka bir Logstore'dan veri çeker.

      • Sözdizimi

        res_log_logstore_pull(endpoint, ak_id, ak_secret, project, logstore, fields, from_time="begin", to_time=None, fetch_include_data=None, fetch_exclude_data=None, primary_keys=None, fetch_interval=2, delete_data=None,  base_retry_back_off=1, max_retry_back_off=60, ttl=None, role_arn=None)
      • Parametreler

        Parametre

        Tür

        Gerekli

        Açıklama

        endpoint

        String

        Evet

        Uç nokta. Daha fazla bilgi için bkz. Uç nokta. Varsayılan olarak HTTPS uç noktası kullanılır. HTTP uç noktası da kullanabilirsiniz. Özel durumlarda 80 veya 443 numaralı bağlantı noktası dışında bir bağlantı noktası kullanmanız gerekebilir.

        ak_id

        String

        Evet

        Alibaba Cloud hesabınızın AccessKey ID'si. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.

        ak_secret

        String

        Evet

        Alibaba Cloud hesabınızın AccessKey gizli anahtarı. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.

        project

        String

        Evet

        Veri çekmek istediğiniz projenin adı.

        logstore

        String

        Evet

        Veri çekmek istediğiniz Logstore'un adı.

        fields

        Dize listesi

        Evet

        Dize listesi veya dize takma adı listesi. Bir günlük belirtilen bir alanı içermiyorsa bu alanın değeri boş dizedir. Örneğin, ["user_id", "province", "city", "name", "age"] listesindeki name sütununu user_name olarak yeniden adlandırmak istiyorsanız bu parametreyi ["user_id", "province", "city", ("name", "user_name"), ("nickname", "nick_name"), "age"] olarak ayarlamanız gerekir.

        from_time

        String

        Hayır

        Logstore'dan ilk veri çekmenin başladığı sunucu saati. Varsayılan değer: begin. Bu değer, Log Service'in ilk günlükten başlayarak veri çekmeye başladığını gösterir. Aşağıdaki saat biçimleri desteklenir:

        • UNIX zaman damgası.

        • Saat dizesi.

        • Özel dize, örneğin begin veya end.

        • İfade: dt_ işlevi tarafından döndürülen saat. Örneğin, dt_totimestamp(dt_truncate(dt_today(tz="Asia/Shanghai"), day=op_neg(-1))) işlevi, veri çekmenin başlangıç saatini, yani geçerli saatten bir gün önceki saati döndürür. Geçerli saat 2019-5-5 10:10:10 (UTC+8) ise döndürülen saat 2019-5-4 10:10:10 (UTC+8) olur.

        to_time

        String

        Hayır

        Logstore'dan ilk veri çekmenin sona erdiği sunucu saati. Varsayılan değer: None. Bu değer, Log Service'in son günlükte veri çekmeyi durdurduğunu gösterir. Aşağıdaki saat biçimleri desteklenir:

        • UNIX zaman damgası.

        • Saat dizesi.

        • Özel dize, örneğin begin veya end.

        • İfade: dt_ işlevi tarafından döndürülen saat.

        Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız veriler en son günlüklerden sürekli olarak çekilir.

        Not

        Bu parametreyi geçerli saatten sonraki bir zamana ayarlarsanız yalnızca Logstore'daki mevcut veriler çekilir. Yeni veriler çekilmez.

        fetch_include_data

        String

        Hayır

        Alan izin listesi. Alanları fetch_include_data parametresiyle eşleşen günlükler korunur. Bu parametreyle eşleşmeyen alanlara sahip günlükler atılır.

        • Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan izin listesi özelliği devre dışı bırakılır.

        • Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler korunur.

        fetch_exclude_data

        String

        Hayır

        Alan engelleme listesi. Alanları fetch_exclude_data parametresiyle eşleşen günlükler atılır. Bu parametreyle eşleşmeyen alanlara sahip günlükler korunur.

        • Bu parametreyi yapılandırmazsanız veya None olarak ayarlarsanız alan engelleme listesi özelliği devre dışı bırakılır.

        • Bu parametreyi belirli bir alana ve alan değerine ayarlarsanız bu alanı ve alan değerini içeren günlükler atılır.

        Not

        Hem engelleme listesi hem de izin listesi parametrelerini yapılandırırsanız önce engelleme listesi parametresiyle eşleşen alanlara sahip günlükler atılır, ardından kalan ve izin listesi parametresiyle eşleşen günlükler korunur.

        primary_keys

        Dize listesi

        Hayır

        Tabloyu sürdürmek için kullanılan birincil anahtar alanlarının listesi. fields parametresini kullanarak bir birincil anahtar alanının adını değiştirirseniz bu parametre için birincil anahtar alanını belirtmek üzere yeni adı kullanmanız gerekir.

        Not
        • primary_keys parametresinin değeri yalnızca fields parametresinin değerinde belirtilen tek değerli dizeleri içerebilir.

        • Bu parametre, verilerin çekildiği Logstore'da yalnızca bir parça bulunduğunda geçerlidir.

        • primary_keys parametresi ayarlanmalıdır. Aksi takdirde performans önemli ölçüde etkilenir ve görev gecikmelerine neden olabilir.

        • primary_keys parametresinin değeri büyük/küçük harfe duyarlıdır.

        fetch_interval

        Int

        Hayır

        Veriler sürekli olarak çekilirken iki ardışık veri çekme isteği arasındaki aralık. Varsayılan değer: 2. Birim: saniye. Değer 1 saniye veya daha fazla olmalıdır.

        delete_data

        String

        Hayır

        Tablodan veri silme işlemi. Belirtilen koşulları karşılayan ve primary_keys değerini içeren veri kayıtları silinir. Daha fazla bilgi için bkz. Sorgu dizesi sözdizimi.

        base_retry_back_off

        Sayı

        Hayır

        Çekme işlemi başarısız olduktan sonra sistemin verileri yeniden çekmeyi deneme aralığı. Varsayılan değer: 1. Birim: saniye.

        max_retry_back_off

        Int

        Hayır

        Çekme işlemi başarısız olduktan sonra iki ardışık yeniden deneme arasındaki maksimum aralık. Varsayılan değer: 60. Birim: saniye. Varsayılan değeri kullanmanızı öneririz.

        ttl

        Int

        Hayır

        Sürekli veri çekme için aralığı belirlemek için kullanılan saniye sayısı. Veri çekme, günlük verileri oluşturulduğunda başlar ve günlük verilerinin oluşturulmasından ttl saniye sonra sona erer. Birim: saniye. Varsayılan değer: None. Bu değer, tüm günlük verilerinin çekildiğini gösterir.

        role_arn

        String

        Hayır

        Kullanılan RAM rolünün Alibaba Cloud Resource Name (ARN) değeri. RAM rolünün, verilerin çekildiği Logstore üzerinde okuma iznine sahip olması gerekir. RAM konsolunda, rolün ayrıntılar sayfasındaki Basic Information bölümünde bir RAM rolünün ARN değerini görüntüleyebilirsiniz. Örnek: acs:ram::137944:role/role-a. RAM rolünün ARN değerini alma hakkında daha fazla bilgi için bkz. RAM rolünü görüntüleme.

      • Yanıt

        Birden çok sütun içeren bir tablo döndürülür.

      • Hata işleme

        Veri çekme sırasında bir hata oluşursa hata rapor edilir ancak veri dönüştürme işlemi çalışmaya devam eder. Yeniden denemeler base_retry_back_off parametresinin değerine göre gerçekleştirilir. Örneğin, ilk yeniden deneme aralığı 1 saniyedir ve ilk yeniden deneme başarısız olur. İkinci yeniden deneme aralığı ilkinin iki katıdır. Aralık max_retry_back_off parametresinin değerine ulaşana kadar işlem devam eder. Hata devam ederse yeniden denemeler max_retry_back_off parametresinin değerine göre gerçekleştirilir. Bir yeniden deneme başarılı olursa yeniden deneme aralığı 1 saniye olan başlangıç değerine sıfırlanır.

      • Örnekler

        • Bu örnekte, test_project projesinin test_logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler yalnızca bir kez çekilir.

          res_log_logstore_pull(
              "cn-hangzhou.log.aliyuncs.com",
              "LT****Gw",
              "ab****uu",
              "test_project",
              "test_logstore",
              ["key1", "key2"],
              from_time="begin",
              to_time="end",
          )
        • Bu örnekte, test_project projesinin test_logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler sürekli olarak 30 saniyelik aralıklarla çekilir.

          res_log_logstore_pull(
              "cn-hangzhou.log.aliyuncs.com",
              "LT****Gw",
              "ab****uu",
              "test_project",
              "test_logstore",
              ["key1", "key2"],
              from_time="begin",
              to_time=None,
              fetch_interval=30,
          )
        • Bu örnekte, bir Logstore'dan veri çekilirken key1:value1 içeren veri kayıtlarını atlamak için bir engelleme listesi yapılandırılır.

          res_log_logstore_pull(
              "cn-hangzhou.log.aliyuncs.com",
              "LT****Gw",
              "ab****uu",
              "test_project",
              "test_logstore",
              ["key1", "key2"],
              from_time="begin",
              to_time=None,
              fetch_interval=30,
              fetch_exclude_data="key1:value1",
          )
        • Bu örnekte, bir Logstore'dan key1:value1 içeren veri kayıtlarını çekmek için bir izin listesi yapılandırılır.

          res_log_logstore_pull(
              "cn-hangzhou.log.aliyuncs.com",
              "LT****Gw",
              "ab****uu",
              "test_project",
              "test_logstore",
              ["key1", "key2"],
              from_time="begin",
              to_time=None,
              fetch_interval=30,
              fetch_include_data="key1:value1",
          )
        • Bu örnekte, test_project projesinin test_logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Veri çekme, günlük verileri oluşturulduğunda başlar ve günlük verilerinin oluşturulmasından 40.000.000 saniye sonra sona erer.

          res_log_logstore_pull(
              "cn-hangzhou.log.aliyuncs.com",
              "LTAI*****Cajvr",
              "qO0Tp*****jJ9",
              "test_project",
              "test_logstore",
              fields=["key1","key2"],
              ttl="40000000"
          )
        • Bu örnekte, project-test1 projesinin test-logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Yetkilendirme için Log Service hizmet bağlantılı rolü kullanılır. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler yalnızca bir kez çekilir.

          res_log_logstore_pull(
              "pub-cn-hangzhou-staging-intranet.log.aliyuncs.com",
              "",
              "",
              "project-test1",
              "test-logstore",
              ["key1", "key2"],
              from_time="2022-7-27 10:10:10 8:00",
              to_time="2022-7-27 14:30:10 8:00",
              role_arn="acs:ram::***:role/aliyunserviceroleforslsaudit",
          )
                                      
        • Bu örnekte, project-test1 projesinin test-logstore Logstore'undan key1 ve key2 alanlarının verileri çekilir. Yetkilendirme için varsayılan bir rol kullanılır. Veri çekme, günlük verileri Logstore'a yazıldığında başlar. Veri yazma işlemi tamamlandığında veri çekme sona erer. Veriler yalnızca bir kez çekilir.

          res_log_logstore_pull(
              "cn-chengdu.log.aliyuncs.com",
              "",
              "",
              "project-test1",
              "test-logstore",
               ["key1", "key2"],
              from_time="2022-7-21 10:10:10 8:00",
              to_time="2022-7-21 10:30:10 8:00",
              role_arn="acs:ram::***:role/aliyunlogetlrole",
          )
      • İlgili konular

        Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Bir Logstore'dan veri çekerek başka bir Logstore'daki günlük verilerini zenginleştirme.

      res_oss_file

      res_oss_file işlevi, belirtilen OSS paketindeki bir nesneden veri çeker. Veriler düzenli aralıklarla güncellenebilir.

      Not

      OSS paketiyle aynı bölgede bulunan bir Log Service projesi kullanmanızı öneririz. Bu şekilde, paketteki nesne verileri Alibaba Cloud'un dahili ağı üzerinden çekilebilir. Dahili ağ kararlı ve hızlıdır.

      • Sözdizimi

        res_oss_file(endpoint, ak_id, ak_key, bucket, file, format='text', change_detect_interval=0, base_retry_back_off=1, max_retry_back_off=60, encoding='utf8', error='ignore')
      • Parametreler

        Parametre

        Tür

        Gerekli

        Açıklama

        endpoint

        String

        Evet

        OSS paketinin uç noktası. Daha fazla bilgi için bkz. Bölgeler ve uç noktalar. Varsayılan olarak HTTPS uç noktası kullanılır. HTTP uç noktası da kullanabilirsiniz. Özel durumlarda 80 veya 443 numaralı bağlantı noktası dışında bir bağlantı noktası kullanmanız gerekebilir.

        ak_id

        String

        Evet

        Alibaba Cloud hesabınızın AccessKey ID'si. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.

        ak_key

        String

        Evet

        Alibaba Cloud hesabınızın AccessKey gizli anahtarı. Veri güvenliğini sağlamak için bu parametreyi Advanced Parameter Settings bölümünde yapılandırmanızı öneririz. Gelişmiş parametrelerin nasıl yapılandırılacağı hakkında daha fazla bilgi için bkz. Veri dönüştürme işi oluşturma.

        bucket

        String

        Evet

        Veri çekmek istediğiniz OSS paketinin adı.

        file

        String

        Evet

        Veri çekmek istediğiniz nesnenin yolu. Örnek: test/data.txt. Yolun başına eğik çizgi (/) girmeyin.

        format

        String

        Evet

        Çıktı dosyasının biçimi. Geçerli değerler:

        • Text: metin biçimi

        • Binary: bayt akışı biçimi

        change_detect_interval

        String

        Hayır

        Log Service'in OSS'ten nesne verilerini çekme aralığı. Birim: saniye. Sistem, veri çekilirken nesnenin güncellenip güncellenmediğini kontrol eder. Nesne güncellenirse artımlı veriler çekilir. Varsayılan değer: 0. Bu değer, artımlı verilerin çekilmediğini gösterir. İşlev çağrıldığında tüm veriler yalnızca bir kez çekilir.

        base_retry_back_off

        Sayı

        Hayır

        Çekme işlemi başarısız olduktan sonra sistemin verileri yeniden çekmeyi deneme aralığı. Varsayılan değer: 1. Birim: saniye.

        max_retry_back_off

        Int

        Hayır

        Çekme işlemi başarısız olduktan sonra iki ardışık yeniden deneme arasındaki maksimum aralık. Varsayılan değer: 60. Birim: saniye. Varsayılan değeri kullanmanızı öneririz.

        encoding

        String

        Hayır

        Kodlama biçimi. format parametresini Text olarak ayarlarsanız bu parametre otomatik olarak utf8 olarak ayarlanır.

        error

        String

        Hayır

        Hataları işleme yöntemi. Bu parametre yalnızca UnicodeError mesajı bildirildiğinde geçerlidir. Geçerli değerler:

        • ignore: Sistem geçersiz biçimdeki verileri atlar ve verileri kodlamaya devam eder.

        • xmlcharrefreplace: Sistem kodlanamayan karakterleri uygun XML karakter başvurularıyla değiştirir.

        Daha fazla bilgi için bkz. Error Handlers.

        decompress

        String

        Hayır

        Nesnenin sıkıştırmasının açılıp açılmayacağını belirtir. Geçerli değerler:

        • None: Nesnenin sıkıştırması açılmaz. Bu, varsayılan değerdir.

        • gzip: Nesnenin sıkıştırması gzip kullanılarak açılır.

      • Yanıt

        Nesne verileri bayt akışı veya metin biçiminde döndürülür.

      • Hata işleme

        Veri çekme sırasında bir hata oluşursa hata rapor edilir ancak veri dönüştürme işlemi çalışmaya devam eder. Yeniden denemeler base_retry_back_off parametresinin değerine göre gerçekleştirilir. Örneğin, ilk yeniden deneme aralığı 1 saniyedir ve ilk yeniden deneme başarısız olur. İkinci yeniden deneme aralığı ilkinin iki katıdır. Aralık max_retry_back_off parametresinin değerine ulaşana kadar işlem devam eder. Hata devam ederse yeniden denemeler max_retry_back_off parametresinin değerine göre gerçekleştirilir. Bir yeniden deneme başarılı olursa yeniden deneme aralığı 1 saniye olan başlangıç değerine sıfırlanır.

      • Örnekler

        • Örnek 1: OSS'ten JSON verisi çekme.

          • JSON verisi

            {
              "users": [
                {
                    "name": "user1",
                    "login_historys": [
                      {
                        "date": "2019-10-10 0:0:0",
                        "login_ip": "203.0.113.10"
                      },
                      {
                        "date": "2019-10-10 1:0:0",
                        "login_ip": "203.0.113.10"
                      }
                    ]
                },
                {
                    "name": "user2",
                    "login_historys": [
                      {
                        "date": "2019-10-11 0:0:0",
                        "login_ip": "203.0.113.20"
                      },
                      {
                        "date": "2019-10-11 1:0:0",
                        "login_ip": "203.0.113.30"
                      },
                      {
                        "date": "2019-10-11 1:1:0",
                        "login_ip": "203.0.113.50"
                      }
                    ]
                }
              ]
            }
          • Ham günlük

            content: 123
          • Dönüştürme kuralı

            e_set(
                "json_parse",
                json_parse(
                    res_oss_file(
                        endpoint="http://oss-cn-hangzhou.aliyuncs.com",
                        ak_id="LT****Gw",
                        ak_key="ab****uu",
                        bucket="log-etl-staging",
                        file="testjson.json",
                    )
                ),
            )
          • Sonuç

            content: 123
                prjson_parse: 
            '{
              "users": [
                {
                    "name": "user1",
                    "login_historys": [
                      {
                        "date": "2019-10-10 0:0:0",
                        "login_ip": "203.0.113.10"
                      },
                      {
                        "date": "2019-10-10 1:0:0",
                        "login_ip": "203.0.113.10"
                      }
                    ]
                },
                {
                    "name": "user2",
                    "login_historys": [
                      {
                        "date": "2019-10-11 0:0:0",
                        "login_ip": "203.0.113.20"
                      },
                      {
                        "date": "2019-10-11 1:0:0",
                        "login_ip": "203.0.113.30"
                      },
                      {
                        "date": "2019-10-11 1:1:0",
                        "login_ip": "203.0.113.50"
                      }
                    ]
                }
              ]
            }'
        • Örnek 2: OSS'ten metin içeriği çekme.

          • Metin içeriği

            Test bytes
          • Ham günlük

            content: 123
          • Dönüştürme kuralı

            e_set(
                "test_txt",
                res_oss_file(
                    endpoint="http://oss-cn-hangzhou.aliyuncs.com",
                    ak_id="LT****Gw",
                    ak_key="ab****uu",
                    bucket="log-etl-staging",
                    file="test.txt",
                ),
            )
          • Sonuç

            content: 123
            test_txt: Test bytes
        • Örnek 3: Sıkıştırılmış bir OSS nesnesinden veri çekme ve nesnenin sıkıştırmasını açma.

          • Sıkıştırılmış nesnenin içeriği

            Test bytes\nupdate\n123
          • Ham günlük

            content:123
          • Dönüştürme kuralı

            e_set(
                "text",
                res_oss_file(
                    endpoint="http://oss-cn-hangzhou.aliyuncs.com",
                    ak_id="LT****Gw",
                    ak_key="ab****uu",
                    bucket="log-etl-staging",
                    file="test.txt.gz",
                    format="binary",
                    change_detect_interval=30,
                    decompress="gzip",
                ),
            )
          • Sonuç

            content:123
            text: Test bytes\nupdate\n123
        • Örnek 4: ACL'si public-read-write olan bir OSS paketindeki bir nesneye erişme. AccessKey çiftleri kullanılmaz.

          • Sıkıştırılmış nesnenin içeriği

            Test bytes
          • Ham günlük

            content:123
          • Dönüştürme kuralı

            e_set(
                "test_txt",
                res_oss_file(
                    endpoint="http://oss-cn-hangzhou.aliyuncs.com",
                    bucket="log-etl-staging",
                    file="test.txt",
                ),
            )
          • Sonuç

            content: 123
            test_txt: Test bytes
      • İlgili konular

        Bu işlev diğer işlevlerle birlikte kullanılabilir. Daha fazla bilgi için bkz. Veri zenginleştirmek için OSS'ten CSV dosyası çekme.