Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:ApsaraDB RDS for MySQL verilerinden veri zenginleştirme

Son Güncelleme:Sep 30, 2026

Verileriniz hem bir Simple Log Service logstore'unda hem de bir ApsaraDB RDS for MySQL veritabanında depolandığında, Simple Log Service'in veri dönüştürme özelliğini kullanarak veritabanına dahili uç noktası üzerinden erişebilir ve verileri zenginleştirebilirsiniz.

Çalışma prensibi

Aşağıdaki şekil, Simple Log Service'teki veri dönüştürmenin veri zenginleştirme amacıyla bir ApsaraDB RDS for MySQL veritabanına nasıl eriştiğini gösterir.

image

Çözüm özeti

Bu çözüm üç adımdan oluşur:

  1. Veri dönüştürme işi için gelişmiş parametre ayarlarını alın: Önce ApsaraDB RDS konsoluna giriş yaparak ApsaraDB RDS for MySQL örnek bilgilerini edinin. Ardından OpenAPI Explorer'ı kullanarak bir API işlemi çağırın ve gelişmiş parametre ayarlarını elde edin.

  2. Kaynak logstore'da bir veri dönüştürme işi başlatın: Verileri zenginleştirmek için bir veri dönüştürme kuralı yapılandırın.

  3. Dönüştürme sonuçlarını hedef logstore'a kaydedin: Zenginleştirilmiş verileri bir hedef logstore'da saklayın.

Ön koşullar

  • Kaynak logstore ham günlük verileri içermelidir.

  • ApsaraDB RDS for MySQL örneği ile Simple Log Service projesi aynı bölgede bulunmalıdır.

Adım 1: Gelişmiş parametre ayarlarını alma

  1. ApsaraDB RDS konsoluna giriş yapın.

  2. Bir izin listesi yapılandırın. Daha fazla bilgi için bkz. İzin listesi yapılandırma.

    1. Sol gezinme bölmesinde, Whitelist and SecGroup > Create Whitelist seçeneğine tıklayın, grup için bir ad girin ve IP adresi izin listesini 100.104.0.0/16 olarak ayarlayın.

    Sol gezinme bölmesinde, Instances öğesine tıklayın. Hedef örneği bulun ve kimliğine tıklayın.

  3. Örnek kimliğini ve dahili bağlantı noktasını alın.

    1. Sol gezinme bölmesinde, Basic Information seçeneğine tıklayın. Basic Information sayfasında, Instance ID değerini bulun ve kopyalayın.

    2. Sol gezinme bölmesinde, Database Connection seçeneğine tıklayın. Database Connection sayfasında, Internal Port: değerini bulun ve kopyalayın.

  4. Hedef örneğin VpcId ve VpcCloudInstanceId değerlerini edinin.

    1. OpenAPI Explorer sayfasını açın. Parameters > Input Parameters sayfasında, DBInstanceId Instance ID metin kutusunu bulun ve kopyaladığınız hedef örnek kimliğini girin. API işlemi hakkında daha fazla bilgi için bkz. Örnek ayrıntılarını sorgulama.

    2. Operations seçeneğine tıklayın ve Invocation Result sayfasında VpcId ile VpcCloudInstanceId değerlerini kopyalayın.

      "VSwitchId": "xxx",
      "TipsLevel": 0,
      "PayType": "Postpaid",
      "LockMode": "Unlock",
      "DeletionProtection": false,
      "DBInstanceStorageType": "general_essd",
      "InsId": 1,
      "VpcId": "xxx",
      "ConnectionMode": "Standard",
      "VpcCloudInstanceId": "xxx",
      "RegionId": "cn-hangzhou",
      "ConnectionString": "xxx",
      "ExpireTime": ""

Adım 2: Bir veri dönüştürme işi başlatma

  1. Simple Log Service konsoluna giriş yapın.

  2. Veri dönüştürme sayfasına gidin.

    1. Projects bölümünde, hedef projeye tıklayın.

    2. Log Storage > Logstores sekmesinde, hedef logstore'a tıklayın.

    3. Sorgu ve analiz sayfasında, Data Transformation seçeneğine tıklayın.

    4. Veri dönüştürme sayfasında, Switch to Data Transformation (Old Version) seçeneğine tıklayın.

  3. Gelişmiş parametre ayarlarını ekleyin.

    1. Sayfanın sağ üst köşesinde, Advanced seçeneğini belirleyin ve Preview Data seçeneğine tıklayın.

    2. Add Preview Settings panelinde, Advanced Options seçeneğine tıklayın ve aşağıdaki parametreleri ekleyin.

      Önemli

      Tablodaki tüm yapılandırma parametrelerinde, your_name değeri özelleştirilebilir ancak tutarlı olmalı ve ayrıca işleme kuralları içindeki your_name değeriyle eşleşmelidir.

      Parametre

      Değer

      Açıklama

      config.vpc.vpc_id.your_name

      vpc-uf6mskb0b****n9yj

      Hedef örneğin VPC kimliği.

      Talimatlar için bkz. Hedef örneğin VpcId değerini alma.

      config.vpc.instance_id.your_name

      rm-uf6e61k****ahd7-2024091513

      Hedef örneğin kimliği.

      Talimatlar için bkz. Hedef örneğin VpcCloudInstanceId değerini alma.

      Aynı Alibaba Cloud bölgesindeki kendi yönetiminizdeki bir MySQL veritabanı için, veritabanının VPC içindeki IP adresini belirtmek üzere config.vpc.instance_ip.your_name parametresini kullanın.

      config.vpc.instance_port.your_name

      3306

      Hedef örneğin dahili bağlantı noktası.

      Talimatlar için bkz. Hedef örneğin dahili bağlantı noktasını alma.

    3. Ayarları onayladıktan sonra, OK seçeneğine tıklayın.

  4. Dönüştürme kuralını düzenleyin.

    1. Düzenleyiciye aşağıdaki ifadeleri ekleyin.

      Aşağıdaki kod bir sözdizimi örneği sunar. Veri zenginleştirme işlevleri ve kaynak işlevleri hakkında daha fazla bilgi için bkz. ApsaraDB RDS for MySQL veritabanındaki verileri kullanarak verileri zenginleştirme ve Kaynak işlevleri.

      /*
      e_table_map()     Data enrichment function.
      res_rds_mysql()   Pull function. Pulls table content or SQL execution results from an ApsaraDB RDS for MySQL database.
      str_format()      String formatting function. The `your_name` in `res_local()` must match the `your_name` in the advanced parameter settings.
      field             Matching field. The field used as the basis for matching log data in the logstore with data in the ApsaraDB RDS for MySQL table. A match is successful only when the value of this field is identical in both sources.
      output_fields     Output fields. If a match is successful, the values of these fields are returned to generate a new log entry.
      */
      e_table_map(
          res_rds_mysql(
              str_format("{}:{}", 
                         res_local("config.vpc.instance_id.your_name"), 
                         res_local("config.vpc.instance_port.your_name")), 
              "database_username", 
              "database_password", 
              "database_name",
              table="table_name"
          ), 
          "field", 
          "output_fields"
      )

      Dönüştürme ifadesi aşağıdaki gibidir:

      Aşağıdaki kural, bir Simple Log Service logstore'undaki process_time_in_ms alanını bir RDS MySQL veritabanı tablosundaki process_time_in_ms alanıyla eşleştirir. process_time_in_ms alanının değerleri yalnızca aynı olduğunda eşleştirme başarılı olur. Başarılı bir eşleştirmeden sonra, kural RDS MySQL veritabanı tablosundan model ve purchase_price alanlarını ve bunların değerlerini alır ve bunları logstore'daki verilerle birleştirerek yeni veriler oluşturur.

      e_table_map(
        res_rds_mysql(
          str_format("{}:{}",
              res_local("config.vpc.instance_id.test"),
              res_local("config.vpc.instance_port.test")),
          "xxx",
          "xxx","xxx xxx",
          "database",
          table="bicycles",
          primary_keys="process_time_in_ms"),
        "process_time_in_ms",
        ["model","purchase_price"]
      )
  5. Transformation Results değerlerini görüntüleyin.

    Ana tabloda, günlükler __default__ çıkış hedefine yönlendirilir ve remote_addr ile request_method gibi orijinal anahtar-değer alanlarını korur. Bu, dönüştürme kuralının bu günlüklerle eşleşmediği ve bunların orijinal halleriyle varsayılan hedefe gönderildiği anlamına gelir.

    Başarıyla eşleştirilen bir günlük kaydı, model (XTC 800), purchase_price (3000.00) ve process_time_in_ms (788) gibi temel alanları içerir. Tam günlük girişi aşağıdaki gibidir:

    __source__ :127.0.0.1
    __tag__:__receive_time__ :1725962982
    __tag__:_container_ip_ :183.227.33.184
    __tag__:_container_name_ :container3
    __tag__:_image_name_ :image3
    __tag__:_path_ :/home/local
    __topic__ :tomcat_access_log
    body_bytes_sent :6344
    model :XTC 800
    process_time_in_ms :788
    purchase_price :3000.00
    referer :www.phn.mock.com
    remote_addr :202.92.0.182
    remote_user :v-0
    request_method :GET
    request_protocol :HTTP/2.0
    request_uri :/request/path-3/file-1
    status :200
    time :10/Sep/2024:09:09:35
    user_agent :Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.24 (KHTML, like Gecko) Chrome/11.0.696.3 Safari/534.24

    Sağ üst köşede, verileri işlemek için Preview Data seçeneğine tıklayın.

Adım 3: Dönüştürme sonuçlarını kaydetme

  1. Sağ alt köşede, Save as Transformation Job (Old Version) seçeneğine tıklayın.

    Create Data Transformation Job iletişim kutusunda, önce bir Job Name (etl- önekiyle), bir Display Name ve bir Job Description girin. Authorization Method için Default Role seçeneğini belirleyin. Ardından, Storage Target bölümünde Target Name, Target Region, Target Project ve Target Logstore değerlerini yapılandırın ve yetkilendirme için Default Role seçeneğini belirleyin. Son olarak, Processing Scope (Data Reception Time) bölümünde All, From a Specific Time veya Specific Time Range gibi bir zaman aralığı seçin.

  2. Sol gezinme bölmesinde, Logstores altında, dönüştürme sonuçlarının kaydedildiği hedef logstore'a tıklayın. Sayfanın sağ üst köşesinde veriler için bir zaman aralığı seçin.

    Bir zaman aralığı seçtikten sonra, dönüştürme sonuçlarının kaydedildiğini doğrulamak için Raw Logs sekmesini kontrol edin.

    İşlenen günlükler artık yeni model (XTC 800) ve purchase_price (3000.00) alanlarını içerir. Bu, dönüştürme sonuçlarının hedef logstore'a yazıldığını doğrular.

Ek: AnalyticDB ve PolarDB for MySQL'e erişim

ApsaraDB RDS for MySQL'e ek olarak, Simple Log Service dahili uç noktaları aracılığıyla AnalyticDB for MySQL ve PolarDB for MySQL veritabanlarına erişimi de destekler. Gerekli yapılandırmalar aşağıda açıklanmıştır:

  • AnalyticDB for MySQL veritabanı

    Advanced Parameter Settings değerlerini yapılandırırken, config.vpc.instance_id.your_name değerini AnalyticDB for MySQL örnek kimliğinizin ardından -controller eklenmiş şekilde ayarlayın. Diğer ayarlar için bu belgeye bakın.

    Ayrıca config.vpc.vpc_id.your_name değerini ilgili VPC kimliğine ve config.vpc.instance_port.your_name değerini 3306 olarak ayarlamanız gerekir.

  • PolarDB for MySQL için, ApsaraDB RDS for MySQL ile aynı yapılandırmayı kullanın.