Verileriniz hem bir Simple Log Service logstore'unda hem de bir ApsaraDB RDS for MySQL veritabanında depolandığında, Simple Log Service'in veri dönüştürme özelliğini kullanarak veritabanına dahili uç noktası üzerinden erişebilir ve verileri zenginleştirebilirsiniz.
Çalışma prensibi
Aşağıdaki şekil, Simple Log Service'teki veri dönüştürmenin veri zenginleştirme amacıyla bir ApsaraDB RDS for MySQL veritabanına nasıl eriştiğini gösterir.
Çözüm özeti
Bu çözüm üç adımdan oluşur:
Veri dönüştürme işi için gelişmiş parametre ayarlarını alın: Önce ApsaraDB RDS konsoluna giriş yaparak ApsaraDB RDS for MySQL örnek bilgilerini edinin. Ardından OpenAPI Explorer'ı kullanarak bir API işlemi çağırın ve gelişmiş parametre ayarlarını elde edin.
Kaynak logstore'da bir veri dönüştürme işi başlatın: Verileri zenginleştirmek için bir veri dönüştürme kuralı yapılandırın.
Dönüştürme sonuçlarını hedef logstore'a kaydedin: Zenginleştirilmiş verileri bir hedef logstore'da saklayın.
Ön koşullar
Kaynak logstore ham günlük verileri içermelidir.
ApsaraDB RDS for MySQL örneği ile Simple Log Service projesi aynı bölgede bulunmalıdır.
Adım 1: Gelişmiş parametre ayarlarını alma
-
ApsaraDB RDS konsoluna giriş yapın.
-
Bir izin listesi yapılandırın. Daha fazla bilgi için bkz. İzin listesi yapılandırma.
Sol gezinme bölmesinde, seçeneğine tıklayın, grup için bir ad girin ve IP adresi izin listesini
100.104.0.0/16olarak ayarlayın.
Sol gezinme bölmesinde, Instances öğesine tıklayın. Hedef örneği bulun ve kimliğine tıklayın.
-
Örnek kimliğini ve dahili bağlantı noktasını alın.
Sol gezinme bölmesinde, Basic Information seçeneğine tıklayın. Basic Information sayfasında, Instance ID değerini bulun ve kopyalayın.
Sol gezinme bölmesinde, Database Connection seçeneğine tıklayın. Database Connection sayfasında, Internal Port: değerini bulun ve kopyalayın.
-
Hedef örneğin
VpcIdveVpcCloudInstanceIddeğerlerini edinin.OpenAPI Explorer sayfasını açın. sayfasında, DBInstanceId Instance ID metin kutusunu bulun ve kopyaladığınız hedef örnek kimliğini girin. API işlemi hakkında daha fazla bilgi için bkz. Örnek ayrıntılarını sorgulama.
-
Operations seçeneğine tıklayın ve Invocation Result sayfasında
VpcIdileVpcCloudInstanceIddeğerlerini kopyalayın."VSwitchId": "xxx", "TipsLevel": 0, "PayType": "Postpaid", "LockMode": "Unlock", "DeletionProtection": false, "DBInstanceStorageType": "general_essd", "InsId": 1, "VpcId": "xxx", "ConnectionMode": "Standard", "VpcCloudInstanceId": "xxx", "RegionId": "cn-hangzhou", "ConnectionString": "xxx", "ExpireTime": ""
Adım 2: Bir veri dönüştürme işi başlatma
-
Simple Log Service konsoluna giriş yapın.
-
Veri dönüştürme sayfasına gidin.
Projects bölümünde, hedef projeye tıklayın.
sekmesinde, hedef logstore'a tıklayın.
Sorgu ve analiz sayfasında, Data Transformation seçeneğine tıklayın.
Veri dönüştürme sayfasında, Switch to Data Transformation (Old Version) seçeneğine tıklayın.
-
Gelişmiş parametre ayarlarını ekleyin.
Sayfanın sağ üst köşesinde, Advanced seçeneğini belirleyin ve Preview Data seçeneğine tıklayın.
-
Add Preview Settings panelinde, Advanced Options seçeneğine tıklayın ve aşağıdaki parametreleri ekleyin.
ÖnemliTablodaki tüm yapılandırma parametrelerinde,
your_namedeğeri özelleştirilebilir ancak tutarlı olmalı ve ayrıca işleme kuralları içindekiyour_namedeğeriyle eşleşmelidir.Parametre
Değer
Açıklama
config.vpc.vpc_id.your_name
vpc-uf6mskb0b****n9yj
Hedef örneğin VPC kimliği.
Talimatlar için bkz. Hedef örneğin VpcId değerini alma.
config.vpc.instance_id.your_name
rm-uf6e61k****ahd7-2024091513
Hedef örneğin kimliği.
Talimatlar için bkz. Hedef örneğin VpcCloudInstanceId değerini alma.
Aynı Alibaba Cloud bölgesindeki kendi yönetiminizdeki bir MySQL veritabanı için, veritabanının VPC içindeki IP adresini belirtmek üzere
config.vpc.instance_ip.your_nameparametresini kullanın.config.vpc.instance_port.your_name
3306
Hedef örneğin dahili bağlantı noktası.
Talimatlar için bkz. Hedef örneğin dahili bağlantı noktasını alma.
Ayarları onayladıktan sonra, OK seçeneğine tıklayın.
-
Dönüştürme kuralını düzenleyin.
-
Düzenleyiciye aşağıdaki ifadeleri ekleyin.
Aşağıdaki kod bir sözdizimi örneği sunar. Veri zenginleştirme işlevleri ve kaynak işlevleri hakkında daha fazla bilgi için bkz. ApsaraDB RDS for MySQL veritabanındaki verileri kullanarak verileri zenginleştirme ve Kaynak işlevleri.
/* e_table_map() Data enrichment function. res_rds_mysql() Pull function. Pulls table content or SQL execution results from an ApsaraDB RDS for MySQL database. str_format() String formatting function. The `your_name` in `res_local()` must match the `your_name` in the advanced parameter settings. field Matching field. The field used as the basis for matching log data in the logstore with data in the ApsaraDB RDS for MySQL table. A match is successful only when the value of this field is identical in both sources. output_fields Output fields. If a match is successful, the values of these fields are returned to generate a new log entry. */ e_table_map( res_rds_mysql( str_format("{}:{}", res_local("config.vpc.instance_id.your_name"), res_local("config.vpc.instance_port.your_name")), "database_username", "database_password", "database_name", table="table_name" ), "field", "output_fields" )Dönüştürme ifadesi aşağıdaki gibidir:
Aşağıdaki kural, bir Simple Log Service logstore'undaki
process_time_in_msalanını bir RDS MySQL veritabanı tablosundakiprocess_time_in_msalanıyla eşleştirir.process_time_in_msalanının değerleri yalnızca aynı olduğunda eşleştirme başarılı olur. Başarılı bir eşleştirmeden sonra, kural RDS MySQL veritabanı tablosundanmodelvepurchase_pricealanlarını ve bunların değerlerini alır ve bunları logstore'daki verilerle birleştirerek yeni veriler oluşturur.e_table_map( res_rds_mysql( str_format("{}:{}", res_local("config.vpc.instance_id.test"), res_local("config.vpc.instance_port.test")), "xxx", "xxx","xxx xxx", "database", table="bicycles", primary_keys="process_time_in_ms"), "process_time_in_ms", ["model","purchase_price"] )
-
-
Transformation Results değerlerini görüntüleyin.
Ana tabloda, günlükler
__default__çıkış hedefine yönlendirilir veremote_addrilerequest_methodgibi orijinal anahtar-değer alanlarını korur. Bu, dönüştürme kuralının bu günlüklerle eşleşmediği ve bunların orijinal halleriyle varsayılan hedefe gönderildiği anlamına gelir.Başarıyla eşleştirilen bir günlük kaydı,
model(XTC 800),purchase_price(3000.00) veprocess_time_in_ms(788) gibi temel alanları içerir. Tam günlük girişi aşağıdaki gibidir:__source__ :127.0.0.1 __tag__:__receive_time__ :1725962982 __tag__:_container_ip_ :183.227.33.184 __tag__:_container_name_ :container3 __tag__:_image_name_ :image3 __tag__:_path_ :/home/local __topic__ :tomcat_access_log body_bytes_sent :6344 model :XTC 800 process_time_in_ms :788 purchase_price :3000.00 referer :www.phn.mock.com remote_addr :202.92.0.182 remote_user :v-0 request_method :GET request_protocol :HTTP/2.0 request_uri :/request/path-3/file-1 status :200 time :10/Sep/2024:09:09:35 user_agent :Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.24 (KHTML, like Gecko) Chrome/11.0.696.3 Safari/534.24Sağ üst köşede, verileri işlemek için Preview Data seçeneğine tıklayın.
Adım 3: Dönüştürme sonuçlarını kaydetme
-
Sağ alt köşede, Save as Transformation Job (Old Version) seçeneğine tıklayın.
Create Data Transformation Job iletişim kutusunda, önce bir Job Name (
etl-önekiyle), bir Display Name ve bir Job Description girin. Authorization Method için Default Role seçeneğini belirleyin. Ardından, Storage Target bölümünde Target Name, Target Region, Target Project ve Target Logstore değerlerini yapılandırın ve yetkilendirme için Default Role seçeneğini belirleyin. Son olarak, Processing Scope (Data Reception Time) bölümünde All, From a Specific Time veya Specific Time Range gibi bir zaman aralığı seçin. -
Sol gezinme bölmesinde, Logstores altında, dönüştürme sonuçlarının kaydedildiği hedef logstore'a tıklayın. Sayfanın sağ üst köşesinde veriler için bir zaman aralığı seçin.
Bir zaman aralığı seçtikten sonra, dönüştürme sonuçlarının kaydedildiğini doğrulamak için Raw Logs sekmesini kontrol edin.
İşlenen günlükler artık yeni model (XTC 800) ve purchase_price (3000.00) alanlarını içerir. Bu, dönüştürme sonuçlarının hedef logstore'a yazıldığını doğrular.
Ek: AnalyticDB ve PolarDB for MySQL'e erişim
ApsaraDB RDS for MySQL'e ek olarak, Simple Log Service dahili uç noktaları aracılığıyla AnalyticDB for MySQL ve PolarDB for MySQL veritabanlarına erişimi de destekler. Gerekli yapılandırmalar aşağıda açıklanmıştır:
-
AnalyticDB for MySQL veritabanı
Advanced Parameter Settings değerlerini yapılandırırken, config.vpc.instance_id.your_name değerini AnalyticDB for MySQL örnek kimliğinizin ardından -controller eklenmiş şekilde ayarlayın. Diğer ayarlar için bu belgeye bakın.
Ayrıca
config.vpc.vpc_id.your_namedeğerini ilgili VPC kimliğine veconfig.vpc.instance_port.your_namedeğerini3306olarak ayarlamanız gerekir. PolarDB for MySQL için, ApsaraDB RDS for MySQL ile aynı yapılandırmayı kullanın.