Simple Log Service içindeki veri dönüşümü (yeni sürüm) özelliğini kullanarak web sitesi erişim günlüklerini filtreleyin, kişisel kullanıcı bilgilerini kaldırın ve sonuçları bir hedef LogStore'a yazın. Bu hızlı başlangıç kılavuzu, bir SPL kuralı yazmaktan oluşan işi gözlemlemeye kadar olan dönüşüm iş akışını adım adım açıklar.
Genel Bilgiler
Bir web sitesi tüm erişim günlüklerini website_log adlı bir LogStore'da saklar. Kullanıcı deneyimini iyileştirmek için web sitesinin erişim hatalarını analiz etmesi gerekir. Amaç, 4XX durum koduna sahip erişim günlüklerini filtrelemek, kişisel kullanıcı bilgilerini kaldırmak ve sonuçları iş analistleri için website_fail adlı yeni bir LogStore'a yazmaktır. Aşağıda örnek bir günlük girişi verilmiştir:
body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range
Ön Koşullar
(Gerekli)
web-projectadlı bir proje oluşturun. Daha fazla bilgi için bkz. Projeleri yönetme.(Gerekli)
web-projectprojesindewebsite_logadlı bir kaynak LogStore oluşturun. Daha fazla bilgi için bkz. LogStore'ları yönetme.(Gerekli) Web sitesi erişim günlüklerini kaynak LogStore'da (
website_log) toplayın. Daha fazla bilgi için bkz. Veri toplama genel bakış.(Gerekli)
web-projectprojesindewebsite_failadlı bir hedef LogStore oluşturun.(Koşullu) Bir Resource Access Management (RAM) kullanıcısı kullanıyorsanız, önce bu kullanıcıya veri dönüşümü izinlerini vermeniz gerekir. Daha fazla bilgi için bkz. RAM kullanıcısına veri dönüşümü işlemleri için yetki verme.
-
(İsteğe bağlı) Hem kaynak hem de hedef LogStore için dizinler yapılandırın. Daha fazla bilgi için bkz. Dizin oluşturma.
NotVeri dönüşümü işleri için dizinler gerekli değildir. Ancak dizinler yapılandırılmazsa sorgulama ve analiz yapamazsınız.
Adım 1: Veri dönüşüm işi oluşturma
Log on to the Simple Log Service console.
-
Veri dönüşümü sayfasına gidin.
In the Projects section, click the project you want.
On the tab, click the logstore you want.
Sorgulama ve analiz sayfasında Data Transformation öğesini tıklayın.
In the upper-right corner of the page, select a time range.
After selecting a time range, verify that logs appear on the Raw Logs tab.
-
Düzenleyiciye aşağıdaki dönüşüm SPL kuralını girin.
* | extend status=cast(status as BIGINT) | where status>=400 AND status<500 | project-away remote_addr, remote_userKural, aşağıdaki üç operatörü sırayla uygular:
extend status=cast(status as BIGINT)ifadesi,statusalanını BIGINT türüne dönüştürür.where status>=400 AND status<500ifadesi yalnızca durum kodu 4XX olan erişim günlüklerini tutar.project-away remote_addr, remote_userifadesi, kişisel kullanıcı bilgilerini içerenremote_addrveremote_useralanlarını kaldırır.
-
SPL kuralını hata ayıklama modunda test edin.
-
Raw Data sekmesinde test verilerini seçin veya manuel olarak girin.
[ { "body_bytes_sent": "1061", "http_user_agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5", "remote_addr": "192.0.2.2", "remote_user": "vd_yw", "request_method": "GET", "request_uri": "/request/path-1/file-5", "status": "400", "time_local": "10/Jun/2021:19:10:59", "error": "Invalid time range" } ] Çalıştırma simgesine (▷) tıklayarak hata ayıklamayı çalıştırın.
Önizleme sonuçlarını görüntüleyin. Çalıştırma tamamlandıktan sonra sonuçları görmek için Transformation Results sekmesine geçin. Dönüştürülen günlük,
body_bytes_sent,error,http_user_agent,request_method,request_uri,statusvetime_localgibi birden çok alana ayrılır.remote_addrveremote_useralanlarının artık mevcut olmadığını ve yalnızca 4XX durum koduna sahip erişim günlüklerinin kaldığını doğrulayın.
-
Create a data transformation job.
Click Save as Transformation Job (New Version).
Create Data Transformation Job (New Version) panelinde aşağıdaki parametreleri yapılandırın ve OK düğmesini tıklayın.
Parametre
Açıklama
Task Name
Veri dönüşüm işinin adı.
Display Name
İşin görünen adı.
Job Description
İşin açıklaması.
Authorization Method
İşe kaynak logstore'u okuma erişimi vermek için aşağıdaki yöntemlerden birini kullanın:
Default Role: İş, kaynak logstore'dan veri okumak için AliyunLogETLRole sistem rolünü üstlenir. Authorize the system role AliyunLogETLRole seçeneğini tıklayın ve istemlere göre yetkilendirmeyi tamamlayın. Daha fazla bilgi için bkz. Varsayılan rol kullanarak verilere erişim.
ÖnemliBir RAM kullanıcısı kullanıyorsanız, yetkilendirmeyi önce bir Alibaba Cloud hesabının tamamlaması gerekir.
Alibaba Cloud hesabınız zaten yetkilendirilmişse bu adımı atlayabilirsiniz.
Custom Role: İş, kaynak logstore'dan veri okumak için özel bir rol üstlenir. Önce özel role kaynak logstore'dan veri okuma izni vermeniz, ardından rolün ARN bilgisini Role ARN alanına girmeniz gerekir. Daha fazla bilgi için bkz. Özel rol kullanarak verilere erişim.
AccessKey: Güvenlik nedenleriyle, artık iş oluşturmak için bir AccessKey çifti (AK/SK) kullanamazsınız.
Storage Destination
Destination Name
Depolama hedefi adı. Project ve logstore gibi yapılandırmaları içerir.
Destination Region
Hedef Project'in bulunduğu bölge.
Destination Project
Dönüşüm sonuçları için hedef Project. SPL ifadenizde belirtilen bir Project bu ayarı geçersiz kılar. Dinamik hedef Project/logstore çıktısı.
ÖnemliSPL ifadesinde dinamik olarak belirttiğiniz Project, burada yapılandırdığınız bölge ve yetkilendirme ile eşleşmelidir.
Target Store
Dönüşüm sonuçları için hedef logstore. SPL ifadenizde belirtilen bir logstore bu ayarı geçersiz kılar. Dinamik hedef Project/logstore çıktısı.
ÖnemliSPL ifadesinde dinamik olarak belirttiğiniz logstore, burada yapılandırdığınız bölge, yetkilendirme ve Project ile eşleşmelidir. Hedef logstore, kaynak logstore ile aynı olamaz.
UyarıHedef store'u mevcut kaynak store olarak yapılandırmayın (aynı kaynak yapılandırması). Aksi takdirde, günlükler döngüsel olarak yazılabilir ve bu durum ek depolama ve trafik maliyetlerine yol açar. Oluşan kaynak tüketimi ve maliyetlerden siz sorumlusunuz.
Authorization Method
İşe hedef logstore'a yazma erişimi vermek için aşağıdaki yöntemlerden birini kullanın:
Default Role: İş, sonuçları hedef logstore'a yazmak için AliyunLogETLRole sistem rolünü üstlenir. Authorize the system role AliyunLogETLRole seçeneğini tıklayın ve istemlere göre yetkilendirmeyi tamamlayın. Daha fazla bilgi için bkz. Varsayılan rol kullanarak verilere erişim.
ÖnemliBir RAM kullanıcısı kullanıyorsanız, yetkilendirmeyi önce bir Alibaba Cloud hesabının tamamlaması gerekir.
Alibaba Cloud hesabınız zaten yetkilendirilmişse bu adımı atlayabilirsiniz.
Custom Role: İş, sonuçları hedef logstore'a yazmak için özel bir rol üstlenir. Önce özel role hedef logstore'a veri yazma izni vermeniz, ardından rolün ARN bilgisini Role ARN alanına girmeniz gerekir. Daha fazla bilgi için bkz. Özel rol kullanarak verilere erişim.
AccessKey: Güvenlik nedenleriyle, artık iş oluşturmak için bir AccessKey çifti (AK/SK) kullanamazsınız.
Write to Result Set
Hedef logstore'a yazılacak veri kümesi. Birden çok veri kümesi tek bir hedefe yönlendirilebilir ve birden çok hedef aynı veri kümesini paylaşabilir. Veri kümesi açıklaması.
İşleme kapsamı
Time Range
(Veri Alınma Zamanı)
İşin zaman aralığı:
All: İlk günlük girişinden itibaren manuel olarak durdurulana kadar tüm verileri işler.
From Specific Time: Belirtilen başlangıç zamanından itibaren manuel olarak durdurulana kadar verileri işler.
Specific Time Range: Belirtilen zaman penceresi içindeki verileri işler ve bitiş zamanında otomatik olarak durur.
Advanced Options
Advanced Parameter Settings
Hassas bilgileri (veritabanı parolaları gibi) anahtar-değer çiftleri olarak saklayın ve bunlara ifadenizde
res_local("key")şeklinde başvurun.Birden çok anahtar-değer çifti eklemek için + düğmesini tıklayın. Örneğin,
config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yjifadesi, RDS örneğinin bulunduğu VPC'nin ID'sini belirtir.
Adım 2: Veri dönüşüm işini gözlemleme
Sol gezinme bölmesinde seçeneklerini belirleyin.
Veri dönüşümü işleri listesinde yönetmek istediğiniz veri dönüşüm işini bulun ve tıklayın.
Data Transformation Overview (New Version) sayfasında iş ayrıntılarını ve durumunu görüntüleyin. Ayrıca işin çalışma durumunu ve ölçümlerini izleyebilirsiniz. Daha fazla bilgi için bkz. Veri dönüşümü işlerini gözlemleme ve izleme (yeni sürüm). İşi değiştirmek, başlatmak, durdurmak veya silmek için bkz. Veri dönüşümü işlerini yönetme (yeni sürüm).
Dönüşüm sonuçlarının hedef LogStore'a yazıldığını doğrulayın. Sorgulama ve analiz yapmak için hedef LogStore'a (
website_fail) gidin. Daha fazla bilgi için bkz. Sorgulama ve analiz için hızlı kılavuz.