CDN：Kirim Log Real-Time CDN Alibaba Cloud ke SLS untuk Analisis

Ikhtisar

Fitur pengiriman log real-time adalah layanan pemrosesan data log yang dikembangkan bersama oleh Alibaba Cloud CDN dan SLS. Dengan latensi rendah (biasanya dalam 3 menit), Anda dapat menggunakan fitur ini untuk mendorong log akses dari titik kehadiran (POPs) di seluruh dunia ke SLS. Anda kemudian dapat menggunakan SLS untuk menyimpan dan menganalisis data akses pengguna. Permintaan yang melewati Alibaba Cloud CDN dicatat, dan banyak data disediakan untuk analisis. Anda dapat menganalisis log ini untuk mendapatkan wawasan tentang komposisi pengguna dan kecepatan akses, serta untuk menemukan dan memecahkan masalah pengiriman konten.

Prasyarat

• Alibaba Cloud CDN telah diaktifkan dan nama domain telah ditambahkan untuk akselerasi. Untuk informasi lebih lanjut, lihat Aktifkan Alibaba Cloud CDN.

• SLS telah diaktifkan. Untuk informasi lebih lanjut, lihat Memulai cepat: Gunakan Logtail untuk mengumpulkan dan menganalisis log teks ECS.

• Pengiriman log real-time telah dikonfigurasi untuk nama domain yang dipercepat yang ingin Anda analisis datanya. Untuk informasi lebih lanjut, lihat Pengiriman log real-time.

Perbedaan antara pengiriman log real-time dan fitur log offline

• Latensi log

  Fitur pengiriman log real-time mengumpulkan data log secara real-time, dan log dihasilkan dalam waktu 3 menit setelah suatu peristiwa terjadi. Data log offline dihasilkan dalam waktu 24 jam.

• Analisis log

  Fitur pengiriman log real-time mengintegrasikan kemampuan penyimpanan log dan analisis log dari SLS. Fitur ini menyediakan empat template laporan analisis yang telah ditentukan sebelumnya: data dasar, analisis kesalahan, sumber daya yang sering diminta, dan analisis pengguna. Fitur ini juga mendukung kebijakan analisis log kustom. Sebagai perbandingan, fitur log offline hanya memungkinkan Anda mengirim log ke Object Storage Service (OSS), dan tidak mengintegrasikan kemampuan analisis log.

Manfaat

• Latensi rendah

  Data log dihasilkan dalam waktu 3 menit setelah suatu peristiwa terjadi. Ini memungkinkan Anda menganalisis log akses, mengidentifikasi masalah, dan menyelesaikannya segera.

• End-to-end

  Dengan solusi analisis log offline tradisional, sebelum menganalisis data, Anda pertama-tama perlu mengunduh log, mengunggahnya ke gudang data, lalu membersihkan data, dan mendefinisikan model data. Hal ini meningkatkan biaya tenaga kerja dan waktu yang dibutuhkan untuk analisis. Fitur pengiriman log real-time mengintegrasikan kemampuan penyimpanan log dan analisis log dari SLS untuk menyederhanakan analisis log offline.

Skenario

Anda dapat menggunakan pengiriman log real-time untuk memecahkan masalah yang mungkin terjadi saat Anda menggunakan Alibaba Cloud CDN untuk mempercepat pengiriman konten Anda. Anda juga dapat menggunakan data log yang dikumpulkan untuk menganalisis statistik akses pengguna. Fitur pengiriman log real-time dari Alibaba Cloud CDN menyediakan laporan analisis log yang telah ditentukan sebelumnya dan mendukung kebijakan analisis log kustom untuk memenuhi berbagai kebutuhan.

Laporan analisis log yang telah ditentukan sebelumnya

Di halaman Log Real-Time, temukan proyek yang ingin Anda analisis lognya, dan klik View Report.

Di halaman template kueri data, data semua nama domain dikueri secara default. Anda juga dapat mengkueri data nama domain atau URI tertentu.

Untuk informasi lebih lanjut, lihat bagian-bagian berikut:

• Laporan yang telah ditentukan sebelumnya: Data dasar

• Laporan yang telah ditentukan sebelumnya: Kesalahan akses

• Laporan yang telah ditentukan sebelumnya: Sumber daya yang sering diminta

• Laporan yang telah ditentukan sebelumnya: Komposisi pengguna

• Berlangganan data template laporan

Analisis log kustom

Jika laporan analisis log yang telah ditentukan sebelumnya tidak dapat memenuhi kebutuhan Anda, Anda dapat menggunakan fitur analisis log SLS untuk mengimplementasikan analisis log kustom.

Sebagai contoh, Anda dapat melihat peringkat nama domain dalam permintaan yang kode status HTTP-nya adalah 499 atau 502.

Di halaman Log Real-Time, temukan proyek yang ingin Anda analisis lognya, dan klik Log analysis.

Di halaman analisis log kustom, Anda dapat memasukkan pernyataan kueri di kotak pencarian untuk mengkueri data log menggunakan kondisi kueri kompleks, atau klik field log di tab Raw Logs untuk menyaring log menggunakan kondisi filter sederhana.

Untuk informasi lebih lanjut, lihat Laporan Kustom.

Buat proyek pengiriman log real-time

Anda dapat membuat proyek Layanan Log untuk menyimpan log real-time dari nama domain yang dipercepat, seperti aliyun.example.com. Untuk informasi lebih lanjut, lihat Pengiriman log real-time.

Gambar berikut menunjukkan proyek yang telah dibuat, di mana nama proyek adalah project-example, nama Logstore adalah project-example, dan wilayah penyimpanan log adalah Tiongkok (Hangzhou) dengan ID cn-hangzhou.

Laporan yang telah ditentukan sebelumnya: Data dasar

Laporan ini memberikan informasi tentang kinerja keseluruhan Alibaba Cloud CDN dan efisiensi akses pengguna, seperti rasio hit, latensi akses, dan kecepatan unduh. Laporan ini juga memungkinkan Anda dengan cepat mengidentifikasi dan menangani masalah kualitas layanan.

Laporan ini mencakup data berikut. Anda dapat melihat semua data, atau menyaring data berdasarkan nama domain atau URI.

• Kesehatan: proporsi permintaan dengan kode status HTTP normal

• Rasio hit cache: rasio hit cache rata-rata berdasarkan jumlah byte

• Kecepatan unduh: kecepatan unduh rata-rata sumber daya

• Status akses: persentase kode status HTTP, termasuk kode status HTTP abnormal

• Distribusi latensi akses: proporsi setiap segmen latensi

• Bandwidth: data bandwidth yang dikumpulkan setiap menit

• PV/UV: page views dan unique visitors

• Rasio hit permintaan: rasio hit berdasarkan jumlah permintaan

• Latensi akses: latensi rata-rata untuk unduhan sumber daya

Laporan yang telah ditentukan sebelumnya: Kesalahan akses

Laporan ini membantu Anda dengan cepat menemukan masalah ketika terjadi pengecualian akses aplikasi, seperti masalah URI, kegagalan server asal, POP yang tidak tersedia, masalah jaringan regional, dan masalah jaringan ISP.

Laporan ini mencakup data berikut. Anda dapat melihat semua data, atau menyaring data berdasarkan nama domain atau URI.

• 10 nama domain dengan kesalahan akses terbanyak: 10 nama domain dengan kesalahan akses terbanyak

• 10 URI dengan kesalahan akses terbanyak: 10 URI dengan kesalahan akses terbanyak

• Persentase kesalahan permintaan: persentase kode status HTTP 4xx atau 5xx berdasarkan waktu

• Distribusi permintaan kesalahan: jumlah dan proporsi setiap kode status HTTP

• Kesalahan berdasarkan ISP: jumlah kode status HTTP 4xx dan 5xx berdasarkan ISP

• Kesalahan berdasarkan provinsi: jumlah kode status HTTP 4xx dan 5xx berdasarkan provinsi

• Detail kesalahan (4xx): jumlah dan proporsi kode status HTTP 4xx berdasarkan provinsi dan ISP

• Detail kesalahan (5xx): jumlah dan proporsi kode status HTTP 5xx berdasarkan provinsi dan ISP

• Distribusi kesalahan berdasarkan klien: jumlah dan proporsi kode status HTTP 4xx atau 5xx yang sesuai dengan informasi User-Agent tentang setiap klien

Laporan yang telah ditentukan sebelumnya: Sumber daya yang sering diminta

Laporan ini memberikan informasi tentang sumber daya yang sering diminta dan membantu Anda mendapatkan wawasan tentang nama domain dan URI populer, memberi tahu Anda di mana pelanggan Anda berkonsentrasi, beserta ISP mereka. Data ini juga berguna dalam membantu Anda memahami bisnis Anda dengan lebih baik, seperti apakah aktivitas operasional menarik volume trafik yang diharapkan, dan apakah trafik selama jam sibuk lebih tinggi atau lebih rendah dari yang diharapkan. Informasi ini dapat membantu Anda membuat penyesuaian pada operasi keseluruhan bisnis Anda.

Laporan ini mencakup data berikut. Anda dapat melihat semua data, atau menyaring data berdasarkan nama domain atau URI.

• Nama domain teratas berdasarkan kunjungan: nama domain teratas berdasarkan proporsi total kunjungan

• Nama domain teratas berdasarkan trafik unduhan: nama domain teratas berdasarkan persentase total trafik unduhan

• URI yang sering diminta: jumlah kunjungan, pengunjung unik, dan unduhan untuk setiap URI

• Sumber akses populer: nama domain sumber Referer populer, jumlah kunjungan dan pengunjung unik, dan persentase

• Kunjungan di seluruh daratan Tiongkok: jumlah rata-rata kunjungan berdasarkan provinsi

• Kecepatan unduh di seluruh daratan Tiongkok: kecepatan unduh rata-rata berdasarkan provinsi

• Statistik berdasarkan provinsi: jumlah total kunjungan, total trafik unduhan, dan kecepatan unduh rata-rata berdasarkan provinsi

• Trafik dan kecepatan unduh berdasarkan ISP: total trafik unduhan dan kecepatan unduh rata-rata berdasarkan ISP

• Statistik berdasarkan ISP: jumlah total kunjungan, total trafik unduhan, dan kecepatan unduh rata-rata untuk setiap ISP

Laporan yang telah ditentukan sebelumnya: Komposisi pengguna

Laporan ini memberikan informasi tentang komposisi pengguna situs web Anda, termasuk klien atau perangkat, lokasi umum, dan ISP pengguna. Anda dapat menganalisis pengguna teratas dengan kunjungan atau unduhan terbanyak.

Laporan ini mencakup data berikut. Anda dapat melihat semua data, atau menyaring data berdasarkan nama domain atau URI.

• PV: page views

• UV: unique visitors

• Distribusi wilayah sumber: jumlah dan proporsi kunjungan untuk setiap provinsi

• Kunjungan berdasarkan klien: jumlah dan proporsi kunjungan berdasarkan jenis klien

• Kunjungan berdasarkan ISP: jumlah dan proporsi kunjungan berdasarkan ISP

• Pengguna teratas dengan unduhan terbanyak: jumlah total kunjungan, jumlah kunjungan kesalahan, dan total unduhan berdasarkan alamat IP

• Pengguna teratas dengan kunjungan valid terbanyak: jumlah total kunjungan, jumlah kunjungan kesalahan, dan unduhan berdasarkan alamat IP, tidak termasuk kunjungan tidak valid dengan kode status HTTP seperti 4xx dan 5xx

Berlangganan data template laporan

Jika Anda ingin Layanan Log secara berkala mengirimkan data dari template laporan kepada Anda, Anda dapat menggunakan fitur langganan.

Prosedur

1. Data dasar digunakan sebagai contoh. Klik Subscribe di sudut kanan atas halaman, lalu klik Create.

2. Di kotak dialog yang muncul, konfigurasikan Subscription Name, Frequency, dan Global Time, lalu klik Next.

3. Pilih metode notifikasi dari daftar drop-down Notification, tentukan informasi terkait, dan klik Submit.

   Metode notifikasi termasuk Email, WebHook-DingTalk Bot, WebHook-Feishu Chat Bot, Webhook-WeCom Bot, dan WeChat.

   

Laporan Kustom

• Contoh 1: Lihat peringkat nama domain dengan kode status HTTP 499 terbanyak dalam 30 hari terakhir.

  Pernyataan analisis log: return_code = 499| select domain , count(*) as c group by domain order by c desc limit 10

  

• Contoh 2: Lihat peringkat nama domain dengan kode status HTTP 502 terbanyak dalam 30 hari terakhir.

  Pernyataan analisis log: return_code = 502| select domain , count(*) as c group by domain order by c desc limit 10

  

• Contoh 3: Lihat data log di mana URI adalah /cpu dalam 30 hari terakhir.

  Anda dapat langsung mengklik field uri di tab Raw Logs di sebelah kiri dan klik /cpu untuk menyaring log yang diperlukan.