Virtual Private Cloud:Log aliran VPC

Konsol

API

Sebelum membuat log aliran, pastikan Anda telah mengaktifkan fitur log aliran dan membuat Project serta Logstore di Simple Log Service (SLS):

• Panggil OpenFlowLogService untuk mengaktifkan fitur log aliran.

• Panggil CreateProject untuk membuat Project, dan panggil CreateLogstore untuk membuat Logstore.

Setelah memenuhi prasyarat ini, Anda dapat melakukan operasi berikut:

• Panggil CreateFlowLog untuk membuat log aliran. Anda juga dapat memanggil CreateIndex untuk membuat indeks.

• Panggil DeactiveFlowLog untuk menghentikan log aliran.

• Panggil ActiveFlowLog untuk memulai log aliran.

• Panggil DeleteFlowLog untuk menghapus log aliran.

Terraform

Resource: alicloud_log_project, alicloud_log_store, alicloud_vpc_flow_log

# Tentukan wilayah tempat Anda ingin membuat log aliran.
provider "alicloud" {
  region = "cn-hangzhou"
}

# Tentukan deskripsi untuk Project, dan nama untuk Logstore dan log aliran.
variable "name" {
  default = "vpc-flowlog-example"
}

# Hasilkan string acak untuk nama project.
resource "random_uuid" "example" {
}

# Buat Project Simple Log Service (SLS).
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# Buat Logstore Simple Log Service (SLS).
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# Buat log aliran VPC.
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # Tangkap trafik dari semua skenario.
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # Jenis resource adalah VPC.
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # ID VPC.
  aggregation_interval = "1" # Jendela tangkapan adalah 1 menit.
  traffic_type         = "All" # Tangkap semua trafik, terlepas dari apakah diizinkan atau ditolak oleh aturan kontrol akses.
}

Konsol

API

Panggil GetLogsV2 untuk mengkueri dan menganalisis log aliran.

Analisis IP sumber internet

Asumsikan Anda memiliki server web yang mendengarkan pada port 80 dan dapat diakses dari internet. Akses ke server dibatasi oleh security group berdasarkan alamat IP sumber.

Dalam kasus ini, Anda dapat membuat log aliran untuk mengkueri alamat IP sumber yang mengakses port 80 dan menghitung permintaan yang diizinkan atau ditolak oleh security group.

1. Buat log aliran

   • Untuk Resource Instance, pilih ENI server web.

   • Untuk Data Transfer Type, pilih All Traffic.

   • Untuk Konfigurasi Pengiriman, pilih Deliver to Log Service dan Enable Log Analysis Report.

   • Pertahankan pengaturan default untuk opsi lainnya.

2. Analisis log aliran

   1. Pernyataan kueri

      Jalankan kueri berikut untuk memfilter alamat IP sumber yang mengakses port 80 dari 10.0.0.1. Kueri ini juga menunjukkan jumlah kali security group mengizinkan atau menolak setiap alamat IP:

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- Filter log dengan alamat IP tujuan 10.0.0.1 dan port tujuan 80.
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- Hitung 1 untuk setiap aksi ACCEPT (diizinkan).
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- Hitung 1 untuk setiap aksi REJECT (ditolak).
      FROM log
      GROUP BY srcaddr -- Kelompokkan berdasarkan alamat IP sumber.
      ORDER BY accept_count + reject_count DESC -- Urutkan hasil secara menurun berdasarkan total permintaan yang diizinkan dan ditolak.

   2. Pratinjau

      Kolom srcaddr menampilkan IP sumber yang mengakses port 80, dan kolom accept_count serta reject_count masing-masing menghitung jumlah entri log aliran dari setiap IP sumber yang diizinkan dan ditolak oleh security group dalam rentang waktu kueri:

      • Lima alamat IP sumber mengakses port 80: 120.26.XX.XX, 121.43.XX.XX, 154.212.XX.XX, 176.65.XX.XX, dan 198.235.XX.XX.

      • Semua permintaan dari 120.26.XX.XX diizinkan, sedangkan semua permintaan dari alamat IP publik lainnya ditolak.

Analisis trafik ECS

(srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 )  | select -- Filter trafik antara ECS1 dan instance ECS lainnya.
date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
concat(srcaddr,'->', dstaddr) as src_to_dst, -- Gabungkan alamat IP sumber dan tujuan menjadi pasangan sesi dengan format 'ip_sumber->ip_tujuan'. 
sum(bytes*8/60) as bandwidth -- Konversi byte ke bit dan bagi dengan jendela tangkapan 1 menit untuk mendapatkan laju dalam bit/detik. 
group by time,srcaddr,dstaddr -- Kelompokkan berdasarkan waktu, IP sumber, dan IP tujuan.
order by time asc  -- Urutkan berdasarkan waktu secara menaik.
limit 100 -- Tampilkan 100 hasil pertama.

(srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*)  | select -- Filter sesi antara dua VPC.
date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
concat(srcaddr,'->', dstaddr) as src_to_dst, -- Gabungkan alamat IP sumber dan tujuan menjadi pasangan sesi dengan format 'ip_sumber->ip_tujuan'. 
sum(bytes*8/60) as bandwidth -- Konversi byte ke bit dan bagi dengan jendela tangkapan 1 menit untuk mendapatkan laju dalam bit/detik. 
group by time,srcaddr,dstaddr -- Kelompokkan berdasarkan waktu, IP sumber, dan IP tujuan.
order by time asc  -- Urutkan berdasarkan waktu secara menaik.
limit 100 -- Tampilkan 100 hasil pertama.

Analisis trafik gateway NAT

Asumsikan Anda memiliki beberapa instance ECS di suatu wilayah. Semua instance dideploy dalam vSwitch yang sama dan mengakses internet menggunakan SNAT pada Internet NAT Gateway.

Baru-baru ini Anda melihat peningkatan mendadak pada lalu lintas keluar dari gateway NAT, yang menyebabkan respons server menjadi lambat. Gunakan log aliran untuk mengidentifikasi instance ECS yang menghasilkan proporsi trafik tinggi.

1. Buat log aliran

   • Untuk Resource Instance, pilih vSwitch2 tempat Internet NAT Gateway berada.

   • Untuk Konfigurasi Pengiriman, pilih Deliver to Log Service dan Enable Log Analysis Report.

   • Pertahankan pengaturan default untuk opsi lainnya.

2. Metode untuk memfilter jalur trafik tertentu

   Untuk memfilter trafik pada jalur tertentu dalam skenario ini, Anda menentukan kondisi berbeda dalam pernyataan kueri:

   Diagram	No.	Metode filter
   	①	Filter trafik dari ECS ke gateway NAT: direction adalah in, dan srcaddr adalah alamat IP pribadi ECS.
   	②	Untuk memfilter trafik dari gateway NAT ke jaringan publik: direction adalah out, dan srcaddr adalah alamat IP pribadi gateway NAT.
   	③	Filter trafik dari internet ke gateway NAT: direction adalah in, dan dstaddr adalah alamat IP pribadi gateway NAT.
   	④	Filter trafik dari gateway NAT ke instance ECS: direction adalah out, dan dstaddr adalah alamat IP pribadi instance ECS.

3. Analisis log aliran

   1. Pernyataan kueri

      Pada jalur dari instance ECS ke gateway NAT, analisis trafik ke alamat IP publik tertentu:

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- Filter log instance ECS yang mengakses alamat IP publik tertentu.
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
      sum(bytes*8/60) as bandwidth  -- Konversi byte ke bit dan bagi dengan jendela tangkapan 1 menit untuk mendapatkan laju dalam bit/detik.
      group by time,srcaddr -- Kelompokkan berdasarkan waktu dan alamat IP sumber.
      order by time asc  -- Urutkan berdasarkan waktu secara menaik.
      limit 100 -- Tampilkan 100 hasil pertama.

      Kueri umum lainnya

      • Pada jalur dari gateway NAT ke instance ECS, filter lalu lintas masuk dari alamat IP publik tertentu ke semua instance ECS:

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- Filter log instance ECS yang mengakses alamat IP publik tertentu.
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- Konversi byte ke bit dan bagi dengan jendela tangkapan 1 menit untuk mendapatkan laju dalam bit/detik.
        group by time,dstaddr -- Kelompokkan berdasarkan waktu dan alamat IP tujuan.
        order by time asc  -- Urutkan berdasarkan waktu secara menaik.
        limit 100 -- Tampilkan 100 hasil pertama.

      • Pada jalur dari instance ECS ke gateway NAT, filter lalu lintas keluar dari instance ECS ke semua alamat IP publik:

        direction: 'in' and srcaddr: 10.0.0.*  | select -- Filter log instance ECS yang mengakses semua alamat IP publik.
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
        concat(srcaddr,'->', dstaddr), -- Gabungkan alamat IP sumber dan tujuan menjadi pasangan sesi dengan format 'ip_sumber->ip_tujuan'.
        sum(bytes*8/60) as bandwidth  -- Konversi byte ke bit dan bagi dengan jendela tangkapan 1 menit untuk mendapatkan laju dalam bit/detik.
        group by time,srcaddr,dstaddr -- Kelompokkan berdasarkan waktu, IP sumber, dan IP tujuan.
        order by time asc  -- Urutkan berdasarkan waktu secara menaik.
        limit 100 -- Tampilkan 100 hasil pertama.

   2. Pratinjau

      Cara memvisualisasikan hasil kueri mirip dengan Skenario 2: pilih jenis grafik area, dan atur kolom agregasi ke srcaddr.

      Pada jalur ke gateway NAT, trafik dari 10.0.0.1 (ECS1) ke alamat IP publik 120.26.XX.XX adalah yang tertinggi, sekitar 12 Kbps.

Analisis rasio trafik Express Connect

Sebuah perusahaan menggunakan dua VPC di wilayah Alibaba Cloud untuk men-deploy layanan berbeda dan menghubungkan pusat data on-premises-nya ke Alibaba Cloud menggunakan sirkuit Express Connect dan CEN.

Departemen TI berencana menggunakan log aliran untuk memantau dan menganalisis bagaimana trafik dari aplikasi bisnis berbeda di VPC menggunakan sirkuit express connect. Analisis ini membantu perencanaan resource jaringan dan peningkatan kinerja.

1. Buat log aliran

   Buat dua log aliran dan kirimkan log ke Logstore yang sama. Pengaturan utama untuk setiap log aliran adalah sebagai berikut:

   • Untuk Resource Instance, pilih VPC VPC1 dan VPC2.

   • Untuk Sampling Path, pilih Transit Router.

   • Atur Konfigurasi Pengiriman ke Deliver to Log Service, pilih Logstore yang sama untuk kedua log aliran, dan Enable Log Analysis Report.

   • Pertahankan pengaturan default untuk opsi lainnya.

2. Analisis log aliran

   1. Pernyataan kueri

      Untuk menganalisis rasio trafik dari VPC berbeda ke pusat data on-premises, jalankan kueri berikut:

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      Berikut penjelasan pernyataan SQL.

      • Kondisi filter:

        • srcaddr: 192.168.*, memfilter log yang alamat sumbernya dimulai dengan 192.168.*.

        • dstaddr: 10.1.*, memfilter log yang alamat tujuannya dimulai dengan 10.1.*.

        • action: ACCEPT. Memfilter log yang nilai field action-nya adalah ACCEPT.

      • Kueri utama

        • Gunakan FULL OUTER JOIN untuk menggabungkan tabel vpc1_traffic dan vpc2_traffic berdasarkan field minute.

        • Menghitung persentase trafik untuk setiap VPC per menit:

          • vpc1_percentage menentukan persentase total trafik yang diarahkan ke VPC1.

          • vpc2_percentage menunjukkan persentase trafik VPC2 dalam total trafik.

        • Hasil kueri diurutkan berdasarkan minute secara menaik.

      • Subkueri WITH:

        Pernyataan SQL mencakup dua subkueri, vpc1_traffic dan vpc2_traffic. Deskripsi berikut menggunakan subkueri vpc1_traffic sebagai contoh:

        • Gunakan fungsi date_trunc untuk mengurangi presisi stempel waktu Unix (field __time__) ke menit, dan beri nama minute.

        • Gunakan fungsi SUM untuk menghitung laju trafik total dalam bit/detik untuk menit tertentu, dan beri nama total_vpc1_traffic.

        • Memfilter catatan trafik dengan alamat sumber dalam blok CIDR 192.168.20.*, yang termasuk dalam VPC1.

        • Mengelompokkan hasil berdasarkan menit.

   2. Pratinjau

      Konfigurasi visualisasi untuk hasil kueri mirip dengan Skenario 2. Pilih jenis Grafik Area untuk menunjukkan tren proporsi trafik untuk VPC berbeda dari waktu ke waktu.

      Hasil menunjukkan bahwa selama periode 14:50 hingga 15:50, proporsi trafik dari VPC1 ke pusat data on-premises lebih tinggi.