Virtual Private Cloud:VPC flow log

Konsol

API

Sebelum membuat flow log, pastikan Anda telah mengaktifkan fitur flow log dan membuat proyek serta Logstore di Log Service (SLS):

• Panggil OpenFlowLogService untuk mengaktifkan fitur flow log.

• Panggil CreateProject untuk membuat proyek, dan panggil CreateLogStore untuk membuat Logstore.

Setelah memenuhi prasyarat tersebut, Anda dapat melakukan operasi berikut:

• Panggil CreateFlowLog untuk membuat flow log, dan opsional panggil CreateIndex untuk membuat indeks.

• Panggil ModifyFlowLogAttribute untuk memodifikasi atribut flow log. Anda dapat memodifikasi nama flow log, deskripsi, interval agregasi, dan langganan kustom.

• Panggil DeactiveFlowLog untuk menghentikan flow log.

• Panggil ActiveFlowLog untuk memulai flow log.

• Panggil DeleteFlowLog untuk menghapus flow log.

Terraform

Resource: alicloud_log_project, alicloud_log_store, alicloud_vpc_flow_log

# Tentukan wilayah tempat Anda ingin membuat flow log.
provider "alicloud" {
  region = "cn-hangzhou"
}

# Tentukan deskripsi proyek dan nama Logstore serta flow log.
variable "name" {
  default = "vpc-flowlog-example"
}

# Hasilkan string acak untuk digunakan dalam nama proyek.
resource "random_uuid" "example" {
}

# Buat proyek Log Service.
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# Buat Logstore Log Service.
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# Buat flow log VPC.
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # Tangkap lalu lintas dari semua skenario.
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # Jenis resource.
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # ID VPC.
  aggregation_interval = "1" # Interval agregasi dalam menit.
  traffic_type         = "All" # Tangkap semua lalu lintas yang diizinkan dan ditolak.
}

Konsol

API

Panggil GetLogsV2 untuk mengkueri dan menganalisis flow log.

IP sumber untuk akses publik

Dalam skenario ini, Anda memiliki server web yang dapat diakses dari Internet dan mendengarkan di port 80. Anda juga telah mengonfigurasi aturan security group untuk mengontrol akses dari IP sumber tertentu.

Dengan membuat flow log, Anda dapat mengidentifikasi IP sumber yang mengakses port 80 dan menentukan berapa banyak permintaan mereka yang diizinkan atau ditolak oleh aturan security group Anda.

1. Buat log aliran

   • Untuk Resource Instance, pilih ENI server web.

   • Untuk Data Transfer Type, pilih All Traffic.

   • Untuk pengaturan pengiriman, pilih Deliver to Log Service dan aktifkan Enable Log Analysis Report.

   • Pertahankan nilai default untuk pengaturan lainnya.

2. Menganalisis log aliran

   1. Pernyataan kueri dan analisis

      Filter lalu lintas ke port 80 pada server di 10.0.0.1, dan tampilkan jumlah kali setiap IP sumber diizinkan atau ditolak oleh security group:

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- Filter log dengan IP tujuan 10.0.0.1 dan port tujuan 80
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- Hitung 1 untuk setiap aksi 'ACCEPT' (diizinkan)
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- Hitung 1 untuk setiap aksi 'REJECT' (ditolak)
      FROM log
      GROUP BY srcaddr -- Kelompokkan hasil berdasarkan alamat IP sumber
      ORDER BY accept_count + reject_count DESC -- Urutkan hasil secara menurun berdasarkan total koneksi yang diizinkan dan ditolak

   2. Pratinjau hasil

      Kolom srcaddr mencantumkan IP sumber yang mengakses port 80. Kolom accept_count dan reject_count menunjukkan berapa kali security group mengizinkan atau menolak koneksi dari setiap IP sumber selama rentang waktu tertentu:

      • Lima IP sumber mengakses port 80: 120.26.XX.XX, 121.43.XX.XX, 154.212.XX.XX, 176.65.XX.XX, dan 198.235.XX.XX.

      • Semua permintaan dari 120.26.XX.XX diizinkan, sedangkan semua permintaan dari alamat IP publik lainnya ditolak.

Lalu lintas antar instance ECS

(srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 )  | select -- Filter tren lalu lintas antara ECS1 dan instance ECS lainnya
date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Konversi timestamp Unix ke format waktu yang dapat dibaca
concat(srcaddr,'->', dstaddr) as src_to_dst, -- Buat pasangan sesi dalam format 'ip_sumber->ip_tujuan'
sum(bytes*8/60) as bandwidth -- Hitung bandwidth dalam bit/s dengan mengonversi byte ke bit dan membagi dengan jendela tangkapan 60 detik
group by time,srcaddr,dstaddr -- Kelompokkan hasil berdasarkan waktu, IP sumber, dan IP tujuan
order by time asc  -- Urutkan berdasarkan waktu secara menaik
limit 100 -- Kembalikan 100 hasil pertama

(srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*)  | select -- Filter sesi antara dua VPC
date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Konversi timestamp Unix ke format waktu yang dapat dibaca
concat(srcaddr,'->', dstaddr) as src_to_dst, -- Buat pasangan sesi dalam format 'ip_sumber->ip_tujuan'
sum(bytes*8/60) as bandwidth -- Hitung bandwidth dalam bit/s dengan mengonversi byte ke bit dan membagi dengan jendela tangkapan 60 detik
group by time,srcaddr,dstaddr -- Kelompokkan hasil berdasarkan waktu, IP sumber, dan IP tujuan
order by time asc  -- Urutkan berdasarkan waktu secara menaik
limit 100 -- Kembalikan 100 hasil pertama

Lalu lintas Internet NAT Gateway

Dalam skenario ini, Anda memiliki beberapa instance ECS yang dideploy di wilayah dan vSwitch yang sama. Instance-instance ini menggunakan fitur SNAT dari Internet NAT Gateway untuk mengakses Internet.

Anda melihat lonjakan lalu lintas baru-baru ini dari Internet NAT Gateway ke Internet, yang menyebabkan respons server lambat. Anda dapat menggunakan flow log untuk mengidentifikasi instance ECS yang bertanggung jawab atas sebagian besar lalu lintas ini.

1. Buat flow log

   • Untuk Resource Instance, pilih vSwitch 2, vSwitch tempat Internet NAT Gateway berada.

   • Untuk pengaturan pengiriman, pilih Deliver to Log Service dan aktifkan Enable Log Analysis Report.

   • Pertahankan nilai default untuk pengaturan lainnya.

2. Filter jalur lalu lintas tertentu

   Untuk memfilter lalu lintas pada jalur tertentu dalam skenario ini, Anda harus menentukan kondisi berbeda dalam pernyataan kueri Anda:

   Diagram	Nomor	Metode filter
   	①	Filter lalu lintas dari instance ECS ke gateway NAT: direction adalah in, dan srcaddr adalah alamat IP pribadi instance ECS.
   	②	Filter lalu lintas dari gateway NAT ke Internet: direction adalah out, dan srcaddr adalah alamat IP pribadi gateway NAT.
   	③	Filter lalu lintas dari Internet ke gateway NAT: direction adalah in, dan dstaddr adalah alamat IP pribadi gateway NAT.
   	④	Filter lalu lintas dari gateway NAT ke instance ECS: direction adalah out, dan dstaddr adalah alamat IP pribadi instance ECS.

3. Analisis flow log

   1. Pernyataan kueri dan analisis

      Pada jalur dari instance ECS ke gateway NAT, analisis lalu lintas ke alamat IP publik tertentu:

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- Filter log instance ECS yang mengakses alamat IP publik tertentu
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- Konversi timestamp Unix ke format waktu yang dapat dibaca
      sum(bytes*8/60) as bandwidth  -- Hitung bandwidth dalam bit/s dengan mengonversi byte ke bit dan membagi dengan jendela tangkapan 60 detik
      group by time,srcaddr -- Kelompokkan hasil berdasarkan waktu dan IP sumber
      order by time asc  -- Urutkan berdasarkan waktu secara menaik
      limit 100 -- Kembalikan 100 hasil pertama

      Kueri umum lainnya

      • Pada jalur dari gateway NAT ke instance ECS, filter lalu lintas inbound dari alamat IP publik tertentu ke semua instance ECS:

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- Filter log instance ECS yang mengakses alamat IP publik tertentu
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- Konversi timestamp Unix ke format waktu yang dapat dibaca
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- Hitung bandwidth dalam bit/s dengan mengonversi byte ke bit dan membagi dengan jendela tangkapan 60 detik
        group by time,dstaddr -- Kelompokkan hasil berdasarkan waktu dan IP tujuan
        order by time asc  -- Urutkan berdasarkan waktu secara menaik
        limit 100 -- Kembalikan 100 hasil pertama

      • Pada jalur dari instance ECS ke gateway NAT, filter lalu lintas outbound dari instance ECS ke semua alamat IP publik:

        direction: 'in' and srcaddr: 10.0.0.*  | select -- Filter log instance ECS yang mengakses semua alamat IP publik
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- Konversi timestamp Unix ke format waktu yang dapat dibaca
        concat(srcaddr,'->', dstaddr), -- Buat pasangan sesi dalam format 'ip_sumber->ip_tujuan'
        sum(bytes*8/60) as bandwidth  -- Hitung bandwidth dalam bit/s dengan mengonversi byte ke bit dan membagi dengan jendela tangkapan 60 detik
        group by time,srcaddr,dstaddr -- Kelompokkan hasil berdasarkan waktu, IP sumber, dan IP tujuan
        order by time asc  -- Urutkan berdasarkan waktu secara menaik
        limit 100 -- Kembalikan 100 hasil pertama

   2. Pratinjau hasil

      Konfigurasi visualisasi mirip dengan skenario lalu lintas ECS. Pilih jenis Area Chart dan atur kolom agregasi ke srcaddr.

      Pada jalur dari instance ECS ke gateway NAT, laju lalu lintas dari 10.0.0.1 (ECS1) ke alamat IP publik 120.26.XX.XX adalah yang tertinggi, sekitar 12 Kbps.

Distribusi lalu lintas Express Connect

Dalam skenario ini, sebuah perusahaan menggunakan dua VPC di wilayah Alibaba Cloud untuk men-deploy layanan berbeda. Perusahaan menghubungkan pusat data lokalnya ke Alibaba Cloud menggunakan sirkuit Express Connect dan CEN.

Departemen TI ingin menggunakan flow log untuk memantau dan menganalisis bagaimana lalu lintas dari layanan berbeda dalam VPC menggunakan sumber daya sirkuit Express Connect. Analisis ini membantu perencanaan sumber daya jaringan dan peningkatan kinerja.

1. Buat flow log

   Buat dua flow log yang mengirimkan data ke Logstore yang sama. Konfigurasikan parameter utama untuk setiap flow log sebagai berikut:

   • Untuk Resource Instance, pilih VPC lalu pilih VPC1 dan VPC2 masing-masing.

   • Untuk Sampling Path, pilih Transit Router.

   • Untuk pengaturan pengiriman, pilih Deliver to Log Service, pilih Logstore yang sama untuk kedua flow log, dan aktifkan Enable Log Analysis Report.

   • Pertahankan nilai default untuk pengaturan lainnya.

2. Analisis flow log

   1. Pernyataan kueri dan analisis

      Analisis persentase lalu lintas dari setiap VPC ke pusat data lokal:

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      Berikut penjelasan detail pernyataan SQL.

      • Kondisi filter:

        • srcaddr: 192.168.* memfilter log dengan alamat sumber yang dimulai dengan 192.168..

        • dstaddr: 10.1.* memfilter log dengan alamat tujuan yang dimulai dengan 10.1..

        • action: ACCEPT. Memfilter log dengan field action bernilai ACCEPT.

      • Kueri utama

        • Menggunakan FULL OUTER JOIN untuk menggabungkan hasil dari vpc1_traffic dan vpc2_traffic berdasarkan field minute.

        • Menghitung persentase lalu lintas dari setiap VPC setiap menit:

          • vpc1_percentage merepresentasikan persentase total lalu lintas yang berasal dari VPC1.

          • vpc2_percentage merepresentasikan persentase total lalu lintas yang berasal dari VPC2.

        • Hasil kueri diurutkan secara menaik berdasarkan minute.

      • Dengan subkueri:

        Pernyataan SQL berisi dua subkueri, vpc1_traffic dan vpc2_traffic. Berikut penjelasan subkueri vpc1_traffic:

        • Fungsi date_trunc memotong timestamp Unix (field __time__) ke menit terdekat, dengan alias minute.

        • Fungsi SUM menghitung total laju lalu lintas dalam bit/s setiap menit, dengan alias total_vpc1_traffic.

        • Memfilter catatan lalu lintas dengan alamat sumber dalam blok CIDR 192.168.20.* (VPC1).

        • Mengelompokkan hasil berdasarkan menit.

   2. Pratinjau hasil

      Konfigurasi visualisasi mirip dengan skenario lalu lintas ECS. Pilih jenis Area Chart untuk menampilkan tren persentase lalu lintas dari VPC berbeda seiring waktu.

      Selama periode 14:50 hingga 15:50, VPC1 menghasilkan persentase lalu lintas yang lebih tinggi ke pusat data lokal.