Virtual Private Cloud：Log aliran

Konsol

API

Sebelum membuat log aliran, pastikan Anda telah mengaktifkan fitur log aliran dan membuat proyek serta Logstore di SLS:

• Panggil OpenFlowLogService untuk mengaktifkan fitur log aliran.

• Panggil CreateProject untuk membuat proyek, dan panggil CreateLogStore untuk membuat Logstore.

Setelah memenuhi prasyarat ini, Anda dapat melakukan operasi berikut:

• Panggil CreateFlowLog untuk membuat log aliran, dan opsional panggil CreateIndex untuk membuat indeks.

• Panggil DeactiveFlowLog untuk menghentikan log aliran.

• Panggil ActiveFlowLog untuk memulai log aliran.

• Panggil DeleteFlowLog untuk menghapus log aliran.

Terraform

Resources: alicloud_log_project, alicloud_log_store, alicloud_vpc_flow_log

# Tentukan wilayah tempat Anda ingin membuat log aliran.
provider "alicloud" {
  region = "cn-hangzhou"
}

# Tentukan deskripsi proyek, serta nama Logstore dan log aliran.
variable "name" {
  default = "vpc-flowlog-example"
}

# Hasilkan bilangan acak untuk membuat nama proyek.
resource "random_uuid" "example" {
}

# Buat proyek Simple Log Service.
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# Buat Logstore Simple Log Service.
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# Buat log aliran VPC.
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # Kumpulkan trafik dari semua skenario.
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # Tipe resource adalah VPC.
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # ID VPC.
  aggregation_interval = "1" # Jendela pengambilan sampel adalah 1 menit.
  traffic_type         = "All" # Kumpulkan semua trafik, terlepas dari apakah diizinkan atau ditolak oleh kontrol akses.
}

Konsol

API

Panggil GetLogsV2 untuk mengkueri dan menganalisis log aliran.

IP sumber

Seperti yang ditunjukkan pada gambar, asumsikan Anda telah membuat server web yang dapat diakses dari Internet melalui port 80 dan telah menggunakan aturan security group untuk membatasi akses dari IP sumber.

Anda dapat membuat log aliran untuk mengkueri IP sumber yang mengakses port 80 dan menghitung permintaan akses yang diizinkan atau ditolak oleh security group.

1. Create a flow log

   • Untuk Resource Instance, pilih ENI server web.

   • Atur Data Transfer Type ke All Traffic.

   • Untuk konfigurasi pengiriman, pilih Deliver to Log Service dan Enable Log Analysis Report.

   • Pertahankan nilai default untuk parameter lainnya.

2. Analyze the flow logs

   1. Query and analysis statement

      Filter IP sumber yang mengakses port 80 dari 10.0.0.1, dan tampilkan jumlah kali setiap IP diizinkan dan ditolak oleh security group:

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- Filter log dengan alamat IP tujuan 10.0.0.1 dan port tujuan 80.
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- Hitung 1 untuk setiap aksi ACCEPT (diizinkan).
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- Hitung 1 untuk setiap aksi REJECT (ditolak).
      FROM log
      GROUP BY srcaddr -- Kelompokkan berdasarkan alamat IP sumber.
      ORDER BY accept_count + reject_count DESC -- Urutkan hasil berdasarkan jumlah total aksi diizinkan dan ditolak secara menurun.

   2. Preview

      

      Seperti yang ditunjukkan pada gambar, kolom srcaddr menampilkan IP sumber yang mengakses port 80. Kolom accept_count dan reject_count menunjukkan entri log aliran untuk setiap IP sumber yang diizinkan dan ditolak oleh security group dalam rentang waktu kueri.

      • Lima IP sumber mengakses port 80: 120.26.XX.XX, 121.43.XX.XX, 154.212.XX.XX, 176.65.XX.XX, dan 198.235.XX.XX.

      • Semua permintaan dari 120.26.XX.XX diizinkan, sedangkan semua permintaan dari alamat IP publik lainnya ditolak.

Ttrafik antar instance ECS

Item	Instance ECS dalam VPC	Instance ECS di VPC berbeda
Diagram
Description	Asumsikan Anda telah men-deploy tiga instance ECS dalam satu VPC, dan terdapat trafik antar instance ECS tersebut. Gunakan fitur log aliran untuk menganalisis laju dan tren trafik antar instance ECS.	Anda memiliki dua VPC di wilayah berbeda, dan masing-masing VPC memiliki beberapa instance ECS. Kedua VPC tersebut terhubung menggunakan koneksi peering VPC. Koneksi peering ini ditagih berdasarkan bayar sesuai penggunaan untuk Cloud Data Transfer (CDT). Anda memperhatikan bahwa biaya transfer data antar wilayah meningkat signifikan. Gunakan log aliran untuk mengidentifikasi instance ECS yang menghasilkan volume trafik tinggi dan mengurangi biaya trafik.
Flow log configuration	Untuk Resource Instance, pilih ENI yang terkait dengan ECS1. Untuk Analysis and Delivery, pilih Deliver to Log Service dan Enable Log Analysis Report. Pertahankan nilai default untuk parameter lainnya.	Untuk Resource Instance, pilih VPC VPC1. Pada bagian Analysis and Delivery, pilih Deliver to Log Service dan Enable Log Analysis Report. Pertahankan nilai default untuk parameter lainnya.
Query and statement	Kueri tren laju trafik antara ECS1 dan instance ECS lainnya: (srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 ) | select --Filter tren trafik antara ECS1 dan instance ECS lainnya. date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca. concat(srcaddr,'->', dstaddr) as src_to_dst, -- Gabungkan pasangan sesi IP dalam format "ip_sumber->ip_tujuan". sum(bytes*8/60) as bandwidth -- Konversi byte ke bit dan bagi dengan jendela pengambilan sampel 1 menit. group by time,srcaddr,dstaddr -- Kelompokkan berdasarkan waktu, alamat IP sumber, dan alamat IP tujuan. order by time asc -- Urutkan berdasarkan waktu secara menaik. limit 100 -- Tampilkan 100 hasil pertama.	Kueri tren laju trafik sesi antara kedua VPC: (srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*) | select --Filter sesi antara kedua VPC. date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca. concat(srcaddr,'->', dstaddr) as src_to_dst, -- Gabungkan pasangan sesi IP dalam format "ip_sumber->ip_tujuan". sum(bytes*8/60) as bandwidth -- Konversi byte ke bit dan bagi dengan jendela pengambilan sampel 1 menit. group by time,srcaddr,dstaddr -- Kelompokkan berdasarkan waktu, alamat IP sumber, dan alamat IP tujuan. order by time asc -- Urutkan berdasarkan waktu secara menaik. limit 100 -- Tampilkan 100 hasil pertama.
Preview	Laju trafik dari 10.0.0.1 ke 10.0.0.2 adalah yang tertinggi, sekitar 1,4 Mbps. Laju trafik dari 10.0.0.1 ke 10.0.0.3 adalah yang tertinggi kedua, sekitar 700 Kbps. Trafik lainnya menyumbang proporsi kecil.	Seperti yang ditunjukkan pada gambar, trafik dari 10.0.0.1 ke 172.16.0.1 merupakan lonjakan trafik sekitar 6 Mbps.

Trafik gateway NAT Internet

Anda memiliki beberapa instance ECS di suatu wilayah. Semua instance dideploy dalam vSwitch yang sama dan mengakses Internet melalui fitur SNAT dari gateway NAT Internet.

Anda memperhatikan bahwa volume trafik NAT ke Internet meningkat signifikan, yang menyebabkan respons server menjadi lambat. Gunakan log aliran untuk mengidentifikasi instance ECS yang menghasilkan proporsi trafik tinggi.

1. Create a flow log

   • Untuk Resource Instance, pilih vSwitch 2, vSwitch untuk gateway NAT Internet.

   • Pada konfigurasi pengiriman, pilih Deliver to Log Service dan Enable Log Analysis Report.

   • Pertahankan nilai default untuk parameter lainnya.

2. Filter specific traffic paths

   Untuk memfilter trafik pada jalur tertentu, Anda harus menentukan kondisi dalam pernyataan kueri:

   Diagram	No.	Filter method
   	1	Filter trafik dari instance ECS ke gateway NAT: Atur direction ke in dan srcaddr ke alamat IP pribadi instance ECS.
   	2	Filter trafik dari gateway NAT ke Internet: Atur direction ke out dan srcaddr ke alamat IP pribadi gateway NAT.
   	3	Filter trafik dari Internet ke gateway NAT: Atur direction ke in dan dstaddr ke alamat IP pribadi gateway NAT.
   	4	Filter trafik dari gateway NAT ke instance ECS: Atur direction ke out dan dstaddr ke alamat IP pribadi instance ECS.

3. Analyze the flow logs

   1. Query and analysis statement

      Pada jalur dari instance ECS ke gateway NAT, analisis trafik ke alamat IP publik tertentu:

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- Filter log instance ECS yang mengakses alamat IP publik tertentu.
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
      sum(bytes*8/60) as bandwidth  -- Konversi byte ke bit dan bagi dengan jendela pengambilan sampel 1 menit.
      group by time,srcaddr -- Kelompokkan berdasarkan waktu dan alamat IP sumber.
      order by time asc  -- Urutkan berdasarkan waktu secara menaik.
      limit 100 -- Tampilkan 100 hasil pertama.

      Other common statements

      • Pada jalur dari gateway NAT ke instance ECS, filter trafik arah masuk dari alamat IP publik tertentu ke semua instance ECS:

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- Filter log instance ECS yang mengakses alamat IP publik tertentu.
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- Konversi byte ke bit dan bagi dengan jendela pengambilan sampel 1 menit.
        group by time,dstaddr -- Kelompokkan berdasarkan waktu dan alamat IP tujuan.
        order by time asc  -- Urutkan berdasarkan waktu secara menaik.
        limit 100 -- Tampilkan 100 hasil pertama.

      • Pada jalur dari instance ECS ke gateway NAT, filter trafik arah keluar dari instance ECS ke semua alamat IP publik:

        direction: 'in' and srcaddr: 10.0.0.*  | select -- Filter log instance ECS yang mengakses semua alamat IP publik.
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- Konversi stempel waktu UNIX ke format waktu yang dapat dibaca.
        concat(srcaddr,'->', dstaddr), -- Gabungkan pasangan sesi IP dalam format "ip_sumber->ip_tujuan".
        sum(bytes*8/60) as bandwidth  -- Konversi byte ke bit dan bagi dengan jendela pengambilan sampel 1 menit.
        group by time,srcaddr,dstaddr -- Kelompokkan berdasarkan waktu, alamat IP sumber, dan alamat IP tujuan.
        order by time asc  -- Urutkan berdasarkan waktu secara menaik.
        limit 100 -- Tampilkan 100 hasil pertama.

   2. Preview

      

      Seperti yang ditunjukkan pada gambar, pada jalur dari instance ECS ke gateway NAT, laju trafik dari 10.0.0.1 (ECS1) ke alamat IP publik 120.26.XX.XX adalah yang tertinggi, sekitar 12 Kbps.

Trafik dalam sirkuit Express Connect

Sebuah perusahaan menggunakan dua VPC di wilayah Alibaba Cloud untuk men-deploy layanan berbeda. Perusahaan tersebut menghubungkan pusat data lokalnya ke Alibaba Cloud menggunakan sirkuit Express Connect dan CEN.

Departemen TI berencana menggunakan log aliran untuk memantau dan menganalisis bagaimana trafik dari layanan berbeda dalam VPC menggunakan sirkuit Express Connect. Analisis ini membantu perencanaan resource jaringan dan peningkatan kinerja.

1. Create a flow log

   Buat dua log aliran yang mengirimkan data ke Logstore yang sama. Parameter utama untuk setiap log aliran adalah sebagai berikut:

   • Untuk Resource Instance, di bawah VPC, pilih VPC1 dan VPC2.

   • Atur Sampling Path ke Traffic Through Transit Routers.

   • Pada konfigurasi pengiriman, pilih Deliver to Log Service, pilih Logstore yang sama untuk kedua log aliran, dan pilih Enable Log Analysis Report.

   • Pertahankan nilai default untuk parameter lainnya.

2. Analyze the flow logs

   1. Query and analysis statement

      Analisis proporsi trafik yang mengalir ke pusat data lokal:

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      Klik untuk melihat penjelasan pernyataan SQL.

      • Kondisi filter:

        • srcaddr: 192.168.* memfilter log dari alamat sumber yang dimulai dengan 192.168.*.

        • dstaddr: 10.1.* memfilter log dengan alamat tujuan yang dimulai dengan 10.1.*.

        • action: ACCEPT memfilter log dengan nilai field action adalah ACCEPT.

      • Kueri utama

        • FULL OUTER JOIN digunakan untuk menggabungkan hasil vpc1_traffic dan vpc2_traffic berdasarkan field minute.

        • Menghitung persentase trafik untuk setiap VPC per menit:

          • vpc1_percentage merepresentasikan persentase trafik dari VPC1 dalam total trafik.

          • vpc2_percentage merepresentasikan persentase trafik dari VPC2 dalam total trafik.

        • Hasil kueri diurutkan secara menaik berdasarkan minute.

      • Subkueri WITH:

        Pernyataan SQL berisi dua subkueri: vpc1_traffic dan vpc2_traffic. Berikut penjelasan subkueri vpc1_traffic:

        • Fungsi date_trunc memotong stempel waktu UNIX di field __time__ ke menit terdekat, dan hasilnya diberi alias minute.

        • Fungsi SUM digunakan untuk menghitung total laju trafik dalam bit/detik selama periode satu menit, dan hasilnya diberi nama total_vpc1_traffic.

        • Memfilter catatan trafik dengan alamat sumber 192.168.20.*, yaitu blok CIDR VPC1.

        • Mengelompokkan hasil berdasarkan menit.

   2. Preview

      

      Selama periode 14:50 hingga 15:50, proporsi trafik dari VPC1 yang mengalir ke pusat data lokal tinggi.