Managed Service for Prometheus:Kirim data Prometheus ke MaxCompute

Prasyarat

• Instans Prometheus telah terhubung. Untuk informasi selengkapnya, lihat topik berikut:

  • Observabilitas container.

  • Observabilitas layanan Alibaba Cloud.

  • Observabilitas host.

• Instans ApsaraMQ for Kafka telah dideploy sebagai tujuan, dan sumber daya yang diperlukan, seperti topik, telah dibuat. Untuk informasi selengkapnya, lihat Ikhtisar.

• Function Compute (FC) telah diaktifkan. Untuk informasi selengkapnya, lihat Langkah 1: Aktifkan Function Compute.

• EventBridge telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan EventBridge dan berikan izin.

  Catatan

Catatan

• Jika Anda mengirimkan data melalui virtual private cloud (VPC) dan instans Prometheus serta tujuan berada di VPC yang berbeda, Anda harus menambahkan Blok CIDR vSwitch tujuan ke daftar putih instans Prometheus. Jika tidak, koneksi jaringan akan gagal. Anda dapat menemukan Blok CIDR vSwitch pada halaman detail vSwitch di Konsol VPC.

• Tabel berikut mencantumkan sumber data yang mendukung pengiriman data.

  Jenis instans	Deskripsi
  Prometheus untuk Layanan Alibaba Cloud	Tidak termasuk instans gratis yang namanya diawali dengan cloud-product-prometheus.
  Prometheus untuk Container Service	Tidak ada
  Prometheus untuk Flink Serverless	Tidak ada
  Prometheus untuk Kubernetes	Tidak ada
  Tujuan umum	Tidak termasuk data yang dilaporkan dari titik akhir OpenTelemetry.

• Hanya data real-time yang dihasilkan setelah pembuatan tugas pengiriman data yang dapat diekspor. Data historis tidak dapat diekspor.

Penagihan

Saat data dikirimkan ke MaxCompute, layanan Function Compute (FC) akan dibuat. Awalan nama layanan tersebut adalah {task_name}_SINK_FC_TO_MAXCOMPUTE. Function Compute (FC) digunakan untuk menulis data ke MaxCompute, dan proses ini dikenai biaya layanan FC. Data dikirim ke Function Compute (FC) secara batch. Semakin sedikit panggilan ke Function Compute (FC), semakin rendah biayanya. Anda dapat login ke Konsol Function Compute untuk melihat status sumber daya FC Anda saat ini.

Langkah 1: Siapkan sumber daya MaxCompute

1. Hubungkan ke proyek MaxCompute. Untuk informasi selengkapnya, lihat Pilih tool koneksi.

2. Definisikan skema tabel. Atur nama kolom dalam skema tabel agar sesuai dengan nama tag data Prometheus. Jika suatu nama kolom tidak memiliki nilai tag yang sesuai, nilai NULL akan ditulis ke kolom tersebut. Jika terdapat beberapa jenis data metrik, nama kolom harus merupakan union dari semua nama tag metrik.

{
	"__name__": "metric1",
	"cluster_id": "***",
	"host": "***",
	"node_id": "***",
	"job": "***",
	"value": 347.51300048828125,
	"timestamp": 1703211584056
}

{
	"__name__": "metric2",
	"cluster_id": "***",
	"job": "***",
  "instance": "****",
  "cpu": "1",
	"value": 1.0,
	"timestamp": 1703211584056
}

CREATE TABLE metric (
  __name__ 		VARCHAR(50) NOT NULL,
  cluster_id 	VARCHAR(50),
  host 				VARCHAR(50),
  node_id 		VARCHAR(50),
  job 				VARCHAR(50),
  instance 		VARCHAR(50),
  cpu 				VARCHAR(50),
  __value__ 			DOUBLE,
  timestamp		BIGINT
);

Langkah 2: Buat tugas pengiriman data

1. Login ke Konsol Managed Service for Prometheus.

2. Pada panel navigasi di sebelah kiri, klik Prometheus Monitoring > Data Shipping.

3. Pada halaman Data Shipping, pilih Wilayah tujuan dari bilah menu atas, lalu klik Create Task.

4. Pada kotak dialog, masukkan Task Name dan Task Description, lalu klik OK.

5. Pada halaman Edit Task, konfigurasikan sumber data dan tujuan.

   1. Klik + Add Data Source, konfigurasikan parameter berikut, lalu klik OK.

      Item konfigurasi	Deskripsi	Contoh
      Prometheus Instance	Sumber data Prometheus yang dikirimkan.	c78cb8273c02*****
      Data Filtering	Tentukan label metrik untuk penyaringan. Ekspresi reguler didukung. Jika Anda menentukan beberapa kondisi, pisahkan dengan baris baru. Data hanya dikirimkan jika semua kondisi terpenuhi.	__name__=AliyunEcs_CPUUtilization|AliyunEcs_memory_usedutilization regionId=cn-hangzhou id=i-2ze0mxp.*
      Data Labeling	Tentukan label baru yang akan ditambahkan ke data metrik yang dikirimkan. Jika Anda menambahkan beberapa label, pisahkan dengan baris baru.	deliver_test_key1=ssss deliver_test_key2=yyyy

   2. Klik Add Target, atur Destination Type ke MaxCompute, konfigurasikan parameter lainnya, lalu klik OK.

6. Setelah konfigurasi selesai, klik OK pada halaman Edit Task, lalu klik Save untuk membuat tugas pengiriman data.

Langkah 3: Verifikasi bahwa data telah dikirimkan ke MaxCompute

Pada editor SQL, masukkan pernyataan SQL berikut untuk mengkueri data di tabel `metric`. Klik Run dan lihat hasilnya pada tab Result.

select * from metric limit 20;