Simple Log Service：Mengaitkan sumber data MySQL

1. Konfigurasikan daftar putih

2. Buat ExternalStore

1. Masuk ke server tempat CLI diinstal. Jalankan perintah touch untuk membuat file konfigurasi /home/shell/config.json. Tambahkan skrip berikut ke file config.json. Ganti nilai parameter region, vpc-id, host, port, username, password, db, dan table sesuai kebutuhan.

   1. Deskripsi Parameter	Contoh { "externalStoreName":"sls_join_meta_store", "storeType":"rds-vpc", "parameter":{ "region":"cn-qingdao", "vpc-id":"vpc-m5eq4irc1pucp*******", "host":"rm-bp1******rm76.mysql.rds.aliyuncs.com", "port":"3306", "username":"user", "password":"****", "db":"scmc", "table":"join_meta" } }
      externalStoreName Nama ExternalStore. Nama tersebut harus dalam huruf kecil.
      storeType Jenis sumber data. Atur parameter ini ke rds-vpc.
      region Wilayah tempat instansiasi database berada. Detailnya adalah sebagai berikut: Jika Anda menggunakan database ApsaraDB RDS for MySQL, atur parameter region ke wilayah instansiasi RDS. Jika Anda menggunakan database AnalyticDB for MySQL, atur parameter region ke wilayah instansiasi AnalyticDB for MySQL. Jika Anda menggunakan database MySQL yang dikelola sendiri pada instance ECS, atur parameter region ke wilayah instance ECS. Penting Instansiasi RDS, instansiasi AnalyticDB for MySQL, atau instance ECS harus berada di wilayah yang sama dengan proyek Simple Log Service.
      vpc-id ID VPC tempat instansiasi database berada. Detailnya adalah sebagai berikut: Jika instansiasi RDS PostgreSQL Anda berada di virtual private cloud (VPC), atur vpc-id ke ID VPC. Untuk database ADB PostgreSQL di virtual private cloud (VPC), atur vpc-id ke ID VPC tersebut. Jika database Hologres Alibaba Cloud berada di virtual private cloud (VPC), atur vpc-id ke ID VPC.
      host   Alamat database. Detailnya adalah sebagai berikut: Dalam VPC, jika alamat IP instansiasi database berubah setelah Anda membuat tabel eksternal, akses ke tabel eksternal akan terpengaruh. Misalnya, hal ini bisa terjadi jika instansiasi database dipindahkan. Masalah ini terjadi bahkan jika Anda menggunakan titik akhir internal dalam konfigurasi. Saat tabel eksternal dibuat, backend menerjemahkan nama domain menjadi alamat IP dan menyimpan alamat IP ke konfigurasi backend. Alamat IP yang sesuai dengan nama domain tidak diperbarui secara otomatis. Dalam kasus ini, Anda harus memperbarui atau membuat ulang tabel eksternal. Jika Anda menggunakan database ApsaraDB RDS for MySQL, atur parameter host ke alamat internal instansiasi RDS. Alamat internal dapat berupa titik akhir internal atau alamat IP pribadi. Jika Anda menggunakan database AnalyticDB for MySQL, atur parameter host ke alamat internal instansiasi AnalyticDB for MySQL. Alamat internal dapat berupa titik akhir internal atau alamat IP pribadi. Jika Anda menggunakan database MySQL yang dikelola sendiri pada instance ECS, atur parameter host ke alamat IP pribadi instance ECS. Jika database dapat diakses melalui Internet, atur parameter ini ke nama domain publik atau alamat IP publik.
      port Nomor port. Detailnya adalah sebagai berikut: Jika Anda menggunakan database ApsaraDB RDS for MySQL, atur parameter port ke nomor port instansiasi RDS. Jika Anda menggunakan database AnalyticDB for MySQL, atur parameter port ke nomor port instansiasi AnalyticDB for MySQL. Jika Anda menggunakan database MySQL yang dikelola sendiri pada instance ECS, atur parameter port ke port layanan MySQL pada instance ECS.
      username Nama pengguna akun database.
      password Kata sandi akun database.
      db Nama database.
      table Nama tabel database. Format berikut didukung: `table_name`, seperti `test`. `schema_name.table_name`, seperti `public.test`.

2. Jalankan perintah berikut di baris perintah untuk membuat ExternalStore. project_name adalah nama proyek Simple Log Service. Ganti sesuai kebutuhan. Dalam topik ini, log-rds-demo digunakan sebagai contoh.

   aliyunlog log create_external_store --project_name="log-rds-demo" --config="file:///home/shell/config.json" 

3. Kueri informasi ExternalStore. Jika perintah berhasil, tidak ada tanggapan yang dikembalikan. Anda dapat menjalankan perintah aliyunlog log get_external_store --project_name="log-rds-demo" --store_name="sls_join_meta_store" --format-output=json untuk menanyakan detail sumber data eksternal ApsaraDB RDS for MySQL. Informasi berikut dikembalikan:

   {
       "externalStoreName":"sls_join_meta_store",
       "storeType":"rds-vpc",
       "parameter":{
            "db": "scmc",
            "host": "rm-bp1******rm76.mysql.rds.aliyuncs.com",
            "port": "3306",
            "region": "cn-wulanchabu",
            "table": "test",
            "username": "user",
            "vpc-id": "vpc-m5eq4irc1pucp*******"
       }
   }

3. Gunakan penyimpanan eksternal

method:postlogstorelogs | insert into join_meta  select cast(method as varchar(65535)),count(1) from log group by method

Operasi SDK

# encoding: utf-8
from __future__ import print_function
from aliyun.log import *
from aliyun.log.util import base64_encodestring
from random import randint
import time
import os
from datetime import datetime
    endpoint = os.environ.get('ALIYUN_LOG_SAMPLE_ENDPOINT', 'cn-chengdu.log.aliyuncs.com')
    accessKeyId = os.environ.get('ALIYUN_LOG_SAMPLE_ACCESSID', '')
    accessKey = os.environ.get('ALIYUN_LOG_SAMPLE_ACCESSKEY', '')
    logstore = os.environ.get('ALIYUN_LOG_SAMPLE_LOGSTORE', '')
    project = "ali-yunlei-chengdu"
    client = LogClient(endpoint, accessKeyId, accessKey, '')
    # Buat ExternalStore.
    res = client.create_external_store(project,
                                       ExternalStoreConfig(externalStoreName="rds_store", region="cn-chengdu",
                                                           storeType="rds-vpc",
                                                           vpcId="vpc-2vctx8reuqswmk********",
                                                           host='rm-2vc6x67972iv********.mysql.cn-chengdu.rds.aliyuncs.com',
                                                           port="3306", username="root", password="123456",
                                                           database="test_database", table="test"))
    res.log_print()
    # Dapatkan detail ExternalStore.
    res = client.get_external_store(project,"rds_store")
    res.log_print()
    res = client.list_external_store(project,"")
    res.log_print()
    # Lakukan kueri JOIN.
    req = GetLogsRequest(project,logstore,From,To,"","* | select count(1) from  "+ logstore +"  s join  meta m on  s.projectid = cast(m.ikey as varchar)")
    res = client.get_logs(req)
    res.log_print()
     # Tulis hasil kueri dan analisis ke database MySQL.
    req = GetLogsRequest(project,logstore,From,To,"","* |  insert into rds_store select count(1) from  "+ logstore )
    res = client.get_logs(req)
    res.log_print()