Simple Log Service:Impor data Google Cloud Storage ke SLS

Alibaba Cloud

1. Konfirmasi izin akun Anda. Jika Anda menggunakan RAM user, pastikan kebijakan AliyunLogFullAccess telah ditetapkan ke pengguna tersebut. Untuk kontrol yang lebih detail halus, lihat Buat kebijakan kustom.

2. Buat Project dan LogStore untuk menyimpan data yang diimpor.

GCS

1. Dapatkan informasi konfigurasi kunci berikut dari GCS. Anda akan memerlukannya untuk membuat task impor data SLS.

   Parameter	Deskripsi
   GCS Endpoint	Secara default, endpoint global adalah https://storage.googleapis.com. Untuk mengakses bucket di wilayah tertentu, Anda dapat menggunakan endpoint regional, seperti https://storage.googleapis.com/storage/v1.
   Bucket name	Nama bucket GCS yang menyimpan file log.
   AccessKeyId / AccessKeySecret	Kunci HMAC untuk GCS, digunakan untuk otentikasi melalui protokol yang kompatibel dengan S3. Untuk petunjuk mendapatkan kunci ini, lihat Langkah 3 di bawah.

2. Dapatkan nama bucket. Di Google Cloud Console, buka Cloud Storage > Buckets. Temukan nama bucket target Anda (misalnya, demoh01) dalam daftar dan catat untuk konfigurasi selanjutnya.

3. Dapatkan AccessKeyId dan AccessKeySecret. Di konsol Google Cloud Storage, klik Settings di panel navigasi kiri. Di bagian bawah halaman, pada bagian "Access keys for your user account", klik Create key untuk menghasilkan kunci HMAC. Lalu, salin kunci akses (AccessKeyId) dan rahasia (AccessKeySecret) yang sesuai.

Langkah 1: Buat task impor data SLS

1. Login ke Konsol Simple Log Service.

2. Klik nama Project target untuk membuka halaman detailnya.

3. Di panel navigasi kiri, klik Task Management dan beralih ke tab Data Import.

4. Klik Create Data Import Task. Pada kartu GCS-Data Import, klik Import Now.

5. Pilih LogStore target untuk impor data dan klik Next.

6. Pada halaman Import Configurations, konfigurasikan informasi sumber data. Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi	Contoh
   Display Name	Nama untuk mengidentifikasi dan mengelola task impor.	gcs-log-import
   GCS Endpoint	Titik akhir akses GCS. Nilai default https://storage.googleapis.com biasanya tidak perlu diubah.	https://storage.googleapis.com
   Bucket	Nama bucket GCS yang menyimpan file log.	my-log-bucket
   AccessKeyId	ID kunci akses dari kunci HMAC GCS. Untuk petunjuknya, lihat Prasyarat.	GOOG1E***
   AccessKeySecret	Kunci rahasia HMAC yang dipasangkan dengan AccessKeyId.	bGoa***
   File Prefix (Opsional)	Menentukan awalan untuk memfilter file yang akan diimpor. Jika dikosongkan, semua file dalam bucket akan diimpor.	logs/2026/
   Data Format	Format data file log. Format yang didukung mencakup JSON, CSV, dan nilai yang dipisahkan delimiter. Pilih format yang sesuai dengan log aktual yang disimpan di GCS.	JSON string

7. Klik Preview. SLS akan mencoba menghubungkan ke GCS dan membaca file-file tersebut.

   Catatan

   Jika koneksi gagal, periksa konektivitas jaringan Anda, pastikan nama bucket, AccessKeyId, dan AccessKeySecret benar, serta verifikasi bahwa akun layanan yang terkait dengan kunci HMAC memiliki izin baca.

8. Setelah memastikan data pratinjau sudah benar, klik Next.

Langkah 2: Lihat dan kelola task impor

Setelah task dibuat, task tersebut akan mulai secara otomatis dan berjalan terus-menerus.

1. Di panel navigasi kiri, klik Task Management.

2. Pilih tab Data Import dan klik nama task target untuk membuka halaman ikhtisarnya. Di sini, Anda dapat melihat metrik pemantauan seperti status task, laju pemrosesan, dan informasi error.

Gagal terhubung ke GCS

Jika koneksi gagal setelah Anda mengklik Preview saat pembuatan task, lakukan pemeriksaan berikut:

• Konfigurasi endpoint salah: Pastikan GCS Endpoint diatur ke https://storage.googleapis.com. Sertakan awalan https://.

• Nama bucket salah: Konfirmasi bahwa nama bucket identik dengan nama yang ditampilkan di konsol GCS. Nama bucket bersifat case-sensitive.

• Masalah konektivitas jaringan: SLS mengakses GCS melalui internet publik. Pastikan bucket GCS Anda tidak memiliki kebijakan yang membatasi akses dari alamat IP eksternal.

Kegagalan otentikasi (terkait AccessKey)

Jika terjadi kegagalan otentikasi atau error izin tidak mencukupi selama pratinjau atau eksekusi task, lakukan pemeriksaan berikut:

• Kunci HMAC tidak valid: Pastikan AccessKeyId dan AccessKeySecret adalah kunci HMAC yang diperoleh dari halaman interoperabilitas GCS. Jangan gunakan Google Cloud API Key atau kredensial OAuth.

• Izin tidak mencukupi: Verifikasi bahwa akun layanan yang terkait dengan kunci HMAC memiliki setidaknya izin storage.objects.get dan storage.objects.list untuk bucket target. Memberikan role Storage Object Viewer biasanya sudah cukup.

• Kunci dinonaktifkan atau dihapus: Login ke konsol GCS dan periksa bahwa status kunci HMAC adalah Active.

Error penguraian data

Jika task impor berjalan dengan benar tetapi data log tidak diurai ke dalam bidang seperti yang diharapkan, lakukan pemeriksaan berikut:

• Format data yang dipilih salah: Pastikan format data yang ditentukan dalam konfigurasi impor sesuai dengan format aktual file log di GCS. Misalnya, jika file log dalam format JSON, format data harus diatur ke JSON string.

• Ketidaksesuaian encoding file: Pastikan file log di-encode dalam UTF-8. Jika menggunakan encoding lain, Anda harus memilih format encoding yang sesuai dalam konfigurasi impor.

• Filtering awalan file tidak tepat: Jika awalan file dikonfigurasi, pastikan path awalan benar dan tidak mengecualikan file log target.