Simple Log Service：Ikhtisar Pengumpulan Data

Metode Pengumpulan Data

Sebelum melakukan operasi pada log atau data di Layanan Log Sederhana, Anda harus mentransfer dan menyimpan log atau data tersebut di Layanan Log Sederhana. Pilih metode pengumpulan data yang sesuai berdasarkan skenario. Setelah mengumpulkan data ke Layanan Log Sederhana, Anda dapat menggunakan fitur lain dari layanan ini untuk memproses data tersebut.

Metode pengumpulan data mencakup pengumpulan berbasis Logtail, LoongCollector, SDK atau API, layanan Alibaba Cloud, impor data, serta metode lainnya.

• Pengumpulan data berbasis Logtail: Logtail adalah agen pengumpulan log yang disediakan oleh Layanan Log Sederhana. Anda dapat menggunakan Logtail untuk mengumpulkan log dari berbagai sumber data, seperti Instance ECS (Elastic Compute Service) Alibaba Cloud, server di pusat data, dan server dari penyedia layanan cloud pihak ketiga. Logtail mendukung pengumpulan log non-intrusif berbasis file log tanpa perlu memodifikasi kode aplikasi, sehingga tidak memengaruhi operasi aplikasi.

• Pengumpulan data berbasis LoongCollector: LoongCollector adalah agen pengumpulan log generasi baru yang disediakan oleh Layanan Log Sederhana. LoongCollector merupakan versi ditingkatkan dari Logtail dan mengintegrasikan kemampuan pengumpulan data dari Application Real-Time Monitoring Service (ARMS), termasuk Managed Service for Prometheus dan teknologi Extended Berkeley Packet Filter (eBPF) untuk pengumpulan data non-intrusif.

• SDK atau API-based data collection: Simple Log Service memungkinkan Anda memanggil SDK atau Operasi API untuk mengumpulkan data. Anda dapat membuat pengaturan kustom dalam kode terkait berdasarkan kebutuhan bisnis Anda. Metode ini menawarkan fleksibilitas tinggi dibandingkan dengan metode pengumpulan lainnya.

• Pengumpulan log berbasis layanan Alibaba Cloud: Layanan Log Sederhana dapat mengumpulkan log dari berbagai jenis layanan Alibaba Cloud, seperti komputasi elastis, penyimpanan, keamanan, dan layanan basis data. Log-log tersebut mencatat statistik operasional, seperti operasi pengguna, status operasi, dan dinamika bisnis layanan Alibaba Cloud. Untuk mengumpulkan log dari layanan Alibaba Cloud selain Layanan Log Sederhana, Anda dapat memilih metode pengumpulan data berdasarkan layanan tersebut.

• Impor Data: Layanan Log Sederhana memungkinkan Anda mengimpor data yang sudah ada, termasuk data dari aplikasi lain dan file historis.

• Metode pengumpulan lainnya: Layanan Log Sederhana memungkinkan Anda menggunakan alat pengumpulan pihak ketiga untuk mengumpulkan log ke Layanan Log Sederhana melalui protokol tertentu.

Gambar berikut menunjukkan ikhtisar pengumpulan data Layanan Log Sederhana.

Pembuat Konfigurasi Logtail

Saat menggunakan Logtail atau memanggil Operasi API untuk mengumpulkan log, Anda dapat menggunakan Pembuat Konfigurasi Logtail yang disediakan oleh Layanan Log Sederhana. Untuk informasi lebih lanjut, lihat Pembuat Konfigurasi Logtail. Pembuat Konfigurasi Logtail secara otomatis menghasilkan Definisi Sumber Daya Kustom (CRD) AliyunPipelineConfig dan skrip parameter untuk operasi CreateLogtailPipelineConfig. Untuk informasi lebih lanjut, lihat [Direkomendasikan] Gunakan AliyunPipelineConfig untuk mengelola konfigurasi Logtail dan CreateLogtailPipelineConfig. Dengan cara ini, Anda dapat menggunakan CRD AliyunPipelineConfig atau memanggil operasi CreateLogtailPipelineConfig untuk membuat konfigurasi Logtail.

Skema Praktik Terbaik

Berikut ini adalah tutorial pengumpulan data dalam skenario nyata.

1. Sebuah perusahaan menerapkan aplikasi situs webnya pada instance ECS yang berada di Wilayah A dan menerapkan proyek Layanan Log Sederhana di Wilayah B. Perusahaan ingin mengumpulkan log dari instance ECS ke proyek Layanan Log Sederhana menggunakan konfigurasi Logtail. Skenario ini melibatkan pengumpulan log lintas wilayah. Untuk informasi lebih lanjut, lihat Gunakan Logtail untuk mengumpulkan log lintas wilayah.

2. Sejumlah besar perangkat Internet of Things (IoT) telah meningkatkan kehidupan kita, seperti router pintar, TV stick, Tmall Genie, dan robot pembersih. Namun, model pengembangan tertanam dalam industri perangkat lunak tradisional menghadapi banyak tantangan saat model tersebut diterapkan di industri perangkat IoT. Misalnya, sejumlah besar perangkat IoT tersebar luas, sulit untuk dideteksi kesalahannya, dan terbatas dalam fungsi perangkat keras. Untuk informasi lebih lanjut tentang cara memproses log perangkat IoT, lihat Kumpulkan log IoT atau pengembangan tertanam.

3. Anda mungkin ingin mengumpulkan data perilaku pengguna. Data tersebut mungkin terkait dengan perilaku berikut: Periksa berapa banyak pengguna yang melihat halaman web promosi. Periksa apakah penerima membaca selebaran setelah selebaran dikirim ke penerima. Analisis jumlah tampilan halaman (PV) halaman acara promosi di aplikasi seluler. Untuk mengumpulkan data perilaku pengguna tersebut secara efisien dan memenuhi persyaratan koleksi serta statistik yang dipersonalisasi, Anda dapat menggunakan fitur pelacakan web. Untuk informasi lebih lanjut, lihat Gunakan pelacakan web untuk mengumpulkan log.

Untuk informasi lebih lanjut, lihat Praktik Terbaik.

Tanya Jawab Umum

• Jenis jaringan apa yang perlu saya pilih jika saya menggunakan Express Connect bersama dengan Layanan Log Sederhana?

  Kami merekomendasikan agar Anda memilih jenis jaringan internal.

• Bagaimana cara memilih jenis jaringan dan titik akhir?

  Untuk informasi lebih lanjut tentang skenario di mana Anda dapat memilih jenis jaringan tertentu, lihat Jenis jaringan Logtail, parameter startup, dan file konfigurasi. Untuk informasi lebih lanjut tentang titik akhir, lihat Titik Akhir. Untuk informasi lebih lanjut tentang cara mengaktifkan fitur akselerasi transfer, lihat Gunakan fitur akselerasi transfer.

• Apakah saya bisa mendapatkan alamat IP publik saat saya mengumpulkan data dari Internet?

  Ya, Anda dapat mengaktifkan Log Public IP untuk Logstore Anda untuk mendapatkan alamat IP publik. Untuk informasi lebih lanjut, lihat Buat Logstore.

• Jenis jaringan apa yang perlu saya pilih jika saya ingin mengumpulkan log ECS dari Wilayah A ke proyek Layanan Log Sederhana di Wilayah B?

  Kami merekomendasikan agar Anda memilih jenis jaringan Internet dan menentukan nama wilayah Wilayah B dalam perintah yang digunakan untuk menginstal Logtail pada instance ECS Anda di Wilayah A. Ini memungkinkan Logtail mengakses proyek di Wilayah B melalui Internet. Untuk informasi lebih lanjut tentang cara memilih jenis jaringan dalam skenario lain, lihat Jenis jaringan Logtail, parameter startup, dan file konfigurasi.

• Bagaimana cara memeriksa apakah titik akhir dapat diakses?

  Anda dapat menjalankan perintah berikut. Jika output ditampilkan, titik akhir dapat diakses. $myproject menentukan nama proyek. cn-hangzhou.log.aliyuncs.com menentukan titik akhir.

   curl $myproject.cn-hangzhou.log.aliyuncs.com 

• Untuk informasi lebih lanjut, lihat FAQ tentang pengumpulan data.