Pelajari faktor-faktor yang memengaruhi kinerja transformasi data dan cara mengoptimalkan throughput dengan menyesuaikan jumlah shard dan logika transformasi.
Berdasarkan cara kerjanya, kecepatan keseluruhan suatu pekerjaan transformasi data bergantung pada jumlah shard di LogStore sumber dan kompleksitas logika transformasi. Sebagai panduan, rencanakan throughput pemrosesan sebesar 1 MB/detik data tak terkompresi per shard, setara dengan sekitar 85 GB per hari per shard. Misalnya, jika laju penulisan data LogStore sumber adalah 1 TB per hari, Anda harus membaginya menjadi minimal 12 shard (1.024 GB ÷ 85 GB per shard ≈ 12). Untuk informasi lebih lanjut tentang pemisahan shard, lihat Split a shard.
Kinerja transformasi data
Kecepatan transformasi data bergantung pada logika transformasi. Faktor utama meliputi hal-hal berikut:
-
Output data
-
Kinerja menurun seiring meningkatnya volume output data. Menghasilkan lebih banyak entri log (misalnya, dengan membagi satu entri menjadi beberapa), menambahkan lebih banyak bidang, atau memperbesar ukuran kontennya akan mengonsumsi lebih banyak resource CPU dan jaringan, sehingga mengurangi throughput.
-
Menulis ke multiple destinasi, menambahkan banyak tag ke setiap entri log, atau membuat lebih banyak kelompok log memperlambat kinerja. Setiap aksi tersebut meningkatkan interaksi jaringan dan overhead.
-
-
Logika transformasi
Logika transformasi yang kompleks memerlukan lebih banyak pencarian, komputasi, dan sinkronisasi resource eksternal, yang semuanya mengonsumsi resource komputasi dan jaringan tambahan serta mengurangi throughput.
-
Sumber data eksternal
Jika Anda menggunakan sumber pihak ketiga untuk memperkaya data, volume data yang ditarik dalam jumlah besar akan memperlambat transformasi. Penarikan data lintas wilayah (cross-region), seperti objek OSS di wilayah lain, semakin mengurangi kinerja.
Skalakan transformasi LogStore sumber
-
Skalakan transformasi data real-time.
Tingkatkan jumlah shard untuk meningkatkan kinerja transformasi data real-time. Untuk informasi lebih lanjut tentang metode penagihan shard, lihat Pay-by-feature billing.
-
Skalakan transformasi data historis.
Pemisahan shard hanya berlaku untuk data yang baru ditulis. Untuk memproses volume besar data historis di LogStore dengan jumlah shard yang kecil, buat beberapa pekerjaan transformasi data. Konfigurasikan setiap pekerjaan untuk memproses rentang waktu yang terpisah dan tidak tumpang tindih. Misalnya, untuk memproses log historis dari 1 September hingga 10 September, Anda dapat membuat sepuluh pekerjaan untuk memproses data secara harian, seperti
[9/1, 9/2), [9/2, 9/3), ..., [9/10, 9/11).CatatanWaktu transformasi mengacu pada waktu penerimaan log. Untuk informasi lebih lanjut, lihat Create a data transformation job.
Skalakan transformasi LogStore destinasi
Jumlah shard yang dibutuhkan untuk LogStore destinasi bergantung pada dua faktor:
-
Throughput penulisan. Satu shard LogStore mendukung throughput penulisan maksimum 5 MB/detik. Perkirakan jumlah shard destinasi yang dibutuhkan berdasarkan jumlah shard sumber dan konkurensi pemrosesan.
Misalnya, jika LogStore sumber memiliki 20 shard, LogStore destinasi memerlukan minimal 4 shard.
-
Kebutuhan kueri dan analisis. Jika Anda membuat indeks dan menjalankan kueri pada data di LogStore destinasi, rencanakan jumlah shard berdasarkan cakupan kueri Anda. Sebagai aturan praktis, sediakan satu shard untuk setiap 50 juta entri log yang dikueri sekaligus.
Misalnya, asumsikan Anda menulis log sebanyak 10 GB per hari, dengan rata-rata ukuran entri log 1 KB. Ini setara dengan 10 juta entri log per hari. Jika kueri Anda mencakup periode 30 hari, Anda akan mengkueri sekitar 300 juta entri log. Dalam skenario ini, konfigurasikan LogStore destinasi dengan 6 shard (300 juta entri ÷ 50 juta entri per shard).