Mengelompokkan data berdasarkan kerapatan tanpa memerlukan jumlah kluster yang telah ditentukan sebelumnya, serta mampu menemukan kluster berbentuk arbitrer dan mengidentifikasi outlier.
Klasifikasi titik
DBSCAN mengklasifikasikan setiap titik data ke dalam salah satu dari tiga kategori berikut:
Core point: Memiliki setidaknya minPoints tetangga dalam radius epsilon dan membentuk fondasi kluster.
Border point: Berada dalam radius epsilon dari suatu core point tetapi memiliki kurang dari minPoints tetangga; termasuk dalam kluster tanpa memperluasnya.
Noise point (outlier): Bukan core point dan tidak berada dalam radius epsilon dari core point mana pun; tidak termasuk dalam kluster apa pun dan diberi ID kluster 2147483648 (2^31).
Suatu kluster merupakan himpunan maksimal titik-titik yang saling terhubung berdasarkan kerapatan. Dua core point dianggap density-connected jika jarak antara keduanya tidak melebihi epsilon, baik secara langsung maupun melalui rantai core point lainnya.
Konfigurasi
Konfigurasikan DBSCAN menggunakan parameter berikut.
Tab | Parameter | Deskripsi |
Field Setting | idCol | Nama kolom ID. |
vectorCol | Kolom vektor yang berisi data fitur untuk pengelompokan. | |
Parameter Setting | epsilon | Jarak maksimum antara dua titik data tetangga. Nilai yang lebih kecil menghasilkan lebih banyak kluster yang lebih rapat. Nilai yang lebih besar menggabungkan kluster yang berdekatan. Lihat Lampiran 1: Memperkirakan Penggunaan Sumber Daya. |
minPoints | Jumlah minimum titik data dalam lingkungan epsilon agar suatu titik memenuhi syarat sebagai core point. Nilai yang lebih tinggi menghasilkan kluster yang lebih rapat dan mengklasifikasikan lebih banyak titik sebagai noise. Lihat Lampiran 1: Memperkirakan Penggunaan Sumber Daya. | |
predictionCol | Nama kolom hasil prediksi. Menyimpan ID kluster yang ditetapkan untuk setiap titik data. | |
distanceType | Metrik jarak untuk pengelompokan. Default: EUCLIDEAN. Nilai yang didukung adalah sebagai berikut:
| |
Execution Tuning | Number of Workers | Jumlah worker untuk eksekusi terdistribusi. Harus berupa bilangan bulat positif. Nilai valid: 1 hingga 9.999. Lihat Lampiran 1: Memperkirakan Penggunaan Sumber Daya. |
Memory per worker, unit MB | Memori per worker dalam satuan MB. Nilai valid: 1.024 hingga 65.536 (64 × 1.024). Lihat Lampiran 1: Memperkirakan Penggunaan Sumber Daya. |
Lampiran 1: Memperkirakan Penggunaan Sumber Daya
Bagaimana cara memperkirakan ukuran memori setiap node?
Kalikan ukuran data masukan dengan 15 untuk menentukan ukuran memori tiap node.
Contoh: Jika ukuran data masukan adalah 1 GB, ukuran memori tiap node dapat dikonfigurasi menjadi 15 GB.Bagaimana cara memperkirakan jumlah node?
Karena adanya overhead komunikasi, kecepatan tugas pelatihan terdistribusi awalnya meningkat seiring penambahan jumlah node, lalu menurun. Jika Anda mengamati bahwa kecepatan pelatihan melambat setelah menambahkan lebih banyak node, sebaiknya hentikan penambahan jumlah node.Berapa banyak data yang dapat didukung oleh algoritma ini?
Algoritma ini mendukung data dengan ukuran kurang dari 1 juta catatan (sampel) dan kurang dari 200 dimensi.CatatanJika ukuran data Anda melebihi batas ini, disarankan untuk melakukan partisi (pengelompokan) data terlebih dahulu dan menjalankan algoritma DBSCAN pada setiap kelompok secara terpisah.
Mengapa ID Kluster dari titik inti adalah 2.147.483.648?
Karena titik data tersebut merupakan outlier, sehingga tidak termasuk dalam kluster mana pun.
Lampiran 2: Cara Mengonfigurasi Parameter
Dua parameter utama dalam komponen DBSCAN adalah minPoints (ambang batas jumlah minimum sampel dalam suatu lingkungan) dan epsilon (ambang batas jarak lingkungan). Panduan penyetelan parameter adalah sebagai berikut:
Untuk mengurangi jumlah kluster (saat Anda mengamati terlalu banyak kluster): Disarankan terlebih dahulu meningkatkan minPoints, lalu mengurangi epsilon.
Untuk menambah jumlah kluster (saat Anda mengamati terlalu sedikit kluster): Disarankan terlebih dahulu mengurangi minPoints, lalu meningkatkan epsilon.