Platform For AI:Feature Database FeatureDB

Konektivitas VPC berkecepatan tinggi

FeatureDB menyediakan konektivitas VPC berkecepatan tinggi melalui PrivateLink. Setelah dikonfigurasi dengan sukses, FeatureStore menggunakan PrivateLink untuk menghubungkan VPC Anda ke layanan FeatureDB. Anda kemudian dapat mengakses FeatureDB melalui koneksi privat dari dalam VPC Anda menggunakan FeatureStore SDK, meningkatkan kinerja baca/tulis data dan mengurangi latensi akses.

Konfigurasikan konektivitas VPC berkecepatan tinggi sebagai berikut:

• Metode 1: Jika Anda belum membuat sumber data FeatureDB, klik Manage Data Source . Pada halaman Manage Data Source, klik Create Data Source . Saat membuat sumber data FeatureDB, isi bagian VPC Direct Connection Configurations dengan VPC dan Zone and vSwitch Anda. Untuk langkah-langkah detail, lihat Buat sumber data online: FeatureDB.

• Metode 2: Jika Anda telah membuat sumber data FeatureDB, klik Manage Data Source . Pada halaman Manage Data Source, klik sumber data feature_db yang sudah ada untuk membuka halaman produknya. Klik VPC Direct Connection Configurations, masukkan VPC dan Zone and vSwitch Anda, lalu klik Confirm.

Menulis fitur

Untuk fitur offline, gunakan FeatureStore Python SDK dengan DataWorks untuk menjalankan tugas terjadwal harian yang menyinkronkan data dari MaxCompute ke FeatureDB.

Secara default, penulisan fitur real-time melakukan pembaruan baris penuh. Jika data yang ditulis hanya mencakup sebagian bidang, bidang yang tidak ada akan diatur menjadi kosong. Untuk memperbarui hanya bidang tertentu dan menggabungkannya ke data yang sudah ada, konfigurasikan sebagai berikut:

• Saat menulis melalui Java SDK: Tentukan InsertMode sebagai InsertMode.PartialFieldWrite.

  for (int i = 0; i < 100;i++) {
      featureView.writeFeatures(writeData, InsertMode.PartialFieldWrite);
  }

• Saat menulis melalui Flink Connector: Atur parameter insert_mode menjadi partial_field_write.

Baca fitur

Gunakan FeatureStore SDK (Go/Java) atau EasyRec Processor untuk membaca fitur.

FeatureStore SDK (Go/Java) mendukung join point-in-time KV untuk fitur offline dan real-time. Tentukan JoinID (kunci primer) dan nama fitur untuk menyelesaikan kueri KV dan mengambil data fitur target dalam hitungan milidetik. SDK juga mendukung kueri KKV untuk fitur urutan perilaku. Tentukan UserID untuk mengambil hasil fitur urutan yang telah dirakit.

EasyRec Processor mengintegrasikan FeatureStore C++ SDK, memungkinkan pemuatan penuh data fitur FeatureDB ke memori dan polling tingkat milidetik untuk memperbarui fitur real-time di memori demi kinerja baca yang lebih tinggi.

Metrik pemantauan

Jika Anda menggunakan FeatureDB sebagai online store, setelah membuat tampilan fitur, klik Data Monitoring di sebelah tampilan target untuk melihat metrik seperti QPS baca/tulis dan RT. (Catatan: Penulisan dari sinkronisasi data tampilan fitur offline tidak muncul dalam metrik ini.)

Pipa fitur real-time

Layanan penyimpanan FeatureStore terdiri dari tiga komponen: Feature Service (lapisan akses), antrian pesan (DataHub), dan FeatureDB.

Untuk fitur real-time, Anda dapat memanggil Feature Service melalui FeatureStore Java SDK atau Flink Connector untuk menulis data fitur ke FeatureDB. Data yang ditulis melalui Feature Service juga disinkronkan ke tabel MaxCompute Anda untuk ekspor sampel fitur real-time dan pelatihan model lebih lanjut.

Anda dapat membaca data fitur yang tersimpan di FeatureDB menggunakan FeatureStore Java/Go SDK atau menarik semua fitur ke cache lokal melalui EasyRec Processor untuk kinerja baca yang lebih tinggi. Fitur real-time menghadirkan informasi fitur terbaru dalam hitungan milidetik.

Pengaturan siklus hidup data fitur real-time

Saat membuat tampilan fitur real-time, atur siklus hidup data untuk tabel FeatureDB menggunakan Feature Lifecycle . Baris kedaluwarsa dan dibersihkan secara otomatis dalam hitungan detik setelah mencapai durasi siklus hidupnya.

Waktu hidup (TTL) data saat ini mendukung dua metode konfigurasi:

• Metode 1: Jangan tentukan bidang Event Time. Dalam kasus ini, masa berlaku dimulai dari waktu penulisan data, dan baris dibersihkan secara otomatis saat kedaluwarsa.

• Metode 2: Pilih bidang fitur sebagai bidang Event Time (satuan: milidetik). Misalkan event_time adalah nilai bidang Event Time, time_now adalah waktu saat ini, dan time_ttl = time_now - ttl adalah ambang batas event_time untuk kedaluwarsa. FeatureDB menangani data yang ditulis sebagai berikut:

  • Jika menggunakan mode PartialFieldWrite untuk pembaruan sebagian bidang, masa berlaku dihitung dari waktu penulisan aktual.

  • Jika event_time > time_now + 15 menit: Data tidak ditulis. (Hal ini mencegah perbedaan cap waktu antar sistem dengan memberikan buffer 15 menit.)

  • Jika time_ttl < event_time <= time_now + 15 menit: Data ditulis secara normal. Masa berlaku dimulai dari event_time, dan baris dibersihkan secara otomatis saat kedaluwarsa.

  • Jika 0 < event_time < time_ttl: Data ditulis tetapi segera dibersihkan. Catatan: event_time dalam satuan milidetik. Jika bidang Event Time Anda menggunakan satuan detik, data akan masuk ke kasus ini dan gagal dipertahankan.

  • Jika event_time <= 0: Masa berlaku dihitung dari waktu penulisan aktual.

  • Jika nilainya tidak valid (tidak dapat dikonversi ke bilangan bulat): Data tidak ditulis.

  • Bidang Event Time telah didaftarkan tetapi tidak ada nilai yang diberikan untuk bidang Event Time: data ditulis secara normal, dan masa berlakunya dihitung berdasarkan waktu penulisan aktual.

  • Jika tidak ada bidang Event Time yang didaftarkan: Data ditulis secara normal, dan masa berlaku dihitung dari waktu penulisan aktual.

  • Selain itu, FeatureDB menggunakan nilai event_time sebagai cap waktu (ts) baris tersebut. Untuk memperbarui data untuk kunci tertentu, nilai Event Time baru harus lebih besar dari atau sama dengan nilai sebelumnya. Jika event_time baru lebih kecil dari nilai aslinya, data kunci tersebut tidak akan diperbarui.