Platform For AI：Ikhtisar FeatureDB

Koneksi langsung VPC

FeatureDB menyediakan koneksi langsung VPC berbasis PrivateLink. Setelah konfigurasi berhasil, Anda dapat menggunakan SDK FeatureStore di VPC Anda untuk mengakses FeatureDB melalui koneksi pribadi berbasis PrivateLink, sehingga meningkatkan performa baca/tulis data dan mengurangi latensi akses.

Anda dapat mengonfigurasi koneksi langsung VPC melalui salah satu metode berikut:

• Metode 1: Jika Anda tidak memiliki penyimpanan data FeatureDB, klik Create Source di tab Store. Saat membuat sumber data FeatureDB, konfigurasikan VPC, Zone and vSwitch, dan Security Group Name di bagian VPC Direct Connection Configurations. Untuk instruksi spesifik, lihat Penyimpanan data online: FeatureDB.

• Metode 2: Jika Anda sudah membuat sumber data FeatureDB, klik feature_db di tab Store. Di halaman yang muncul, klik VPC Direct Connection Configurations. Tentukan VPC, Zone and vSwitch, dan Security Group Name, lalu klik OK.

Tulis fitur

Untuk fitur offline, Anda dapat menggunakan SDK Python FeatureStore untuk menjalankan tugas terjadwal melalui DataWorks guna menyinkronkan data dari MaxCompute ke FeatureDB.

       // Konfigurasikan regionId, akun Alibaba Cloud, Proyek FeatureStore
       Configuration configuration = new Configuration("cn-beijing",
                Constants.accessId, Constants.accessKey,"fs_demo_featuredb" );

        // Konfigurasikan nama pengguna dan kata sandi FeatureDB
        configuration.setUsername(Constants.username);
        configuration.setPassword(Constants.password);

        // Jika menggunakan jaringan publik untuk terhubung ke FeatureStore, lihat informasi domain di atas
        // Jika menggunakan lingkungan VPC, tidak perlu diatur
        //configuration.setDomain(Constants.host);

        ApiClient client = new ApiClient(configuration);

        // Jika menggunakan koneksi jaringan publik, atur usePublicAddress = true, lingkungan VPC tidak perlu diatur
        // FeatureStoreClient featureStoreClient = new FeatureStoreClient(client, Constants.usePublicAddress);
        FeatureStoreClient featureStoreClient = new FeatureStoreClient(client );

        Project project = featureStoreClient.getProject("fs_demo_featuredb");
        if (null == project) {
            throw  new RuntimeException("proyek tidak ditemukan");
        }

        FeatureView featureView = project.getFeatureView("user_test_2");
        if (null == featureView) {
            throw  new RuntimeException("featureview tidak ditemukan");
        }

        List<Map<String, Object>> writeData = new ArrayList<>();
        // Simulasikan pembuatan data untuk ditulis 
        for (int i = 0; i < 10; i++) {
            Map<String, Object> data = new HashMap<>();
            data.put("user_id", i);
            data.put("string_field", String.format("test_%d", i));
            data.put("int32_field", i);
            data.put("int64_field", Long.valueOf(i));
            data.put("float_field", Float.valueOf(i));
            data.put("double_field", Double.valueOf(i));
            data.put("boolean_field", i % 2 == 0);
            writeData.add(data);
        }

        for (int i = 0; i < 100;i++) {
            featureView.writeFeatures(writeData);
        }

        // Ini hanya perlu dipanggil sekali, jika semua data telah ditulis, pastikan semua penulisan selesai, setelah memanggil antarmuka ini, writeFeatures tidak dapat dipanggil lagi 
        featureView.writeFlush();

Untuk penulisan fitur real-time, seluruh baris data akan diperbarui secara default. Jika data yang ditulis hanya berisi beberapa bidang, bidang yang tidak ditulis akan diatur kosong. Jika Anda ingin memperbarui hanya bidang yang ditulis dan menggabungkannya dengan data asli, Anda dapat melakukan pengaturan berikut:

• Gunakan Java SDK: Tentukan InsertMode.PartialFieldWrite.

  for (int i = 0; i < 100;i++) {
      featureView.writeFeatures(writeData, InsertMode.PartialFieldWrite);
  }

• Gunakan Flink Connector: Atur insert_mode ke partial_field_write.

Baca fitur

Anda dapat menggunakan SDK FeatureStore (Go/Java) atau EasyRec Processor untuk membaca fitur.

SDK FeatureStore (Go/Java) mendukung kueri titik KV untuk fitur offline/real-time. Dengan menentukan nilai JoinID (kunci utama) dan nama fitur, Anda dapat menyelesaikan kueri key-value (KV) dalam milidetik untuk mendapatkan data fitur target. SDK FeatureStore (Go/Java) juga mendukung kueri KKV untuk fitur urutan perilaku. Dengan menentukan nilai UserID, Anda dapat menanyakan hasil fitur urutan yang dirakit.

EasyRec Processor telah mengintegrasikan SDK Cpp FeatureStore, yang mendukung menarik semua data fitur dari FeatureDB ke dalam memori dan mendukung polling tingkat milidetik untuk memperbarui data fitur real-time ke memori, sehingga mencapai pembacaan berkinerja lebih tinggi.

Metrik

Jika Anda menggunakan FeatureDB sebagai sumber data online, setelah membuat tampilan fitur, klik Data Monitoring di sisi kanan tampilan target untuk melihat metrik seperti QPS baca/tulis dan RT untuk tampilan tersebut.

Tautan fitur real-time

Layanan penyimpanan yang disediakan oleh FeatureStore terutama mencakup tiga bagian: Feature Service (lapisan akses), MSMQ (DataHub), dan FeatureDB.

Dalam fitur real-time, pengguna dapat memanggil layanan fitur melalui SDK Java FeatureStore atau Flink Connector untuk menulis data fitur ke FeatureDB. Data yang ditulis melalui layanan fitur juga akan disinkronkan ke tabel MaxCompute pengguna, yang dapat digunakan untuk ekspor sampel fitur real-time dan pelatihan model lebih lanjut.

Untuk data fitur yang disimpan di FeatureDB, pengguna dapat membacanya melalui SDK Java/Go FeatureStore, atau menarik semua fitur melalui EasyRec Processor dan menyimpannya di cache lokal untuk pembacaan berperforma tinggi. Untuk fitur real-time, informasi fitur terbaru dapat diperoleh pada tingkat milidetik.

Siklus hidup fitur real-time

Saat membuat tampilan fitur real-time, Anda dapat menentukan Feature Lifecycle untuk tabel FeatureDB. Saat waktu bertahan hidup suatu baris mencapai siklus hidup, baris tersebut akan dibersihkan secara otomatis dalam hitungan detik.

Anda dapat menentukan waktu bertahan hidup menggunakan metode berikut:

• Metode 1: Jangan atur bidang Event Time. Dalam hal ini, waktu bertahan hidup akan dihitung berdasarkan waktu penulisan data.

• Metode 2: Periksa Event Time untuk bidang fitur. Satuannya adalah milidetik. Dengan asumsi event_time adalah nilai dari Event Time, time_now adalah waktu saat ini, dan time_ttl = time_now - ttl adalah event_time saat data harus mulai kedaluwarsa. Metode penanganan spesifik untuk data fitur yang ditulis adalah:

  • Jika menggunakan mode PartialFieldWrite untuk penulisan pembaruan bidang parsial, waktu bertahan hidup akan berdasarkan waktu penulisan data aktual.

  • event_time > time_now + 15menit: Data tidak akan ditulis. (Ini mencegah perbedaan timestamp antar sistem yang berbeda, memungkinkan buffer 15 menit)

  • time_ttl < event_time <= time_now + 15menit: Data ditulis secara normal, waktu bertahan hidup dihitung mulai dari event_time, dan baris data dibersihkan secara otomatis setelah mencapai siklus hidup.

  • 0 < event_time < time_ttl: Data akan dibersihkan secara otomatis setelah ditulis. Perhatikan bahwa satuan event_time adalah milidetik. Jika nilai bidang Event Time Anda dalam detik, itu akan masuk dalam kasus ini, menyebabkan data tidak ditulis dengan sukses.

  • event_time <= 0: Waktu bertahan hidup dihitung berdasarkan waktu penulisan data aktual.

  • Nilai tidak valid (tidak dapat dikonversi ke integer): Data tidak akan ditulis.

  • Mendaftarkan bidang Event Time tetapi tidak memasukkan nilai bidang Event Time: Data ditulis secara normal, waktu bertahan hidup dihitung berdasarkan waktu penulisan data aktual.

  • Tidak ada bidang Event Time: Data ditulis secara normal, waktu bertahan hidup dihitung berdasarkan waktu penulisan data aktual.

  • Selain itu, di FeatureDB, nilai event_time digunakan sebagai ts untuk baris data ini, yang berarti jika Anda perlu memperbarui data yang sesuai dengan sebuah kunci, nilai dari bidang Event Time perlu sama atau lebih besar dari nilai sebelumnya agar baris data ini diperbarui. Jika event_time baru < nilai event_time asli, data yang sesuai dengan kunci ini tidak akan diperbarui.