Platform For AI：Praktik terbaik FeatureStore

Metode 1: Gunakan konsol

1. Buat proyek FeatureStore.

   1. Masuk ke Konsol PAI. Di panel navigasi sebelah kiri, klik Data Preparation > FeatureStore.

   2. Pilih ruang kerja dan klik Enter FeatureStore.

   3. Klik Create Project. Di kotak dialog yang muncul, konfigurasikan parameter proyek.

      Parameter	Nilai yang disarankan
      Name	Masukkan nama kustom. Topik ini menggunakan fs_demo sebagai contoh.
      Description	Masukkan deskripsi kustom.
      Offline Store	Pilih sumber data MaxCompute yang telah Anda buat.
      Online Store	Pilih sumber data FeatureDB yang telah Anda buat.

   4. Klik Submit untuk membuat proyek FeatureStore.

2. Buat entitas fitur.

   1. Pada halaman FeatureStore Projects, klik nama proyek untuk membuka halaman detailnya.

   2. Di tab Feature Entity, klik Create Feature Entity. Di kotak dialog yang muncul, konfigurasikan parameter untuk entitas fitur pengguna.

      Parameter	Nilai yang disarankan
      Feature Entity Name	Masukkan nama kustom. Topik ini menggunakan user sebagai contoh.
      Join Id	user_id

   3. Klik Submit.

   4. Klik Create Feature Entity. Di kotak dialog yang muncul, konfigurasikan parameter untuk entitas fitur item.

      Parameter	Nilai yang disarankan
      Feature Entity Name	Masukkan nama kustom. Topik ini menggunakan item sebagai contoh.
      Join Id	item_id

   5. Klik Submit untuk membuat entitas fitur.

3. Buat tampilan fitur.

   1. Di tab Feature View halaman detail proyek, klik Create Feature View. Di kotak dialog yang muncul, konfigurasikan parameter untuk tampilan fitur pengguna.

      Parameter	Nilai yang disarankan
      View Name	Masukkan nama kustom. Topik ini menggunakan user_table_preprocess_all_feature_v1 sebagai contoh.
      Type	Offline
      Write Mode	Use Offline Table
      Store	Pilih sumber data MaxCompute yang telah Anda buat.
      Feature Table	Pilih tabel pengguna yang telah Anda siapkan: rec_sln_demo_user_table_preprocess_all_feature_v1.
      Feature Field	Pilih kunci utama user_id.
      Synchronize Online Feature Table	Yes
      Feature Entity	user
      Feature Lifecycle	Pertahankan nilai default.

   2. Klik Submit.

   3. Klik Create Feature View. Di kotak dialog yang muncul, konfigurasikan tampilan fitur item.

      Parameter	Nilai yang disarankan
      View Name	Masukkan nama kustom. Topik ini menggunakan item_table_preprocess_all_feature_v1 sebagai contoh.
      Type	Offline
      Write Mode	Use Offline Table
      Store	Pilih sumber data MaxCompute yang telah Anda buat.
      Feature Table	Pilih tabel item yang telah Anda siapkan: rec_sln_demo_item_table_preprocess_all_feature_v1.
      Feature Field	Pilih kunci utama item_id.
      Synchronize Online Feature Table	Yes
      Feature Entity	item
      Feature Lifecycle	Pertahankan nilai default.

   4. Setelah konfigurasi selesai, klik Submit untuk membuat tampilan fitur.

4. Buat tabel label.

   1. Di tab Label Table halaman detail proyek, klik Create Label Table. Di kotak dialog yang muncul, konfigurasikan informasi tabel label.

      Parameter	Nilai yang disarankan
      Store	Pilih sumber data MaxCompute yang telah Anda buat.
      Table Name	Pilih tabel label yang telah Anda siapkan: rec_sln_demo_label_table.

   2. Klik Submit.

5. Buat fitur model.

   1. Di tab Model Features halaman detail proyek, klik Create Model Feature. Di kotak dialog yang muncul, konfigurasikan parameter fitur model.

      Parameter	Nilai yang disarankan
      Model Feature Name	Masukkan nama kustom. Topik ini menggunakan fs_rank_v1 sebagai contoh.
      Select Feature	Pilih tampilan fitur pengguna dan item yang telah Anda buat.
      Label Table Name	Pilih tabel label yang telah Anda buat: rec_sln_demo_label_table.

   2. Klik Submit untuk membuat fitur model.

   3. Di halaman daftar fitur model, klik Details di sebelah kanan model Anda.

   4. Di kotak dialog Model Feature Details yang muncul, di tab Basic Information, Anda dapat melihat Export Table Name, yaitu fs_demo_fs_rank_v1_trainning_set. Tabel ini digunakan untuk produksi fitur dan pelatihan model selanjutnya.

6. Instal SDK Python FeatureStore. Untuk informasi selengkapnya, lihat Gunakan FeatureStore untuk mengelola fitur dalam sistem rekomendasi.

Metode 2: Gunakan SDK Python FeatureStore

1. Masuk ke Konsol DataWorks.

2. Di panel navigasi sebelah kiri, klik Resource Groups.

3. Di tab Exclusive Resource Groups, temukan grup sumber daya yang Purpose adalah Data Scheduling. Klik ikon di sebelah sumber daya jadwalnya dan pilih O&M Assistant.

4. Klik Create Command. Di kotak dialog yang muncul, konfigurasikan parameter perintah.

   Parameter	Nilai yang disarankan
   Nama Perintah	Masukkan nama kustom. Topik ini menggunakan install sebagai contoh.
   Tipe Perintah	Manual Input (pip Command Cannot Be Used To Install Third-party Packages)
   Konten Perintah	/home/tops/bin/pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-2.0.2-py3-none-any.whl
   Timeout	Tetapkan waktu kustom.

5. Klik Create untuk membuat perintah.

6. Klik Run Command. Di kotak dialog yang muncul, klik Run.

7. Anda dapat mengklik Refresh untuk melihat status eksekusi terbaru. Saat status berubah menjadi Success, instalasi selesai.

Untuk langkah-langkah detail menggunakan SDK, lihat DSW Gallery.

SDK Python

Untuk informasi selengkapnya, lihat Gunakan SDK Python FeatureStore untuk membangun sistem rekomendasi.

SDK Go

SDK Go FeatureStore bersifat open source. Untuk informasi selengkapnya, lihat aliyun-pai-featurestore-go-sdk.

1. Instalasi

   Jalankan perintah berikut untuk menginstal SDK Go FeatureStore.

   go get github.com/aliyun/aliyun-pai-featurestore-go-sdk/v2

2. Penggunaan

   1. Jalankan perintah berikut untuk menginisialisasi klien.

      accessId := os.Getenv("AccessId") 
      accessKey := os.Getenv("AccessKey") 
      regionId := "cn-hangzhou" 
      projectName := "fs_test_ots" 
      
      client, err := NewFeatureStoreClient(regionId, accessId, accessKey, projectName)

      Catatan

      SDK terhubung langsung ke sumber data online. Oleh karena itu, klien harus dijalankan di lingkungan VPC. Misalnya, Hologres memerlukan koneksi yang berasal dari VPC tertentu.

   2. Ambil data fitur dari tampilan fitur.

      // get project by name 
      project, err := client.GetProject("fs_test_ots") 
      if err != nil {     
      	// t.Fatal(err) 
      } 
      // get featureview by name 
      user_feature_view := project.GetFeatureView("user_fea") 
      if user_feature_view == nil {     
      	// t.Fatal("feature view not exist") 
      } 
      
      // get online features 
      features, err := user_feature_view.GetOnlineFeatures([]interface{}{"100043186", "100060369"}, []string{"*"}, nil)

      Di sini, []string{"*"} berarti mengambil semua fitur dalam tampilan fitur. Anda juga dapat menentukan nama fitur yang ingin diambil.

      Berikut adalah contoh data yang dikembalikan:

      [     
      {         
      "city":"Hefei",    "follow_cnt":1,         "gender":"male",         "user_id":"100043186"    
       },     {                     
       "city":"",         "follow_cnt":5,         "gender":"male",         "user_id":"100060369"     
      } 
      ]

   3. Ambil data fitur dari fitur model.

      Fitur model dapat dikaitkan dengan beberapa entitas fitur. Anda dapat memberikan beberapa join ID untuk mengambil fitur yang sesuai secara bersamaan.

      Contoh ini menggunakan tiga join ID: join_id, user_id, dan item_id. Saat mengambil fitur, Anda harus memberikan nilai untuk setiap join ID.

      // get project by name 
      project, err := client.GetProject("fs_test_ots") 
      if err != nil {     
      	// t.Fatal(err) 
      }
      
      // get ModelFeature by name 
      model_feature := project.GetModelFeature("rank") 
      if model_feature == nil {     
      	// t.Fatal("model feature not exist") 
      } 
      
      // get online features 
      features, err := model_feature.GetOnlineFeatures(map[string][]interface{}{"user_id": {"100000676", "100004208"}, "item_id":{"238038872", "264025480"}} )

      Berikut adalah contoh data yang dikembalikan:

      [     
      {         
      "age":26,         "author":100015828,         "category":"14",         "city":"Shenyang",         "duration":63,         "gender":"male",         "item_id":"238038872",         "user_id":"100000676"    
       },     {         
      "age":23,         "author":100015828,         "category":"15",         "city":"Xi'an",         "duration":22,         "gender":"male",         "item_id":"264025480",         "user_id":"100004208"    
       }
       ]
      
      

      Anda juga dapat menentukan entitas fitur untuk mengambil semua fitur yang sesuai.

      Berikut adalah contoh data yang dikembalikan:

      [    
       {         
      "age":26,         "city":"Shenyang",         "gender":"male",         "user_id":"100000676"    
       },     {        
       "age":23,         "city":"Xi'an",         "gender":"male",         "user_id":"100004208"    
       } 
      ]

SDK Java

SDK Java FeatureStore bersifat open source. Untuk informasi selengkapnya, lihat aliyun-pai-featurestore-java-sdk.

Bagian ini menggunakan sumber data Hologres sebagai contoh.

1. Jalankan kode berikut untuk memuat variabel lingkungan dan menginisialisasi layanan.

   public static String accessId = "";
   public static String accessKey = "";
   // Configure the host based on the region
   public static String host = "";
   // Get the accessId and accessKey from the configured local environment variables
   static {
       accessId = System.getenv("ACCESS_KEY_ID");
       accessKey = System.getenv("ACCESS_KEY_SECRET");
   }

2. Buat kelas konfigurasi yang mengonfigurasi regionId, accessId, accessKey, dan nama proyek.

   Configuration cf = new Configuration("cn-hangzhou",Constants.accessId,Constants.accessKey,"ele28");
   cf.setDomain(Constants.host);// Note: The default environment is a VPC environment

3. Inisialisasi klien.

   ApiClient apiClient = new ApiClient(cf);
   // FS client
   FeatureStoreClient featureStoreClient = new FeatureStoreClient(apiClient);

4. Ambil proyek. Contoh ini menggunakan proyek bernama ele28.

   Project project=featureStoreClient.getProject("ele28");
   if(project==null){
       throw new RuntimeException("Project not found");
   }

5. Ambil tampilan fitur proyek. Contoh ini menggunakan tampilan fitur bernama mc_test.

   FeatureView featureView=project.getFeatureView("mc_test");
   if (featureView == null) {
       throw  new RuntimeException("FeatureView not found");
   }

6. Ambil data fitur online berdasarkan tampilan fitur.

   Map<String,String> m1=new HashMap<>();
   m1.put("gender","gender1"); // Create an alias                                                                                                                                                                                                 user_id='100027781'(FS_INT64) age='28'(FS_INT64) city='null'(FS_STRING) item_cnt='0'(FS_INT64) follow_cnt='0'(FS_INT64) follower_cnt='2'(FS_INT64) register_time='1697641608'(FS_INT64) tags='0'(FS_STRING) gender1='female'(FS_STRING) ---------------

   Untuk mengambil fitur online, String[]{"*"} mengambil semua properti. Anda juga dapat menentukan properti tertentu untuk hanya mengambil sebagian informasi.

   FeatureResult featureResult1=featureView.getOnlineFeatures(new String[]{"100017768","100027781","100072534"},new String[]{"*"},m1);

   Keluarkan informasi fitur.

   while(featureResult1.next()){
       System.out.println("---------------");
       // Feature name
       for(String m:featureResult1.getFeatureFields()){
           System.out.print(String.format("%s=%s(%s) ",m,featureResult1.getObject(m),featureResult1.getType(m)));
       }
       System.out.println("---------------");
   }   

   Data berikut dikembalikan.

   ---------------
   user_id='100017768'(FS_INT64)  age='28'(FS_INT64)  city='Dongguan'(FS_STRING) item_cnt='1'(FS_INT64)  follow_cnt='1'(FS_INT64)  follower_cnt='0'(FS_INT64) register_time='1697202320'(FS_INT64)  tags='1,2'(FS_STRING)  gender1='female'(FS_STRING) 
   ---------------

7. Ambil model.

   Model model=project.getModelFeature("model_t1");
   if(model==null){
       throw new RuntimeException("Model not found");
   }

   1. Ambil data dari fitur model.

      Fitur model ini menggunakan dua join ID: user_id dan item_id. Jumlah nilai yang Anda berikan harus sesuai dengan jumlah join ID. Contoh ini memberikan satu nilai untuk setiap join ID.

      Map<String, List<String>> m2=new HashMap<>(); 
      m2.put("user_id",Arrays.asList("101683057"));
      m2.put("item_id",Arrays.asList("203665415"));

   2. Ambil semua data fitur yang terkait dengan entitas fitur pengguna dari fitur model.

      FeatureResult featureResult2 = model.getOnlineFeaturesWithEntity(m2,"user");

      Data berikut dikembalikan.

      ---------------
      user_id='101683057' age='28' city='Shenzhen' follower_cnt='234' follow_cnt='0' gender='male' item_cnt='0' register_time='1696407642' tags='2' item_id='203665415' author='132920407' category='14' click_count='0' duration='18.0' praise_count='10' pub_time='1698218997' title='#Idiom Story' 
      ---------------

SDK Cpp

SDK C++ FeatureStore saat ini diintegrasikan ke dalam EasyRec Processor. SDK ini dioptimalkan khusus untuk ekstraksi fitur, manajemen cache, dan operasi baca guna menyediakan solusi berkinerja tinggi dan latensi rendah untuk skenario rekomendasi berskala besar.

• Penggunaan memori: Saat menangani data fitur yang kompleks dan berskala besar, konsumsi memori berkurang secara signifikan. Penghematan memori lebih besar di bawah beban fitur tinggi.

• Waktu tarik fitur: Alih-alih menarik fitur dari online store (seperti FeatureDB dan Hologres), SDK menariknya langsung dari MaxCompute ke cache Elastic Algorithm Service (EAS). Hal ini memperpendek waktu pemuatan fitur secara signifikan. Selain itu, MaxCompute menyediakan stabilitas dan ekstensibilitas yang lebih baik, sehingga mengurangi beban pada online store selama operasi memperluas kapasitas.

• Waktu penilaian model: Menggunakan SDK ini meningkatkan metrik performa TP100 untuk penilaian model, menstabilkan waktu respons, dan mengurangi permintaan timeout secara signifikan. Peningkatan ini meningkatkan keandalan dan pengalaman pengguna layanan rekomendasi secara keseluruhan.