Platform For AI:Gerencie recursos com o FeatureStore SDK

Método 1: Usar o console

1. Crie um projeto do FeatureStore.

   1. Acesse o PAI console. No painel de navegação à esquerda, clique em Data Preparation > FeatureStore.

   2. Selecione um workspace e clique em Enter FeatureStore.

   3. Clique em Create Project. Na caixa de diálogo exibida, configure os parâmetros do projeto.

      Parâmetro	Valor sugerido
      Name	Insira um nome personalizado. Este tópico usa fs_demo como exemplo.
      Description	Insira uma descrição personalizada.
      Offline Store	Selecione a source de dados do MaxCompute que você criou.
      Online Store	Selecione a source de dados do FeatureDB que você criou.

   4. Clique em Submit para criar o projeto do FeatureStore.

2. Crie uma entidade de recurso.

   1. Na página Projects do FeatureStore, clique no nome do projeto para abrir a página de detalhes do projeto.

   2. Na aba Feature Entity, clique em Create Feature Entity. Na caixa de diálogo exibida, configure os parâmetros para a entidade de recurso de usuário.

      Parâmetro	Valor sugerido
      Feature Entity Name	Insira um nome personalizado. Este tópico usa user como exemplo.
      Join Id	user_id

   3. Clique em Submit.

   4. Clique em Create Feature Entity. Na caixa de diálogo exibida, configure os parâmetros para a entidade de recurso de item.

      Parâmetro	Valor sugerido
      Feature Entity Name	Insira um nome personalizado. Este tópico usa item como exemplo.
      Join Id	item_id

   5. Clique em Submit para criar a entidade de recurso.

3. Crie uma feature view.

   1. Na aba Feature View da página de detalhes do projeto, clique em Create Feature View. Na caixa de diálogo exibida, configure os parâmetros para a feature view de usuário.

      Parâmetro	Valor sugerido
      View Name	Insira um nome personalizado. Este tópico usa user_table_preprocess_all_feature_v1 como exemplo.
      Type	Offline
      Write Mode	Use Offline Table
      Store	Selecione a source de dados do MaxCompute que você criou.
      Feature Table	Selecione a tabela de usuários que você preparou: rec_sln_demo_user_table_preprocess_all_feature_v1.
      Feature Field	Selecione a chave primária user_id.
      Synchronize Online Feature Table	Yes
      Feature Entity	user
      Feature Lifecycle	Mantenha o valor padrão.

   2. Clique em Submit.

   3. Clique em Create Feature View. Na caixa de diálogo exibida, configure a feature view de item.

      Parâmetro	Valor sugerido
      View Name	Insira um nome personalizado. Este tópico usa item_table_preprocess_all_feature_v1 como exemplo.
      Type	Offline
      Write Mode	Use Offline Table
      Store	Selecione a source de dados do MaxCompute que você criou.
      Feature Table	Selecione a tabela de itens que você preparou: rec_sln_demo_item_table_preprocess_all_feature_v1.
      Feature Field	Selecione a chave primária item_id.
      Synchronize Online Feature Table	Yes
      Feature Entity	item
      Feature Lifecycle	Mantenha o valor padrão.

   4. Após concluir a configuração, clique em Submit para criar a feature view.

4. Crie uma tabela de rótulos.

   1. Na aba Label Table da página de detalhes do projeto, clique em Create Label Table. Na caixa de diálogo exibida, configure as informações da tabela de rótulos.

      Parâmetro	Valor sugerido
      Store	Selecione a source de dados do MaxCompute que você criou.
      Table Name	Selecione a tabela de rótulos que você preparou: rec_sln_demo_label_table.

   2. Clique em Submit.

5. Crie um recurso de modelo.

   1. Na aba Model Features da página de detalhes do projeto, clique em Create Model Feature. Na caixa de diálogo exibida, configure os parâmetros do recurso de modelo.

      Parâmetro	Valor sugerido
      Model Feature Name	Insira um nome personalizado. Este tópico usa fs_rank_v1 como exemplo.
      Select Feature	Selecione as feature views de usuário e item que você criou.
      Label Table Name	Selecione a tabela de rótulos que você criou: rec_sln_demo_label_table.

   2. Clique em Submit para criar o recurso de modelo.

   3. Na página da lista de recursos de modelo, clique em Details à direita do seu modelo.

   4. Na caixa de diálogo Model Feature Details exibida, na aba Basic Information, visualize o Export Table Name, que é fs_demo_fs_rank_v1_trainning_set. Esta tabela é usada para produção de recursos subsequente e treinamento de modelo.

6. Instale o SDK do Python do FeatureStore. Para obter mais informações, consulte Use FeatureStore to manage features in a recommendation system.

Método 2: Usar o SDK do Python do FeatureStore

1. Acesse o console do DataWorks.

2. No painel de navegação à esquerda, clique em Resource Groups.

3. Na aba Exclusive Resource Groups, encontre o grupo de recursos cujo Purpose é Data Scheduling. Clique no ícone ao lado de seu recurso de agendamento e selecione O&M Assistant.

4. Clique em Create Command. Na caixa de diálogo exibida, configure os parâmetros do comando.

   Parâmetro	Valor sugerido
   Nome do Comando	Insira um nome personalizado. Este tópico usa install como exemplo.
   Tipo de Comando	Manual Input (pip Command Cannot Be Used To Install Third-party Packages)
   Conteúdo do Comando	/home/tops/bin/pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-2.0.2-py3-none-any.whl
   Timeout	Defina um tempo personalizado.

5. Clique em Create para criar o comando.

6. Clique em Run Command. Na caixa de diálogo exibida, clique em Run.

7. Clique em Refresh para visualizar o status de execução mais recente. Quando o status mudar para Success, a instalação estará concluída.

Para obter etapas detalhadas sobre como usar o SDK, consulte DSW Gallery.

Python SDK

Para obter mais informações, consulte Use the FeatureStore Python SDK to build a recommendation system.

Go SDK

O FeatureStore Go SDK é open source. Para obter mais informações, consulte aliyun-pai-featurestore-go-sdk.

1. Instalação

   Execute o seguinte comando para instalar o SDK do Go do FeatureStore.

   go get github.com/aliyun/aliyun-pai-featurestore-go-sdk/v2

2. Uso

   1. Execute o seguinte comando para inicializar o cliente.

      accessId := os.Getenv("AccessId") 
      accessKey := os.Getenv("AccessKey") 
      regionId := "cn-hangzhou" 
      projectName := "fs_test_ots" 
      
      client, err := NewFeatureStoreClient(regionId, accessId, accessKey, projectName)

      Nota

      O SDK se conecta diretamente à source de dados online. Portanto, o cliente deve ser executado em um ambiente VPC. Por exemplo, o Hologres requer que as conexões se originem de uma VPC especificada.

   2. Recupere dados de recursos de uma feature view.

      // get project by name 
      project, err := client.GetProject("fs_test_ots") 
      if err != nil {     
      	// t.Fatal(err) 
      } 
      // get featureview by name 
      user_feature_view := project.GetFeatureView("user_fea") 
      if user_feature_view == nil {     
      	// t.Fatal("feature view not exist") 
      } 
      
      // get online features 
      features, err := user_feature_view.GetOnlineFeatures([]interface{}{"100043186", "100060369"}, []string{"*"}, nil)

      Aqui, []string{"*"} significa recuperar todos os recursos na feature view. Você também pode especificar os nomes dos recursos que deseja recuperar.

      A seguir, um exemplo dos dados retornados:

      [     
      {         
      "city":"Hefei",    "follow_cnt":1,         "gender":"male",         "user_id":"100043186"    
       },     {                     
       "city":"",         "follow_cnt":5,         "gender":"male",         "user_id":"100060369"     
      } 
      ]

   3. Recupere dados de recursos de um recurso de modelo.

      É possível associar um recurso de modelo a várias entidades de recursos. Você pode fornecer vários join IDs para recuperar os recursos correspondentes juntos.

      Este exemplo usa três join IDs: join_id, user_id e item_id. Ao buscar recursos, você deve fornecer um valor para cada join ID.

      // get project by name 
      project, err := client.GetProject("fs_test_ots") 
      if err != nil {     
      	// t.Fatal(err) 
      }
      
      // get ModelFeature by name 
      model_feature := project.GetModelFeature("rank") 
      if model_feature == nil {     
      	// t.Fatal("model feature not exist") 
      } 
      
      // get online features 
      features, err := model_feature.GetOnlineFeatures(map[string][]interface{}{"user_id": {"100000676", "100004208"}, "item_id":{"238038872", "264025480"}} )

      A seguir, um exemplo dos dados retornados:

      [     
      {         
      "age":26,         "author":100015828,         "category":"14",         "city":"Shenyang",         "duration":63,         "gender":"male",         "item_id":"238038872",         "user_id":"100000676"    
       },     {         
      "age":23,         "author":100015828,         "category":"15",         "city":"Xi'an",         "duration":22,         "gender":"male",         "item_id":"264025480",         "user_id":"100004208"    
       }
       ]
      

      Você também pode especificar uma entidade de recurso para recuperar todos os seus recursos correspondentes.

      A seguir, um exemplo dos dados retornados:

      [    
       {         
      "age":26,         "city":"Shenyang",         "gender":"male",         "user_id":"100000676"    
       },     {        
       "age":23,         "city":"Xi'an",         "gender":"male",         "user_id":"100004208"    
       } 
      ]

Java SDK

O FeatureStore Java SDK é open source. Para obter mais informações, consulte aliyun-pai-featurestore-java-sdk.

Esta seção usa uma source de dados do Hologres como exemplo.

1. Execute o seguinte código para carregar variáveis de ambiente e inicializar o service.

   public static String accessId = "";
   public static String accessKey = "";
   // Configure the host based on the region
   public static String host = "";
   // Get the accessId and accessKey from the configured local environment variables
   static {
       accessId = System.getenv("ACCESS_KEY_ID");
       accessKey = System.getenv("ACCESS_KEY_SECRET");
   }

2. Crie uma classe de configuração que configure o regionId, accessId, accessKey e o nome do projeto.

   Configuration cf = new Configuration("cn-hangzhou",Constants.accessId,Constants.accessKey,"ele28");
   cf.setDomain(Constants.host);// Note: The default environment is a VPC environment

3. Inicialize o cliente.

   ApiClient apiClient = new ApiClient(cf);
   // FS client
   FeatureStoreClient featureStoreClient = new FeatureStoreClient(apiClient);

4. Recupere o projeto. Este exemplo usa um projeto chamado ele28.

   Project project=featureStoreClient.getProject("ele28");
   if(project==null){
       throw new RuntimeException("Project not found");
   }

5. Recupere a feature view do projeto. Este exemplo usa uma feature view chamada mc_test.

   FeatureView featureView=project.getFeatureView("mc_test");
   if (featureView == null) {
       throw  new RuntimeException("FeatureView not found");
   }

6. Recupere dados de recursos online com base na feature view.

   Map<String,String> m1=new HashMap<>();
   m1.put("gender","gender1"); // Create an alias                                                                                                                                                                                                 user_id='100027781'(FS_INT64) age='28'(FS_INT64) city='null'(FS_STRING) item_cnt='0'(FS_INT64) follow_cnt='0'(FS_INT64) follower_cnt='2'(FS_INT64) register_time='1697641608'(FS_INT64) tags='0'(FS_STRING) gender1='female'(FS_STRING) ---------------

   Para recuperar recursos online, String[]{"*"} recupera todas as propriedades. Você também pode especificar certas propriedades para recuperar apenas um subconjunto das informações.

   FeatureResult featureResult1=featureView.getOnlineFeatures(new String[]{"100017768","100027781","100072534"},new String[]{"*"},m1);

   Exiba as informações do recurso.

   while(featureResult1.next()){
       System.out.println("---------------");
       // Feature name
       for(String m:featureResult1.getFeatureFields()){
           System.out.print(String.format("%s=%s(%s) ",m,featureResult1.getObject(m),featureResult1.getType(m)));
       }
       System.out.println("---------------");
   }   

   Os seguintes dados são retornados.

   ---------------
   user_id='100017768'(FS_INT64)  age='28'(FS_INT64)  city='Dongguan'(FS_STRING) item_cnt='1'(FS_INT64)  follow_cnt='1'(FS_INT64)  follower_cnt='0'(FS_INT64) register_time='1697202320'(FS_INT64)  tags='1,2'(FS_STRING)  gender1='female'(FS_STRING) 
   ---------------

7. Recupere o modelo.

   Model model=project.getModelFeature("model_t1");
   if(model==null){
       throw new RuntimeException("Model not found");
   }

   1. Recupere dados do recurso de modelo.

      Este recurso de modelo usa dois join IDs: user_id e item_id. O número de valores que você fornece deve corresponder ao número de join IDs. Este exemplo fornece um valor para cada join ID.

      Map<String, List<String>> m2=new HashMap<>(); 
      m2.put("user_id",Arrays.asList("101683057"));
      m2.put("item_id",Arrays.asList("203665415"));

   2. Recupere todos os dados de recursos relacionados à entidade de recurso de usuário a partir do recurso de modelo.

      FeatureResult featureResult2 = model.getOnlineFeaturesWithEntity(m2,"user");

      Os seguintes dados são retornados.

      ---------------
      user_id='101683057' age='28' city='Shenzhen' follower_cnt='234' follow_cnt='0' gender='male' item_cnt='0' register_time='1696407642' tags='2' item_id='203665415' author='132920407' category='14' click_count='0' duration='18.0' praise_count='10' pub_time='1698218997' title='#Idiom Story' 
      ---------------

Cpp SDK

O FeatureStore C++ SDK está atualmente integrado ao EasyRec Processor. Ele é especificamente otimizado para extração de recursos, gerenciamento de cache e operações de leitura para fornecer uma solução de alta performance e baixa latência para cenários de recomendação em grande escala.

• Uso de memória: Ao lidar com dados de recursos complexos e em grande escala, o consumo de memória é significativamente reduzido. A economia de memória é mais significativa sob altas cargas de recursos.

• Tempo de extração de recursos: Em vez de extrair recursos de armazenamentos online (como FeatureDB e Hologres), o SDK os extrai diretamente do MaxCompute para o cache do Elastic Algorithm Service (EAS). Isso reduz significativamente o tempo de carregamento de recursos. Além disso, o MaxCompute fornece melhor estabilidade e extensibilidade, o que reduz a carga nos armazenamentos online durante operações de scale-out.

• Tempo de pontuação do modelo: Usar este SDK melhora a métrica de performance TP100 para pontuação de modelo, estabiliza os tempos de resposta e reduz significativamente as requisições de timeout. Essas melhorias aumentam a confiabilidade geral e a experiência do usuário do service de recomendação.