Platform For AI:Feature database FeatureDB

Conectividad VPC de alta velocidad

FeatureDB ofrece conectividad VPC de alta velocidad mediante PrivateLink. Una vez completada la configuración, FeatureStore usa PrivateLink para conectar su VPC al servicio FeatureDB. Después, puede acceder a FeatureDB mediante una conexión privada desde su VPC con FeatureStore SDK, lo que mejora el rendimiento de lectura y escritura de datos y reduce la latencia de acceso.

Configure la conectividad VPC de alta velocidad de la siguiente manera:

• Método 1: si aún no ha creado un origen de datos de FeatureDB, haga clic en Manage Data Source . En la página Manage Data Source, haga clic en Create Data Source . Al crear el origen de datos de FeatureDB, complete la sección VPC Direct Connection Configurations con su VPC y Zone and vSwitch. Para conocer los pasos detallados, consulte Create an online data source: FeatureDB.

• Método 2: si ya creó un origen de datos de FeatureDB, haga clic en Manage Data Source . En la página Manage Data Source, haga clic en el origen de datos feature_db existente para ir a su página de producto. Haga clic en VPC Direct Connection Configurations, introduzca su VPC y Zone and vSwitch, y luego haga clic en Confirm.

Escritura de características

Para las características sin conexión, utilice el SDK de Python de FeatureStore junto con DataWorks para ejecutar tareas programadas diarias que sincronicen los datos de MaxCompute hacia FeatureDB.

De forma predeterminada, las escrituras de características en tiempo real actualizan la fila completa. Si los datos escritos incluyen solo algunos campos, los campos faltantes se dejan vacíos. Para actualizar únicamente campos específicos y combinarlos con los datos existentes, aplique la siguiente configuración:

• Al escribir mediante el SDK de Java: especifique InsertMode como InsertMode.PartialFieldWrite.

  for (int i = 0; i < 100;i++) {
      featureView.writeFeatures(writeData, InsertMode.PartialFieldWrite);
  }

• Al escribir mediante Flink Connector: establezca el parámetro insert_mode en partial_field_write.

Lectura de características

Utilice FeatureStore SDK (Go/Java) o EasyRec Processor para leer características.

El SDK de FeatureStore (Go/Java) admite uniones KV de punto en el tiempo para características sin conexión y en tiempo real. Especifique el JoinID (clave principal) y el nombre de la característica para completar una consulta KV y recuperar los datos objetivo en milisegundos. El SDK también admite consultas KKV para características de secuencia de comportamiento. Solo tiene que especificar un UserID para obtener los resultados ensamblados de las características de secuencia.

EasyRec Processor integra el SDK de C++ de FeatureStore, lo que permite cargar por completo los datos de características de FeatureDB en memoria. Además, realiza sondeos a nivel de milisegundos para actualizar las características en tiempo real dentro de la memoria y así lograr un mayor rendimiento de lectura.

Métricas de monitoreo

Si utiliza FeatureDB como almacén en línea, después de crear una vista de características, haga clic en Data Monitoring junto a la vista correspondiente para consultar métricas como el QPS de lectura y escritura, y el RT. (Nota: las escrituras provenientes de la sincronización de datos de vistas de características sin conexión no se reflejan en estas métricas).

Pipeline de características en tiempo real

El servicio de almacenamiento de FeatureStore consta de tres componentes: Feature Service (capa de acceso), cola de mensajes (DataHub) y FeatureDB.

Para las características en tiempo real, puede invocar Feature Service mediante el SDK de Java de FeatureStore o Flink Connector para escribir datos de características en FeatureDB. Los datos escritos a través de Feature Service también se sincronizan con su tabla de MaxCompute para exportar muestras de características en tiempo real y continuar con el entrenamiento de modelos.

Puede leer los datos de características almacenados en FeatureDB con los SDK de Java o Go de FeatureStore, o bien extraer todas las características a la caché local mediante EasyRec Processor para obtener un mejor rendimiento de lectura. Las características en tiempo real entregan la información más reciente en milisegundos.

Configuración del ciclo de vida de los datos de características en tiempo real

Al crear una vista de características en tiempo real, configure el ciclo de vida de los datos de la tabla de FeatureDB mediante Feature Lifecycle . Las filas caducan y se limpian automáticamente en cuestión de segundos tras alcanzar su duración de ciclo de vida.

Actualmente, el tiempo de vida (TTL) de los datos admite dos métodos de configuración:

• Método 1: no especifique un campo Event Time. En este caso, el tiempo de vida comienza a partir del momento de escritura de los datos, y las filas se limpian automáticamente al caducar.

• Método 2: seleccione un campo de característica como campo Event Time (unidad: milisegundos). Considere event_time como el valor del campo Event Time, time_now como la hora actual y time_ttl = time_now - ttl como el umbral de event_time para la caducidad. FeatureDB procesa los datos escritos de la siguiente manera:

  • Si utiliza el modo PartialFieldWrite para actualizaciones de campos parciales, el tiempo de vida se calcula a partir de la hora real de escritura.

  • Si event_time > time_now + 15 min: los datos no se escriben. (Esto previene discrepancias de marcas de tiempo entre sistemas al permitir un margen de 15 minutos).

  • Si time_ttl < event_time <= time_now + 15 min: los datos se escriben con normalidad. El tiempo de vida comienza a partir de event_time y la fila se limpia automáticamente al caducar.

  • Si 0 < event_time < time_ttl: los datos se escriben, pero se limpian de inmediato. Nota: event_time está en milisegundos. Si su campo Event Time usa segundos, los datos caerán en este caso y no se conservarán.

  • Si event_time <= 0: el tiempo de vida se calcula a partir de la hora real de escritura.

  • Si el valor no es válido (no se puede convertir a un entero): los datos no se escriben.

  • Si el campo Event Time está registrado, pero no se proporciona ningún valor para dicho campo Event Time: los datos se escriben con normalidad y su tiempo de vida se calcula con base en la hora real de escritura.

  • Si no hay ningún campo Event Time registrado: los datos se escriben con normalidad y el tiempo de vida se calcula a partir de la hora real de escritura.

  • Además, FeatureDB utiliza el valor de event_time como la marca de tiempo (ts) de la fila. Para actualizar los datos de una clave determinada, el nuevo valor de Event Time debe ser mayor o igual que el valor anterior. Si el nuevo event_time es menor que el original, los datos de la clave no se actualizarán.