Platform For AI：特徵資料庫FeatureDB

VPC網路高速連通

FeatureDB提供基於私網串連（PrivateLink）的VPC網路高速連通功能。配置成功後，FeatureStore會通過PrivateLink打通您的VPC和FeatureDB服務之間的網路，之後您可以在VPC中使用FeatureStore SDK通過私人串連訪問FeatureDB，從而提高讀寫資料效能，降低訪問延時。

您可以通過以下方式配置VPC網路高速連通。

• 方式一：如果未建立過FeatureDB資料來源，單擊管理資料來源，進入管理資料來源頁面後單擊建立資料來源。建立FeatureDB資料來源時，在VPC網路高速連通配置部分填寫VPC，和可用性區域與交換器。具體操作細節，請參見建立線上資料來源：FeatureDB。

• 方式二：如果已經建立了FeatureDB資料來源，單擊管理資料來源，進入管理資料來源頁面後單擊已經建立好的feature_db資料來源，進入詳情頁。單擊VPC網路高速連通配置，填寫VPC，和可用性區域與交換器，並單擊確定。

寫入特徵

對於離線特徵，可以使用FeatureStore Python SDK通過DataWorks每天例行運行調度任務，將MaxCompute裡的資料同步到FeatureDB中。

對於即時特徵寫入，預設我們會進行整行資料更新。如果寫入資料只包含了部分欄位，對於未寫入的欄位我們會將其設定為空白。如果想要只更新寫入欄位的資料，並將其合并到原有資料上，您可以進行如下設定：

• 通過Java SDK寫入：指定 InsertMode 寫入模式，設定為 InsertMode.PartialFieldWrite。

  for (int i = 0; i < 100;i++) {
      featureView.writeFeatures(writeData, InsertMode.PartialFieldWrite);
  }

• 通過配置Flink Connector寫入：設定參數 insert_mode 值為 partial_field_write。

讀取特徵

您可以使用FeatureStore SDK（Go/Java）或EasyRec Processor讀取特徵。

FeatureStore SDK（Go/Java ）支援離線/即時特徵的KV點查。通過指定特徵的JoinID（主鍵）值與特徵名稱，即可在毫秒內完成索引值對（KV）查詢，擷取目標特徵資料。FeatureStore SDK（Go/Java）也支援行為序列特徵的KKV查詢。通過指定UserID（使用者ID）值，即可查詢到拼裝好的序列特徵結果。

EasyRec Processor已整合FeatureStore Cpp SDK，支援將FeatureDB的特徵資料全量拉入記憶體，並支援毫秒級輪詢更新即時特徵資料到記憶體，從而實現更高效能的讀取。

監控指標

如果使用FeatureDB作為線上資料來源，建立特徵視圖後，單擊目標視圖右側的資料監控，可查看該視圖的讀寫QPS和RT等指標。（離線特徵視圖資料同步寫入不會反饋在監控指標中）

即時特徵鏈路

FeatureStore提供的儲存服務主要包括三部分：Feature Service（接入層）、訊息佇列（DataHub）和FeatureDB。

在即時特徵中，使用者可以通過FeatureStore Java SDK或Flink Connector調用Feature Service服務，將特徵資料寫入FeatureDB。通過Feature Service寫入的資料，也會同步到使用者的MaxCompute表中，可以用於即時特徵的樣本匯出，進一步的模型訓練。

對於儲存在FeatureDB中的特徵資料， 使用者可以通過FeatureStore的Java/Go SDK讀取，也可以通過 EasyRec Processor全量拉取特徵存入本機快取中，以實現更高效能的讀取。對於即時特徵，可以毫秒級擷取最新特徵資訊。

即時特徵資料生命週期設定

在建立即時特徵視圖時，可以通過特徵生命週期來設定FeatureDB表的資料生命週期。當一行資料的存留時間到達生命週期後，它會在幾秒內被自動清理。

資料的存留時間目前支援兩種設定方式：

• 方式一：不設定事件時間欄位。這種情況下，會根據資料的寫入時間開始計算存留時間，到達生命週期後，自動清理資料。

• 方式二：勾選了某個特徵欄位作為事件時間欄位，單位是毫秒。假設 event_time 為事件時間欄位的值， time_now 為現在的時間，time_ttl = time_now - ttl 為應該開始到期的 event_time 的值，這種情況下對於寫入的特徵資料的具體處理方式如下：

  • 如果使用 PartialFieldWrite 模式進行部分欄位更新寫入，則會根據資料實際寫入時間計算存留時間。

  • event_time > time_now + 15min：資料不寫入。（這裡防止不同系統之間時間戳記有差異，放寬15分鐘）

  • time_ttl < event_time <= time_now + 15min：資料正常寫入，根據 event_time 開始計算存留時間，到達生命週期後，自動清理這行資料。

  • 0 < event_time < time_ttl：資料寫入後會被自動清理。這裡需要注意的是，event_time的單位是毫秒。如果您的事件時間欄位的值是秒，那麼會落入這種情況，導致資料寫入不成功。

  • event_time <= 0：根據資料實際寫入時間計算存留時間。

  • 值非法（無法轉換成整型）：資料不寫入。

  • 註冊了事件時間欄位但是沒有傳入事件時間欄位的值：資料正常寫入，根據資料實際寫入時間計算存留時間。

  • 不註冊事件時間欄位：資料正常寫入，根據資料實際寫入時間計算存留時間。

  • 另外，在FeatureDB中，我們會將 event_time 的值作為這行資料的ts，意味著如果需要更新一個 key 對應的資料，需要事件時間欄位的值大於等於之前的值，這行資料才會更新。如果新的 event_time < 原來 event_time 的值，則不會更新這個key對應的資料。