Platform For AI:特徴量データベース FeatureDB

高速 VPC 接続

FeatureDB は、PrivateLink を介した高速 VPC 接続を提供します。設定が成功すると、フィーチャーストアは PrivateLink を使用してご利用の VPC を FeatureDB サービスに接続します。その後、FeatureStore SDK を使用して VPC 内からプライベート接続経由で FeatureDB にアクセスでき、データの読み書きパフォーマンスを向上させ、アクセスレイテンシを削減できます。

高速 VPC 接続は、次のように設定します。

• 方法 1：FeatureDB データソースをまだ作成していない場合は、[データソースの管理] をクリックします。[データソースの管理] ページで、[データソースの作成] をクリックします。FeatureDB データソースを作成する際に、VPC Direct Connection Configurations セクションに、ご利用の Vpc と Zone and vSwitch を入力します。詳細な手順については、「オンラインデータソースの作成：FeatureDB」をご参照ください。

• 方法 2：すでに FeatureDB データソースを作成している場合は、[データソースの管理] をクリックします。[データソースの管理] ページで、既存の feature_db データソースをクリックして、その製品ページに移動します。VPC Direct Connection Configurations をクリックし、ご利用の Vpc と Zone and vSwitch を入力してから、Confirm をクリックします。

特徴量の書き込み

オフライン特徴量の場合、FeatureStore Python SDK と DataWorks を使用して、MaxCompute から FeatureDB にデータを同期する日次の定期タスクを実行します。

デフォルトでは、リアルタイム特徴量の書き込みは行全体の更新を実行します。書き込まれたデータに一部のフィールドしか含まれていない場合、欠落しているフィールドは空に設定されます。指定されたフィールドのみを更新し、既存のデータにマージするには、次のように設定します。

• Java SDK を介して書き込む場合：InsertMode を InsertMode.PartialFieldWrite として指定します。

  for (int i = 0; i < 100;i++) {
      featureView.writeFeatures(writeData, InsertMode.PartialFieldWrite);
  }

• Flink コネクタを介して書き込む場合：パラメーター insert_mode を partial_field_write に設定します。

特徴量の読み取り

FeatureStore SDK (Go/Java) または EasyRec Processor を使用して特徴量を読み取ります。

FeatureStore SDK (Go/Java) は、オフライン特徴量とリアルタイム特徴量の KV ポイントインタイム結合をサポートします。特徴量の JoinID (プライマリキー) と特徴量名を指定して KV クエリを完了し、ミリ秒単位でターゲットの特徴量データを取得します。SDK は、行動シーケンス特徴量の KKV クエリもサポートします。UserID を指定して、アセンブルされたシーケンス特徴量の結果を取得します。

EasyRec Processor は FeatureStore C++ SDK を統合しており、FeatureDB の特徴量データをすべてメモリに完全に取り込み、ミリ秒レベルのポーリングでメモリ内のリアルタイム特徴量を更新することで、より高い読み取りパフォーマンスを実現します。

モニタリングメトリクス

FeatureDB をオンラインストアとして使用する場合、特徴量ビューを作成した後、ターゲットビューの横にある Data Monitoring をクリックして、読み書きの QPS や RT などのメトリクスを表示します。(注：オフライン特徴量ビューのデータ同期からの書き込みは、これらのメトリクスには表示されません。)

リアルタイム特徴量パイプライン

フィーチャーストアのストレージサービスは、Feature Service (アクセス層)、メッセージキュー (DataHub)、および FeatureDB の 3 つのコンポーネントで構成されます。

リアルタイム特徴量の場合、FeatureStore Java SDK または Flink コネクタを介して Feature Service を呼び出し、特徴量データを FeatureDB に書き込むことができます。Feature Service を介して書き込まれたデータは、リアルタイム特徴量サンプルのエクスポートとさらなるモデルトレーニングのために、ご利用の MaxCompute テーブルにも同期されます。

FeatureDB に保存されている特徴量データは、FeatureStore Java/Go SDK を使用して読み取るか、EasyRec Processor を介してすべての特徴量をローカルキャッシュにプルして、より高い読み取りパフォーマンスを実現できます。リアルタイム特徴量は、最新の特徴量情報をミリ秒単位で配信します。

リアルタイム特徴量データのライフサイクル設定

リアルタイム特徴量ビューを作成する際に、[特徴量ライフサイクル] を使用して FeatureDB テーブルのデータライフサイクルを設定します。行は、ライフサイクル期間に達してから数秒以内に期限切れとなり、自動的にクリーンアップされます。

データの生存時間 (TTL) は、現在 2 つの設定方法をサポートしています。

• 方法 1：イベント時間 フィールドを指定しません。この場合、ライフサイクルはデータの書き込み時間から開始され、行は有効期限が切れると自動的にクリーンアップされます。

• 方法 2：特徴量フィールドを イベント時間 フィールド (単位：ミリ秒) として選択します。event_time を イベント時間 フィールドの値、time_now を現在時刻、time_ttl = time_now - ttl を有効期限切れのしきい値 event_time とします。FeatureDB は書き込まれたデータを次のように処理します。

  • PartialFieldWrite モードを使用して部分的なフィールド更新を行う場合、ライフサイクルは実際の書き込み時間から計算されます。

  • event_time > time_now + 15 分の場合：データは書き込まれません。(これにより、15 分のバッファーを設けることで、システム間のタイムスタンプの不一致を防ぎます。)

  • time_ttl < event_time <= time_now + 15 分の場合：データは正常に書き込まれます。ライフサイクルは event_time から開始され、行は有効期限が切れると自動的にクリーンアップされます。

  • 0 < event_time < time_ttl の場合：データは書き込まれますが、すぐにクリーンアップされます。注：event_time はミリ秒単位です。ご利用の イベント時間 フィールドが秒を使用している場合、データはこのケースに該当し、永続化に失敗します。

  • event_time <= 0 の場合：ライフサイクルは実際の書き込み時間から計算されます。

  • 値が無効な場合 (整数に変換できない場合)：データは書き込まれません。

  • イベント時間 フィールドは登録されていますが、 イベント時間 フィールドに値が指定されていない場合、データは正常に書き込まれ、そのライフタイムは実際の書き込み時間に基づいて計算されます。

  • イベント時間 フィールドが登録されていない場合：データは正常に書き込まれ、ライフサイクルは実際の書き込み時間から計算されます。

  • さらに、FeatureDB は event_time の値をその行のタイムスタンプ (ts) として使用します。特定のキーのデータを更新するには、新しい イベント時間 の値が以前の値以上である必要があります。新しい event_time が元の値より小さい場合、そのキーのデータは更新されません。