Platform For AI:実験の作成と設定

リコール実験の例

ステップ 1： ラボの作成

ラボとは、トラフィックの集合です。1 つ以上のラボを作成できます。ラボを 1 つだけ作成する場合は、ベースラボである必要があります。ベースラボはフォールバックとして機能し、必須です。トラフィックは、最初にベースラボ以外のラボと照合されます。レコメンデーションリクエストがベースラボ以外のラボと一致しない場合、ベースラボにルーティングされます。まず、1 つのフォールバックラボを作成することから始めることができます。

[実験の概要] ページで、[ラボの作成] タブをクリックしてベースラボを作成し、[バケットタイプ] を [UID HASH] に、[バケット数] を [100] に設定します。

ステップ 2： レイヤーの設定

トラフィックは、レイヤー間で直交します。ラボをコンテナ、レイヤーをそのコンテナ内の一連のネットと考えることができます。トラフィックがレイヤーを通過するたびに、次のレイヤーに入る前に再シャッフルされます。これにより、十分に大きなデータセットがあれば、異なるレイヤーの実験の影響が互いに干渉しないことが保証されます。

レイヤー設定ページで、[バケット化方式] に [UID HASH] を選択し、[バケット数] を [100] に設定します。[トラフィック割り当て] の範囲を [0-99] に設定します。[レイヤー設定] で、新しいレイヤーを追加します。[レイヤー名] を [recall] に、[レイヤーの説明] を [リコールレイヤー] に設定します。

ステップ 3： 実験グループの設定

各レイヤーには、複数の実験グループを含めることができ、各グループにレイヤーのトラフィックの一部を割り当てることができます。この例では、1 つの実験グループを使用します。

実験グループ設定ページで、[実験グループ名] を設定し、[実験グループタイプ] を選択し、[関連レイヤーグループ] を mix_recall_group に設定し、実験グループの [説明] を入力します。以下では、[実験 ID] と [実験設定] パラメーターを設定できます。

ステップ 4： 実験の設定

実験グループ内では、複数の実験を同時に実行して比較するように設定できます。各実験には、一意の設定が必要です。

ベースライン実験の作成

ベースライン実験として、[実験名] を hot_group_recall に、[説明] を グループベースのホットアイテムリコール に、[トラフィック割り当て] を 50% に設定します。[実験設定] で、リコールポリシーを {"default.RecallNames":["GroupHotRecall"]} に設定します。

比較実験の作成

比較実験を設定します。[実験名] を hot_global_recall に、[説明]をグローバル人気アイテムリコールに、[トラフィック割り当て] を 50% に設定します。[実験設定]で、リコールポリシーを {"default.RecallNames":["GlobalHotRecall"]} に設定します。

ステップ 5： デバッグと観察

このステップでは、ラボ、実験グループ、および実験をオンラインにします。次に、レコメンデーションエンジンにリクエストを送信し、レスポンスの exp_id フィールドに値があるかどうかを確認します。

exp_id の値が常に空の場合は、ラボ、実験グループ、および実験がオンラインであることを確認してください。[Experiment Overview] ページでは、オンライン状態は緑色で、オフライン状態はグレーで表示されます。

exp_id の値が ER1_L1#EG1#E1 の場合、リクエストが実験 1 によって処理され、その設定が使用されることを示します。その後、関連するメトリクスを設定して、実験のパフォーマンスを観察できます。

アルゴリズム設定の実験

アルゴリズム実験の設定は、リコール実験の設定と同様です。実験間の干渉を防ぐために、rank などの新しいレイヤーを作成できます。実験グループと実験の設定はほぼ同じです。変更するのは実験設定のみです。

たとえば、ベースライン実験の設定は次のようになります。

{
    "rankconf": {
        "RankAlgoList": [
            "dbmtl_v1"
        ],
        "RankScore": "${dbmtl_v1_prob}",
        "BatchCount":100,
        "Processor": "EasyRec"
    }
}

比較実験の設定は次のようになります。

{
    "rankconf": {
        "RankAlgoList": [
            "dbmtl_v2"
        ],
        "RankScore": "${dbmtl_v2_prob}",
        "BatchCount":100,
        "Processor": "EasyRec"
    }
}