実験はトラフィック割り当ての中核となる単位であり、トラフィックの割合を柔軟に構成できる複数の実験バージョンが含まれています。すべてのバージョンの合計トラフィックの割合が 100% になるようにしてください。実験バージョンごとに複数のパラメーターを構成できます。各リクエストは、トラフィック割り当てポリシーに基づいて特定の実験バージョンにルーティングされ、対応するパラメーターを取得します。実験には、開始時刻と終了時刻を含む明確なライフサイクルがあります。また、実験ではホワイトリスト機能をサポートしており、特定のユーザーが実験プロセスに直接参加できるようにしています。このトピックでは、実験を作成および管理する方法について説明します。
前提条件
実験プロジェクトが作成されていること。詳細については、「実験プロジェクトの作成」をご参照ください。
テーブルが登録されていること。詳細については、「テーブルの登録」をご参照ください。
実験メトリックが作成されていること。詳細については、「実験メトリックの作成」をご参照ください。
実験の作成
ABTest ページに移動します。
PAI コンソール にログオンします。
左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。ワークスペースページで、管理するワークスペースの名前をクリックします。
左側のナビゲーションウィンドウで、 を選択します。
[abtest] ページの左側のナビゲーションウィンドウで、 を選択します。
表示されるページで、[実験の作成] をクリックします。
[実験の作成] ページで、パラメーターを構成します。
[基本情報の構成] ステップで、パラメーターを構成し、[次へ] をクリックします。次の表にパラメーターを示します。
パラメーター
説明
名前
実験の名前。
説明
実験の説明。説明は実験を識別するのに役立ちます。
実験プロジェクト
ドロップダウンリストから実験プロジェクトを選択します。実験プロジェクトがない場合は、[プロジェクトの作成] をクリックして実験プロジェクトを作成します。
実験レイヤー
実験プロジェクトを選択した後でのみ、実験レイヤーを選択できます。ドロップダウンリストから実験レイヤーを選択します。実験レイヤーがない場合は、[実験レイヤーの作成] をクリックして実験レイヤーを作成します。
トラフィック割り当て
実験レイヤーで実験が占めるトラフィックの割合を指定します。有効な値：0～100。
実験期間
実験の開始時刻と終了時刻を選択します。
ユーザーグループ
実験ホワイトリストを構成します。
1 人以上のユーザーの ID を入力し、Enter キーを押すことができます。複数の UID はカンマ (,) で区切ります。例：
UID1,UID2。ドロップダウンリストから既存のユーザーグループを選択することもできます。グループがない場合は、[ユーザーグループの作成] をクリックしてユーザーグループを作成します。
[実験の構成] ステップで、パラメーターを構成し、[次へ] をクリックします。
このステップでは、コントロールバージョン 1 つと実験バージョン最大 4 つを含む、最大 5 つのバージョンを構成できます。バージョンごとにトラフィックの割合と実験パラメーターを構成できます。次の表にパラメーターを示します。
パラメーター
説明
トラフィック割り当て
[均等割り当て] を選択すると、トラフィックは構成した実験バージョン間で均等に割り当てられます。
バージョンの構成
トラフィック
バージョンに割り当てられるトラフィックの割合。
バージョン名
実験バージョンの名前。
バージョンの説明
バージョンの説明。説明はバージョンを識別するのに役立ちます。
ユーザーグループ
実験ホワイトリストを構成します。
1 人以上のユーザーの ID を入力し、Enter キーを押すことができます。複数の UID はカンマ (,) で区切ります。例：
UID1,UID2。ドロップダウンリストから既存のユーザーグループを選択することもできます。グループがない場合は、[ユーザーグループの作成] をクリックしてユーザーグループを作成します。
パラメーターの構成
複数の実験パラメーターを構成できます。コントロールバージョンでパラメーターを追加し、パラメーターのデータ型を構成します。その後、システムはパラメーター構成を他の実験バージョンに自動的に同期します。結果を比較するために、バージョンごとに異なるパラメーター値を構成します。
[実験メトリック] ステップで、[コアメトリック] パラメーターと [フォロー対象メトリック] パラメーターを構成します。
コアメトリックを 1 つ選択し、複数のフォロー対象メトリックを構成できます。構成したメトリックは実験レポートに含まれ、比較されます。これらのパラメーターを空のままにすることもできます。
[完了] をクリックします。作成された実験は実験リストで表示できます。実験は [準備中] 状態です。
実験の管理
実験を作成した後、作成された実験を実験リストで表示および管理できます。
実験詳細の表示
実験の名前をクリックすると、詳細ページに移動できます。このページでは、実験の基本情報とレポートを表示できます。
[基本情報の構成] タブで、実験の基本情報とパラメーターを表示します。[編集] をクリックして構成を変更します。
[実験レポート] タブで、実験レポートを表示します。詳細については、「実験レポートの表示」をご参照ください。
実験の開始
実験の初期ステータスは「準備中」です。次の手順を実行して実験を開始できます。
実験の [アクション] 列にある [開始] をクリックします。
[注記] メッセージで、[OK] をクリックします。現在の時刻に基づいて、実験のステータスは自動的に [実行中]、[保留中]、または [停止] に変更されます。
現在の時刻が実験のライフサイクル内にある場合、実験のステータスは [実行中] に変更されます。
現在の時刻が実験の開始時刻よりも前の場合、実験のステータスは [保留中] に変更されます。実験が開始されると、システムは自動的に実験のステータスを [実行中] に変更します。
現在の時刻が実験の終了時刻よりも後の場合、実験のステータスは [停止] に変更されます。
実験の複製
実験の [アクション] 列にある [複製] をクリックして実験を複製します。新しい実験では、元の実験の構成が使用されます。
実験の削除
実行中状態ではない実験のみを削除できます。[アクション] 列にある [削除] をクリックして、不要になった実験を削除します。
削除された実験は復元できません。注意して操作してください。
関連情報
実験を作成して開始した後、実験レポートを定期的に表示できます。詳細については、「実験レポートの表示」をご参照ください。