Artificial Intelligence Recommendation:ログ設定

デバッグログ設定

サービスが公開された後、さまざまな情報を収集してオンラインパフォーマンスを分析できます。オフラインデバッグのためにログを出力することもできますが、この方法はオンラインサービスには十分な柔軟性がありません。

この設定は、オンラインのデバッグ情報を収集します。これを有効にすると、情報をコンソールに出力したり、各リコールの効果の分析などの詳細な分析のために DataHub に出力したり、他の呼び出しのためにローカルファイルに書き込んだりできます。現在、この設定は、リコール、フィルタリング、および粗いランキングの段階の後にアイテムデータを収集します。

デバッグ設定は、設定概要の `DebugConfs` に対応します。`DebugConfs` は `Map[string]object` 構造で、キーはシナリオを表します。これにより、さまざまなシナリオに対して分離された設定を作成できます。

{
    "DebugConfs": {
        "${scene_name}": {
            "OutputType": "datahub",
            "Rate": 0,
            "DebugUsers": [
                "1001"
            ],
            "DatahubName": "dh_debug_log",
            "KafkaName": "pairec_debug_log",
            "FilePath": "/Users/username/pairec/debug_log/",
            "MaxFileNum": 20
        }
    }
}

出力情報には、次のフィールドが含まれます:

• request_id: 各推奨リクエストの一意の ID。

• module: ログを生成したモジュール。現在のモジュールには `recall`、`filter`、および `general_rank` が含まれます。

• scene_id: シナリオ ID。

• exp_id: 実験 ID。

• request_time: リクエストの UNIX タイムスタンプ (秒単位)。

• uid: ユーザー ID。

• retrieveid: リコール ID。

• items: アイテムのリスト。フォーマットは `\"item1:score1:{'dbmtl_prob_click':'0.03'},item2:score2:{'dbmtl_prob_click':'0.04'}\"` です。`module` が `recall` または `filter` の場合、`score` はリコールスコアです。

  `module` が `general_rank`、`rank`、または `sort` の場合、フォーマットは `\"item1:score1:{'dbmtl_prob_click':'0.03'},item2:score2:{'dbmtl_prob_click':'0.03'}\"` です。この場合、`score` は一般ランクまたはランク段階でのモデルサービスからのスコアです。`dbmtl_prob_click` はモデルのターゲットスコアの 1 つです。モデルサービスに複数のターゲットがある場合、中括弧にはすべてのターゲットスコアが含まれます。ターゲットの実際の名前はモデルサービスに依存し、`dbmtl_prob_click` は単なる例です。

現在、モジュール内では、アイテムは各 `retrieveid` ごとに個別に出力されます。たとえば、5 つのリコールソースがある場合、`module` が `recall` のときに 5 つのレコードが生成されます。各レコードは 1 つのリコールソースに対応します。`filter` および `general_rank` モジュールも同じロギングロジックに従います。

Datahub 設定

Datahub 設定では、Topic を作成する必要はありません。Topic とスキーマを指定すると、エンジンが自動的に作成します。

{
    "DatahubConfs": {
        "dh_debug_log": {
            "Endpoint": "http://dh-cn-beijing-int-vpc.aliyuncs.com",
            "ProjectName": "project_test",
            "TopicName": "pairec_debug_log",
            "Schemas": [
                {
                    "Field": "request_id",
                    "Type": "string"
                },
                {
                    "Field": "module",
                    "Type": "string"
                },
                {
                    "Field": "scene_id",
                    "Type": "string"
                },
                {
                    "Field": "request_time",
                    "Type": "integer"
                },
                {
                    "Field": "exp_id",
                    "Type": "string"
                },
                {
                    "Field": "items",
                    "Type": "string"
                },
                {
                    "Field": "retrieveid",
                    "Type": "string"
                },
                {
                    "Field": "uid",
                    "Type": "string"
                }
            ]
        }
    }
}

サービスが実行されると、エンジンは自動的に `pairec_debug_log` Topic を作成し、指定されたスキーマを適用します。DataHub コンソールでログ出力を確認した後、MaxCompute と DataHub の間にサブスクリプション関係を作成できます。これにより、DataHub データが MaxCompute テーブルに保存されます。

Kafka 設定

Kafka 設定では、インスタンス名 (`DebugConfs` の `KafkaName` に対応)、`BootstrapServers` の取り込みエンドポイント、および既存の Topic の名前を設定します。

{
    "KafkaConfs": {
        "pairec_debug_log": {
            "BootstrapServers": "alikafka-post-cn-xxxxx-1.alikafka.aliyuncs.com:9093,alikafka-post-cn-xxxxx-2.alikafka.aliyuncs.com:9093,alikafka-post-cn-xxxxx-3.alikafka.aliyuncs.com:9093",
            "Topic": "debug_log"
        }
    }
}

特徴ログ設定

この設定は、オンラインのユーザー側とアイテム側の特徴を収集するために使用されます。これらの特徴は、詳細な分析のために DataHub に出力されます。

特徴ログ設定は、設定概要の `FeatureLogConfs` で定義されます。`FeatureLogConfs` は `Map[string]object` 構造です。キーはシナリオを表し、これにより各シナリオの設定を分離できます。

{
    "FeatureLogConfs": {
        "${scene_name}": {
            "OutputType": "datahub",
            "DatahubName": "",
            "UserFeatures": "",
            "ItemFeatures": ""
        }
    }
}

Datahub 設定

Datahub 設定では、Topic を作成する必要はありません。Topic とスキーマを指定すると、エンジンが自動的に Topic を作成します。

{
    "DatahubConfs": {
        "dh_feature_log": {
            "Endpoint": "http://dh-cn-beijing-int-vpc.aliyuncs.com",
            "ProjectName": "",
            "TopicName": "pairec_feature_log",
            "Schemas": [
                {
                    "Field": "request_id",
                    "Type": "string"
                },
                {
                    "Field": "scene_id",
                    "Type": "string"
                },
                {
                    "Field": "exp_id",
                    "Type": "string"
                },
                {
                    "Field": "request_time",
                    "Type": "integer"
                },
                {
                    "Field": "user_id",
                    "Type": "string"
                },
                {
                    "Field": "user_features",
                    "Type": "string"
                },
                {
                    "Field": "item_id",
                    "Type": "string"
                },
                {
                    "Field": "position",
                    "Type": "string"
                },
                {
                    "Field": "item_features",
                    "Type": "string"
                }
            ]
        }
    }
}

サービスが実行されると、エンジンは自動的に `pairec_feature_log` Topic を作成し、指定されたスキーマを適用します。