Artificial Intelligence Recommendation：日誌配置

調試日誌配置

當服務上線後，為了更精確的分析線上的結果，需要匯總各種資訊。線上下可以通過列印日誌進行調試，當服務上線後，無法靈活的進行列印。

本配置主要用於收集線上調試資訊，並能靈活地開啟將其列印到終端，或者輸出到Datahub上進行更細緻的分析（例如分析每一個召回的效果），也可以輸出到本地檔案以供其它調用。目前收集的是召回、過濾和粗排之後的items資料。

調試配置對應配置總覽中的DebugConfs，DebugConfs是一個Map[string]object結構，其中key是情境，可以對不同的情境進行配置隔離。

{
    "DebugConfs": {
        "${scene_name}": {
            "OutputType": "datahub",
            "Rate": 0,
            "DebugUsers": [
                "1001"
            ],
            "DatahubName": "dh_debug_log",
            "KafkaName": "pairec_debug_log",
            "FilePath": "/Users/username/pairec/debug_log/",
            "MaxFileNum": 20
        }
    }
}

目前輸出的資訊包括如下：

• request_id：每次推薦請求的唯一標識。

• module：標識哪個模組的日誌，目前包括recall、filter和general_rank。

• scene_id：情境ID。

• exp_id：實驗ID。

• request_time：請求時間戳記，單位為秒。

• uid：使用者ID。

• retrieveid：召回ID。

• items：item list列表，格式為 "item1:score1:{'dbmtl_prob_click':'0.03'},item2:score2:{'dbmtl_prob_click':'0.04'}",  表示當module = recall 或 filter時， score為召回得分；

  當module=general_rank、rank 和 sort 時，items 格式為 "item1:score1:{'dbmtl_prob_click':'0.03'},item2:score2:{'dbmtl_prob_click':'0.03'}"，其中 score 為 general rank 或 rank 階段模型服務的打分，dbmtl_prob_click 為模型的其中一個目標得分，如果模型服務有多個目標，大括弧中會包含所有的目標得分，具體名稱以模型服務真實的多目標為準，dbmtl_prob_click這裡這是舉例。

目前在某個module下， items是分retrieveid進行輸出的。比如有5個召回源，那麼在module = recall時， 會有5條記錄，每條記錄對應一路召回。同樣，filter和general_rank也是按此邏輯列印。

Datahub 配置

在Datahub配置中，您可以不用建立topic,  只要指定topic和schemas，引擎會自動建立。

{
    "DatahubConfs": {
        "dh_debug_log": {
            "Endpoint": "http://dh-cn-beijing-int-vpc.aliyuncs.com",
            "ProjectName": "project_test",
            "TopicName": "pairec_debug_log",
            "Schemas": [
                {
                    "Field": "request_id",
                    "Type": "string"
                },
                {
                    "Field": "module",
                    "Type": "string"
                },
                {
                    "Field": "scene_id",
                    "Type": "string"
                },
                {
                    "Field": "request_time",
                    "Type": "integer"
                },
                {
                    "Field": "exp_id",
                    "Type": "string"
                },
                {
                    "Field": "items",
                    "Type": "string"
                },
                {
                    "Field": "retrieveid",
                    "Type": "string"
                },
                {
                    "Field": "uid",
                    "Type": "string"
                }
            ]
        }
    }
}

當運行服務時，引擎會自動建立此Topic: pairec_debug_log，並使用上述schema。 當您在Datahub控制台，看到有日誌輸出時，系統可以自行建立MaxCompute與Datahub的訂閱關係（把Datahub中的資料落盤到MaxCompute表中）。

Kafka 配置

在kafka配置中，需要配置對應的執行個體名稱（對應DebugConfs中配置的KafkaName）、網域名稱存取點BootstrapServers以及已經建立好的Topic名稱。

{
    "KafkaConfs": {
        "pairec_debug_log": {
            "BootstrapServers": "alikafka-post-cn-xxxxx-1.alikafka.aliyuncs.com:9093,alikafka-post-cn-xxxxx-2.alikafka.aliyuncs.com:9093,alikafka-post-cn-xxxxx-3.alikafka.aliyuncs.com:9093",
            "Topic": "debug_log"
        }
    }
}

特徵日誌配置

本配置主要用於收集線上user側和item側的特徵，輸出到Datahub上進行更細緻的分析。

特徵日誌配置對應配置總覽中的FeatureLogConfs，FeatureLogConfs是一個Map[string]object結構，其中key是情境，可以對不同的情境進行配置隔離。

{
    "FeatureLogConfs": {
        "${scene_name}": {
            "OutputType": "datahub",
            "DatahubName": "",
            "UserFeatures": "",
            "ItemFeatures": ""
        }
    }
}

Datahub 配置

在Datahub配置中，您可以不用建立topic,  只要指定topic和schemas，引擎會自動建立。

{
    "DatahubConfs": {
        "dh_feature_log": {
            "Endpoint": "http://dh-cn-beijing-int-vpc.aliyuncs.com",
            "ProjectName": "",
            "TopicName": "pairec_feature_log",
            "Schemas": [
                {
                    "Field": "request_id",
                    "Type": "string"
                },
                {
                    "Field": "scene_id",
                    "Type": "string"
                },
                {
                    "Field": "exp_id",
                    "Type": "string"
                },
                {
                    "Field": "request_time",
                    "Type": "integer"
                },
                {
                    "Field": "user_id",
                    "Type": "string"
                },
                {
                    "Field": "user_features",
                    "Type": "string"
                },
                {
                    "Field": "item_id",
                    "Type": "string"
                },
                {
                    "Field": "position",
                    "Type": "string"
                },
                {
                    "Field": "item_features",
                    "Type": "string"
                }
            ]
        }
    }
}

當運行服務時，引擎會自動建立此Topic: pairec_feature_log，並使用上述schema。