推荐系统评价指标
UV
User View 指得是不重复的用户
- view_uv :指的是页面访问的不重复用户数目
- click_uv :指的是页面点击的不重复用户数目
- uv_ctr :页面曝光对应的用户点击率 uv_ctr = uv_click/uv_view
PV
Page View 指的是页面的统计指标
- view_pv:页面的访问次数,同一个用户多次访问同一个页面,不会进行去重
- click_pv:页面的点击次数,同样不会根据用户进行去重
- pv_ctr:页面曝光的点击率 pv_ctr= pv_click/pv_view
AUC
auc反映的是整体样本间的一个排序能力
计算方式1
假设我们有以下样本,其中绿色为负样本,红色为正样本
我们通过模型的预测,计算得到一个预测概率。
阈值。当我们将阈值设为0.35、0.50、0.65的时候,会得到以下分类结果。
- threshold=0.35:正样本全预测正确,负样本有两个预测错误
- threshold=0.50:正样本有一个预测错误,负样本有一个预测错误
- threshold=0.65:正样本有两个预测错误,负样本全预测正确
ROC曲线
(遍历所有阈值取看模型分类效果。实际上是查看模型对两类数据的区分度是否够大,类间距是否更明显,最终把所有的这些分类结果进行融合,就是所谓的ROC)
纵坐标:TPR (预测为正,实际为正 占 所有实际为正 比例) 横坐标:FPR (预测为正,实际为负 占 所有实际为负 比例)
由于预测概率值取值范围为:{0.9,0.8,0.7,0.6,0.4,0.3,0.2,0.1} 因此我们可选的用于遍历的阈值也是:{0.9,0.8,0.7,0.6,0.4,0.3,0.2,0.1} 接下来遍历所有的阈值,并融合形成ROC曲线
阈值=0.9
阈值为0.9,也就是预估值大于等于0.9的为正样本。所以TPR = 1/5,FPR = 0
阈值=0.8
阈值为0.8,也就是预估值大于等于0.8的为正样本。所以TPR = 2/5,FPR = 0
以此类推,得到ROC曲线,则
计算方式2
主题思想:每个预测为正的样本,能比多少个负样本大。
GAUC
在计算广告领域,我们实际要衡量的是不同用户对不同广告之间的排序能力,因此实际应该更关注的是同一个用户对不同广告间的排序能力。GAUC(group auc)实际是计算每个用户的auc,然后加权平均,最后得到group auc,这样就能减少不同用户间的排序结果不太好比较这一影响。
计算公式:
实际处理时权重一般可以设为每个用户view或click的次数,而且会过滤掉单个用户全是正样本或负样本的情况。
计算方式:
Hit Ratio(HR)
HR强调的是模型推荐的准确性,也就是用户的需求商品是否包含在模型的推荐列表中