推荐系统评价指标

UV

User View 指得是不重复的用户

  • view_uv :指的是页面访问的不重复用户数目
  • click_uv :指的是页面点击的不重复用户数目
  • uv_ctr :页面曝光对应的用户点击率 uv_ctr = uv_click/uv_view

PV

Page View 指的是页面的统计指标

  • view_pv:页面的访问次数,同一个用户多次访问同一个页面,不会进行去重
  • click_pv:页面的点击次数,同样不会根据用户进行去重
  • pv_ctr:页面曝光的点击率 pv_ctr= pv_click/pv_view

AUC

auc反映的是整体样本间的一个排序能力

计算方式1

假设我们有以下样本,其中绿色为负样本,红色为正样本

我们通过模型的预测,计算得到一个预测概率。

阈值。当我们将阈值设为0.35、0.50、0.65的时候,会得到以下分类结果。

  • threshold=0.35:正样本全预测正确,负样本有两个预测错误
  • threshold=0.50:正样本有一个预测错误,负样本有一个预测错误
  • threshold=0.65:正样本有两个预测错误,负样本全预测正确

ROC曲线

(遍历所有阈值取看模型分类效果。实际上是查看模型对两类数据的区分度是否够大,类间距是否更明显,最终把所有的这些分类结果进行融合,就是所谓的ROC)

纵坐标:TPR (预测为正,实际为正 占 所有实际为正 比例) 横坐标:FPR (预测为正,实际为负 占 所有实际为负 比例)

由于预测概率值取值范围为:{0.9,0.8,0.7,0.6,0.4,0.3,0.2,0.1} 因此我们可选的用于遍历的阈值也是:{0.9,0.8,0.7,0.6,0.4,0.3,0.2,0.1} 接下来遍历所有的阈值,并融合形成ROC曲线

阈值=0.9

阈值为0.9,也就是预估值大于等于0.9的为正样本。所以TPR = 1/5,FPR = 0

阈值=0.8

阈值为0.8,也就是预估值大于等于0.8的为正样本。所以TPR = 2/5,FPR = 0

以此类推,得到ROC曲线,则

线

计算方式2

主题思想:每个预测为正的样本,能比多少个负样本大。

GAUC

在计算广告领域,我们实际要衡量的是不同用户对不同广告之间的排序能力,因此实际应该更关注的是同一个用户对不同广告间的排序能力。GAUC(group auc)实际是计算每个用户的auc,然后加权平均,最后得到group auc,这样就能减少不同用户间的排序结果不太好比较这一影响。

计算公式:

实际处理时权重一般可以设为每个用户view或click的次数,而且会过滤掉单个用户全是正样本或负样本的情况。

计算方式:

Hit Ratio(HR)

HR强调的是模型推荐的准确性,也就是用户的需求商品是否包含在模型的推荐列表中

是用户的需求商品数目,表示模型是否推荐了商品