FMTL

Flexible Multi-Task Learning for Recommendation

Title:弹性多任务学习模型

概述

目标

• 目前解决负样本迁移现象的多任务学习模型(MMOE、PLE)，只探索了每一个任务的一种特征表征抽取或者仅仅采用了简单的门控机制去生成特征表征，这导致这些MTL模型不能够很好的处理现实世界中多模式、强稀疏性、强长尾效应的数据。
• FMTL模型目的是为了更好的解决多模式、强稀疏性、强长尾效应的现实数据。

解决方案

特征提取策略

(以PLE为基础)

• 多任务学习中，每一个任务学习多个表征,每个表征输出一个logit（一个任务由多个子任务输出融合）
• 在一个任务内部，task-specific experts由多个子任务共享，每个子任务对应一个cgc输出，具体涉及:
  • 在特征抽取阶段，由 shared experts+task-specific experts 抽取融合表征时gating机制，引入温度参数；
  • 在最后一层输出的时候，每个任务对应的子任务融合机制;

特征融合策略

• P-MRG(首先通过门控策略将我们上一步特征提取的针对每一个任务的Q个表征向量进行融合，然后再经过MLP网络得到最后的逻辑输出)；
• P-MRL(首先将我们上一步特征提取的针对每一个任务的Q个表征向量分别输入到k个MLP网络中，然后最后通过门控机制进行融合)；
• P-MRC(首先将我们上一步特征提取的针对每一个任务的Q个表征向量进行concat，然后再经过MLP网络得到最后的逻辑输出)；

方案

特征提取策略

（特征提取的过程是十分重要的，因为不同任务之间的冲突不被处理就会导致效果的下降）

针对每一个任务，我们针对输入数据获取针对每一个任务的个表征信息(常见的MMOE、PLE是获取一种表征信息)：

其中是特征融合策略,代表第个任务的第个表征信息，是一个权重计算函数，目的是为了计算第个任务第个表征的重要性程度。

表示第个任务按照温度参数门控策略(TG)融合共享网络(Shared Experts)与特定网络(Specfic Expert)之后的表征向量。

其中是温度参数，属于可训练的参数，温度参数已经证明了在很多任务中是有用的，使用温度参数能够让模型更好的处理多场景、多模式的数据。当不同任务之间的相似性较高或者说不同任务间的数据相似性较高的情况下，较高的值能够产生一个更加柔和的权重向量，能够使得不同的Experts都能够参与最终的表征生成。较低的值能够产生一个更加harder的权重向量，能够使得主要的的Experts都参与最终的表征生成(所有Experts的一个子集)。

特征融合策略

- P-MRG(首先通过门控策略将我们上一步特征提取的针对每一个任务的Q个表征向量进行融合，然后再经过MLP网络得到最后的逻辑输出)； - P-MRL(首先将我们上一步特征提取的针对每一个任务的Q个表征向量分别输入到k个MLP网络中，然后最后通过门控机制进行融合)； - P-MRC(首先将我们上一步特征提取的针对每一个任务的Q个表征向量进行concat，然后再经过MLP网络得到最后的逻辑输出)；