性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络

用户-商品交互的时间顺序可以揭示出推荐系统中用户行为随时间演进的序列性特征。用户与之交互的商品可能受到用户曾经接触的商品的影响。但是，用户和商品数量的大量增加，使得序列推荐系统仍然面临很多重要问题：（1）对短时用户兴趣建模的困难；（2）捕捉用户长期兴趣的困难；（3）对商品共现模式的建模效率较低。为了应对这些挑战，本文提出了一个记忆增强的图神经网络（memory augmented graph neural network, MA-GNN），以捕捉用户的长期和短期兴趣。

特别地，本文使用图神经网络对短期的商品语境信息建模，并使用共享的记忆网络来捕捉商品之间的长期依赖。另外，本文使用双线性函数以捕捉相关商品的共现模式。在模型评估上，本文在五个真实场景的数据集上进行了评测，并使用一系列评估指标和多个当前效果最优的模型进行了对比。试验结果显示，本文模型在Top-K序列推荐中效果极佳。

介绍

随着网络服务和移动设备的快速增加，个性化推荐系统在现代社会中正扮演着越来越重要的角色。个性化推荐系统能够降低信息负载、满足多种服务需求，并至少在以下两方面起到极大助力：（i）帮助用户发现上百万候选产品中的合适商品；（ii）为产品提供商创造增长营业额的机会。

在网络中，用户以线性顺序访问商品。用户在未来查看的商品可能收到历史浏览记录的影响，这创造了一个具有操作性的应用场景——序列推荐。在序列推荐任务中，除了和通用推荐系统一样需要捕捉用户的整体兴趣之外，摩登7认为还有另外三个重要因素需要考虑：用户短期兴趣，用户长期兴趣，商品共现模式。用户短期兴趣描述了用户在短期内访问商品的偏好。用户长期兴趣捕捉用户之前访问的和未来将访问的商品之间的长期以来。商品共现模式则对相关商品的共现规律进行阐释。

尽管目前已有很多序列推荐模型，但摩登7认为已有模型尚不能完整捕捉前文提到的三个因素。首先，Caser, MARank, Fossil等人仅对用户短期兴趣进行了建模，忽略了商品的长期依赖关系。第二， SARSRec等类似模型没有对用户短期兴趣进行有效的建模，使得模型难以理解用户在短期内的兴趣变化。第三，GC-SAN，GRU4Rec++等类似模型未能明确捕捉商品序列中的商品共现规律。由于相关商品经常共同出现，推荐模型应当对此因素加以考量。

为将上述三个因素加入序列推荐模型，本文提出了一个记忆增强的图神经网络（MA-GNN）。该模型包括一个整体兴趣模块，一个短期兴趣模块，一个长期兴趣模块，以及一个商品共现模块。在整体兴趣模块中，摩登7使用矩阵分解对用户整体兴趣建模，该模块不包含商品对序列变化信息。在短时兴趣模块中，摩登7使用一个GNN结构加入商品的邻接关系信息，以构成用户的短期兴趣。

这一结构能够捕捉较短时期的情境信息和结构。为了对用户的长期兴趣建模，我用使用一个键值记忆网络（key-value memory network）以基于用户的长期商品序列形成对用户兴趣的表征。通过该方法，在推荐一个商品时，其他具有相似偏好的用户也会成为影响因素。为了综合用户的长期和短期兴趣，摩登7在GNN框架中引入了门机制，和LSTM网络中的门机制类似。这一机制对长时和短时兴趣在模型中的贡献度进行控制。在商品共现模块中，摩登7使用了一个双线性函数以捕捉商品序列中高度相关的商品。摩登7在五个真实世界的数据集上对模型进行了评估，并使用一系列评估指标，和多个当前最先进的模型进行了对比。试验结果显示了本文模型相较于其他模型在推荐效果上的提升，并展示了上述模块的有效性。

总体而言，本文的主要共现为：

为了对用户短期和长期兴趣建模，提出一个记忆增强的图神经网络，以捕捉短期情境信息和长期依赖；

为了高校融合短期和长期兴趣信息，提出了GNN框架中的门机制；

为对商品共现模式进行建模，使用双线性函数来捕捉商品之间的特征关联；

在五个真实世界数据集上进行评估试验，结果显示MA-GNN的效果显著由于已有的序列推荐模型。

相关工作

整体推荐

早期的推荐模型主要研究显性反馈，近期研究则逐渐转向隐性数据。使用隐性反馈的协同过滤（collaborative filtering, CF）往往被认为是一个Top-K推荐认为，该任务的目标即为用户推荐一个可能感兴趣的商品列表。这一任务更具有实际性和挑战性，且更适合真实世界的推荐场景。早期的相关工作主要使用矩阵分解技术学习用户和商品的隐性特征，基于神经网络的方法也经常被采用。

序列推荐

序列推荐模型将商品序列作为输入信息。一个经典方法是使用马尔可夫链对数据建模。FPMC, TransREC都属于此类方法。近期，受自然语言处理中序列学习的启发，学者们提出了基于（深度）神经网络的方法，包括基于卷积神经网络（CNN）、基于循环神经网络（RNN）等。注意力机制、记忆网络也在序列推荐模型中得到应用。

本文和已有模型的不同之处在于，模型使用记忆增强的图神经网络以捕捉长期和短期兴趣。另外，本文加入了一个商品共现模块，以对高度相关的商品建模。

问题定义

本文考量的推荐任务将序列的隐性反馈作为训练数据。用户兴趣通过一个用户-商品的线性序列进行表征，公式如下：