【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

admin • 2023-07-25 20:39 • 研发管理

Abstract

为了更好的推荐，不仅要对user-item交互进行建模，还要将关系信息考虑进来

传统方法因子分解机将每个交互都当作一个独立的实例，但是忽略了item之间的关系（eg：一部电影的导演也是另一部电影的演员）

高阶关系：用一个/多个链接属性连接两个item

KG+user-item graph+high order relations—>KGAT

递归传播邻域节点（可能是users、items、attributes）的嵌入来更新自身节点的嵌入，并使用注意力机制来区分邻域节点的重要性

Introduction

u_1

$u_{1}$ 是要向其提供推荐的目标用户。黄色圆圈和灰色圆圈表示通过高阶关系发现但被传统方法忽略的重要用户和项目。

例如，用户

u_1

$u_{1}$ 看了电影

i_1

$i_{1}$ ，CF方法侧重于同样观看了

i_1

$i_{1}$ 的相似用户的历史，即

u_4

$u_{4}$ 和

u_5

$u_{5}$ ，而监督学习侧重于与

i_1

$i_{1}$ 有相同属性

e_1

$e_{1}$ 的电影

i_2

$i_{2}$ ，显然，这两种信息对于推荐是互补的，但是现有的监督学习未能将这两者统一起来，比如说这里

i_1

$i_{1}$ 和

i_2

$i_{2}$ 的

r_2

$r_{2}$ 属性都是

e_1

$e_{1}$ ，但是它无法通过

r_3

$r_{3}$ 到达

i_3

$i_{3}$ ，

i_4

$i_{4}$ ，因为它把它们当成了独立的部分，无法考虑到数据中的高阶关系，比如黄色圈中的用户看了同一个导演

e_1

$e_{1}$ 的其他电影

i_2

$i_{2}$ ，或者灰色圈中的电影也与

e_1

$e_{1}$ 有其他的关系。这些也是作出推荐的重要信息。

⟶

−

⟶

−

{

}

⟶

−

⟶

{

}

begin{array}{l} u_{1} stackrel{r_{1}}{longrightarrow} i_{1} stackrel{-r_{2}}{longrightarrow} e_{1} stackrel{r_{2}}{longrightarrow} i_{2} stackrel{-r_{1}}{longrightarrow}left{u_{2}, u_{3}right}, \ u_{1} stackrel{r_{1}}{longrightarrow} i_{1} stackrel{-r_{2}}{longrightarrow} e_{1} stackrel{r_{3}}{longrightarrow}left{i_{3}, i_{4}right}, end{array}

$u_{1} ⟶ r_{1} i_{1} ⟶ - r_{2} e_{1} ⟶ r_{2} i_{2} ⟶ - r_{1} {u_{2}, u_{3}}, u_{1} ⟶ r_{1} i_{1} ⟶ - r_{2} e_{1} ⟶ r_{3} {i_{3}, i_{4}},$

存在问题

利用这种高阶信息是存在挑战的：

1）与目标用户具有高阶关系的节点随着阶数的增加而急剧增加，这给模型带来了计算压力

2）高阶关系对预测的贡献不均衡。

为此，论文提出了 Knowledge Graph Attention Network (KGAT) 的模型，它基于节点邻居的嵌入来更新节点的嵌入，并递归地执行这种嵌入传播，以线性时间复杂度捕获高阶连接。另外采用注意力机制来学习传播期间每个邻居的权重。

GNN->KGAT

1、递归嵌入传播，用领域节点嵌入来更新当前节点嵌入

2、使用注意力机制，来学习传播期间每个邻居的权重

优点：

1、与基于路径的方法相比，避免了人工标定路径

2、与基于规则的方法相比，将高阶关系直接融入预测模型

3. 模型框架

3.1 问题定义

Input：协同知识图

mathcal G

$G$ ，

mathcal G

$G$ 由user-item交互数据

mathcal G_1

$G_{1}$ 和知识图

mathcal G_2

$G_{2}$ 组成

Output：user

$u$ 点击 item

$i$ 的概率

hat y_{ui}

$y^_{u i}$

高阶连接：利用高阶连接对于执行高质量的推荐是至关重要的。我们将

$L$ 阶连接 (

$L$ - order connectivtiy) 定义为一个多跳关系路径：

⟶

e_0 stackrel {r_1}{longrightarrow} e_1 stackrel {r_2}{longrightarrow} ... stackrel {r_L}{longrightarrow} e_L\

$e_{0} ⟶ r_{1} e_{1} ⟶ r_{2} ... ⟶ r_{L} e_{L}$

3.2 Embedding Layer

论文在知识图嵌入方面使用了TransR模型，它的主要思想是不同的实体在不同的关系下有着不同的含义，所以需要将实体投影到特定关系空间中，假如

$h$ 和

$t$ 具有

$r$ 关系，那么它们在

$r$ 关系空间的表示应该接近，否则应该远离，用公式表达则是：

≈

mathbf e_h^r + mathbf e_r approx mathbf e_t^r \

$e_{h r} + e_{r} \approx e_{t r}$
这里

∈

mathbf e_h, mathbf e_t in mathbb R^d

$e_{h}, e_{t} \in R^{d}$ ,

∈

mathbf e_r in mathbb R^k

$e_{r} \in R^{k}$ 是

，

h ，t ，r

$h ， t ， r$ 的embedding。

它的得分为：

(

)

∣

−

∣

g(h,r,t)=||mathbf W_rmathbf e_h+mathbf e_r-mathbf W_rmathbf e_t||_2^2\

$g (h, r, t) = ∣∣ W_{r} e_{h} + e_{r} - W_{r} e_{t} ∣ ∣_{22}$
其中

∈

mathbf W_r in mathbb R^{ktimes d}

$W_{r} \in R^{k \times d}$ 是关系

$r$ 的转换矩阵，将实体从

$d$ 维实体空间投影到

$k$ 维关系空间中。

(

)

g(h,r,t)

$g (h, r, t)$ 的值越低，说明该三元组为真的概率越大。

最后，用pairwise ranking loss来衡量效果：

∑

(

′

)

∈

−

(

′

)

−

(

)

mathcal L_{KG} = sum_{(h,r,t,t^{'})in tau} -ln sigma(g(h,r,t^{'})-g(h,r,t))\

$L_{K G} = (h, r, t, t^{^{'}}) \in τ \sum - l n σ (g (h, r, t^{^{'}}) - g (h, r, t))$
此式子的意思就是让负样本的值减去正样本的值尽可能的大。负样本的选择就是将

$t$ 随机替换成一个别的。

3.3 Attentive Embedding Propagation Layers

信息传播

考虑实体

$h$ ，我们使用

{

(

)

∣

(

)

∈

}

mathcal N_h = { (h,r,t)|(h,r,t) in mathcal G}

$N_{h} = {(h, r, t) ∣ (h, r, t) \in G}$ 表示那些以

$h$ 为头实体的三元组。计算

$h$ 的ego-network：

∑

(

)

∈

(

)

mathbf e_{mathcal N_h} = sum _ {(h,r,t) in mathcal N_h} pi(h,r,t) mathbf e_t\

$e_{N_{h}} = (h, r, t) \in N_{h} \sum π (h, r, t) e_{t}$

(

)

pi(h,r,t)

$π (h, r, t)$ 表示在关系

$r$ 下从

$t$ 传到

$h$ 的信息量。

知识感知注意力

信息传播中的权重

(

)

pi(h,r,t)

$π (h, r, t)$ 是通过注意力机制实现的

(

)

(

)

(

)

pi(h,r,t) = (mathbf W_r mathbf e_t)^Ttanh(mathbf W_r mathbf e_h+mathbf e_r)\

$π (h, r, t) = (W_{r} e_{t})^{T} t anh (W_{r} e_{h} + e_{r})$
这里使用

tanh

$t anh$ 作为激活函数可以使得在关系空间中越接近的

mathbf e_h

$e_{h}$ 和

mathbf e_t

$e_{t}$ 有更高的注意力分值。采用

softmax

$so f t ma x$ 归一化：

(

)

(

)

∑

(

′

)

∈

(

′

)

pi(h,r,t)=frac{exp(pi(h,r,t))}{sum_{(h,r^{'},t^{'}) in mathcal N_h} exp(pi(h,r^{'},t^{'}))}\

$π (h, r, t) = \frac{e x p ( π ( h , r , t ))}{\sum _{(h, r^{^{'}}, t^{^{'}}) \in N_{h}} e x p ( π ( h , r ^{^{'}} , t ^{^{'}} ))}$
最终凭借

(

)

pi(h,r,t)

$π (h, r, t)$ 我们可以知道哪些邻居节点应该被给予更多的关注。

信息聚合

最终将

$h$ 在实体空间中的表示

mathbf e_h

$e_{h}$ 和其ego-network的表示

mathbf e_{mathcal N_h}

$e_{N_{h}}$ 聚合起来作为

$h$ 的新表示：

(

)

(

)

mathbf e_h^{(1)} = f(mathbf e_h,mathbf e_{mathcal N_h})\

$e_{h (1)} = f (e_{h}, e_{N_{h}})$

(

⋅

)

f(·)

$f (\cdot)$ 有以下几种方式：

GCN Aggregator：
$f_{GCN}=LeakyReLU(mathbf W(mathbf e_h+mathbf e_{mathcal N_h})) fGCN=LeakyReLU(W(eh+eNh))$
GraphSage Aggregator：
$f_{GraphSage} = LeakyReLU( mathbf W(mathbf e_h || mathbf e_{mathcal N_h})) fGraphSage=LeakyReLU(W(eh∣∣eNh))$
Bi-Interaction Aggregator：
$f_{Bi-Interaction} = LeakyReLU(mathbf W_1(mathbf e_h+mathbf e_{mathcal N_h}))+LeakyReLU(mathbf W_2(mathbf e_hodotmathbf e_{mathcal N_h})) fBi−Interaction=LeakyReLU(W1(eh+eNh))+LeakyReLU(W2(eh⊙eNh))$

高阶传播：

我们可以进一步堆叠更多的传播层来探索高阶连通信息，收集从更高跳邻居传播过来的信息，所以在

$l$ 步中：

(

)

(

−

)

(

−

)

mathbf e_h^{(l)} = f( mathbf e_h^{(l-1)},mathbf e_{mathcal N_h}^{(l-1)})\

$e_{h (l)} = f (e_{h (l - 1)}, e_{N_{h} (l - 1)})$
其中

(

−

)

∑

(

)

∈

(

)

(

−

)

mathbf e_{mathcal N_h}^{(l-1)} = sum_{(h,r,t) in mathcal N_h} pi(h,r,t)mathbf e_t^{(l-1)}

$e_{N_{h} (l - 1)} = \sum_{(h, r, t) \in N_{h}} π (h, r, t) e_{t (l - 1)}$ ，而

(

−

)

mathbf e_t^{(l-1)}

$e_{t (l - 1)}$ 也是通过上面的步骤从

mathbf e_t^0

$e_{t 0}$ 得到的。

3.4 Prediction layer

在执行

$L$ 层后，最终我们会得到用户

$u$ 的多层表示：

{

(

)

(

)

}

{mathbf e_u^{(1)},...,mathbf e_u^{(L)} }

${e_{u (1)}, ..., e_{u (L)}}$ ，以及item

$i$ 的多层表示：

{

(

)

(

)

}

{mathbf e_i^{(1)},..,mathbf e_i^{(L)} }

${e_{i (1)}, .., e_{i (L)}}$

将其连接起来，即：

∗

(

)

∣

(

)

∗

(

)

∣

(

)

mathbf e_u^{*} = mathbf e_u^{(0)} || ...||mathbf e_u^{(L)} , mathbf e_i^{*} = mathbf e_i^{(0)} || ...||mathbf e_i^{(L)} \

$e_{u *} = e_{u (0)} ∣∣...∣∣ e_{u (L)}, e_{i *} = e_{i (0)} ∣∣...∣∣ e_{i (L)}$
最后通过内积计算相关分数：

(

)

∗

hat y(u,i) = {mathbf e_u^*}^T mathbf e_i^*\

$y^(u, i) = e_{u *}^{T} e_{i *}$

3.5 损失函数

损失函数使用了BPR loss：

∑

(

)

∈

−

(

)

−

(

)

mathcal L_{CF}=sum_{(u,i,j) in O} - ln sigma(hat y(u,i)-hat y(u,j))\

$L_{CF} = (u, i, j) \in O \sum - l n σ (y^(u, i) - y^(u, j))$
其中

{

(

)

∣

(

)

∈

(

)

∈

−

}

O = {(u,i,j)|(u,i) in mathcal R^+, (u,j) in mathcal R^- }

$O = {(u, i, j) ∣ (u, i) \in R^{+}, (u, j) \in R^{-}}$ ，

mathcal R^+

$R^{+}$ 表示正样本，

−

mathcal R^-

$R^{-}$ 表示负样本。

最终：

∣

mathcal L_{KGAT} = mathcal L_{KG} + mathcal L_{CF} + lambda||Theta||_2^2\

$L_{K G A T} = L_{K G} + L_{CF} + λ ∣∣Θ∣ ∣_{22}$

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。

THE END

人工智能推荐系统知识图谱论文论文阅读

二维码

Kubernetes 集群管理和编排

< <上一篇

Data Structure, Algorithm,and Applications in C++

下一篇>>

搜索内容

【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

Abstract

Introduction

存在问题

3. 模型框架

3.1 问题定义

3.2 Embedding Layer

3.3 Attentive Embedding Propagation Layers

3.4 Prediction layer

3.5 损失函数

最新文章

分类

标签云