Multilabel图使用图注意网络的分类

使用 $$K$$独立,它计算线性变换 $$H^k$$,因为 $$k=1,。。。,K$$使用权重矩阵,输入的特性 $$W_l^k$$的维度 $$F\times F^{\prime }$$。也就是说, $$H^k=Z_l{W}_l^k$$。

它使用一个注意力机制计算系数标量的关注 $${\epsilon }_{n米}^k={\mathrm{一个}}^k(h_n^k,h_{米}^k)$$所有节点对 $$(n,米)$$,在那里 $$h_n^k$$是一个向量的维度 $$1\times F^{\prime }$$对应于n矩阵的行 $$H^k$$。注意系数 $${\epsilon }_{n米}^k$$代表节点的重要性 $$米$$到节点 $$n$$在头 $$k$$。注意机制 $$\mathrm{一个}$$可以是一个点积运算的功能 $$h_n$$和 $$h_{米}$$或神经网络。这个例子遵循[1]中的方法,在特征 $$h_n$$和 $$h_{米}$$连接和注意力机制是一个单层神经网络权重数组 $${\theta }_l^k$$组成的 $$2F^{\prime }$$元素,所有节点共享,其次是leaky-ReLU非线性。

防止注意力没有直接相连的节点之间,都实现了蒙面注意通过使用图结构,定义的邻接矩阵,计算一个面具,掩盖了关注系数 $${\underset{}{\overset{‾}{\epsilon }}}_{n米}=-\; -\; -\; -\; -\; -\mathrm{正}$$对所有 $$米\notin {\mathcal{N}}_n$$,在那里 $${\mathcal{N}}_n$$节点的邻居吗 $$n$$,包括 $$n$$, $${\underset{}{\overset{‾}{\epsilon }}}_{n米}={\epsilon }_{n米}$$对所有 $$米\in {\mathcal{N}}_n$$。

关注分数计算正常化使用系数的注意蒙面softmax操作。也就是说,注重分数 $${\alpha }_{n米}^k=\frac{\mathrm{经验值}({\underset{}{\overset{‾}{\epsilon }}}_{n米}^k)}{\underset{j\in {\mathcal{N}}_n}{\sum }\mathrm{经验值}({\underset{}{\overset{‾}{\epsilon }}}_{nj}^k)}$$。

注意分数然后用于获得输出层的特性的线性组合转换 $$H^k$$。也就是说,给定一个 $$N\times N$$矩阵的关注分数 $${\alpha }^k$$计算在头 $$k$$、输出特性 $$Z_{l+1}^k$$从关注头 $$k$$得到了, $$Z_{l+1}^k={\alpha }^k{H}^k$$。

每个关注的特性输出头聚合,通过连接,也就是说, $$Z_{l+1}=(Z_{l+1}^1,。。。,Z_{l+1}^K]$$,或平均 $$Z_{l+1}=\frac{1}{K}\underset{k=1}{\overset{K}{\sum }}{Z}_{l+1}^k$$,输出层的特性。

佩,VeličkovićGuillem Cucurull单打项目卡萨诺瓦,阿德里亚娜罗梅罗,Pietro利奥,Yoshua Bengio。“图网络关注。”Preprint, submitted February 4, 2018. https://arxiv.org/abs/1710.10903.

Hoja,约翰内斯·达·芬奇Medrano Sandonas,布莱恩·恩斯特阿尔瓦罗·Vazquez-Mayagoitia Robert a . DiStasio和亚历山大Tkatchenko。“QM7-X:量子力学的综合数据集属性生成有机小分子的化学空间。“Zenodo, 11月23日,2020年。<一个href="https://doi.org/10.5281/ZENODO.3905360" target="_blank">https://doi.org/10.5281/ZENODO.3905360。