【導讀】圖神經網絡一直是業界關注的熱點之一。最近來自印度國家理工學院的學者發布了《圖神經網絡》綜述論文.
摘要
在過去十年左右的時間里，我們見證了深度學習讓機器學習領域重新煥發活力。它以最先進的性能解決了計算機視覺、語音識別、自然語言處理等領域的許多問題。這些領域的數據一般用歐幾里得空間表示。其他許多領域都符合非歐幾里得空間，圖是其中的理想表示。圖適用于表示各種實體之間的依賴關系和相互關系。傳統上，手工制作的圖特性無法從復雜的數據表示中為各種任務提供必要的推斷。最近，出現了利用深度學習的各種進展來繪制基于數據的任務。本文提供了圖神經網絡(GNN)在每種學習設置中的全面綜述: 監督學習、無監督學習、半監督學習和自監督學習。每個基于圖的學習設置的分類提供了屬于給定學習設置的方法的邏輯劃分。從理論和實證兩方面分析了每個學習任務的方法。此外，我們還提供了構建GNN的一般架構指導方針。還提供了各種應用程序和基準數據集，以及仍然困擾著GNN的普遍適用性的開放挑戰。
引言
圖是定義一組節點及其關系的數據結構。從社交網絡[141]到物理互動[209]，我們無處不在地觀察它們。圖表還可以用來表示不可思議的結構復雜網絡基礎理論 pdf，如原子、分子、生態系統、生物、行星系統[42]等等。所以，圖形結構存在于我們的周圍環境和對世界的感知中。它包括實體和相互關系，以建立概念，如推理、溝通、關系、營銷等。
隨著當今技術的進步，互聯網(一個巨大的圖表)的使用正在迅速增長。如今，在社交網絡、搜索引擎的知識數據庫、街道地圖、甚至分子、高能物理、生物和化學化合物中也可以找到大量的圖表。圖結構表示在這些環境中很常見; 因此，需要有效和新穎的技術來解決基于圖的任務。許多傳統的機器學習技術都是在使用各種預定義的過程從原始數據表單中提取特征的基礎上提出的。提取的特征可以是圖像數據中的像素統計，也可以是自然語言數據中的單詞出現統計。在過去的十年中，深度學習(DL)技術獲得了巨大的普及，有效地解決了學習問題，從原始數據學習表示，并使用學習的表示同時預測。通常，這是通過探索許多不同的非線性轉換(由層執行)和使用基于梯度下降的學習方法對這些模型進行端到端訓練來實現的。盡管DL最近在計算機視覺、自然語言處理、生物醫學成像、生物信息學等領域取得了進展，但它仍然缺乏關系和因果推理、智力抽象和其他各種人類能力。以圖的形式構造深度神經網絡(DNN)中的計算和表示是解決這些問題的方法之一復雜網絡基礎理論 pdf，這種方法被稱為圖神經網絡(GNN)。
GNN在具有許多學習設置的不同領域的圖結構數據集上都是成功的: 有監督、半監督、自監督和無監督。大多數基于圖的方法屬于無監督學習，通常基于自動編碼器、對比學習或隨機行走概念。圖自編碼器的最新研究成果有:Cao等人[22]在高光譜分類中的特征提取; Yang等人的防止消息傳遞過平滑[188];Park等人使用消息傳遞自動編碼器進行雙曲表示學習[134];用于解決Wu等人[182]提出的當前鏈路預測方法的局限性。最近，基于對比學習的方法也很成功，這在許多研究人員的工作中得到了證明。Okuda等[122]是最近出現的一種無監督圖表示學習方法，用于發現圖像中常見的目標和一組特定目標的定位方法。學習后的表示可以用于下游的學習任務，如Du等人[41]和等人[138]所示。等人[2]中的擴展隨機游動以及Dong等人[40]中的異構圖中的頂點表示也可以捕獲子圖的嵌入。
本文根據圖半監督學習方法的嵌入特征，將其分類為淺圖嵌入和深圖嵌入。將淺圖嵌入分為因子分解、隨機游走，將深圖嵌入分為自編碼器嵌入和GNN嵌入。本文還提供了對每種方法的進一步解釋，以及GNN的類別。基于圖的自監督學習方法根據任務和訓練策略進行分類。現有關于GNN的綜述論文大多側重于單一學習設置或一般GNN，如表1所示。這些綜述并沒有分別解釋每種學習環境。Zhou等人[205]最近完成了一項研究，重點研究了圖上的各種機器學習算法。
在本文中，我們探討了每個基于圖的學習設置，并將其分為幾個類別。本文的主要貢獻概述如下:
論文組織: 第2節分別介紹GNN的基本術語和概念，然后介紹2.1節和2.2節中基于圖結構數據的圖的變體和任務。第3節解釋了每個學習設置的基于GNN的方法，并進一步將方法和學習設置分解為邏輯劃分。3.1節簡要介紹了現有的圖監督學習方法。基于圖的無監督學習方法在第3.2節中進行了解釋，并對現有的學習方法進行了細分。然后我們在第3.3節給出了圖半監督學習方法，并通過嵌入方法對這些方法進行了細分。第3.4節介紹了圖的自監督學習方法，并根據任務和訓練策略對每種方法進行了劃分。GNN的一般step-wise結構在第4節中給出。第6節從理論和實證兩個方面對GNN方法進行了分析。在第5節中，我們介紹了幾個在GNN研究中常用的數據集，然后是第7節，介紹了GNN的一些流行應用。第8節總結了在基于GNN的圖任務解決方案中仍然存在的尚未解決的問題。最后，在第9部分，我們總結了這項工作。
專知便捷查看
