【NAACL2021】Graph4NLP：圖深度學(xué)習(xí)自然語(yǔ)言處理

來(lái)源：專知

深度學(xué)習(xí)已經(jīng)成為自然語(yǔ)言處理(NLP)研究的主導(dǎo)方法，特別是在大規(guī)模語(yǔ)料庫(kù)中。在自然語(yǔ)言處理任務(wù)中，句子通常被認(rèn)為是一系列標(biāo)記。因此，流行的深度學(xué)習(xí)技術(shù)如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)在文本序列建模中得到了廣泛的應(yīng)用。

然而，有大量的自然語(yǔ)言處理問題可以用圖結(jié)構(gòu)來(lái)最好地表達(dá)。例如，序列數(shù)據(jù)中的結(jié)構(gòu)和語(yǔ)義信息(例如，各種語(yǔ)法分析樹(如依賴分析樹)和語(yǔ)義分析圖(如抽象意義表示圖))可以通過合并特定任務(wù)的知識(shí)來(lái)擴(kuò)充原始序列數(shù)據(jù)。因此，這些圖結(jié)構(gòu)化數(shù)據(jù)可以對(duì)實(shí)體標(biāo)記之間的復(fù)雜成對(duì)關(guān)系進(jìn)行編碼，以學(xué)習(xí)更多的信息表示。然而，眾所周知，深度學(xué)習(xí)技術(shù)對(duì)歐幾里德數(shù)據(jù)(如圖像)或序列數(shù)據(jù)(如文本)具有破壞性，但不能立即適用于圖結(jié)構(gòu)數(shù)據(jù)。因此，這一差距推動(dòng)了對(duì)圖的深度學(xué)習(xí)的研究，特別是圖神經(jīng)網(wǎng)絡(luò)(GNN)的發(fā)展。

這種在圖的深度學(xué)習(xí)和自然語(yǔ)言處理的交叉領(lǐng)域的研究浪潮影響了各種自然語(yǔ)言處理任務(wù)。應(yīng)用/開發(fā)各種類型的GNN的興趣激增，并在許多自然語(yǔ)言處理任務(wù)中取得了相當(dāng)大的成功，從分類任務(wù)如句子分類、語(yǔ)義角色標(biāo)注和關(guān)系提取，到生成任務(wù)如機(jī)器翻譯、問題生成和摘要。

盡管取得了這些成功，NLP的圖深度學(xué)習(xí)仍然面臨許多挑戰(zhàn)，包括自動(dòng)將原始文本序列數(shù)據(jù)轉(zhuǎn)換為高度圖結(jié)構(gòu)的數(shù)據(jù)，以及有效地建模復(fù)雜數(shù)據(jù)，包括基于圖的輸入和其他高度結(jié)構(gòu)化的輸出數(shù)據(jù) (如序列、樹、并在節(jié)點(diǎn)和邊均具有多種類型的圖數(shù)據(jù)。本教程將涵蓋在NLP中運(yùn)用深度學(xué)習(xí)圖技術(shù)的相關(guān)和有趣的主題，包括NLP的自動(dòng)圖構(gòu)造、NLP的圖表示學(xué)習(xí)、NLP的高級(jí)基于GNN的模型(例如graph2seq、graph2tree和graph2graph)，以及GNN在各種NLP任務(wù)中的應(yīng)用 (例如:機(jī)器翻譯、自然語(yǔ)言生成、信息提取和語(yǔ)義解析)。此外，還將包括動(dòng)手演示課程，以幫助觀眾獲得應(yīng)用GNN解決具有挑戰(zhàn)性的NLP問題的實(shí)際經(jīng)驗(yàn)，使用我們最近開發(fā)的開源庫(kù)——Graph4NLP，這是第一個(gè)為研究人員和從業(yè)者提供的庫(kù)，用于輕松地使用GNN解決各種NLP任務(wù)。

Graph4NLP  239頁(yè)slides的教程：

地址：https://github.com/graph4ai/graph4nlp

Graph4NLP：圖深度學(xué)習(xí)自然語(yǔ)言處理工具包

來(lái)自京東硅谷研發(fā)中心的首席科學(xué)家吳凌飛博士領(lǐng)導(dǎo)的 Graph4AI 團(tuán)隊(duì)開發(fā)了首個(gè)面向NLP的圖深度學(xué)習(xí)工具包：Graph4NLP: Deep Learning on Graphs for Natural Language Processing 。

目前Graph4NLP的包是建立在DGL基礎(chǔ)上，關(guān)鍵模塊包含了文本轉(zhuǎn)圖結(jié)構(gòu)模塊（Graph Construction),、圖學(xué)習(xí)模塊 (Graph Representation Learning)、預(yù)測(cè)模塊 (Prediction)、評(píng)估模塊 (Evaluation) 和損失函數(shù)模塊 (Loss)。

Graph4NLP由四個(gè)不同的層組成：

1、數(shù)據(jù)層；2、模塊層；3、模型層；4、應(yīng)用層。

圖注：Graph4NLP 整體架構(gòu)

Graph4NLP 計(jì)算流如下所示：

Graph4NLP模型和應(yīng)用

模型

Graph2Seq: 一個(gè)通用的端到端神經(jīng)編碼——解碼模型，可以映射一個(gè)輸入圖到一個(gè)序列token；

Graph2Tree: 一個(gè)通用的端到端神經(jīng)編碼——解碼模型，可以映射一個(gè)輸入圖到一個(gè)樹結(jié)構(gòu)

應(yīng)用

本項(xiàng)目提出了一個(gè)復(fù)雜的NLP應(yīng)用集合，并附帶了詳細(xì)的案例：

文本分類：把句子或文檔分類為適當(dāng)?shù)臉?biāo)簽；

語(yǔ)義解析：把自然語(yǔ)言翻譯成機(jī)器可解釋的形式意義表示。

神經(jīng)機(jī)器翻譯：把源語(yǔ)言中的句子翻譯成不同的目標(biāo)語(yǔ)言。

摘要：生成輸入文本的更簡(jiǎn)短版本，并保留主要含義。

知識(shí)圖譜補(bǔ)全：預(yù)測(cè)知識(shí)圖譜中兩個(gè)現(xiàn)有實(shí)體之間的缺失關(guān)系。

數(shù)學(xué)問題解決：自動(dòng)解決數(shù)學(xué)習(xí)題，用易懂的語(yǔ)言提供問題的背景信息。

命名實(shí)體識(shí)別：對(duì)輸入文本中的實(shí)體進(jìn)行相應(yīng)類型的標(biāo)記。

問題生成：根據(jù)給定的段落和目標(biāo)答案（可選）生成有效且流暢的問題。

論文鏈接：

https://www.aclweb.org/anthology/2021.naacl-tutorials.3.pdf

Graph4NLP文獻(xiàn)綜述：

https://github.com/graph4ai/graph4nlp_literature