面向可解釋性的知識圖譜推理研究（3）

2. 基于貝葉斯強化學習的知識圖譜推理

第二個是進行的關(guān)于貝葉斯強化學習的知識圖譜推理模型。

研究發(fā)現(xiàn)，基于強化學習的知識圖譜推理很大的問題是：

• 訓練難以穩(wěn)定，其蒙特卡洛抽樣的方差比較大，獎賞稀疏。

• 難以利用先驗知識，如利用預訓練語料、屬性信息、關(guān)系和實體的先驗分布。

• 單點分布的實體和向量，不能表達語義的不確定性。

利用貝葉斯強化學習工具來建模不確定性推理。假設(shè)參數(shù)服從某種概率分布，右圖顯示了貝葉斯學習的有點是可以表達不確定性。

利用貝葉斯強化學習其優(yōu)點是可以表達實體及關(guān)系的不確定性，這種不確定性有利于權(quán)衡探索-利用關(guān)系，通過隨機性可以引入正則項，來穩(wěn)定 Q 網(wǎng)絡(luò)/策略網(wǎng)絡(luò)的訓練優(yōu)化，同時貝葉斯強化的機制可以利用知識的先驗分布。

其方法比較簡單，就是將知識圖譜中的實體和關(guān)系假設(shè)為高斯分布，通過設(shè)計合理的知識圖譜 Q 函數(shù)來進行推理。

將知識圖譜推理定義成馬爾可夫決策過程，其環(huán)境是知識圖譜，狀態(tài)是實體在知識圖譜中所處的位置，動作是這個位置可能連接的實體集合，策略函數(shù)是基于最大 Q 值的執(zhí)行策略，獎賞函數(shù)是 0、1 獎賞。

Q 函數(shù)的定義就是一個狀態(tài)動作值的定義，在 St 是狀態(tài)時，對未來推理 Q 的獎賞的期望。直接求解 Q 函數(shù)通常比較困難，是通過神經(jīng)網(wǎng)絡(luò)進行擬合。具體實現(xiàn)方式是通過 BayesianLSTM 來擬合 Q 函數(shù)的隱狀態(tài)，通過貝葉斯線性回歸網(wǎng)絡(luò)輸出 Q 值。

具體的執(zhí)行策略和優(yōu)化策略有兩種，是異策略的方式，即優(yōu)化策略與執(zhí)行策略函數(shù)不同。優(yōu)化策略是采取貪心策略，來保證訓練的利用。執(zhí)行策略是通過 Tompson 采樣，通過 Q 值隨機化生成來保證環(huán)境的探索。

最后的目標函數(shù)是最小化 Q 函數(shù)網(wǎng)絡(luò)的變分自由能，通過軌跡采樣方式來進行優(yōu)化，采用蒙特卡洛梯度進行近似優(yōu)化，具體實現(xiàn)是通過貝葉斯反向傳播的方法來訓練貝葉斯神經(jīng)網(wǎng)絡(luò)。

在知識圖譜進行的實驗，圖為事實預測的實驗結(jié)果，是一個二分類預測，給定兩個實體預測其關(guān)系的實驗?？梢园l(fā)現(xiàn)模型在 NELL995 上大部分取得了比較好的領(lǐng)先。

實體預測的實驗，可以發(fā)現(xiàn)模型可以取得較優(yōu)的結(jié)果。

在小規(guī)模知識圖譜上的鏈接預測實驗，在小規(guī)模知識圖譜,上的實驗將最大推理長度設(shè)定為 2，設(shè)定為單步推理，也取得了一定的效果。

貝葉斯強化學習模型，沒有采用隨機分布的方式，與 MINERVA 進行對比，可以發(fā)現(xiàn)貝葉斯強化學習模型收斂的更快一些，可以引入先驗分布，通過對實體的高斯分布的預訓練，葉斯強化學習模型收斂的結(jié)果更好一些。

對推理的過程進行箱式圖可視化，如圖示例中，推理阿根廷是在哪里的？可以不確定性推理，實現(xiàn) Q 值分布的不確定性，來實現(xiàn)不確定性推理。

圖為 GaussianPath 模型在推理過程中產(chǎn)生了一些可解釋性的推理路徑。

小結(jié)：提出一個貝葉斯強化學習的知識推理模型，該模型可以表達多跳推理路徑的不確定性；該模型可以利用貝葉斯網(wǎng)絡(luò)的特性引入先驗知識從而加速及穩(wěn)定強化學習的網(wǎng)路訓練。實驗表明，該模型可以在標準的數(shù)據(jù)集上取得競爭性的結(jié)果。該工作發(fā)表于 2021 年 AAAI 上。

3. 異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘

第三個工作是基于強化學習的知識圖譜推理的應(yīng)用，就是在異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘。

異質(zhì)信息網(wǎng)絡(luò)是指圖上的節(jié)點、關(guān)系的種類大于 1 的網(wǎng)絡(luò)，其定義比知識圖譜更加廣泛。常見的異質(zhì)信息網(wǎng)絡(luò)有電影網(wǎng)絡(luò)、引用網(wǎng)絡(luò)、知識圖譜等。

元路徑是異質(zhì)信息網(wǎng)路上非常常用的手段，是實體關(guān)系的序列，可以表達實體之間的語義特征，如，“APA”可以刻畫共同發(fā)表的關(guān)系，“APVPA”可以刻畫同一個課題組的關(guān)系。其在圖數(shù)據(jù)挖掘中產(chǎn)生了一系列非常經(jīng)典的工作。

元路徑（Meta Path）應(yīng)用非常廣泛，在信息檢索、數(shù)據(jù)挖掘、推薦系統(tǒng)中廣泛應(yīng)用。

元路徑優(yōu)點是，語義表達準確，效率較高，含有圖的結(jié)構(gòu)特征，可解釋性好。缺點是，需要人工設(shè)計，人工構(gòu)造 Meta Path，是非端到端的方法，對于長序列元路徑設(shè)計比較困難。

自動得到元路徑的方法是基于貪婪樹的方法、K-最短路徑、圖遍歷的方式得到 Meta Path。其存在的問題是在離散空間計算，搜索空間比較大。我們研究的異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘模型，利用強化學習，在推理過程中得到推理路徑模式，來得到元路徑。

異質(zhì)信息網(wǎng)絡(luò)的自動元路徑挖掘方法，在 HIN 上利用強化學習進行多跳推理，得到路徑實例；在類型有向圖上進行規(guī)約，得到元路徑。

該工作強化學習的框架，與前面兩個工作類似，就是在狀態(tài)、動作設(shè)定上略有不同。在狀態(tài)上加入了 vd 實體的元組；在動作上，是實體在異質(zhì)信息網(wǎng)絡(luò)的停留，其動作空間就是與其連接的邊和實體；獎賞是基于 γ 的衰減的獎賞函數(shù)。

知識圖譜的規(guī)模通常很大，是百萬級別的實體及事實，直接給每個實體分配表向量通常會消耗非常大的存儲資源和計算資源。這項工作提出一種基于類型上下文表示的方式，通過將類型向量平均來表示實體，有效減少實體向量存儲的問題。

具體路徑實例規(guī)約方法是基于最低祖先方法，通過在類型圖上進行根節(jié)點的搜索得到元路徑。如，實體類型的 DAG 如圖，通過最低祖先搜索的方法得到其是 Person 的類型，最后得到類型及類型的組合，得到元路徑。

實驗部分采用挖掘得到的元路徑進行鏈接預測。采用的數(shù)據(jù)集是 Yago 和 NELL，即大規(guī)模異質(zhì)信息網(wǎng)絡(luò)或知識圖譜。Yago 和 NELL 具有上百萬的實體，Yago 中具有 80 多萬個類型；NELL 具有 700 多個類型。與 KG 的區(qū)別是具有大量的類型信息。

根據(jù)鏈接預測的實驗，可以發(fā)現(xiàn)通過強化學習挖掘得到的路徑，盡管其是一個比較簡單的路徑特征的線性回歸，都可以取得比較好的效果。

同時，可以通過強化學習推理的回歸的 Weight 獲得元路徑的權(quán)重，如，在 Yago 數(shù)據(jù)集中表示公民的關(guān)系，可以由 Person BorIn Country、Person BorIn District LocatedIn Country 主要刻畫 isCitizenOf 的關(guān)系。該模型可以獲得不同權(quán)重的元路徑，也可以挖掘得到較長長度的元路徑，還可以通過元路徑的比較發(fā)現(xiàn)同義的元路徑。

小結(jié)：提出一個強化學習的模型，該模型可以在大規(guī)模異質(zhì)信息網(wǎng)絡(luò)上挖掘元路徑，利用上下文表示可以大大緩解異質(zhì)信息網(wǎng)絡(luò)的規(guī)模性問題。實驗表明，即使利用簡單的線性回歸，挖掘得到的元路徑也可以在大規(guī)模異質(zhì)信息網(wǎng)絡(luò)表現(xiàn)較好。表明異質(zhì)信息網(wǎng)絡(luò)核心的限制就是元路徑的質(zhì)量。該工作發(fā)表于 2020 年 AAAI 上。

05 總結(jié)和展望

• 深度學習和神經(jīng)網(wǎng)路的研究進入下一階段，需要對神經(jīng)網(wǎng)絡(luò)的可解釋性、魯棒性進行更加深入的研究。

• 未來研究知識圖譜可解釋性的方法可以結(jié)合一階邏輯推理和神經(jīng)網(wǎng)絡(luò)，讓知識圖譜推理可以符合邏輯性，來提高知識圖譜的可解釋性。

• 結(jié)合進一步的實際查詢?nèi)蝿?wù)，例如問答系統(tǒng)、信息檢索，實現(xiàn)端到端的可解釋性知識推理。

• 利用分解模型或 GNNExplainer 等一些方法，建立現(xiàn)有模型的一些事后可解釋性手段。

06 Q&A 問答環(huán)節(jié)

Q：如何評估生成解釋的可理解能力？

A：解釋的可解釋能力，一般在事后可解釋性比較多，如可信度等。在這里研究工作中，更多是事前可解釋性的方法。具體可解釋性的能力是比較主觀的，現(xiàn)有的評估可解釋性的方法更多的用于事后可解釋性。

今天的分享就到這里，謝謝大家。