機器閱讀理解中文章和問題的深度學(xué)習(xí)表示方法

/* 版權(quán)聲明：可以任意轉(zhuǎn)載，轉(zhuǎn)載時請標(biāo)明文章原始出處和作者信息 .*/

                                       author: 張俊林

注：本文是《深度學(xué)習(xí)解決機器瀏覽理解任務(wù)的研究進(jìn)展》節(jié)選，該文將于近期在“深度學(xué)習(xí)大講堂”公眾號發(fā)布。

2.1文章和問題的表示方法

   用神經(jīng)網(wǎng)絡(luò)處理機器瀏覽理解問題，首先面臨的問題就是如何表示文章和問題這兩個最重要的研究對象。我們可以從現(xiàn)有機器瀏覽理解相干文獻(xiàn)中歸納總結(jié)出經(jīng)常使用的表示方法，固然這些表示方法不單單局限于瀏覽理解問題，也常常見于NLP其他子領(lǐng)域中。

    圖4.文檔表示方法：模型1

首先，對機器瀏覽理解中的文章來講，有兩種常見的文章內(nèi)容表達(dá)方式。最多見的1種即是將1篇文章看成有序的單詞流序列（參考圖4的模型1），在這個有序序列上使用RNN來對文章進(jìn)行建模表達(dá)，每一個單詞Dt對應(yīng)RNN序列中的1個時間步t的輸入，RNN的隱層狀態(tài)Ht代表融會了Dt本身詞義和其上下文語義的語言編碼。這類表示方法其實不對文章整體語義進(jìn)行編碼，而是對每一個單詞及其上下文語義進(jìn)行編碼，在實際使用的時候是使用每一個單詞的RNN隱層狀態(tài)Ht來進(jìn)行相干計算。至于具體的RNN模型，常見的有標(biāo)準(zhǔn)RNN、LSTM、GRU及其對應(yīng)的雙向版本等。對機器瀏覽理解來講雙向RNN是最經(jīng)常使用的表示方法，1般每一個單詞的語義表示由正向RNN隱層狀態(tài)和反向RNN隱層狀態(tài)拼接來表示，即：

模型1常常在機器瀏覽理解系統(tǒng)的原始輸入部份對文章進(jìn)行表征，由于對很多瀏覽理解任務(wù)來講，本質(zhì)上是從文章中推導(dǎo)出某個幾率最大的單詞作為問題的答案，所以對文章以單詞的情勢來表征非常自然。

另外1種常見的文章內(nèi)容表達(dá)方式則是從每一個單詞的語義表達(dá)推導(dǎo)出文章整體的Word Embedding表達(dá)，這類情勢常常是在對問題和文章進(jìn)行推理的內(nèi)部進(jìn)程中使用的表達(dá)方式。典型的表達(dá)進(jìn)程如圖5所示的模型2所示。

             圖5. 文檔表示方法：模型2

對機器瀏覽理解中的問題來講，有3種常見的語義表達(dá)方式。如果將查詢看做1種特殊的文章的話，很明顯文章的語義表達(dá)方式一樣可以用來表征問題的語義，也就是類似于文檔表示方法的模型1和模型2，除另外，還有另外1種不同的表達(dá)方式。問題的表示方法模型1如圖6所示，模型2如圖7所示，其代表的含義與文章表征方式類似，所以此處不贅述。

  圖6.問題表示方式：模型1

     圖7.問題表示方法：模型2

問題表示方法的另外1種表示如圖8所示，我們可以稱之為模型3。

              圖8.問題表示方法：模型3

模型3也是在模型1的基礎(chǔ)之上的改進(jìn)模型，也是NLP任務(wù)中表達(dá)句子語義的最多見的表達(dá)方式。首先類似于模型1，使用雙向RNN來表征每一個單詞及其上下文的語義信息。對正向RNN來講，其尾部單詞（句尾詞）RNN隱層節(jié)點代表了融會了全部句子語義的信息；而反向RNN的頭部單詞（句首詞）則逆向融會了全部句子的語義信息，將這兩個時刻RNN節(jié)點的隱層狀態(tài)拼接起來則可以表征問題的整體語義：

理論上模型3也能夠用來表征文章的語義信息，但是1般不會這么用，主要緣由是文章常常都比較長，RNN對太長的內(nèi)容表征能力不足，所以類似模型3的方法會存在大量的信息丟失，而“問題”1般來講都是比較短的1句話，所以用模型3表征是比較適合的。

以上介紹的幾個模型是在機器瀏覽理解領(lǐng)域里經(jīng)常使用的表征文章和問題的表示方法。下面我們從機器瀏覽理解神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的角度來進(jìn)行經(jīng)常使用模型的介紹。

掃1掃關(guān)注微信號：“布洛卡區(qū)” ，深度學(xué)習(xí)在自然語言處理等智能利用的技術(shù)研討與科普公眾號。

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進(jìn)行捐贈