Reasoning with Sarcasm by Reading In-between

click here：文章下載

方法綜述：

本文提出了新的模型SIARN(Singal-dimensional Intra-Attention Recurrent Networks)和MIARN(Multi-dimensional Intra-Attention Recurrent Networks)。

先給出一個定義，關系得分$s_{i,j}$表示單詞$w_i$、$w_j$間的信息關聯程度。二者的區別僅在于，SIARN中只考慮單詞對間的一種內在關系，$s_{i,j}$是個標量；而MIARN考慮單詞對間的多種(k種)內在關系，$s_{i,j}$是個k維向量，再將其融合為一個標量。

模型中包含三個子模型：Singal/Multi-dimensional Intra-Attention、LSTM、Prediction Layer：
Singal/Multi-dimensional Intra-Attention：通過單詞對間的信息，得到句子的Intra-Attentive Representation
LSTM：通過句子的序列信息，得到句子的Compositional Representation
Prediction Layer： 融合兩種信息表示，進行二分類預測

各模型算法：

Singal/Multi-dimensional Intra-Attention

Sigal-dimensional：

$s_{i,j}=W_a([w_i;w_j])+b_a?s_{i,j}\in R$ 標量

$W_a\in R^{2n\times 1},b_a\in R;$

Multi-dimensional：

$\widehat{s_{i,j}}=W_q([w_i;w_j])+b_q?\widehat{s_{i,j}}\in R^k$ k維向量
$W_q\in R^{2n\times k},b_q\in R^k;$

$s_{i,j}=W_p(ReLU(\widehat{s_{i,j}}))+b_p$
$W_p\in R^{k\times 1},b_p\in R;$

$??????????$

$s_{i,j}=W_p(ReLU(W_q([w_i;w_j])))+b_p$
$W_q\in R^{2n\times k},b_q\in R^k,W_p\in R^{k\times 1},b_p\in R;$

從而，對于長度為$l$的句子，可以得到對稱矩陣$s\in R^{l\times l}$。
對矩陣s進行row-wise max-pooling，即按行取最大值，得到attention vector：$a\in R^l$

有了權重向量a，便可以對句子單詞進行加權求和，得到Intra-Attentive Representation：$v_a\in R^n$:

LSTM

LSTM的每個時間步輸出$h_i\in R^d$，可以表示為:

$h_i=LSTM(w,i),?i\in [1,...,l]$

本文使用LSTM的最后時間步輸出，作為Compositional Representation：$v_c\in R^d$

$v_c=h_l$

$d$是LSTM隱藏層單元數，$l$是句子的最大長度。

Prediction Layer

融合上述得到的Intra-Attentive Representation $v_a\in R^n$、Compositional Representation $v_c\in R^d$，得到融合表示向量 $v\in R^d$，再進行二分類輸出$\hat{y}\in R^2$:

$v=ReLU(W_z([v_a;v_c])+b_z)$
$\hat{y}=Softmax(W_{f}v+b_f)$

其中，$W_z\in R^{(d+n)\times d},b_z\in R^d,W_f\in R^{d\times 2},W_f\in R^{d\times 2},b_f\in R^2$

訓練目標：

待學習參數：$\theta =\{W_p,b_p,W_q,b_q,W_z,b_z,W_f,b_f\}$
超參數：$k,n,d,\lambda$

總結

以上是生活随笔為你收集整理的Reasoning with Sarcasm by Reading In-between的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。