引言

思考了半天蘇神的SimCSE（https://github.com/bojone/SimCSE/blob/main/eval.py），遂記錄在此，幫助有需要的同學理解。

原文無監督方法

在原文的a圖中，我們可以知道在一個batch中，輸入的n個文本都是不相關的，而正樣本對是通過對相同樣本dropout2次得到的，每一次使用不同的dropout mask。

正負樣本對構造方法

我們可以發現，在生成樣本數據的時候，每一個相同的樣本連續生成了2次，由于每個樣本使用的dropout mask不一樣，因此在一個minibatch中，連續的兩個樣本形成正樣本對，非連續的樣本對形成負樣本對

SimCSE損失

def simcse_loss(y_true, y_pred):"""用于SimCSE訓練的loss"""# 構造標簽idxs = K.arange(0, K.shape(y_pred)[0])idxs_1 = idxs[None, :]idxs_2 = (idxs + 1 - idxs % 2 * 2)[:, None]y_true = K.equal(idxs_1, idxs_2)y_true = K.cast(y_true, K.floatx())# 計算相似度y_pred = K.l2_normalize(y_pred, axis=1)similarities = K.dot(y_pred, K.transpose(y_pred))similarities = similarities - tf.eye(K.shape(y_pred)[0]) * 1e12similarities = similarities * 20loss = K.categorical_crossentropy(y_true, similarities, from_logits=True)return K.mean(loss)

核心的損失代碼如上所示，上述代碼想要構造出如下的正確標簽：

我們可以通過構建一個0到n的數組，并將兩兩前后反轉的方式，得到上述正確標簽：

這是上述代碼y_true的構造方式，由于我們不需要自己與自己相似度，即對角線上的值，因此采用將logits置為負無窮，使得其指數為0，對損失無影響，similarities = similarities - tf.eye(K.shape(y_pred)[0]) * 1e12。

對比損失

對比損失的核心公式如圖所示，其本質上是一個交叉熵損失：
$$CE=?log\frac{e^t}{{\sum }_i{e}^i}$$
因此可以在計算好相似度除以溫度系數之后，采用交叉熵損失的方式來進行計算

總結

以上是生活随笔為你收集整理的SimCSE构造正负样本对与损失的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。