import

解釋下給定的數據，x假設是fc layer的輸出，可以看到這里x是(3,3)的，也就是batch_size=3，n_classes=3。但是label給出了三個數，取值是0，1，因此這里必須要將label先變成one_hot的形式才能在cross_entropy函數中正確相乘。

值得注意的點:

softmax是有exp函數的，exp對很大的數會出現inf，因此這里要先針對每行數字減去每行的最大值。這樣即可保證softmax的numerical stability。

cross_entropy中log(predictions)得到(3,3)的矩陣，target必須也是(3,3)才能對應正確相乘，因此target要事先變成onehot

log函數在輸入=0時會出現錯誤，因此log(predictions)前要對predictions進行clip，將其中出現的0修改為一個很小的數字（難免predictions中有0）

總結

以上是生活随笔為你收集整理的softmax ce loss_手写softmax和cross entropy的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。