作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文網(wǎng)址：https://blog.csdn.net/HiWangWenBing/article/details/120606523

---

目錄

第1章?torch.nn概述

1.1 torch.nn簡(jiǎn)介與功能

第2章?torch.nn的組成與子模塊

2.1 獲取神經(jīng)網(wǎng)絡(luò)的模型參數(shù)

2.2 主要的容器

2.3?線性層

2.4?非線性激活函數(shù)-1

2.5?非線性激活函數(shù) -2?

2.6?歸一化處理

2.7?各種損失函數(shù)

2.8?CNN卷積層

2.9?pooling層

2.10?填充層

2.11?RNN網(wǎng)絡(luò)層

2.12?Dropout層定義

2.13?Sparse layers

2.14?距離功能

2.15 可視化層

2.16 并行數(shù)據(jù)層

2.17?各種工具

---

---

第1章?torch.nn概述

1.1 torch.nn簡(jiǎn)介與功能

nn是Neural Network的簡(jiǎn)稱。

torch.nn模塊是PyTorch提供的，幫助程序員方便（1）創(chuàng)建神經(jīng)網(wǎng)絡(luò)和（2）訓(xùn)練神經(jīng)網(wǎng)絡(luò)而提供的模塊。主要功能包括：

• 創(chuàng)建神經(jīng)網(wǎng)絡(luò)
• 訓(xùn)練神經(jīng)網(wǎng)絡(luò)

第2章?torch.nn的組成與子模塊

2.1 獲取神經(jīng)網(wǎng)絡(luò)的模型參數(shù)

1) torch.nn.Parameter

獲取模型參數(shù)? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

2.2 主要的容器

	Containers
1)torch.nn.Module	它是所有神經(jīng)網(wǎng)絡(luò)模塊的基類。
2)torch.nn.Sequential	它是一個(gè)順序容器, 其中模塊的添加順序與在構(gòu)造函數(shù)中傳遞模塊時(shí)的順序相同。
3)torch.nn.ModuleList	這會(huì)將子模塊保存在列表中。
4)torch.nn.ModuleDict	這會(huì)將子模塊保存在目錄中。
5)torch.nn.ParameterList	這會(huì)將參數(shù)保存在列表中。
6)torch.nn.parameterDict	這會(huì)將參數(shù)保存在目錄中。

2.3?線性層

	線性層
1)PyTorch PlaceHolder	它是一個(gè)占位符身份運(yùn)算符, 對(duì)參數(shù)不敏感。
2)torch.nn.Linear	它用于對(duì)輸入數(shù)據(jù)進(jìn)行線性變換：y = xAT + b
3)torch.nn.Bilinear	它用于對(duì)輸入數(shù)據(jù)進(jìn)行雙線性變換：y = x1 Ax2 + b

2.4?非線性激活函數(shù)-1

	非線性激活(加權(quán)和, 非線性)
1)torch.nn.ELU	它將用于應(yīng)用按元素的函數(shù)：ELU(x)= max(0, x)+ min(0, α*(exp(x)-1))
2)torch.nn.Hardshrink	它將用于應(yīng)用硬收縮函數(shù)逐元素函數(shù)：
3)torch.nn.LeakyReLU	它將用于應(yīng)用按元素的函數(shù)：LeakyReLu(x)= max(0, x)+ negative_slope * min(0, x)
4)torch.nn.LogSigmoid	它將用于應(yīng)用逐元素函數(shù)：
5)torch.nn.MultiheadAttention	它用于允許模型關(guān)注來自不同表示子空間的信息
6)torch.nn.PReLU	它將用于應(yīng)用按元素的函數(shù)：PReLU(x)= max(0, x)+ a * min(0, x)
7)torch.nn.ReLU	它將按元素應(yīng)用于整流線性單位函數(shù)：ReLU(x)= max(0, x)
8)torch.nn.ReLU6	它將用于應(yīng)用按元素的函數(shù)：ReLU6(x)= min(max(0, x), 6)
9)torch.nn.RReLU	如本文所述, 它將用于逐元素地應(yīng)用隨機(jī)泄漏整流線性單位函數(shù)：
10)torch.nn.SELU	它將按以下方式應(yīng)用按元素的函數(shù)：SELU(x)= scale *(max(0, x)+ min(0, a *(exp(x)-1)))這里α= 1.6732632423543772772848170429916717和scale = 1.0507009873554804934193193349852946。
11)PyTorch	它將按以下方式應(yīng)用按元素的功能：
12)PyTorch	它將按以下方式應(yīng)用按元素的功能：
13)torch.nn.Softplus	它將按以下方式應(yīng)用按元素的功能：
14)torch.nn.Softshrink	它將按元素應(yīng)用軟收縮功能, 如下所示：
15)torch.nn.Softsign	它將按以下方式應(yīng)用按元素的功能：
16)torch.nn.Tanh	它將按以下方式應(yīng)用按元素的功能：
17)torch.nn.Tanhshrink	它將按以下方式應(yīng)用按元素的函數(shù)：Tanhshrink(x)= x-Tanh(x)
18)torch.nn.Threshold	它將用于閾值輸入張量的每個(gè)元素。閾值定義為：

2.5?非線性激活函數(shù) -2?

	非線性激活(其他)
1)torch.nn.Softmin	它用于將softmin函數(shù)應(yīng)用于n維輸入張量以重新縮放它們。之后, n維輸出Tensor的元素位于0、1的范圍內(nèi), 且總和為1。Softmin定義為：
2)torch.nn.Softmax	它用于將softmax函數(shù)應(yīng)用于n維輸入張量以重新縮放它們。之后, n維輸出Tensor的元素位于0、1的范圍內(nèi), 且總和為1。Softmax定義為：
3)torch.nn.Softmax2d	它用于將SoftMax應(yīng)用于要素上的每個(gè)空間位置。
4)torch.nn.LogSoftmax	它用于將LogSoftmax函數(shù)應(yīng)用于n維輸入張量。 LofSoftmax函數(shù)可以定義為：
5)torch.nn.AdaptiveLogSoftmaxWithLoss	這是訓(xùn)練具有較大輸出空間的模型的策略。標(biāo)簽分布高度不平衡時(shí)非常有效

2.6?歸一化處理

	歸一化層
1)torch.nn.BatchNorm1d	它用于對(duì)2D或3D輸入應(yīng)用批量歸一化。
2)torch.nn.BatchNorm2d	它用于在4D上應(yīng)用批量歸一化。
3)torch.nn.BatchNorm3d	它用于對(duì)5D輸入應(yīng)用批量歸一化。
4)torch.nn.GroupNorm	它用于在最小輸入批次上應(yīng)用組歸一化。
5)torch.nn.SyncBatchNorm	它用于對(duì)n維輸入應(yīng)用批量歸一化。
6)torch.nn.InstanceNorm1d	它用于在3D輸入上應(yīng)用實(shí)例規(guī)范化。
7)torch.nn.InstanceNorm2d	它用于在4D輸入上應(yīng)用實(shí)例規(guī)范化。
8)torch.nn.InstanceNorm3d	它用于在5D輸入上應(yīng)用實(shí)例規(guī)范化。
9)torch.nn.LayerNorm	它用于在最小輸入批次上應(yīng)用層歸一化。
10)torch.nn.LocalResponseNorm	它用于對(duì)由多個(gè)輸入平面組成的輸入信號(hào)進(jìn)行局部響應(yīng)歸一化, 其中通道占據(jù)第二維。

2.7?各種損失函數(shù)

	Loss function
1)torch.nn.L1Loss	它用于衡量輸入x和目標(biāo)y中每個(gè)元素之間的平均絕對(duì)誤差的標(biāo)準(zhǔn)。未減少的損失可描述為：l(x, y)= L = {l1, …, ln}, ln = | xn-yn |, 其中N是批次大小。
2)torch.nn.MSELoss	它用于衡量輸入x和目標(biāo)y中每個(gè)元素之間的均方誤差的標(biāo)準(zhǔn)。未減少的損失可描述為：l(x, y)= L = {l1, …, ln}, ln =(xn-yn)2, 其中N是批次大小。
3)torch.nn.CrossEntropyLoss	此條件將nn.LogSoftmax()和nn.NLLLoss()組合在一個(gè)類中。當(dāng)我們訓(xùn)練C類的分類問題時(shí), 這將很有幫助。
4)torch.nn.CTCLoss	連接主義者的時(shí)間分類損失計(jì)算連續(xù)時(shí)間序列和目標(biāo)序列之間的損失。
5)torch.nn.NLLLoss	負(fù)對(duì)數(shù)似然損失用于訓(xùn)練C類的分類問題。
6)torch.nn.PoissonNLLLoss	目標(biāo)的Poisson分布為負(fù)的對(duì)數(shù)似然損失-目標(biāo)(Posson(input)loss(input, target)= input-target * log(target！))
7)torch.nn.KLDivLoss	這對(duì)于連續(xù)分布是有用的距離度量, 并且在我們對(duì)連續(xù)輸出分布的空間進(jìn)行直接回歸時(shí)也很有用。
8)torch.nn.BCELoss	它用于創(chuàng)建衡量目標(biāo)和輸出之間的二進(jìn)制交叉熵的標(biāo)準(zhǔn)。未減少的損失可描述為：l(x, y)= L = {l1, …, ln}, ln = -wn [yn * logxn +(1-yn)* log(1-xn)], 其中N是批次大小。
9)torch.nn.BCEWithLogitsLoss	它在一個(gè)類別中將Sigmoid層和BCELoss結(jié)合在一起。通過將操作合并到一層, 我們可以利用log-sum-exp技巧來實(shí)現(xiàn)數(shù)值穩(wěn)定性。
10)torch.nn.MarginRankingLoss	它創(chuàng)建一個(gè)標(biāo)準(zhǔn)來測(cè)量給定輸入x1, x2, 兩個(gè)1D迷你批量張量和包含1或-1的標(biāo)簽1D迷你批量張量y的損耗。迷你批次中每個(gè)樣本的損失函數(shù)如下：loss(x, y)= max(0, -y *(x1-x2)+ margin
11)torch.nn.HingeEmbeddingLoss	HingeEmbeddingLoss度量給定輸入張量x和包含1或-1的標(biāo)簽張量y的損失。它用于測(cè)量兩個(gè)輸入是否相似或不相似。損失函數(shù)定義為：
12)torch.nn.MultiLabelMarginLoss	它用于創(chuàng)建優(yōu)化輸入x和輸出y之間的多類多分類鉸鏈損耗的標(biāo)準(zhǔn)。
13)torch.nn.SmoothL1Loss	它用于創(chuàng)建一個(gè)標(biāo)準(zhǔn), 如果絕對(duì)逐項(xiàng)誤差低于1, 則使用平方項(xiàng), 否則使用L1項(xiàng)。也稱為胡貝爾損耗：
14)torch.nn.SoftMarginLoss	它用于創(chuàng)建優(yōu)化輸入張量x和目標(biāo)張量y之間(包含1或-1)的兩類分類邏輯損失的標(biāo)準(zhǔn)。
15)torch.nn.MultiLabelSoftMarginLoss	它用于創(chuàng)建一個(gè)標(biāo)準(zhǔn), 該標(biāo)準(zhǔn)基于輸入x與大小(N, C)的目標(biāo)y之間的最大熵來優(yōu)化多標(biāo)簽對(duì)所有損失。
16)torch.nn.CosineEmbeddingLoss	它用于創(chuàng)建一個(gè)標(biāo)準(zhǔn), 該標(biāo)準(zhǔn)測(cè)量給定輸入張量x1, x2和張量標(biāo)簽y的值為1或-1的損失。它用于使用余弦距離來測(cè)量兩個(gè)輸入是相似還是相異。
17)torch.nn.MultiMarginLoss	它用于創(chuàng)建優(yōu)化輸入x和輸出y之間的多類分類鉸鏈損耗的標(biāo)準(zhǔn)。
18)torch.nn.TripletMarginLoss	它用于創(chuàng)建衡量給定輸入張量x1, x2, x3和值大于0的余量的三重態(tài)損失的標(biāo)準(zhǔn)。它用于衡量樣本之間的相對(duì)相似性。三元組由錨點(diǎn), 正例和負(fù)例組成。 L(a, p, n)= max {d(ai, pi)-d(a??i, ni)+ margin, 0}

2.8?CNN卷積層

	Convolution layers
1)torch.nn.Conv1d	該軟件包將用于對(duì)由多個(gè)輸入平面組成的輸入信號(hào)進(jìn)行一維卷積。
2)torch.nn.Conv2d	該軟件包將用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D卷積。
3)torch.nn.Conv3d	該軟件包將用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D卷積。
4)torch.nn.ConvTranspose1d	該軟件包將用于在由多個(gè)輸入平面組成的輸入圖像上應(yīng)用一維轉(zhuǎn)置卷積算符。
5)torch.nn.ConvTranspose2d	該軟件包將用于在由多個(gè)輸入平面組成的輸入圖像上應(yīng)用2D轉(zhuǎn)置卷積運(yùn)算符。
6)torch.nn.ConvTranspose3d	該軟件包將用于在由多個(gè)輸入平面組成的輸入圖像上應(yīng)用3D轉(zhuǎn)置卷積運(yùn)算符。
7)torch.nn。展開	它用于從成批的輸入張量中提取滑動(dòng)局部塊。
8)PyTorch折疊	它用于將一系列滑動(dòng)局部塊組合成一個(gè)大的包含張量。

2.9?pooling層

	Pooling layers
1)torch.nn.MaxPool1d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維最大池。
2)torch.nn.MaxPool2d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D max池。
3)torch.nn.MaxPool3d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D max池。
4)torch.nn.MaxUnpool1d	它用于計(jì)算MaxPool1d的局部逆。
5)torch.nn.MaxUnpool2d	它用于計(jì)算MaxPool2d的局部逆。
6)torch.nn.MaxUnpool3d	它用于計(jì)算MaxPool3d的局部逆。
7)torch.nn.AvgPool1d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維平均池。
8)torch.nn.AvgPool2d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D平均池。
9)torch.nn.AvgPool3d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D平均池。
10)torch.nn.FractionalMaxPool2d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D分?jǐn)?shù)最大池化。
11)torch.nn.LPPool1d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維功率平均池。
12)torch.nn.LPPool2d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D功率平均池。
13)torch.nn.AdavtiveMaxPool1d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維自適應(yīng)最大池化。
14)torch.nn.AdavtiveMaxPool2d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D自適應(yīng)最大池化。
15)torch.nn.AdavtiveMaxPool3d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D自適應(yīng)最大池化。
16)torch.nn.AdavtiveAvgPool1d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維自適應(yīng)平均池。
17)torch.nn.AdavtiveAvgPool2d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D自適應(yīng)平均池。
18)torch.nn.AdavtiveAvgPool3d	它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D自適應(yīng)平均池。

2.10?填充層

	填充層
1)torch.nn.ReflectionPad1d	它將使用輸入邊界的反射填充輸入張量。
2)torch.nn.ReflactionPad2d	它將使用輸入邊界的反射來填充輸入張量。
3)torch.nn.ReplicationPad1	它將使用輸入邊界的復(fù)制來填充輸入張量。
4)torch.nn.ReplicationPad2d	它將使用輸入邊界的復(fù)制來填充輸入張量。
5)torch.nn.ReplicationPad3d	它將使用輸入邊界的復(fù)制來填充輸入張量。
6)torch.nn.ZeroPad2d	它將用零填充輸入張量邊界。
7)torch.nn.ConstantPad1d	它將用恒定值填充輸入張量邊界。
8)torch.nn.ConstantPad2d	它將用恒定值填充輸入張量邊界。
9)torch.nn.ConstantPad3d	它將用恒定值填充輸入張量邊界。

2.11?RNN網(wǎng)絡(luò)層

	Recurrent layers
1)torch.nn.RNN	它用于將具有tanh或ReLU非線性的多層Elman RNN應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下函數(shù)：ht = tanh(Wih xt + bih + Whh tt-1 + bhh)
2)Torch.nn.LSTM	它用于將多層長期短期記憶(LSTM)RNN應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下功能：
3)GNUPyTorch	它用于將多層門控循環(huán)單元(GRU)RNN應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下功能：
4)torch.nn.RNNCell	它用于將具有tanh或ReLU非線性的Elman RNN單元應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下函數(shù)：h’= tanh(Wih x + bih + Whh h + bhh)使用ReLU代替tanh
5)torch.nn.LSTMCell	它用于將長短期記憶(LSTM)單元應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下函數(shù)：其中σ是S型函數(shù), 而*是Hadamard乘積。
6)torch.nn.GRUCell	它用于將門控循環(huán)單元(GRU)單元應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下功能：

2.12?Dropout層定義

11.	Dropout layers
1)torch.nn.Dropout	它用于調(diào)節(jié)和預(yù)防神經(jīng)元的共適應(yīng)。培訓(xùn)過程中的一個(gè)因素會(huì)縮放輸出。這意味著模塊將在評(píng)估期間計(jì)算身份函數(shù)。
2)torch.nn.Dropout2d	如果要素圖中的相鄰像素相關(guān), 則torch.nn.Dropout不會(huì)使激活規(guī)則化, 并且會(huì)降低有效學(xué)習(xí)率。在這種情況下, torch.nn.Dropout2d()用于促進(jìn)要素圖之間的獨(dú)立性。
3)torch.nn.Dropout3d	如果要素圖中的相鄰像素相關(guān), 則torch.nn.Dropout不會(huì)使激活規(guī)則化, 并且會(huì)降低有效學(xué)習(xí)率。在這種情況下, torch.nn.Dropout2d()用于促進(jìn)要素圖之間的獨(dú)立性。
4)torch.nn.AlphaDropout	它用于在輸入上應(yīng)用Alpha Dropout。 Alpha Dropout是一種Dropout, 可以保持自規(guī)范化屬性。

2.13?Sparse layers

12.	Sparse layers
1)torch.nn。嵌入	它用于存儲(chǔ)單詞嵌入, 并使用索引檢索它們。模塊的輸入是索引列表, 輸出是相應(yīng)的詞嵌入。
2)torch.nn.EmbeddingBag	它用于計(jì)算嵌入的”袋子”的總和或平均值, 而無需實(shí)例化中間嵌入。

2.14?距離功能

	距離功能
1)torch.nn.Cosine相似度	它將返回x1和x2之間的余弦相似度(沿dim計(jì)算)。
2)torch.nn.PairwiseDistance	它使用p范數(shù)計(jì)算向量v1, v2之間的成批成對(duì)距離：

2.15 可視化層

	Vision layers
1)torch.nn.PixelShuffle	用于將形狀為(*, C×r2, H, W)的張量的元素重新排列為形狀為(*, C, H×r, W, r)的張量的元素
2)torch.nn.Upsample	它用于對(duì)給定的多通道1D, 2D或3D數(shù)據(jù)進(jìn)行升采樣。
3)torch.nn.upsamplingNearest2d	它用于對(duì)由多個(gè)輸入通道組成的輸入信號(hào)進(jìn)行2D最近鄰居上采樣。
4)torch.nn.UpsamplingBilinear2d	用于將二維雙線性上采樣應(yīng)用于由多個(gè)輸入通道組成的輸入信號(hào)。

2.16 并行數(shù)據(jù)層

16.	DataParallel層(多GPU, 分布式)
1)torch.nn.DataParallel	它用于在模塊級(jí)別實(shí)現(xiàn)數(shù)據(jù)并行性。
2)torch.nn.DistributedDataParallel	它用于實(shí)現(xiàn)分布式數(shù)據(jù)并行性, 它基于模塊級(jí)別的torch.distributed包。
3)torch.nn.DistributedDataParallelCPU	它用于在模塊級(jí)別為CPU實(shí)現(xiàn)分布式數(shù)據(jù)并行性。

2.17?各種工具

	Utilities
1)torch.nn.clip_grad_norm_	它用于裁剪可迭代參數(shù)的梯度范數(shù)。
2)torch.nn.clip_grad_value_	用于將可迭代參數(shù)的梯度范數(shù)裁剪為指定值。
3)torch.nn.parameters_to_vector	用于將參數(shù)轉(zhuǎn)換為一個(gè)向量。
4)torch.nn.vector_to_parameters	它用于將一個(gè)向量轉(zhuǎn)換為參數(shù)。
5)torch.nn.weight_norm	它用于對(duì)給定模塊中的參數(shù)應(yīng)用權(quán)重歸一化。
6)torch.nn.remove_weight_norm	它用于刪除模塊的權(quán)重歸一化和重新參數(shù)化。
7)torch.nn.spectral_norm	它用于將頻譜歸一化應(yīng)用于給定模塊中的參數(shù)。
8)torch.nn.PackedSequence	它將用于保存打包序列的數(shù)據(jù)和batch_size的列表。
9)torch.nn.pack_padded_sequence	它用于打包包含可變長度填充序列的Tensor。
10)torch.nn.pad_packed_sequence	它用于填充打包的可變長度序列批次。
11)torch.nn.pad_sequence	它用于填充具有填充值的可變長度張量列表。
12)torch.nn.pack_sequence	它用于打包可變長度張量的列表
13)torch.nn.remove_spectral_norm	它用于刪除模塊的頻譜歸一化和重新參數(shù)化。

---

作者主頁(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文網(wǎng)址：https://blog.csdn.net/HiWangWenBing/article/details/120606523

總結(jié)

以上是生活随笔為你收集整理的[Pytorch系列-28]：神经网络基础 - torch.nn模块功能列表的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。