[Pytorch系列-28]:神经网络基础 - torch.nn模块功能列表
作者主頁(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客
本文網(wǎng)址:https://blog.csdn.net/HiWangWenBing/article/details/120606523
目錄
第1章?torch.nn概述
1.1 torch.nn簡(jiǎn)介與功能
第2章?torch.nn的組成與子模塊
2.1 獲取神經(jīng)網(wǎng)絡(luò)的模型參數(shù)
2.2 主要的容器
2.3?線性層
2.4?非線性激活函數(shù)-1
2.5?非線性激活函數(shù) -2?
2.6?歸一化處理
2.7?各種損失函數(shù)
2.8?CNN卷積層
2.9?pooling層
2.10?填充層
2.11?RNN網(wǎng)絡(luò)層
2.12?Dropout層定義
2.13?Sparse layers
2.14?距離功能
2.15 可視化層
2.16 并行數(shù)據(jù)層
2.17?各種工具
第1章?torch.nn概述
1.1 torch.nn簡(jiǎn)介與功能
nn是Neural Network的簡(jiǎn)稱。
torch.nn模塊是PyTorch提供的,幫助程序員方便(1)創(chuàng)建神經(jīng)網(wǎng)絡(luò)和(2)訓(xùn)練神經(jīng)網(wǎng)絡(luò)而提供的模塊。主要功能包括:
- 創(chuàng)建神經(jīng)網(wǎng)絡(luò)
- 訓(xùn)練神經(jīng)網(wǎng)絡(luò)
第2章?torch.nn的組成與子模塊
2.1 獲取神經(jīng)網(wǎng)絡(luò)的模型參數(shù)
| 1) torch.nn.Parameter | 獲取模型參數(shù)? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? |
2.2 主要的容器
| Containers | ||
| 1)torch.nn.Module | 它是所有神經(jīng)網(wǎng)絡(luò)模塊的基類。 | |
| 2)torch.nn.Sequential | 它是一個(gè)順序容器, 其中模塊的添加順序與在構(gòu)造函數(shù)中傳遞模塊時(shí)的順序相同。 | |
| 3)torch.nn.ModuleList | 這會(huì)將子模塊保存在列表中。 | |
| 4)torch.nn.ModuleDict | 這會(huì)將子模塊保存在目錄中。 | |
| 5)torch.nn.ParameterList | 這會(huì)將參數(shù)保存在列表中。 | |
| 6)torch.nn.parameterDict | 這會(huì)將參數(shù)保存在目錄中。 |
2.3?線性層
| 線性層 | ||
| 1)PyTorch PlaceHolder | 它是一個(gè)占位符身份運(yùn)算符, 對(duì)參數(shù)不敏感。 | |
| 2)torch.nn.Linear | 它用于對(duì)輸入數(shù)據(jù)進(jìn)行線性變換:y = xAT + b | |
| 3)torch.nn.Bilinear | 它用于對(duì)輸入數(shù)據(jù)進(jìn)行雙線性變換:y = x1 Ax2 + b |
2.4?非線性激活函數(shù)-1
| 非線性激活(加權(quán)和, 非線性) | ||
| 1)torch.nn.ELU | 它將用于應(yīng)用按元素的函數(shù):ELU(x)= max(0, x)+ min(0, α*(exp(x)-1)) | |
| 2)torch.nn.Hardshrink | 它將用于應(yīng)用硬收縮函數(shù)逐元素函數(shù): | |
| 3)torch.nn.LeakyReLU | 它將用于應(yīng)用按元素的函數(shù):LeakyReLu(x)= max(0, x)+ negative_slope * min(0, x) | |
| 4)torch.nn.LogSigmoid | 它將用于應(yīng)用逐元素函數(shù): | |
| 5)torch.nn.MultiheadAttention | 它用于允許模型關(guān)注來自不同表示子空間的信息 | |
| 6)torch.nn.PReLU | 它將用于應(yīng)用按元素的函數(shù):PReLU(x)= max(0, x)+ a * min(0, x) | |
| 7)torch.nn.ReLU | 它將按元素應(yīng)用于整流線性單位函數(shù):ReLU(x)= max(0, x) | |
| 8)torch.nn.ReLU6 | 它將用于應(yīng)用按元素的函數(shù):ReLU6(x)= min(max(0, x), 6) | |
| 9)torch.nn.RReLU | 如本文所述, 它將用于逐元素地應(yīng)用隨機(jī)泄漏整流線性單位函數(shù): | |
| 10)torch.nn.SELU | 它將按以下方式應(yīng)用按元素的函數(shù):SELU(x)= scale *(max(0, x)+ min(0, a *(exp(x)-1)))這里α= 1.6732632423543772772848170429916717和scale = 1.0507009873554804934193193349852946。 | |
| 11)PyTorch | 它將按以下方式應(yīng)用按元素的功能: | |
| 12)PyTorch | 它將按以下方式應(yīng)用按元素的功能: | |
| 13)torch.nn.Softplus | 它將按以下方式應(yīng)用按元素的功能: | |
| 14)torch.nn.Softshrink | 它將按元素應(yīng)用軟收縮功能, 如下所示: | |
| 15)torch.nn.Softsign | 它將按以下方式應(yīng)用按元素的功能: | |
| 16)torch.nn.Tanh | 它將按以下方式應(yīng)用按元素的功能: | |
| 17)torch.nn.Tanhshrink | 它將按以下方式應(yīng)用按元素的函數(shù):Tanhshrink(x)= x-Tanh(x) | |
| 18)torch.nn.Threshold | 它將用于閾值輸入張量的每個(gè)元素。閾值定義為: |
2.5?非線性激活函數(shù) -2?
| 非線性激活(其他) | ||
| 1)torch.nn.Softmin | 它用于將softmin函數(shù)應(yīng)用于n維輸入張量以重新縮放它們。之后, n維輸出Tensor的元素位于0、1的范圍內(nèi), 且總和為1。Softmin定義為: | |
| 2)torch.nn.Softmax | 它用于將softmax函數(shù)應(yīng)用于n維輸入張量以重新縮放它們。之后, n維輸出Tensor的元素位于0、1的范圍內(nèi), 且總和為1。Softmax定義為: | |
| 3)torch.nn.Softmax2d | 它用于將SoftMax應(yīng)用于要素上的每個(gè)空間位置。 | |
| 4)torch.nn.LogSoftmax | 它用于將LogSoftmax函數(shù)應(yīng)用于n維輸入張量。 LofSoftmax函數(shù)可以定義為: | |
| 5)torch.nn.AdaptiveLogSoftmaxWithLoss | 這是訓(xùn)練具有較大輸出空間的模型的策略。標(biāo)簽分布高度不平衡時(shí)非常有效 |
2.6?歸一化處理
| 歸一化層 | ||
| 1)torch.nn.BatchNorm1d | 它用于對(duì)2D或3D輸入應(yīng)用批量歸一化。 | |
| 2)torch.nn.BatchNorm2d | 它用于在4D上應(yīng)用批量歸一化。 | |
| 3)torch.nn.BatchNorm3d | 它用于對(duì)5D輸入應(yīng)用批量歸一化。 | |
| 4)torch.nn.GroupNorm | 它用于在最小輸入批次上應(yīng)用組歸一化。 | |
| 5)torch.nn.SyncBatchNorm | 它用于對(duì)n維輸入應(yīng)用批量歸一化。 | |
| 6)torch.nn.InstanceNorm1d | 它用于在3D輸入上應(yīng)用實(shí)例規(guī)范化。 | |
| 7)torch.nn.InstanceNorm2d | 它用于在4D輸入上應(yīng)用實(shí)例規(guī)范化。 | |
| 8)torch.nn.InstanceNorm3d | 它用于在5D輸入上應(yīng)用實(shí)例規(guī)范化。 | |
| 9)torch.nn.LayerNorm | 它用于在最小輸入批次上應(yīng)用層歸一化。 | |
| 10)torch.nn.LocalResponseNorm | 它用于對(duì)由多個(gè)輸入平面組成的輸入信號(hào)進(jìn)行局部響應(yīng)歸一化, 其中通道占據(jù)第二維。 |
2.7?各種損失函數(shù)
| Loss function | ||
| 1)torch.nn.L1Loss | 它用于衡量輸入x和目標(biāo)y中每個(gè)元素之間的平均絕對(duì)誤差的標(biāo)準(zhǔn)。未減少的損失可描述為:l(x, y)= L = {l1, …, ln}, ln = | xn-yn |, 其中N是批次大小。 | |
| 2)torch.nn.MSELoss | 它用于衡量輸入x和目標(biāo)y中每個(gè)元素之間的均方誤差的標(biāo)準(zhǔn)。未減少的損失可描述為:l(x, y)= L = {l1, …, ln}, ln =(xn-yn)2, 其中N是批次大小。 | |
| 3)torch.nn.CrossEntropyLoss | 此條件將nn.LogSoftmax()和nn.NLLLoss()組合在一個(gè)類中。當(dāng)我們訓(xùn)練C類的分類問題時(shí), 這將很有幫助。 | |
| 4)torch.nn.CTCLoss | 連接主義者的時(shí)間分類損失計(jì)算連續(xù)時(shí)間序列和目標(biāo)序列之間的損失。 | |
| 5)torch.nn.NLLLoss | 負(fù)對(duì)數(shù)似然損失用于訓(xùn)練C類的分類問題。 | |
| 6)torch.nn.PoissonNLLLoss | 目標(biāo)的Poisson分布為負(fù)的對(duì)數(shù)似然損失-目標(biāo)(Posson(input)loss(input, target)= input-target * log(target!)) | |
| 7)torch.nn.KLDivLoss | 這對(duì)于連續(xù)分布是有用的距離度量, 并且在我們對(duì)連續(xù)輸出分布的空間進(jìn)行直接回歸時(shí)也很有用。 | |
| 8)torch.nn.BCELoss | 它用于創(chuàng)建衡量目標(biāo)和輸出之間的二進(jìn)制交叉熵的標(biāo)準(zhǔn)。未減少的損失可描述為:l(x, y)= L = {l1, …, ln}, ln = -wn [yn * logxn +(1-yn)* log(1-xn)], 其中N是批次大小。 | |
| 9)torch.nn.BCEWithLogitsLoss | 它在一個(gè)類別中將Sigmoid層和BCELoss結(jié)合在一起。通過將操作合并到一層, 我們可以利用log-sum-exp技巧來實(shí)現(xiàn)數(shù)值穩(wěn)定性。 | |
| 10)torch.nn.MarginRankingLoss | 它創(chuàng)建一個(gè)標(biāo)準(zhǔn)來測(cè)量給定輸入x1, x2, 兩個(gè)1D迷你批量張量和包含1或-1的標(biāo)簽1D迷你批量張量y的損耗。迷你批次中每個(gè)樣本的損失函數(shù)如下:loss(x, y)= max(0, -y *(x1-x2)+ margin | |
| 11)torch.nn.HingeEmbeddingLoss | HingeEmbeddingLoss度量給定輸入張量x和包含1或-1的標(biāo)簽張量y的損失。它用于測(cè)量兩個(gè)輸入是否相似或不相似。損失函數(shù)定義為: | |
| 12)torch.nn.MultiLabelMarginLoss | 它用于創(chuàng)建優(yōu)化輸入x和輸出y之間的多類多分類鉸鏈損耗的標(biāo)準(zhǔn)。 | |
| 13)torch.nn.SmoothL1Loss | 它用于創(chuàng)建一個(gè)標(biāo)準(zhǔn), 如果絕對(duì)逐項(xiàng)誤差低于1, 則使用平方項(xiàng), 否則使用L1項(xiàng)。也稱為胡貝爾損耗: | |
| 14)torch.nn.SoftMarginLoss | 它用于創(chuàng)建優(yōu)化輸入張量x和目標(biāo)張量y之間(包含1或-1)的兩類分類邏輯損失的標(biāo)準(zhǔn)。 | |
| 15)torch.nn.MultiLabelSoftMarginLoss | 它用于創(chuàng)建一個(gè)標(biāo)準(zhǔn), 該標(biāo)準(zhǔn)基于輸入x與大小(N, C)的目標(biāo)y之間的最大熵來優(yōu)化多標(biāo)簽對(duì)所有損失。 | |
| 16)torch.nn.CosineEmbeddingLoss | 它用于創(chuàng)建一個(gè)標(biāo)準(zhǔn), 該標(biāo)準(zhǔn)測(cè)量給定輸入張量x1, x2和張量標(biāo)簽y的值為1或-1的損失。它用于使用余弦距離來測(cè)量兩個(gè)輸入是相似還是相異。 | |
| 17)torch.nn.MultiMarginLoss | 它用于創(chuàng)建優(yōu)化輸入x和輸出y之間的多類分類鉸鏈損耗的標(biāo)準(zhǔn)。 | |
| 18)torch.nn.TripletMarginLoss | 它用于創(chuàng)建衡量給定輸入張量x1, x2, x3和值大于0的余量的三重態(tài)損失的標(biāo)準(zhǔn)。它用于衡量樣本之間的相對(duì)相似性。三元組由錨點(diǎn), 正例和負(fù)例組成。 L(a, p, n)= max {d(ai, pi)-d(a??i, ni)+ margin, 0} |
2.8?CNN卷積層
| Convolution layers | ||
| 1)torch.nn.Conv1d | 該軟件包將用于對(duì)由多個(gè)輸入平面組成的輸入信號(hào)進(jìn)行一維卷積。 | |
| 2)torch.nn.Conv2d | 該軟件包將用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D卷積。 | |
| 3)torch.nn.Conv3d | 該軟件包將用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D卷積。 | |
| 4)torch.nn.ConvTranspose1d | 該軟件包將用于在由多個(gè)輸入平面組成的輸入圖像上應(yīng)用一維轉(zhuǎn)置卷積算符。 | |
| 5)torch.nn.ConvTranspose2d | 該軟件包將用于在由多個(gè)輸入平面組成的輸入圖像上應(yīng)用2D轉(zhuǎn)置卷積運(yùn)算符。 | |
| 6)torch.nn.ConvTranspose3d | 該軟件包將用于在由多個(gè)輸入平面組成的輸入圖像上應(yīng)用3D轉(zhuǎn)置卷積運(yùn)算符。 | |
| 7)torch.nn。展開 | 它用于從成批的輸入張量中提取滑動(dòng)局部塊。 | |
| 8)PyTorch折疊 | 它用于將一系列滑動(dòng)局部塊組合成一個(gè)大的包含張量。 |
2.9?pooling層
| Pooling layers | ||
| 1)torch.nn.MaxPool1d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維最大池。 | |
| 2)torch.nn.MaxPool2d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D max池。 | |
| 3)torch.nn.MaxPool3d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D max池。 | |
| 4)torch.nn.MaxUnpool1d | 它用于計(jì)算MaxPool1d的局部逆。 | |
| 5)torch.nn.MaxUnpool2d | 它用于計(jì)算MaxPool2d的局部逆。 | |
| 6)torch.nn.MaxUnpool3d | 它用于計(jì)算MaxPool3d的局部逆。 | |
| 7)torch.nn.AvgPool1d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維平均池。 | |
| 8)torch.nn.AvgPool2d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D平均池。 | |
| 9)torch.nn.AvgPool3d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D平均池。 | |
| 10)torch.nn.FractionalMaxPool2d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D分?jǐn)?shù)最大池化。 | |
| 11)torch.nn.LPPool1d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維功率平均池。 | |
| 12)torch.nn.LPPool2d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D功率平均池。 | |
| 13)torch.nn.AdavtiveMaxPool1d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維自適應(yīng)最大池化。 | |
| 14)torch.nn.AdavtiveMaxPool2d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D自適應(yīng)最大池化。 | |
| 15)torch.nn.AdavtiveMaxPool3d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D自適應(yīng)最大池化。 | |
| 16)torch.nn.AdavtiveAvgPool1d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用一維自適應(yīng)平均池。 | |
| 17)torch.nn.AdavtiveAvgPool2d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用2D自適應(yīng)平均池。 | |
| 18)torch.nn.AdavtiveAvgPool3d | 它用于在由多個(gè)輸入平面組成的輸入信號(hào)上應(yīng)用3D自適應(yīng)平均池。 |
2.10?填充層
| 填充層 | ||
| 1)torch.nn.ReflectionPad1d | 它將使用輸入邊界的反射填充輸入張量。 | |
| 2)torch.nn.ReflactionPad2d | 它將使用輸入邊界的反射來填充輸入張量。 | |
| 3)torch.nn.ReplicationPad1 | 它將使用輸入邊界的復(fù)制來填充輸入張量。 | |
| 4)torch.nn.ReplicationPad2d | 它將使用輸入邊界的復(fù)制來填充輸入張量。 | |
| 5)torch.nn.ReplicationPad3d | 它將使用輸入邊界的復(fù)制來填充輸入張量。 | |
| 6)torch.nn.ZeroPad2d | 它將用零填充輸入張量邊界。 | |
| 7)torch.nn.ConstantPad1d | 它將用恒定值填充輸入張量邊界。 | |
| 8)torch.nn.ConstantPad2d | 它將用恒定值填充輸入張量邊界。 | |
| 9)torch.nn.ConstantPad3d | 它將用恒定值填充輸入張量邊界。 |
2.11?RNN網(wǎng)絡(luò)層
| Recurrent layers | ||
| 1)torch.nn.RNN | 它用于將具有tanh或ReLU非線性的多層Elman RNN應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下函數(shù):ht = tanh(Wih xt + bih + Whh tt-1 + bhh) | |
| 2)Torch.nn.LSTM | 它用于將多層長期短期記憶(LSTM)RNN應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下功能: | |
| 3)GNUPyTorch | 它用于將多層門控循環(huán)單元(GRU)RNN應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下功能: | |
| 4)torch.nn.RNNCell | 它用于將具有tanh或ReLU非線性的Elman RNN單元應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下函數(shù):h’= tanh(Wih x + bih + Whh h + bhh)使用ReLU代替tanh | |
| 5)torch.nn.LSTMCell | 它用于將長短期記憶(LSTM)單元應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下函數(shù):其中σ是S型函數(shù), 而*是Hadamard乘積。 | |
| 6)torch.nn.GRUCell | 它用于將門控循環(huán)單元(GRU)單元應(yīng)用于輸入序列。每一層為輸入序列中的每個(gè)元素計(jì)算以下功能: |
2.12?Dropout層定義
| 11. | Dropout layers | |
| 1)torch.nn.Dropout | 它用于調(diào)節(jié)和預(yù)防神經(jīng)元的共適應(yīng)。培訓(xùn)過程中的一個(gè)因素會(huì)縮放輸出。這意味著模塊將在評(píng)估期間計(jì)算身份函數(shù)。 | |
| 2)torch.nn.Dropout2d | 如果要素圖中的相鄰像素相關(guān), 則torch.nn.Dropout不會(huì)使激活規(guī)則化, 并且會(huì)降低有效學(xué)習(xí)率。在這種情況下, torch.nn.Dropout2d()用于促進(jìn)要素圖之間的獨(dú)立性。 | |
| 3)torch.nn.Dropout3d | 如果要素圖中的相鄰像素相關(guān), 則torch.nn.Dropout不會(huì)使激活規(guī)則化, 并且會(huì)降低有效學(xué)習(xí)率。在這種情況下, torch.nn.Dropout2d()用于促進(jìn)要素圖之間的獨(dú)立性。 | |
| 4)torch.nn.AlphaDropout | 它用于在輸入上應(yīng)用Alpha Dropout。 Alpha Dropout是一種Dropout, 可以保持自規(guī)范化屬性。 |
2.13?Sparse layers
| 12. | Sparse layers | |
| 1)torch.nn。嵌入 | 它用于存儲(chǔ)單詞嵌入, 并使用索引檢索它們。模塊的輸入是索引列表, 輸出是相應(yīng)的詞嵌入。 | |
| 2)torch.nn.EmbeddingBag | 它用于計(jì)算嵌入的”袋子”的總和或平均值, 而無需實(shí)例化中間嵌入。 |
2.14?距離功能
| 距離功能 | ||
| 1)torch.nn.Cosine相似度 | 它將返回x1和x2之間的余弦相似度(沿dim計(jì)算)。 | |
| 2)torch.nn.PairwiseDistance | 它使用p范數(shù)計(jì)算向量v1, v2之間的成批成對(duì)距離: |
2.15 可視化層
| Vision layers | ||
| 1)torch.nn.PixelShuffle | 用于將形狀為(*, C×r2, H, W)的張量的元素重新排列為形狀為(*, C, H×r, W, r)的張量的元素 | |
| 2)torch.nn.Upsample | 它用于對(duì)給定的多通道1D, 2D或3D數(shù)據(jù)進(jìn)行升采樣。 | |
| 3)torch.nn.upsamplingNearest2d | 它用于對(duì)由多個(gè)輸入通道組成的輸入信號(hào)進(jìn)行2D最近鄰居上采樣。 | |
| 4)torch.nn.UpsamplingBilinear2d | 用于將二維雙線性上采樣應(yīng)用于由多個(gè)輸入通道組成的輸入信號(hào)。 |
2.16 并行數(shù)據(jù)層
| 16. | DataParallel層(多GPU, 分布式) | |
| 1)torch.nn.DataParallel | 它用于在模塊級(jí)別實(shí)現(xiàn)數(shù)據(jù)并行性。 | |
| 2)torch.nn.DistributedDataParallel | 它用于實(shí)現(xiàn)分布式數(shù)據(jù)并行性, 它基于模塊級(jí)別的torch.distributed包。 | |
| 3)torch.nn.DistributedDataParallelCPU | 它用于在模塊級(jí)別為CPU實(shí)現(xiàn)分布式數(shù)據(jù)并行性。 |
2.17?各種工具
| Utilities | ||
| 1)torch.nn.clip_grad_norm_ | 它用于裁剪可迭代參數(shù)的梯度范數(shù)。 | |
| 2)torch.nn.clip_grad_value_ | 用于將可迭代參數(shù)的梯度范數(shù)裁剪為指定值。 | |
| 3)torch.nn.parameters_to_vector | 用于將參數(shù)轉(zhuǎn)換為一個(gè)向量。 | |
| 4)torch.nn.vector_to_parameters | 它用于將一個(gè)向量轉(zhuǎn)換為參數(shù)。 | |
| 5)torch.nn.weight_norm | 它用于對(duì)給定模塊中的參數(shù)應(yīng)用權(quán)重歸一化。 | |
| 6)torch.nn.remove_weight_norm | 它用于刪除模塊的權(quán)重歸一化和重新參數(shù)化。 | |
| 7)torch.nn.spectral_norm | 它用于將頻譜歸一化應(yīng)用于給定模塊中的參數(shù)。 | |
| 8)torch.nn.PackedSequence | 它將用于保存打包序列的數(shù)據(jù)和batch_size的列表。 | |
| 9)torch.nn.pack_padded_sequence | 它用于打包包含可變長度填充序列的Tensor。 | |
| 10)torch.nn.pad_packed_sequence | 它用于填充打包的可變長度序列批次。 | |
| 11)torch.nn.pad_sequence | 它用于填充具有填充值的可變長度張量列表。 | |
| 12)torch.nn.pack_sequence | 它用于打包可變長度張量的列表 | |
| 13)torch.nn.remove_spectral_norm | 它用于刪除模塊的頻譜歸一化和重新參數(shù)化。 |
作者主頁(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客
本文網(wǎng)址:https://blog.csdn.net/HiWangWenBing/article/details/120606523
總結(jié)
以上是生活随笔為你收集整理的[Pytorch系列-28]:神经网络基础 - torch.nn模块功能列表的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 生产者和消费者问题详解
- 下一篇: 4月27日----5月1日二年级课程表