（聯(lián)邦學習筆記，資料來源于b站小土堆）

ReLU 函數(shù)

線性整流函數(shù)（Rectified Linear Unit,?ReLU），又稱修正線性單元，是一種人工神經(jīng)網(wǎng)絡中常用的激活函數(shù)（activation function），通常指代以斜坡函數(shù)及其變種為代表的非線性函數(shù)。

?激活函數(shù)有兩個參數(shù)（input，inplace)

import torch import torchvision from torch import nn from torch.nn import ReLU, Sigmoid from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriterinput = torch.tensor([[1,-0.5],[-1,3]])#轉(zhuǎn)變成1維，2x2的格式 inputt = torch.reshape(input,(-1,1,2,2)) print(input.shape)dataset = torchvision.datasets.CIFAR10("./data",train=False,transform=torchvision.transforms.ToTensor(),download=True)dataloader = DataLoader(dataset,batch_size=64)class Mymodule(nn.Module):def __init__(self):super(Mymodule, self).__init__()self.relu1 = ReLU()self.sigmoid1 = Sigmoid()def forward(self,input):output = self.sigmoid1(input)return outputmymodule = Mymodule()writer = SummaryWriter("../logs_relu") step = 0for data in dataloader:imgs,targets = datawriter.add_images("input",imgs,global_step=step)output = mymodule(imgs)writer.add_images("output",output,global_step=step)step = step + 1writer.close()

?運行后在terminal下執(zhí)行：tensorboard --logdir=logs_relu --port=6009

（執(zhí)行有誤，參考tensorboard使用方法）

點擊鏈接，結(jié)果如下：

總結(jié)

以上是生活随笔為你收集整理的神经网络-非线性激活ReLU的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。