本篇文章小编给大家分享一下Pytorch实现网络部分层的固定不进行回传更新问题代码示例,文章代码介绍的很详细,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。
实际问题
Pytorch有的时候需要对一些层的参数进行固定,这些层不进行参数的梯度更新
问题解决思路
那么从理论上来说就有两种办法
优化器初始化的时候不包含这些不想被更新的参数,这样他们会进行梯度回传,但是不会被更新
将这些不会被更新的参数梯度归零,或者不计算它们的梯度
思路就是利用tensor的requires_grad,每一个tensor都有自己的requires_grad成员,值只能为True和False。我们对不需要参与训练的参数的requires_grad设置为False。
在optim参数模型参数中过滤掉requires_grad为False的参数。
还是以上面搭建的简单网络为例,我们固定第一个卷积层的参数,训练其他层的所有参数。
代码实现
class Net(nn.Module): def __init__(self): super(Net,self).__init__() self.conv1 = nn.Conv2d(3,32,3) self.conv2 = nn.Conv2d(32,24,3) self.prelu = nn.PReLU() for m in self.modules(): if isinstance(m,nn.Conv2d): nn.init.xavier_normal_(m.weight.data) nn.init.constant_(m.bias.data,0) if isinstance(m,nn.Linear): m.weight.data.normal_(0.01,0,1) m.bias.data.zero_() def forward(self, input): out = self.conv1(input) out = self.conv2(out) out = self.prelu(out) return out
遍历第一层的参数,然后为其设置requires_grad
model = Net() for name, p in model.named_parameters(): if name.startswith('conv1'): p.requires_grad = False optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)
为了验证一下我们的设置是否正确,我们分别看看model中的参数的requires_grad和optim中的params_group()。
for p in model.parameters(): print(p.requires_grad)
能看出优化器仅仅对requires_grad为True的参数进行迭代优化。
敢达决战官方正版 安卓版v6.7.9
下载敢达决战 安卓版v6.7.9
下载像素火影骨架佐助 (Perseverance Fire Shadow)手机版v1.16
下载要塞英雄 安卓版v33.20.0-39082670-Android
下载梦想城镇vivo最新版本 安卓版v12.0.1
梦想城镇vivo版是这款卡通风模拟经营类手游的渠道服版本,玩
怦然心动的瞬间 安卓版v1.0
怦然心动的瞬间是一款真人向的恋爱互动游戏,在游戏中玩家将扮演
曼尼汉堡店游戏 安卓版v1.0.3
曼尼汉堡店是一款非常好玩的精品恐怖类型冒险游戏,在这款游戏中
现代总统模拟器去广告版 安卓版v1.0.46
现代总统模拟器是一款休闲养成类游戏,可能对于不少的玩家来说都
现代总统模拟器付费完整版 安卓版v1.0.46
现代总统模拟器高级版在商店是需要付费的,相对于普通版本,高级