网站分享正能量,局域网网站建设协议,企业如何推广网站,免费做外贸的网站平台有哪些一、概念
正则化在深度学习领域是为了防止训练结果过拟合而采取的一种方法。
1.1 过拟合
过拟合表示模型的泛化能力较差#xff0c;体现在实际训练模型上就是在训练集表现很好#xff0c;但是在测试集的效果一般。 过拟合的原因#xff1a;1#xff0c;模型过于复杂。2体现在实际训练模型上就是在训练集表现很好但是在测试集的效果一般。 过拟合的原因1模型过于复杂。2参数过多。 除了正则化可以降低过拟合现象Dropout、early stopping和数据增强等方法也可以达到相似效果。
1.2 正则化regularization
正则化可以分为L1正则化、L2正则化就是在损失函数中加上正则化项对模型添加惩罚项会减小模型的参数数值。 L1正则化 L2正则化
二、Pytorch示例
pytorch中L2正则化的使用在优化器中的weight_decay权值衰减参数设置这里以SGD优化器为例。根据官网weight_decay是对所有参数进行正则化。
# weight_decay
optim torch.optim.SGD(wzh.parameters(), lr0.01, weight_decay0.01)for epoch in range(100):running_loss 0.0for data in dataloader:imgs, targets dataoutputs wzh(imgs)result loss(outputs, targets)optim.zero_grad()result.backward()optim.step()running_loss running_loss resultprint(running_loss)L1正则化需要自己定义函数。
三、参考文章
总结-深度学习中的正则化方法regularization 权重衰减weight decay与学习率衰减learning rate decay
