batch_size对精确度和损失的影响

简介: batch_size对精确度和损失的影响

1 问题

在深度学习的学习过程中,模型性能对batchsize虽然没有学习率那么敏感,但是在进一步提升模型性能时,batch_size就会成为一个非常关键的参数。

batch_size对精度和损失的影响研究。

batch_size = [,32,64,128,256]

  1. 不同batch_size下的训练精度曲线;
  2. 不同batch_size下的训练Loss曲线;
  3. 不同batch_size下的验证精度曲线;
  4. 不同batch_size下的验证Loss曲线;

基础参数配置:

  1. 训练周期=40
  2. 学习率=0.001
  3. 优化器= SGD


2 方法

在此之前,我们已经实现了全网络连接MNIST手写数字模型建立,一些参数对模型的精确度和损失产生影响,例如,学习率(learn_rate)、batch_size等

针对batch_size对模型的影响,将定义一个方法,把batch_size = [32,64,128,256]

数据可视化,使用matplotlib绘制

Batchsize=32

Batchsize=64

Batchsize=128

Batchsize=256

数据可视化,使用matplotlib绘制四个子图,关键代码如下:

结果如下:


3 结语

batch_size取值32训练和取64128训练,trainvallloss下降趋势32>64>128>256,最终结果也是32>64>128>256差不多,train vallacc,的最终结果32=64>128>256,其中64trainacc最先大于vallacc,可能是实验偶然的结果,对于只有十个的分类,可以将batch32附近,这样可以提高精度,降低训练时长

目录
相关文章
|
21天前
|
关系型数据库 决策智能
RT-DETR改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题
RT-DETR改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题
70 3
RT-DETR改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题
|
21天前
|
计算机视觉
RT-DETR改进策略【损失函数篇】| Shape-IoU:考虑边界框形状和尺度的更精确度量
RT-DETR改进策略【损失函数篇】| Shape-IoU:考虑边界框形状和尺度的更精确度量
47 1
RT-DETR改进策略【损失函数篇】| Shape-IoU:考虑边界框形状和尺度的更精确度量
|
22天前
|
关系型数据库 决策智能
YOLOv11改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题
YOLOv11改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题
83 6
|
机器学习/深度学习 资源调度 监控
深度学习基础入门篇[六]:模型调优,学习率设置(Warm Up、loss自适应衰减等),batch size调优技巧,基于方差放缩初始化方法。
深度学习基础入门篇[六]:模型调优,学习率设置(Warm Up、loss自适应衰减等),batch size调优技巧,基于方差放缩初始化方法。
|
7月前
|
机器学习/深度学习 自动驾驶 算法
Skeleton Recall Loss 分割领域的新突破:极大的减少了资源消耗,还能提高性能
这篇论文则介绍了一个新的损失:Skeleton Recall Loss,我把它翻译成骨架召回损失.这个损失目前获得了最先进的整体性能,并且通过取代密集的计算**他的计算开销减少超过90% !**
108 1
Skeleton Recall Loss 分割领域的新突破:极大的减少了资源消耗,还能提高性能
|
7月前
|
机器学习/深度学习 PyTorch 算法框架/工具
数据平衡与采样:使用 DataLoader 解决类别不平衡问题
【8月更文第29天】在机器学习项目中,类别不平衡问题非常常见,特别是在二分类或多分类任务中。当数据集中某个类别的样本远少于其他类别时,模型可能会偏向于预测样本数较多的类别,导致少数类别的预测性能较差。为了解决这个问题,可以采用不同的策略来平衡数据集,包括过采样(oversampling)、欠采样(undersampling)以及合成样本生成等方法。本文将介绍如何利用 PyTorch 的 `DataLoader` 来处理类别不平衡问题,并给出具体的代码示例。
1502 2
|
8月前
|
机器学习/深度学习 算法 C++
C++多态崩溃问题之为什么在计算梯度下降时需要除以批次大小(batch size)
C++多态崩溃问题之为什么在计算梯度下降时需要除以批次大小(batch size)
|
8月前
|
Python
Fama-French模型,特别是三因子模型(Fama-French Three-Factor Model)
Fama-French模型,特别是三因子模型(Fama-French Three-Factor Model)
YOLOv3的NMS参数调整对模型的准确率和召回率分别有什么影响?
YOLOv3的NMS参数调整对模型的准确率和召回率分别有什么影响?
|
10月前
|
机器学习/深度学习 并行计算 数据可视化
Batch Size 对神经网络训练的影响
Batch Size 对神经网络训练的影响
173 0