将迭代次数问题几何化的一个计算例子

简介: 神经网络调参,设置迭代次数

( A, B )---3302---( 1, 0 )( 0, 1 )

做一个二分类网络让输入只有3个节点,每个训练集里有两张图片,让B的训练集全为0,排列组合A,观察迭代次数平均值的变化。共完成了64组,由于对称性只有12组不同的迭代次数。
1.jpg

如这6组,由于对称性他们的迭代次数算作相同。

其余各组为
2.jpg
3.jpg

假设0*0决定了空间的形状,而A是在这个空间的分布,如果有一个几何体可以体现集合A-B的所有对称性,那这个几何体就应该具有与集合A-B相同的性质。

将训练集A中的6个点对应为内接于球的等边三棱柱的上下3条边。通过计算质心的办法去拟合迭代次数
4.jpg

设边的质量为1,长度为1。6条边的质心为,

5.jpg

第一组让A中的1对应为ab边,这个球的圆心在(0.5,-0.2887,0.5),半径为0.7638.边ab在重力的作用下只有一个稳定态,位于最下端,此时ab边的质心高为=半径-(ab的质心到圆心的距离)=0.1865.
6.jpg

第二组的两个点因为在同一行,对应为边fa,fb。把边fa和fb看作一个整体,在重力的作用下也只有一个稳定态。用同样的办法计算两条边的质心的高得到fa,fb质心的高度为0.2434.

用同样的方法计算所有其他各组边的组合,在重力作用下稳定态的质心高,得到
7.jpg
8.jpg

这12组数据中有3组数值不对25-00,36-00,42-00,如果先不考虑这3组则得到,比77-00大的部分迭代次数与质心的高成反比, 比77-00小的迭代次数与质心的高成正比。

目录
相关文章
|
4月前
|
运维 安全 Serverless
函数计算产品使用问题之怎么调整单个服务下最大允许创建的函数个数
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
6月前
2569. 更新数组后处理求和查询(模板 + 普通线段树熟练掌握)
2569. 更新数组后处理求和查询(模板 + 普通线段树熟练掌握)
|
6月前
|
算法 搜索推荐 Java
图计算中的图剪枝算法是什么?请解释其作用和常用方法。
图计算中的图剪枝算法是什么?请解释其作用和常用方法。
45 0
|
存储 算法 PyTorch
pytorch 给定概率分布的张量,如何利用这个概率进行重复\不重复采样?
在 PyTorch 中,可以使用 torch.distributions.Categorical 来基于给定的概率分布进行采样。
906 0
|
11月前
|
算法 测试技术 C#
C++算法: 最大化数组末位元素的最少操作次数
C++算法: 最大化数组末位元素的最少操作次数
|
存储
集合的操作(交并差)
集合的操作(交并差)
77 0
|
算法 搜索推荐 流计算
基于上下文的推荐 -- 包括时间衰减算法和位置推荐算法(代码实现)
基于上下文的推荐 -- 包括时间衰减算法和位置推荐算法(代码实现)
316 0
|
索引
在训练模型每次迭代中,打印参数的梯度
要打印出每个迭代中的所有样本梯度,您需要在代码中进行相应的更改。以下是一个示例过程,可以帮助您实现此目标: 1. 在训练循环中,使用 enumerate() 函数迭代数据集中的每个批次,并获取每个批次的索引和数据。
797 0
|
索引
每次迭代,打印当前小批量的每个样本的梯度
对于每个迭代,打印每个样本的梯度是可行的,但是通常不是一个好的做法,因为随着训练样本数量的增加,打印每个样本的梯度将变得非常耗时。 如果您仍然想打印每个样本的梯度,可以按照以下步骤进行: 1. 在训练循环中,使用 enumerate() 函数迭代数据集中的每个批次,并获取每个批次的索引和数据。 2. 在每个批次中,将数据传递到模型中,并计算梯度。然后,您可以使用 grad 属性获取每个样本的梯度,并将其打印出来。 3. 将所有批次的梯度合并为一个大梯度,并使用此梯度更新模型的参数。
294 0
|
C语言
用函数方法来比较三个数字中的较大值(常规,函数)
用函数方法来比较三个数字中的较大值(常规,函数)
128 0
用函数方法来比较三个数字中的较大值(常规,函数)
下一篇
无影云桌面