当前位置: 首页 > news >正文

如何查询网站备案时间查询/优化设计电子课本

如何查询网站备案时间查询,优化设计电子课本,html5制作软件,logo网站在线制作谈谈深度学习中的 Batch_Size Batch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。 首先,为什么需要有 Batch_Size 这个参数? Batch 的选择,首先决定的是下降的方向。如果…

谈谈深度学习中的 Batch_Size

Batch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。

首先,为什么需要有 Batch_Size 这个参数?

Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集 ( Full Batch Learning )的形式,这样做至少有 2 个好处:其一,由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。其二,由于不同权重的梯度值差别巨大,因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用 Rprop 只基于梯度符号并且针对性单独更新各权值。

对于更大的数据集,以上 2 个好处又变成了 2 个坏处:其一,随着数据集的海量增长和内存限制,一次性载入所有的数据进来变得越来越不可行。其二,以 Rprop 的方式迭代,会由于各个 Batch 之间的采样差异性,各次梯度修正值相互抵消,无法修正。这才有了后来 RMSProp 的妥协方案。

既然 Full Batch Learning 并不适用大数据集,那么走向另一个极端怎么样?

所谓另一个极端,就是每次只训练一个样本,即 Batch_Size = 1。这就是在线学习(Online Learning)。线性神经元在均方误差代价函数的错误面是一个抛物面,横截面是椭圆。对于多层神经元、非线性网络,在局部依然近似是抛物面。使用在线学习,每次修正方向以各自样本的梯度方向修正,横冲直撞各自为政,难以达到收敛如图所示


这里写图片描述 

可不可以选择一个适中的 Batch_Size 值呢?

当然可以,这就是批梯度下降法(Mini-batches Learning)。因为如果数据集足够充分,那么用一半(甚至少得多)的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。

在合理范围内,增大 Batch_Size 有何好处?

  • 内存利用率提高了,大矩阵乘法的并行化效率提高。
  • 跑完一次 epoch(全数据集)所需的迭代次数减少,对于相同数据量的处理速度进一步加快。
  • 在一定范围内,一般来说 Batch_Size 越大,其确定的下降方向越准,引起训练震荡越小。

盲目增大 Batch_Size 有何坏处?

  • 内存利用率提高了,但是内存容量可能撑不住了。
  • 跑完一次 epoch(全数据集)所需的迭代次数减少,要想达到相同的精度,其所花费的时间大大增加了,从而对参数的修正也就显得更加缓慢。
  • Batch_Size 增大到一定程度,其确定的下降方向已经基本不再变化。

调节 Batch_Size 对训练效果影响到底如何?

这里跑一个 LeNet 在 MNIST 数据集上的效果。MNIST 是一个手写体标准库,我使用的是 Theano 框架。这是一个 Python 的深度学习库。安装方便(几行命令而已),调试简单(自带 Profile),GPU / CPU 通吃,官方教程相当完备,支持模块十分丰富(除了 CNNs,更是支持 RBM / DBN / LSTM / RBM-RNN / SdA / MLPs)。在其上层有 Keras 封装,支持 GRU / JZS1, JZS2, JZS3 等较新结构,支持 Adagrad / Adadelta / RMSprop / Adam 等优化算法。如图所示


这里写图片描述


这里写图片描述 

运行结果如上图所示,其中绝对时间做了标幺化处理。运行结果与上文分析相印证:

  • Batch_Size 太小,算法在 200 epoches 内不收敛。
  • 随着 Batch_Size 增大,处理相同数据量的速度越快。
  • 随着 Batch_Size 增大,达到相同精度所需要的 epoch 数量越来越多。
  • 由于上述两种因素的矛盾, Batch_Size 增大到某个时候,达到时间上的最优。

  • 由于最终收敛精度会陷入不同的局部极值,因此 Batch_Size 增大到某些时候,达到最终收敛精度上的最优。
from:   http://blog.csdn.net/ycheng_sjtu/article/details/49804041

http://www.lbrq.cn/news/220267.html

相关文章:

  • 成都快速建网站/互联网营销是干什么
  • 目前网站类型主要包括哪几种/深圳网站设计专家乐云seo
  • 白云区网站建设/进入百度搜索网站
  • 园区 网站建设策划方案/搜索引擎营销策略有哪些
  • 自己的电脑做网站可以吗/做好的网站怎么优化
  • php 做网站xml地图/不受限制的搜索浏览器
  • 连云港网站建设培训/推广赚佣金的平台
  • 企业网站管理系统设计与实现/微信管理系统软件
  • 极速网站开发/seo代码优化有哪些方法
  • 网站没有模版能打开吗/域名注册查询网站
  • 安徽建设工程协会网站/东莞seo网站制作报价
  • 怎么在本地做网站/软件开发app制作公司
  • 门户网站开发要求/宁波网络营销怎么做
  • 长沙网页设计哪个公司好/郑州seo优化外包热狗网
  • 做直播网站软件/西安企业网站seo
  • 东莞网络公司哪个网站好/百度热词指数
  • 矿业公司网站源码/电子商务网站建设规划方案
  • 自个做网站教程/关键词简谱
  • 烟台福山建设工程监测网站/百度客服工作内容
  • 在什么网站能找到做外贸的邮箱/深圳百度推广开户
  • 平台网站建设/打开百度一下的网址
  • 深圳做网站j华信科/青岛网络推广
  • 百度云建站网站建设/销售新手怎么找客源
  • 化学网站定制/网站快速排名优化
  • 私人为别人做网站违法问题/专业恶意点击软件
  • 高碑店网站网站建设/广州优化网站排名
  • 嘉兴网站建设推广/2345网址导航设置
  • 哪个网站可以做拼图/智能建站网站模板
  • html论坛网站模板/西安网络优化哪家好
  • 网站建设税金会计分录/北京seo结算
  • 【Java篇】IntelliJ IDEA 安装与基础配置指南
  • 【PTA数据结构 | C语言版】二叉树层序序列化
  • 2025.7.15总结
  • AI Linux 运维笔记
  • FreeRTOS之链表操作相关接口
  • ECUs、ZCUs、CCUs:产生的软件栈(SW stack)也有所不同