当前位置: 首页 > news >正文

应该如何做营销型网站/百度招商加盟

应该如何做营销型网站,百度招商加盟,中国建材建设网站,做网站应规避的风险过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣;换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据&…

过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣;换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效果非常差。在我们数据分析挖掘业务实践中,就是“模型搭建时表现看上去非常好,但是应用到具体业务实践时,模型效果显著下降,包括准确率、精度、效果等等显著下降”。

过拟合的第一个原因,就是建模样本抽取错误,包括(但不限于)样本数量太少,抽样方法错误,抽样时没有足够正确考虑业务场景或业务特点,等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景;

过拟合的第二个原因,就是样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;

过拟合的第三个原因,就是在决策树模型搭建中,如果我们对于决策树的生长没有合理的限制和修剪的话,决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据(no event),可以想象,这种决策树当然可以完美匹配(拟合)训练数据,但是一旦应用到新的业务真实数据时,效果是一塌糊涂。

过拟合的第四个原因,就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的,常用的假设包括:假设历史数据可以推测未来,假设业务环节没有发生显著变化,假设建模数据与后来的应用数据是相似的,等等。如果上述假设违反了业务场景的话,根据这些假设搭建的模型当然是无法有效应用的。

过拟合的第五个原因,就是建模时使用了太多的输入变量,这跟上面第二点(噪音数据)有些类似,数据挖掘新人常常犯这个错误,自己不做分析判断,把所有的变量交给软件或者机器去“撞大运”。须知,一个稳定优良的模型一定要遵循建模输入变量“少而精”的原则的。

上面的原因都是现象,但是其本质只有一个,那就是“业务理解错误造成的”,无论是抽样,还是噪音,还是决策树,神经网络等等,如果我们对于业务背景和业务知识非常了解,非常透彻的话,一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求,到思路讨论,到搭建,到业务应用验证,各个环节都是可以用业务敏感来防止过拟合于未然的。

入世,出世,都是一样的“道”,所谓“道”从来不离开我们半步,只是看我们自身是否足够清净,足够醒悟,足够真实而已。佛法有八万四千法门,但是这些林林总总的都是不同的方便路径,归根结底,佛法的根本只是“认识我们与生俱来的本来面目,真如自性”而已。

过拟合的产生,原因种种,不一而足,但是这种分类和剖析只是人为的方便而已,防止过拟合的终极思路就是真正透彻理解业务背景和业务逻辑,有了这个根本,我们一定可以正确抽样,一定可以发现排除噪声数据,一定可以在决策树、神经网络等算法中有效防止过拟合产生的。

当然,除了上面“业务透彻了解”这个根本外,也有一些技术层面的方法来防止过拟合的产生,虽然是“术”的层面,但是很多人热衷于这些技巧,所以,在这里也顺便列举如下:

最基本的技术手段,就是合理、有效抽样;包括分层抽样,过抽样,等等,用不同的样本去检验模型;

另外,事前准备几个不同时间窗口,不同范围的测试数据集、验证数据集,把模型在不同的数据集里分别“交叉检验”,是目前业界防止过拟合的最常用的手段了;

第三,建模时目标观测值的数量太少,如何分割训练集和验证集的比例,需要建模人员灵活掌握;

第四,如果数据太少的话,谨慎使用神经网络模型,只有足够多的数据的情况下,神经网络模型才可以有效防止过拟合的产生。并且,使用神经网络时,一定要事先有效筛选输入变量,千万不能一股脑把所有变量放进去。

 

机器学习中的欠拟合

欠拟合指的是模型在训练和预测时表现都不好的情况。

一个欠拟合的机器学习模型不是一个良好的模型并且由于在训练数据上表现不好这是显然的。

欠拟合通常不被讨论,因为给定一个评估模型表现的指标的情况下,欠拟合很容易被发现。矫正方法是继续学习并且试着更换机器学习算法。虽然如此,欠拟合与过拟合形成了鲜明的对照。

 

转载于:https://www.cnblogs.com/tuokid/p/10088640.html

http://www.lbrq.cn/news/1614439.html

相关文章:

  • 平顶山市建设局网站/杭州百度
  • wordpress调用指定分类文章列表/重庆企业网站排名优化
  • 公司如何建设网站首页/谷歌搜索引擎下载
  • 如何进入wordpress前台/百度seo优化教程免费
  • 温州网站建设怎么样/百度网首页官网
  • 怎么看一个网站用什么系统做的/洛阳seo网络推广
  • 重庆市疫情防控最新公告/广州seo顾问
  • 做阿里巴巴网站运营/经典品牌推广文案
  • 上海网站制作智能 乐云践新/深圳互联网公司50强
  • 新疆今日头条新闻/海口seo计费
  • 小草网络 网站建设/seo搜索引擎优化包邮
  • 做电商网站用什么框架/seo代码优化包括哪些
  • 做网站 视频/凡科建站怎么样
  • 欧亚快递100/seo排名优化代理
  • wordpress时尚主题/杭州余杭区抖音seo质量高
  • 唐山做网站公司/重庆seo网络推广平台
  • 建设汽车网站/如何做推广和引流
  • 自己做的网站打不开/新闻头条今日要闻国内
  • 如何做产品网站/新东方英语培训机构官网
  • 如何建立公司网站是什么/百度推广一天烧多少钱
  • 深圳经营性网站备案/网络营销策划方案书范文
  • 德清网站建设/营销策略有哪些
  • 中职网站建设教学计划/搜索热词排行榜
  • 南宁网站建设优势/国内前10电商代运营公司
  • 网站如何跳转/百度怎么收录自己的网站
  • 长沙哪家公司做网站好/陕西整站关键词自然排名优化
  • mac 网站开发工具/杭州优化建筑设计
  • 啥十小企业网站建设/优化分析
  • wordpress.com 域名/谷歌搜索优化
  • wordpress的网站是php的代码/最好的网站优化公司
  • 一种基于入侵杂草优化算法(IWO)的聚类算法,并与K-Means、高斯混合模型(GMM)进行对比,Matlab
  • 半导体物理复习
  • 【vue】computed计算属性
  • 分布式事务----spring操作多个数据库,事务以及事务回滚还有用吗
  • MFC 实现托盘图标菜单图标功能
  • 通过filezilla在局域网下实现高速传输数据