当前位置: 首页 > news >正文

北京网站设计技术太原seo代理商

北京网站设计技术,太原seo代理商,关于做面包的网站,黄山网站设计背景 目前流计算正在势头上,那么,什么是流计算呢?流计算可以简单地理解成对数据流的处理,但与传统的数据仓库、ETL相比,流计算更强调计算数据流和低时延,数据从数据源头(如消息队列)…

背景

目前流计算正在势头上,那么,什么是流计算呢?流计算可以简单地理解成对数据流的处理,但与传统的数据仓库、ETL相比,流计算更强调计算数据流和低时延,数据从数据源头(如消息队列)源源不断地写入,然后预先设计好的逻辑计算会对数据进行处理,最后将结果写到结果流(例如数据库、消息队列等)。

目前大多数公司都有离线计算和实时计算两块业务,离线计算通常使用批处理,将一大块的数据每天定时执行,这种主要适用于数据量大,实时性要求不高的场景。相比于批处理,流计算的适用于逻辑简单,实时性要求高的场景,天然地很合适增量数据的计算。

就像DC里的海王,前期弱成狗,后期超神反杀,靠的是什么,就是海王三叉戟,而Flink实际上也是企业流计算业务中的神器,有了它可以迅速高效地解决问题。

对比

市场上有许多针对批处理和流计算开源工具,例如批处理有MapReduce、Hadoop,流计算有Storm、Kafka、Samza等,而同时兼顾的框架有Spark和Flink,这也是这两者经常被用来比较的原因。

Spark的技术理念是基于批处理来模拟流的计算。而Flink则完全相反,它采用的是基于流计算来模拟批计算。Spark把处理放在内存里,速度大大快于MapReduce和Hadoop,因此这也是Spark出来后迅速流行起来的原因。而Flink的设计就是针对流计算,提供更加低延时和完善的机制,这块恰恰是Spark的短板,而且当数据是有界时就相当于批处理,逻辑清晰干净。

阿里巴巴目前采用的就是Flink框架,因为批处理和流计算的业务代码逻辑基本是一致的,没必要分开两套来处理,而且Flink也非常符合电商许多实时化的场景,更符合未来流计算发展的趋势。

特性

高吞吐&低延迟

在以往的框架里要么满足高吞吐,要么满足低延迟,而Flink能同时兼顾两者,延迟基本都在毫秒级别,也是Flink的一大优势。

支持乱序事件

由于网络等外部原因,源数据进入Flink的顺序有可能是乱的,Flink会记录事件的创建时间,通过watermark和window机制,通过这些机制可以解决在一定时间内的事件乱序问题,重新排序。

一致性语义

Flink支持exactly-once语义,这是一个很重要的feature,开发者可以放心地使用而不用担心消息被多次消费。Flink是通过checkpoint的机制实现,checkpoint是指会定时把成功的状态快照记录下来,当发现异常时,会重启节点并恢复到最近成功的checkpoint,并在源头重新回放数据流。

反压

流计算在流量大的场景例如大促等会出现反压的问题,反压是指目标节点的处理速度不够快,导致数据堆压在源头节点。这问题在Spark Streaming和Storm都会出现,而Flink是天然能解决这个问题,因为Flink的接收节点速率和处理节点速率是匹配的,因此只会处理多少来多少数据。

总结

Flink作为未来的流计算的趋势,是简化流计算逻辑的有利利器,如果开发者想做技术选型可以着重考虑Flink。据我所知Flink所在的公司已被阿里巴巴收购,将来阿里必将更多地赋能Flink,所以是一个很有前景的框架。

转载于:https://juejin.im/post/5c3c2ae86fb9a049ff4e5da8

http://www.lbrq.cn/news/2732419.html

相关文章:

  • 合肥工程建设信息网站杭州seo搜索引擎优化公司
  • 两个域名指向同一个网站怎么做谷歌平台推广外贸
  • 做网站经营流量企业营销策划书范文
  • 网站图怎么做会高清付费恶意点击软件
  • 网站开发需要英语太原seo关键词排名
  • 站酷网网址西安seo黑
  • 网站建设_制作_设计免费友情链接网页
  • 宁波网站排名公司官方进一步优化
  • 购物网站开发问题域分析余姚网站seo运营
  • 做女朋友的网站网站建设公司排名
  • 网站开发企业部门口碑营销5t
  • 北京品牌高端网站建设公司网络营销课程培训机构
  • 网站的模块seo 优化一般包括哪些内容
  • 丽水哪里做网站线上销售如何找到精准客户
  • seo优化的网站邮件营销
  • php做电子商城网站seo系统源码
  • 做市级网站需要什么私人做网站
  • 靠谱的中文wordpress主题360手机优化大师下载
  • 织梦 去掉我的网站长春seo优化
  • 中国十大少儿编程教育品牌怀化网站seo
  • 企业网站的建立费用电商网络销售是做什么
  • 安康网站建设公司杭州百度快照优化公司
  • 建设公司董事长致辞网站范文企业品牌推广方案
  • 专业移动微网站建设如何交换优质友情链接
  • 黑龙江省中国建设银行网站首页小程序开发公司哪里强
  • 龙岩做网站龙岩网页设计山西seo排名
  • 广告制作技术培训优化大师怎么删除学生
  • 个人网站建设实训报告宁波做seo推广企业
  • 作文网站网址新闻头条新闻
  • 大气的网站模板怎么样推广自己的公司
  • XSS攻击:从原理入门到实战精通详解
  • Unity 游戏提升 Android TargetVersion 相关记录
  • 小白挑战一周上架元服务——元服务开发06
  • 数学建模Topsis法笔记
  • 云原生俱乐部-RH124知识点总结(1)
  • 8.15 机器学习(2)K最近邻算法