当前位置: 首页 > news >正文

专业提供网站建设服务公司/营销技巧有哪些

专业提供网站建设服务公司,营销技巧有哪些,wordpress网站如何与关联,网站开发的学习路线Apache Flink流式传输 本次培训主要专注在四个重要的概念:连续处理流数据,事件时间,有状态的流处理和状态快照。 流处理 流是数据天然的栖息地,无论是来自Web服务器的事件,来自证券交易所的交易,还是来自工…

Apache Flink流式传输

本次培训主要专注在四个重要的概念:连续处理流数据,事件时间,有状态的流处理和状态快照。

流处理

流是数据天然的栖息地,无论是来自Web服务器的事件,来自证券交易所的交易,还是来自工厂车间的机器传感器读数,数据都是作为流的一部分创建的。但是当我们分析数据时,我们可以围绕有界或无界流组织我们的处理过程,我们选择的范式会产生生远的影响。

bounded-unbounded

批处理 是我们处理有界数据流时的工作范例。这种操作模式中我们可以选择在产生任何结果之前注入整个数据集,例如,对数据进行排序,计算全局统计信息或生成汇总所有输入的最终报告。

流处理 另一方面,流处理涉及无界数据流。从概念上来说,至少输入可能永远不会结束,因此我们被迫在数据抵达时进行连续处理。

在Flink中,应用程序由用户定义的算子转换的数据流组成。这些数据流形成有向图,这些图以一个或多个源开头,并以一个或多个接收器结束。

source-transform-sink-update

一个应用可能从流式源消费实时数据如消息队列或分布式日志,例如Apache Kafka或Kinesis。但是Flink也可以从很多数据源中获取有界的,历史的数据。类似的,Flink应用程序生成的结果流可以发送到各种系统,Flink中保存的状态可以通过REST API访问。

flink-application-sources-sinks

实时流处理

对于大多数流式应用而言,使用处理实时数据的相同代码重新处理历史数据并生成确定的,一致的结果是非常有价值的

同样关键的是注意时间触发的顺序,而不是事件被处理的顺序,以及能够推断一组事件何时完成。例如考虑电子商务交易或者金融交易中涉及的一系列事件。

这些对于实时流处理要求使用记录在数据流中的事件时间的时间戳,而不是使用处理数据的机器时间。

状态流处理

Flink的操作是有状态的。这意味着一个事件如何被处理取决于在此之前的事件所积累的影响。状态可能被用于一些简单的事情,例如计算每分钟显示在面板上的事件,或者用于一些复杂的事情,例如用于欺诈检测模型计算特征。

Flink应用程序在分布式集群上并行运行。给定运算符的各种并行实例将在单独的线程中独立执行,并且通常将在不同的机器上运行。

有状态运算符的并行实例集实际上是分片键值存储。每个并行实例负责处理特定键组的事件,并且这些键的状态保存在本地。

下图显示了作业图中前三个运算符的并行度为2的作业,终止于并行度为1的接收器。第三个运算符是有状态的,我们看到第二个和第三个运算符之间正在发生完全连接的网络洗牌。这样做是为了通过某个键对流进行分区,以便一起处理所有需要处理的事件。

parallel-job

状态始终在本地访问,这有助于Flink应用程序实现高吞吐量和低延迟。您可以选择在JVM堆上保持状态,或者它太大了,有效的组织在磁盘数据结构上。

local-state

强大的流处理

Flink能够通过状态快照和流重放的组合提供容错和精确一次语义。这些快照捕捉分布式管道的全部状态,将偏移记录到输入队列中,以及整个作业图中的状态,这是因为已经将数据摄取到该点。当发生故障时,源被倒带,状态恢复,并且恢复处理。如上所述,这些状态快照是异步捕获的,而不会妨碍正在进行的处理。

http://www.lbrq.cn/news/3403.html

相关文章:

  • 网站建设阿华seo/女教师遭网课入侵视频
  • 手机开发小程序/百度seo排名优化是什么
  • 现在哪个网站还做白拿/计算机培训机构排名
  • 中山商城型网站建设/外包平台
  • 宁波科技网站建设/点击seo软件
  • 企业英语网站/网络推广发帖网站
  • 网站建设发布实训总结/市场营销方案
  • 网站模版怎么样/网站推广工具
  • wordpress登录ftp/沧州seo推广
  • 高端品牌网站建设/焊工培训技术学校
  • 如何做网站滚动屏幕/冯耀宗seo课程
  • 征婚网站上拉业务做恒指期货/防止恶意点击软件管用吗
  • wordpress 不能更换主题/seo入门教程seo入门
  • 建立个人网站有什么好处/万网注册域名查询
  • 北京pk10网站开发/百度新版本更新下载
  • 自己做的网站怎么收藏本站/做网站怎么赚钱
  • 网站建网站建设专业/北京seo代理计费
  • wordpress文章在哪个文件夹/搜索引擎优化seo名词解释
  • 织梦可以做论坛网站吗/购买域名的网站
  • 想做个网站报价蔬菜价格怎么做/sem竞价托管公司
  • 自己做网站升seo/免费发广告的网站
  • 南宁网站建设 传导/腾讯云域名
  • 商业授权书/西安seo技术培训班
  • 免费做快闪网站/公司网站建设全包
  • 网站后台编辑器不能正常显示/营销策划方案怎么写?
  • wordpress做社交网站/荆门今日头条新闻发布
  • 做网站花多钱/廊坊百度关键词优化怎么做
  • 宁波网站建设方案联系方式/如何在手机上开自己的网站
  • 视频网站如何推广/惠州seo全网营销
  • 政府门户网站建设管理工作/长春百度网站快速排名
  • 第16章 基于AB实验的增长实践——验证想法:AB实验实践
  • 《计算机“十万个为什么”》之什么是 feed 流
  • 切比雪夫不等式的理解以及推导【超详细笔记】
  • VSCode 配置 C# 开发环境完整教程(附效果截图)
  • Jenkins Git Parameter 分支不显示前缀origin/或repo/
  • ubuntu22 npm install electron --save-dev 失败