当前位置: 首页 > news >正文

p2p网站建设方案网站建设方案优化

p2p网站建设方案,网站建设方案优化,富阳网站建设,小程序注册教程戳更多文章: 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time Flink时间戳和水印 Broadcast广播变量 FlinkTable&SQL Flink实战项目实时热销排行 Flin…

戳更多文章:

1-Flink入门

2-本地环境搭建&构建第一个Flink应用

3-DataSet API

4-DataSteam API

5-集群部署

6-分布式缓存

7-重启策略

8-Flink中的窗口

9-Flink中的Time

Flink时间戳和水印

Broadcast广播变量

FlinkTable&SQL

Flink实战项目实时热销排行

Flink写入RedisSink

17-Flink消费Kafka写入Mysql

戳原文:

1-Flink入门

2-本地环境搭建&构建第一个Flink应用

3-DataSet API
4-DataSteam API

5-集群部署

6-分布式缓存

7-重启策略

8-Flink中的窗口

9-Flink中的Time

时间

时间类型

  • Flink中的时间与现实世界中的时间是不一致的,在flink中被划分为事件时间,摄入时间,处理时间三种。

  • 如果以EventTime为基准来定义时间窗口将形成EventTimeWindow,要求消息本身就应该携带EventTime

  • 如果以IngesingtTime为基准来定义时间窗口将形成IngestingTimeWindow,以source的systemTime为准。

  • 如果以ProcessingTime基准来定义时间窗口将形成ProcessingTimeWindow,以operator的systemTime为准。

image

时间详解

Processing Time

Processing Time 是指事件被处理时机器的系统时间。

当流程序在 Processing Time 上运行时,所有基于时间的操作(如时间窗口)将使用当时机器的系统时间。每小时 Processing Time 窗口将包括在系统时钟指示整个小时之间到达特定操作的所有事件。

例如,如果应用程序在上午 9:15 开始运行,则第一个每小时 Processing Time 窗口将包括在上午 9:15 到上午 10:00 之间处理的事件,下一个窗口将包括在上午 10:00 到 11:00 之间处理的事件。

Processing Time 是最简单的 “Time” 概念,不需要流和机器之间的协调,它提供了最好的性能和最低的延迟。但是,在分布式和异步的环境下,Processing Time 不能提供确定性,因为它容易受到事件到达系统的速度(例如从消息队列)、事件在系统内操作流动的速度以及中断的影响。

Event Time

Event Time 是事件发生的时间,一般就是数据本身携带的时间。这个时间通常是在事件到达 Flink 之前就确定的,并且可以从每个事件中获取到事件时间戳。在 Event Time 中,时间取决于数据,而跟其他没什么关系。Event Time 程序必须指定如何生成 Event Time 水印,这是表示 Event Time 进度的机制。

完美的说,无论事件什么时候到达或者其怎么排序,最后处理 Event Time 将产生完全一致和确定的结果。但是,除非事件按照已知顺序(按照事件的时间)到达,否则处理 Event Time 时将会因为要等待一些无序事件而产生一些延迟。由于只能等待一段有限的时间,因此就难以保证处理 Event Time 将产生完全一致和确定的结果。

假设所有数据都已到达, Event Time 操作将按照预期运行,即使在处理无序事件、延迟事件、重新处理历史数据时也会产生正确且一致的结果。 例如,每小时事件时间窗口将包含带有落入该小时的事件时间戳的所有记录,无论它们到达的顺序如何。

请注意,有时当 Event Time 程序实时处理实时数据时,它们将使用一些 Processing Time 操作,以确保它们及时进行。

Ingestion Time

Ingestion Time 是事件进入 Flink 的时间。 在源操作处,每个事件将源的当前时间作为时间戳,并且基于时间的操作(如时间窗口)会利用这个时间戳。

Ingestion Time 在概念上位于 Event Time 和 Processing Time 之间。 与 Processing Time 相比,它稍微复杂一些,但结果更可预测。因为 Ingestion Time 使用稳定的时间戳(在源处分配一次),所以对事件的不同窗口操作将引用相同的时间戳,而在 Processing Time 中,每个窗口操作符可以将事件分配给不同的窗口(基于机器系统时间和到达延迟)。

与 Event Time 相比,Ingestion Time 程序无法处理任何无序事件或延迟数据,但程序不必指定如何生成水印。

在 Flink 中,,Ingestion Time 与 Event Time 非常相似,但 Ingestion Time 具有自动分配时间戳和自动生成水印功能。

公众号推荐

  • 全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号,BAT团队集体开发~
  • 海量【java和大数据的面试题+视频资料】整理在公众号,关注后可以下载~
  • 更多大数据技术欢迎和作者一起探讨~

转载于:https://www.cnblogs.com/importbigdata/p/10779942.html

http://www.lbrq.cn/news/2473489.html

相关文章:

  • 政府网站图解怎么做爱站长尾关键词挖掘工具
  • 怎么在国税网站上做实名认证吗app如何推广
  • 做家装网站客户来源多吗谷歌seo和百度seo
  • 创建全国文明城市建议简短seo是什么字
  • 顺德品牌网站青岛seo服务哪家好
  • 阿里巴巴中文站官网seo网络营销推广公司
  • 广平手机网站建设标题优化
  • 东莞微信网站上海网站seo策划
  • 动态ip网站如何备案此网站服务器不在国内维护
  • 做个网站多少钱 百度能查到的爱站网长尾关键词
  • 武安市网站建设费用百度搜索引擎推广
  • 如何做自己的在线作品网站软文关键词排名推广
  • 杭州网站建设多少钱抖音关键词排名优化
  • 广州网站建设广州网络推广公司百度小说排行榜总榜
  • 渭南华阴建设银行的网站是多少上海比较大的优化公司
  • 关于做代购网站的纳税知识cba最新排名
  • 网页兼容性站点如何做seo整站优化
  • 南京有哪些做网站的公司上海seo推广
  • 网站建设logo中囯联通腾迅
  • 个人网站首页布局设计百度一下首页手机版
  • 石家庄专业做网站公司营销网络推广方式有哪些
  • 源码网站开发seo技术服务外包
  • 全网网站建设seo搜索引擎优化案例
  • 苏州知名网站建设设计公司企业网址怎么注册
  • 网站建设吗产品推广方案范例
  • 室内设计在哪里接网单推推蛙seo顾问
  • 网站建设与管理的考试上海推广外包
  • 苍南网站建设个人如何推广app
  • 建设田达摩托车官方网站免费的seo
  • 三级a一级a做爰视频免费网站搜索引擎是网站吗
  • 2025年入局苹果Vision Pro开发:从零到发布的完整路线图
  • 【愚公系列】《MIoT.VC》003-构建基本仿真工作站(组件的属性、行为、视频展示)
  • 商汤InternLM发布最先进的开源多模态推理模型——Intern-S1
  • 扒网站工具 HTTrack Website Copier
  • 基于深度学习的图像分类:使用DenseNet实现高效分类
  • gig-gitignore工具实战开发(三):gig add基础实现