当前位置: 首页 > news >正文

专业网站改版/百度关键词排名批量查询

专业网站改版,百度关键词排名批量查询,目前全球新冠疫情情况,大牌网站设计在Flink计算中,常见的一些操作是map或者flatmap一些数据之后keyby 开窗口进行计算。那么在这些计算当中有哪些算子呢? 其中我分为两类算子。 增量聚合 有reduce 和aggregate算子,全量聚合 有apply和process。那么今天我们就主要讲解一下常用…

在Flink计算中,常见的一些操作是map或者flatmap一些数据之后keyby 开窗口进行计算。那么在这些计算当中有哪些算子呢?

其中我分为两类算子。

增量聚合 有reduce 和aggregate算子,全量聚合 有apply和process。那么今天我们就主要讲解一下常用的增量聚合算子aggregate算子。
aggregate方法签名的三个类型 <数据源类型,累加器类型,输出类型>
WindowFunction 方法签名的四个类型为 <IN, OUT, KEY, W extends Window>

第一步:将dataStream转换城windowedStream

// 从kafka读取数据val inputStream = env.addSource(new FlinkKafkaConsumer[String]("hotitems", new SimpleStringSchema(), properties)).map(data => {val dataArray = data.split(",")UserBehavior(dataArray(0).toLong, dataArray(1).toLong, dataArray(2).toInt, dataArray(3), dataArray(4).toLong)}).assignAscendingTimestamps(_.timestamp * 1000L)// 对数据进行窗口聚合处理val aggStream: DataStream[ItemViewCount] = inputStream.filter(_.behavior == "pv") // 过滤出pv数据.keyBy(_.itemId).timeWindow(Time.hours(1), Time.minutes(5)) // 开窗进行统计.aggregate(new CountAgg(), new WindowCountResult()) // 聚合出当前商品在时间窗口内的统计数量

第二步:自定义聚合函数

// 自定义的预聚合函数,来一条数据就加一
class CountAgg() extends AggregateFunction[UserBehavior, Long, Long] {//add方法为累加器累加的方法,这里为最简单的+1操作override def add(value: UserBehavior, accumulator: Long): Long = accumulator + 1//初始化累加值override def createAccumulator(): Long = 0L//最后返回那个值,这里为accumulatoroverride def getResult(accumulator: Long): Long = accumulator//分区处理的归并操作,这里将所有并处理的结果相加override def merge(a: Long, b: Long): Long = a + b
}

第三部:自定义窗口函数

// 自定义window function
class WindowCountResult() extends WindowFunction[Long, ItemViewCount, Long, TimeWindow] {//Long类型的Key为上一步的自定义累加器的返回值//Window为差给你扣类型,第一步中的没窗口类型,TimeWindow//input为接收的数据类型,此处为Long类型的迭代器//out为此方法返回的类型,此处为ItemViewCount样例类对象的集合override def apply(key: Long, window: TimeWindow, input: Iterable[Long], out: Collector[ItemViewCount]): Unit = {//调用ItemViewCount样例类对象的构造器,依次构造出ItemViewCount样例类并返回out.collect(ItemViewCount(key, window.getEnd, input.iterator.next()))}
}
http://www.lbrq.cn/news/45919.html

相关文章:

  • 网站建设英文名词/网络推广中心
  • 北京建设部网站 信息中心/it培训机构排名及学费
  • 杭州网站建设招标/b站推广入口2023
  • 公司vi设计全套费用/网站建设seo优化培训
  • 东莞网站推广怎么样/seo测试
  • 网站制作体会/班级优化大师免费下载app
  • php开发大型网站开发/seo搜索引擎排名优化
  • 阿里巴巴上面可以做网站/新网站怎么快速收录
  • 现在的报税网站怎么做更正申报/什么叫seo
  • asp 网站地图生成/网络运营好学吗
  • 网站开发支付宝提现/常见搜索引擎有哪些
  • 怎样可以开网站/国内永久免费建站
  • 网站开发课程设计体会/教程推广优化网站排名
  • 濮阳做网站推广/网络营销做得比较好的企业
  • 网站开发的推荐/石家庄新闻头条新闻最新今天
  • 重庆网红景点排行榜前十名/搜索网站排名优化
  • 简洁手机导航网站模板下载安装/网站排名优化培训
  • 可以接单做网站的软件/seo服务商
  • 党员网站管理系统/营销网站seo推广
  • 网站开发的主要方法/站长统计app软件下载2021
  • 网站先做前台还是后台/天津网络推广公司
  • 香港免费域名注册网站/cdq百度指数
  • 一家做公司评估的网站/企业培训课程有哪些
  • 简述一般网站开发方式/夫唯seo怎么样
  • 网站建设it职位/管理培训班
  • 工程装修设计公司/阳西网站seo
  • 做独立网站给你的启发是什么/seo的优化技巧和方法
  • 九亭做网站/浏览广告赚佣金的app
  • 大站网站建设/免费网站推广软件
  • 品牌策划公司绩效考核方案/百度seo是啥意思
  • yolo8+ASR+NLP+TTS(视觉语音助手)
  • 题解:CF1829H Don‘t Blame Me
  • 社区搜索离线回溯系统设计:架构、挑战与性能优化|得物技术
  • 一个项目的完整一生 --- 一 窗口大小设置
  • YAML 自动化用例中 GET vs POST 请求的参数写法差异
  • 分块(chunked) vs 滑动窗口(windowed)