手机网站模板html5网站为什么要seo?
接到一个客户端埋点接入kafka的需求,数仓需要从总topic里过滤出某个具体的event_name=x,传入下游某个kafka表供业务方使用。
需要根据下游具体的kafka表来评估是否能直接放入下游某个具体的kafka表,如果不能,需要创建单独的kafka表
-
首先要根据离线表里客户端埋点event_detail表计算出event_name=x的每天数据量级,再计算每秒生产多少条数据
-
在kafka管理平台上查询kafka的峰值,
nM/s
、m条数据/s
-
评估加入新数据之后,kafka单partition不超过5M/s、单条数据不超过2KB,即可插入当前表