我与 IT 这三十年：2015，大数据平台的重与轻

2015 年互联网公司已经很难离开数据平台。前一年写微博头条时说过推荐系统不是一个算法点而是一整套能力。到了 2015 年我对这句话的感受更深。因为越是想快速迭代业务越会发现数据平台既是发动机也是负担。它很重。采集、清洗、存储、调度、查询、权限、口径、质量、血缘、成本每一个词背后都是坑。一个字段埋错了后面一串分析都会错一个任务晚了上游产品就看不到当天效果一个口径没统一会议上就会变成不同团队各说各话。它又必须很轻。业务等不起。推荐策略要验证运营活动要复盘产品改版要看效果商业化要算收益。平台如果只讲架构完美没人会等你半年。数据平台的第一原则可信数据平台最怕的不是慢而是不可信。慢还能解释还能优化不可信会伤害组织判断。一旦大家觉得数据不准就会回到拍脑袋、凭经验、凭职位争论。可信来自很多细节。事件定义要清楚客户端和服务端采集要对齐日志不能随便改格式任务失败要报警重跑要有规则去重和过滤要可解释指标口径要能追溯。这些工作听起来不酷但非常重要。很多公司建设数据平台时容易先追求工具丰富报表、仪表盘、自助分析、实时大屏、可视化拖拽。工具当然有用但如果底层数据不可信工具越多错得越快。重平台和轻决策一个成熟的数据平台底层一定很重。它要处理海量日志要支持离线任务和实时任务要管理资源要保证稳定性要控制成本要让不同团队能共享同一套基础设施。但平台的上层体验必须轻。业务方真正想要的是今天改了一个策略明天能不能看结果这个功能上线后留存有没有变某个推荐规则是不是只提高了点击却伤害了长期体验某类用户为什么下降。如果每个问题都要找工程师排队写脚本平台价值就打了折扣。所以数据平台的矛盾在于底层越复杂上层越要简单。这和很多基础设施一样。云计算也是这样底层调度、网络、存储、隔离非常复杂但用户最好只看到 API。数据平台如果不能把复杂性收起来就会变成少数专家才能使用的系统。Hadoop 和 Spark 背后的工程变化2015 年前后Hadoop 生态已经很成熟Spark 也开始成为越来越多团队关注的对象。技术栈变化背后是数据处理需求变了。早期更多是离线批处理日志收集起来晚上跑任务第二天看结果。后来业务希望更快推荐、广告、风控、运营都希望缩短反馈周期。批处理仍然重要但实时和准实时能力变得越来越有价值。这不是简单换一个框架。框架变了任务模型、资源管理、错误处理、数据一致性、监控方式、开发习惯都会跟着变。工程师要做的不是追新名词而是判断业务到底需要多快、多准、多便宜。有些指标一天一次就够有些必须分钟级有些需要秒级。把所有东西都做成实时是浪费把所有东西都放到离线是迟钝。数据最终要回到业务数据平台做久了很容易陷入平台自身。集群规模、任务数量、吞吐、延迟、可用性这些指标当然重要。但数据平台最终要回答业务问题用户为什么来为什么走内容为什么传播策略为什么有效增长为什么停下。一个数据平台如果只服务工程师就少了一半价值。2015 年我越来越感受到平台工程师必须理解业务。不是要求每个人都做产品经理而是至少要知道数据被谁使用、用来做什么决策、错误会造成什么后果。下一年AlphaGo 会把 AI 推到大众面前。对很多人来说那是一场围棋比赛对工程师来说它也提醒我们数据、计算和模型会把软件系统推向新的阶段。2015 年 IT 大事记移动互联网进入成熟竞争。用户增长仍在继续但竞争已经从抢入口进入留存、推荐、商业化和运营效率阶段。数据驱动成为互联网公司日常能力。Kubernetes 1.0 发布。容器编排开始进入可生产使用阶段。微服务、弹性调度、自动化部署和平台工程逐步形成更明确的技术路线。TensorFlow 开源。Google 开源 TensorFlow深度学习工程化和模型训练工具链开始加速普及。AI 不再只在论文和实验室里也开始进入更多工程团队。Hadoop 与 Spark 并行演进。Hadoop 继续支撑离线计算Spark 等新一代框架扩大影响。数据平台开始同时面对批处理、准实时、机器学习和交互式分析需求。拼多多创办。拼多多从社交电商、低价供给和下沉市场切入在阿里和京东已经很强的电商格局里重新打开空间。移动互联网仍能从场景和人群里长出新平台。数据质量成为平台价值核心。推荐、广告、风控、运营分析都依赖数据平台。指标口径、任务稳定性、反馈速度和数据可信度开始决定平台是否真正可用。参考资料Apache SparkSpark Release 1.0.0Apache HadoopApache Hadoop projectGoogle Cloud BlogKubernetes V1 ReleasedGoogle Research BlogTensorFlow open sourcedPDD HoldingsInvestor Relations