技术共享平台seo推广营销靠谱
摘要：本文整理自阿里云开源大数据生态产品研发负责人棕泽在 阿里云CDP公开课 上的演讲。主要内容包括：
阿里云+Cloudera 产品介绍
公有云方案：云上 CDP
专有云方案：CDP、CDF、CDSW
典型场景
视频：https://developer.aliyun.com/live/247867
Tips：点击「阅读原文」有惊喜！
2022年4月开始，Cloudera 官方不再对原有版本的 CDH/HDP 提供技术支持和 BUG 修复，也不再对原有版本提供新特性增强。
阿里云与 Cloudera 联合打造了阿里云上的半托管形态 CDP企业数据云平台，以及基于 On- Premise 部署的 CDP大数据平台、CDF流计算、CDSW机器学习平台的专有云输出。该平台可以灵活地运⾏各种企业⼯作负载，⽀持从边缘计算到⼈⼯智能的多功能数据分析，提供企业级的安全模型来保证客户数据安全。
阿里云+Cloudera 产品介绍
Cloudera 公司简介
企业数据云公司 – Cloudera
2008年成立，2014年进入中国，肯睿（上海）软件有限公司
主要代表产品：CDH，全球最受欢迎的 Hadoop 发行版，100%开源
2019年1月3日，Cloudera 和 Hortonworks 正式合并
2021年7月，Cloudera 中国和阿里云正式战略合作
公司定位
开源和开放标准：Cloudera 一直致力于以社区驱动的基于开放标准的基于 Hadoop 的平台，满足企业对稳定性和可靠性的最高期望
企业数据云：专注于企业级安全和治理、多功能数据分析、弹性的云计算体验、消除数据孤岛
核心产品：
Cloudera Data Platform（CDP），Cloudera Data Flow（CDF）,Cloudera Data Science Workbench(CDSW)
阿里云 +Cloudera 大数据方案介绍
Cloudera 产品在 FORRESTER WAVES 中的位置
核心产品 - Cloudera Data Platform（CDP）
CDP摄取CDH和HDP两者的优势
Cloudera Data Platform（CDP）合并 Hortonworks 公司和 Cloudera 公司的最佳技术，提供业界首个企业数据云产品。
CDP 在混合云和多云环境中可以提供强大的自助服务分析能力，以及IT和数据管理员所需要的复杂性、细粒度的安全与治理策略。
Cloudera最新的许可政策
我们的许可政策类似于成熟的 Red Hat 开源模型。
该模型在市场上广为人知，并被全世界的企业所接受。
已有产品的许可证在整个21财年发生变化
自2019年11月以来，访问产品的二进制文件需要订阅和paywall credentials
从2019年11月后，Cloudera 再发布的产品不再提供社区版（免费版），只有企业版。只有订阅了 Cloudera 产品，才能下载对应的介质。2021年1月后，扩展的 Paywall 将包括平台的早期版本。
所有产品源均将获得 OSI 批准的许可证( Apache 软件许可证(ASL)或 Affero 通用公共许可证(AGPL))的许可。
访问从 Cloudera 获得的所有产品的二进制文件和源代码都需要订阅协议
由 Apache Software Foundation 托管的我们为之贡献的所有开源项目将继续是 ASF 管辖的项目。
我们的源代码贡献模型保持不变，并且仍然是第三方项目的第一个上游。第三方项目存储库的公共资源仅在上游。
Cloudera 终止提供开源 CDH，产生迁移机会
2021年2月1日，停止 CDH 和 HDP 的免费下载
HDP 2.6.x/CDH 5.x覆盖了约70％的客户群，EOS 时间2020年12月终止服务
CDH 6.3：2022年3月终止服务
售卖形态：基于阿里云如何售卖 CDP ？
公有云：半托管 CDP
Cloudera 企业数据云是社区版 CDH 的全新商业化升级产品，是阿里云和 Cloudera 联合打造阿里云上的半托管形态的大数据平台。该平台可以灵活地运行各种企业工作负载(包括实时摄取和分析、批处理、交互式SQL、企业搜索、高级分析和机器学习等)，支持从边缘计算到人工智能的多功能数据分析，提供企业级的安全模型来保障客户数据安全。
专有云On-Premise：线下转售三大套件（CDP、CDF、CDSW）
交付模式
公有云方案：云上 CDP
基于阿里云部署的CDP
产品核心
部署商业版 CDP，包括完整的 Cloudera Manager 及 Cloudera Runtime
基于多种规格的 ECS，开箱即用，支持云上集群扩展能力以及数据湖
与阿里云产品集成互通，提供高安全、合规和高可用的云上 CDP 平台，降低复杂性
无需配置的正版软件及正版 license 许可证
产品引擎与服务
100% 兼容开源 Hadoop生态，经阿里云与 Cloudera 联合研发性能优化
提供商业化 SLA 保障与7*24小时 Cloudera 专家支持服务
提供专家服务及咨询，如平台迁移、数据迁移、版本升级、参数调优等
一致的安全与治理 - SDX
专为随时随地进行多功能分析而设计
安全性：动态细粒度的访问控制始终应用于所有云和数据中心。包括全栈加密和密钥管理
治理：跨平台应用的企业级审计，血缘和治理功能，具有丰富的合作伙伴集成扩展性
元数据：利用所有元数据（结构、运营、业务和社交）建立信息资产，以提高可用性、信任度和价值
目录：用于管理和使用跨越所有分析和部署的数据资产的单一窗格
智能：洞悉平台中如何使用数据、元数据和分析，从而为优化提供建议和自动化
SDX提供
通过在所有云和数据中心中一致地应用动态细粒度访问控制实现安全性。包括全栈加密和密钥管理
通过跨平台应用的企业级审计、沿袭和治理功能进行治理，并具有丰富的合作伙伴集成扩展性
还有智能，可以洞悉平台中如何使用数据，元数据和分析，从而为优化提供建议和自动化
我们从最广泛的意义上利用元数据：不仅是您称为架构的结构类型，而且还包括运营、业务和社交方面的元数据，建立信息资产以提高可用性，信任度和价值
最后，SDX 提供的数据目录是一个统一的窗格，用于管理和使用涵盖所有分析和部署的数据资产
统一版本
（CDP – Cloudera Data Platform）
CDP - 摄取 CDH 和 HDP 两者的优势
CDP PVC 基础版功能地图
CDP 针对 CDH/HDP 用户的新功能
CDP 大数据组件列表
CDP 大数据组件列表 – 简化管理的紧密结合的平台
公有云客户：1.2倍成本带来三大收益
专有云方案：CDP、CDF、CDSW
CLOUDERA-混合数据云
On-Premise（专有云）整体方案，CDP/CDF/CDSW
ClouderaDATAFLOW – 从边缘到云的实时流数据管理
边缘和流管理
利用 ApacheNiFi、ApacheMiNiFi 和 Cloudera Edge Flow Manager（从边缘到 AI 的流管理）构建从边缘到公共云的可扩展数据流所需的一切。使您能够从任何地方到任何地方收集、整理和摄取数据。
流式消息传递
由 Apache Kafka 提供支持的面向企业和云的企业级消息传递解决方案。Streams Messaging Manager 用于监控/管理集群，Streams Replication Manager 用于 HA/DR 部署，Kafka Connect 用于集成，Cruise Control 用于管理和平衡 Kafka 集群。
流处理和分析
支持多个流处理引擎。ApacheFlink 和 SSB 通过高级窗口和状态管理为您提供有状态、低延迟的流处理功能。
Cloudera Data Science Workbench（CDSW）
CDSW-机器学习：覆盖从边缘到AI的场景
专有云线下客户，弥补 CDH 三大不足
更多组件和更高版本
CDP 新增组件包括 Zeppelin，Livy，Phoenix，SMM，Knox，ORC，Ranger和 Atlas 等等
更多的企业管理
企业级安全和管理
CDP 的 Apache Ranger 提供了新的安全功能（动态行过滤和列掩码）。同时借助 ApacheAtlas，CDP 改进了数据资产管理功能，帮助企业实现 PCI 和 GDPR 标准。
更多的企业管理平台集成。
版本持续更新更长时间
EoS时间比较
CDH 6.3：2022年3月。后续仅有维护版本
CDP 7.1：2023年5月。产品线持续更新
典型场景
为什么选择 CDP？
许可证 renew+硬件更新的机会
HDP 2.6.x/CDH 5.x覆盖了约70％的客户群
运行这些软件的客户将需要升级到受支持的版本
阿里云CDP产品客户价值
更快、更高效、更安全
重大功能增强/性能改进
数据工程：Spark3性能提升2倍；支持 Nvidia GPU 卡，性能再提升3-7倍
数据仓库：Impala 性能提升2到7倍；新执行引擎 Hive on Tez,支持 ACID、物化视图，性能提升5倍以上
运营数据库：支持 SQL 和 No SQL 多种模式，吞吐量性能提高15-20%
流处理：完善的集群管理，复制，流量控制
安全合规和售后支持
基于 Ranger 提供统一的细粒度访问控制，动态行过滤和列掩码
基于 Atlas 提供完善的元数据、血缘和监管链，高级数据发现和业务词汇表
持续修复已报的 CVE 安全漏洞
专家支持服务，快速解决使用问题，用户专注业务
不升级的影响
旧平台功能/性能/安全受限，无法满足部分应用需求和国家/行业合规性需求
没有售后支持，应用无法放心的广泛应用于生产，影响业务创新
CDP7.1 VS CDH6.3
更高版本
CDP 的 HDFS，Hive，HBase，Spark，Kafka 和 Solr 等组件版本较新
更多组件
CDP 新增组件包括 Zeppelin，Livy，Phoenix，SMM，Knox，ORC，Ranger 和 Atlas 等等
更长时间
EoS 时间比较
CDH 6.3：2022年3月。后续仅有维护版本
CDP 7.1：2023年5月。产品线持续更新
安全合规
CDP 的 Apache Ranger 提供了新的安全功能（动态行过滤和列掩码）。同时借助 ApacheAtlas，CDP 改进了数据资产管理功能，帮助企业实现 PCI 和 GDPR 标准
更高扩展
Apache Hadoop Ozone 是一个分布式 KV 存储，旨在实现数十亿个规模的文件扩展，远远超过当前 Namenode文件上限(300M) 。同时，Ozone 能与 HDFS 共享数据节点实现无缝迁移
更易管理
CM7.1支持在 cgroup 中直接启用新配置。而在C6中必须重新启动集群才能更新 cgroup 配置。另外，CDP 的 ZK 新版本修复了与 jackson-databind、Jetty、log4j 相关的17个安全漏洞
新 Hive3体验
Hive on Tez 提供更好的 ETL 性能，同时支持 ACID，极大简化事务处理,兼容ANSI SQL 2016标准。另外，Data Analytics Studio 能够可视化展示 HiveSQL 对应的 DAG 分解图
新 Spark 体验
CDP 预装 Spark 2.4.5，同时支持并行安装 Spark3.0。可以体验 Spark SQL 自适应执行和动态分区裁剪等功能
新的队列管理
CDP 的 YARNQueue Manager 使用 Capacity Scheduler，支持GPU、Node Labels、Globalscheduling，同时采取更加灵活的 placement Policy
多种部署方式：支持公有云/本地部署，混合云/多云部署
CDP公有云应用场景
现代数据库
运营数据库
准实时分析
流式处理和分析
升级现有集群
选项A
步骤1：将现有集群升级到 CDP PVC Base，从而基于现有数据创建 SDX 环境
步骤2：安装 CDP 私有云并使用“体验”构建新应用程序
步骤3：使用工作负载管理器将关键工作负载从 CDP 数据中心版群集智能迁移到 CDP 私有云体验
选项B
步骤1：在新硬件上安装 CDP 数据中心，并使用 Replication Manager 从现有群集中复制数据、元数据和策略以创建 SDX 环境
步骤2：安装 CDP 私有云并使用“体验”构建新应用程序
步骤3：使用工作负载管理器将关键工作负载从 CDH/HDP 集群智能迁移到 CDP 私有云体验
参考资料
[1] 阿里云 CDP 官网
https://ac.aliyun.com/application/cloudera
[2]阿里云 CDP 产品文档
https://www.yuque.com/aliyunbigdata/xdgumz
[3]Cloudera CDP 官网文档
https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/index.html
我们会在钉群推送精彩文章，邀请技术大牛直播分享。
欢迎钉钉扫码加入交流群一起参与讨论~
阿里云CDP 免费试用进行中！