软件简介
KDP (Kubernetes Data Platform) 提供了一个基于 Kubernetes 的现代化混合云原生数据平台。它能够利用 Kubernetes 的云原生能力来有效地管理数据平台。
技术优势
更高效的大数据集群运管：KDP 通过标准化流程简化了大数据集群的运维，并提供 UI 界面进一步提升了部署、升级等操作的效率
更高效的大数据组件集成：KDP 提供标准化自动化的大数据组件部署和运维，极大地缩短了大数据项目开发和上线时间
更高的集群资源利用率：对比传统大数据平台约 30% 左右的资源利用率，KDP 可大幅提升至 60% 以上
技术亮点
基于 OAM (Open Application Model) 标准统一应用发布和管理流程，打通各组件之间的配置管理，实现 IaC (Infra as Code)
在大数据组件的 Operator 和 Helm Chart 之上创建了统一抽象层，实现发布和运维的标准化和自动化
对大数据核心组件进行代码级别的改造以支持 K8s 资源调度，网络及存储体系，并将这些组件的最新版本进行统一集成
利用 K8s 的命名空间实现多租户管理，资源隔离，实现按需动态资源配置，并实现了资源使用统计计费组件（企业版）
扩展并强化了多租户环境下的安全认证及鉴权机制，采用统一的 Kerberos 安全认证和基于 Ranger 的授权机制（企业版）
对计算引擎在云原生形态下的性能进行优化，例如：批流作业统一的 Volcano 调度，解决了 Spark on HDFS 的 Data Locality 问题（企业版）
总体架构
代码
Top comments (0)