The latest articles on DEV Community by LinkTimeCloud (@linktimecloud). https://dev.to/linktimecloud https://media2.dev.to/dynamic/image/width=90,height=90,fit=cover,gravity=auto,format=auto/https:%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Fuser%2Fprofile_image%2F1496562%2F3a6067aa-e07d-4406-9a15-9b741cb58e22.jpg https://dev.to/linktimecloud en LinkTimeCloud Wed, 15 May 2024 07:17:10 +0000 https://dev.to/linktimecloud/kdp-xian-dai-hua-hun-he-yun-yuan-sheng-shu-ju-ping-tai-1gge https://dev.to/linktimecloud/kdp-xian-dai-hua-hun-he-yun-yuan-sheng-shu-ju-ping-tai-1gge <h2> 软件简介 </h2> <p>KDP (Kubernetes Data Platform) 提供了一个基于 Kubernetes 的现代化混合云原生数据平台。它能够利用 Kubernetes 的云原生能力来有效地管理数据平台。</p> <h2> 技术优势 </h2> <ul> <li><p>更高效的大数据集群运管：KDP 通过标准化流程简化了大数据集群的运维，并提供 UI 界面进一步提升了部署、升级等操作的效率</p></li> <li><p>更高效的大数据组件集成：KDP 提供标准化自动化的大数据组件部署和运维，极大地缩短了大数据项目开发和上线时间</p></li> <li><p>更高的集群资源利用率：对比传统大数据平台约 30% 左右的资源利用率，KDP 可大幅提升至 60% 以上</p></li> </ul> <h2> 技术亮点 </h2> <ul> <li><p>基于 OAM (Open Application Model) 标准统一应用发布和管理流程，打通各组件之间的配置管理，实现 IaC (Infra as Code)</p></li> <li><p>在大数据组件的 Operator 和 Helm Chart 之上创建了统一抽象层，实现发布和运维的标准化和自动化</p></li> <li><p>对大数据核心组件进行代码级别的改造以支持 K8s 资源调度，网络及存储体系，并将这些组件的最新版本进行统一集成</p></li> <li><p>利用 K8s 的命名空间实现多租户管理，资源隔离，实现按需动态资源配置，并实现了资源使用统计计费组件（企业版）</p></li> <li><p>扩展并强化了多租户环境下的安全认证及鉴权机制，采用统一的 Kerberos 安全认证和基于 Ranger 的授权机制（企业版）</p></li> <li><p>对计算引擎在云原生形态下的性能进行优化，例如：批流作业统一的 Volcano 调度，解决了 Spark on HDFS 的 Data Locality 问题（企业版）</p></li> </ul> <h2> 总体架构 </h2> <p><a href="https://media.dev.to/cdn-cgi/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Farticles%2Fcmvmtv10prmdq6g6ylk1.png" class="article-body-image-wrapper"><img src="https://media.dev.to/cdn-cgi/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Farticles%2Fcmvmtv10prmdq6g6ylk1.png" alt="Image description" width="800" height="510"></a></p> <p>代码</p> <p><a href="https://github.com/linktimecloud/kubernetes-data-platform">https://github.com/linktimecloud/kubernetes-data-platform</a></p>