一飞开源，介绍创意、新奇、有趣、实用的开源应用、系统、软件、硬件及技术，一个探索、发现、分享、使用与互动交流的开源技术社区平台。致力于打造活力开源社区，共建开源新生态！

一、开源项目简介

DataSophon

帮助您更容易地管理和监控集群

新一代云原生大数据管家，旨在帮助用户快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

愿景

致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

四、功能概述

DataSophon是什么

《三体》，这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知，其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平"。

作为三体中非常重要的角色，智子(Sophon)是将九维的质子进行二维展开，通过电路蚀刻改造成超级计算机后，再转回到微观的十一维来监控人类的一举一动，并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。

DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

主要特性

• 极易部署，用户仅需几步即可完成初始化环境配置，从而快速地完成大规模大数据集群的部署，支持数千个节点规模。

• 全面兼容开源生态，基于开放式的管理架构，已集成多种常用大数据组件，包括数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。

• 兼容复杂环境，极简的架构设计，使其极易适配各种复杂环境，支持arm和x86机器混合部署，支持常用的Linux生态操作系统。

• 便捷运维，基于生产实践展示用户最关心的监控指标，可方便地对集群、节点和服务进行监控和运维操作，助您大幅提升运维工作效率。

• 安全可靠，DataSophon支持Kerberos身份认证和数据加密，使用Ranger数据访问控制，从而支持数据加密和权限控制，保证数据安全。

• 便捷告警，支持告警组和告警指标管理，监控指标全面丰富，用户可根据监控指标自定义告警组和告警指标。

五、技术选型

产品架构

技术架构

集成组件

各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。

序号	名称	版本	描述
1	HDFS	3.3.3	分布式大数据存储
2	YARN	3.3.3	分布式资源调度与管理平台
3	ZooKeeper	3.5.10	分布式协调系统
4	FLINK	1.15.2	实时计算引擎
5	DolphoinScheduler	3.1.1	分布式易扩展的可视化工作流任务调度平台
6	StreamPark	1.2.3	流处理极速开发框架,流批一体&湖仓一体的云原生平台
7	Spark	3.1.3	分布式计算系统
8	Hive	3.1.0	离线数据仓库
9	Kafka	2.4.1	高吞吐量分布式发布订阅消息系统
10	Trino	367	分布式Sql交互式查询引擎
11	Doris	1.1.5	新一代极速全场景MPP数据库
12	Hbase	2.4.16	分布式列式存储数据库
13	Ranger	2.1.0	权限控制框架
14	ElasticSearch	7.16.2	高性能搜索引擎
15	Prometheus	2.17.2	高性能监控指标采集与告警系统
16	Grafana	9.1.6	监控分析与数据可视化套件
17	AlertManager	0.23.0	告警通知管理系统

来源：DataSophon 官网文档

六、源码地址

源码下载