Data Middle Platform · 数据资产管理 · 数据开发 · 数据治理 · 数据质量 · 任务调度
--- ## 📖 项目简介 **数据中台** 是一套面向企业的**一站式数据管理与开发平台**，覆盖数据从 **采集 → 建模 → 开发 → 治理 → 质量 → 服务 → 可视化** 的全链路生命周期。平台以「资产化管理、可视化开发、标准化治理」为核心理念，帮助企业高效构建数据底座，释放数据价值。  --- ## ✨ 核心特性 ### 🏛️ 数据资产管理 - **数据目录** — 统一的数据资产目录，支持层级浏览、标签分类、快速检索 - **数据地图** — 全景式数据资产拓扑图，可视化展示数据流向与血缘关系 - **数据矩阵** — 多维度数据资产统计矩阵，一目了然掌握数据分布 - **资产归属** — 清晰的数据资产归属与责任人管理体系 ### 🔄 数据开发平台 - **开发工作台** — 在线 SQL / 代码编辑器，支持多种数据源的统一开发入口 - **任务流编排** — 可视化 DAG 工作流编排，支持串行、并行、条件分支等复杂调度逻辑 - **算子开发** — 内置丰富的读取、转换、写入算子（通用 / SQL / 代码 / Debezium CDC） - **模板管理** — 支持 SQL 模板、ETL 模板的创建与复用 - **全局搜索** — 跨库跨表的全文检索，快速定位数据资源 ### 📐 数据建模 - **ER 图建模** — 可视化 ER 关系图，支持自定义实体关系建模 - **数据仓库分层** — 内置 ODS / DWD / DWS / ADS 标准分层架构 - **逻辑模型 / 物理模型** — 支持逻辑建模与物理建模分离，模型驱动开发 - **数仓模块** — 按业务域划分的数仓模块管理 ### 📊 指标体系 - **指标定义** — 原子指标、派生指标的统一定义与管理 - **指标体系树** — 按业务主题组织的指标层级树 - **维度管理** — 统一维度定义与管理 - **数据集管理** — 指标与数据集的关联映射 - **指标关联分析** — 指标间的依赖关系与关联分析（含工作流可视化） ### ✅ 数据质量 - **质量规则** — 支持完整性、唯一性、准确性、一致性、及时性的多维度质量规则配置 - **质量任务** — 定时 / 手动执行的质量稽核任务 - **质量报告** — 自动生成的数据质量评估报告 - **数据脱敏** — 敏感数据的自动识别与脱敏处理 - **加解密管理** — 数据加密 / 解密统一管理 - **质量标准** — 数据质量标准规范的在线管理与发布 ### 🛡️ 数据治理 - **治理申请 / 审批** — 规范化的数据申请与审批流程 - **服务治理** — API 服务的注册、审核、上线全流程管控 - **评论反馈** — 数据资产的社区化评论与反馈机制 ### 📡 数据源与中间件管理 - **多数据源接入** — 支持关系型数据库、文件系统、消息队列等多种数据源 - **中间件管理** — Elasticsearch / Kafka / Redis 的统一管理与监控 - **元数据采集** — 自动化元数据采集与同步 - **驱动器管理** — 数据源驱动的统一注册与管理 ### ⏰ 任务调度 - **调度任务** — 支持 Cron 表达式的定时调度任务 - **调度实例** — 调度任务的运行实例与历史记录 - **调度客户端** — 分布式调度执行器管理 - **算子库** — 预置丰富的通用算子与过滤算子 ### 📈 报表与可视化 - **报表分析** — 灵活的自定义报表分析 - **图表可视化** — 支持多种图表的可视化展示（ECharts） - **仪表盘** — 可配置的数据监控仪表盘 - **数据集** — 报表数据集的定义与管理 ### 🌐 数据服务 - **API 服务** — 数据 API 的快速生成、发布与管理 - **服务统计** — API 调用统计与监控 - **服务应用** — API 服务的申请与使用管理 ### 🔐 系统管理 - **用户管理** — 完善的用户与部门管理体系 - **角色权限** — 基于 RBAC 的细粒度权限控制 - **菜单管理** — 动态菜单与路由配置 - **操作日志** — 全量操作审计日志 - **消息通知** — 站内消息与通知系统 --- ## 🏗️ 技术架构 | 层级 | 技术选型 | |------|----------| | 前端框架 | **Vue 2.x** + Element UI | | 构建工具 | Webpack + Vue CLI | | 可视化 | ECharts, 自定义 DAG 工作流引擎 | | 后端框架 | Spring Boot | | 数据存储 | MySQL / PostgreSQL + Redis + Elasticsearch | | 消息队列 | Kafka | | 调度引擎 | 自研分布式调度引擎 | --- ## 📁 项目结构 ``` src/ ├── views/ │ ├── asset/ # 数据资产管理 │ │ ├── dataDirectory/ # 数据目录 │ │ ├── dataMap/ # 数据地图 │ │ └── matrix/ # 数据矩阵 │ ├── change/ # 数据变更 │ │ ├── blood/ # 数据血缘 │ │ └── sqlBlood/ # SQL 血缘 │ ├── dashboard/ # 监控仪表盘 │ ├── dataValidation/ # 数据验证 │ ├── development/ # 数据开发 │ │ ├── globalSearch/ # 全局搜索 │ │ ├── template/ # 模板管理 │ │ └── toolbench/ # 开发工作台 │ ├── dispatch/ # 任务调度 │ │ ├── task/ # 调度任务 │ │ └── operator/ # 算子管理 │ ├── govern/ # 数据治理 │ ├── indicator/ # 指标体系 │ │ ├── association/ # 指标关联 │ │ ├── dataSet/ # 数据集 │ │ └── dimension/ # 维度管理 │ ├── newVersion/ # 核心功能 │ │ ├── dataER/ # ER 图建模 │ │ ├── dataFloor/ # 数据分层 │ │ ├── operatorDev/ # 算子开发 │ │ └── taskFlow/ # 任务流编排 │ ├── property/ # 数据源与属性 │ ├── quality/ # 数据质量 │ ├── report/ # 报表系统 │ ├── service/ # 数据服务 │ ├── system/ # 系统管理 │ └── warehouse/ # 数据仓库建模 ``` --- ## 🎯 适用场景 - 📊 **企业数据仓库建设** — 从建模到 ETL 到报表的全链路支持 - 🏭 **数据中台建设** — 数据资产化、服务化、标准化的统一平台 - 🔍 **数据治理与质量** — 数据标准的落地、质量监控与持续改进 - 🧩 **数据集成与开发** — 多源异构数据的统一集成与开发 - 📡 **数据 API 服务化** — 快速将数据能力以 API 形式对外输出 --- ## 📧 联系方式 - **联系电话**: 18629461220