'commit'

dsData/数据治理平台需要添加的功能.md

@@ -0,0 +1,53 @@
+### 数据治理平台需要添加的功能
+
+#### 1、SQL血缘关系
+
+设计：
+录入多个常用数据仓库中的SQL查询语句，由AI自动生成血缘关系图
+
+```sql
+select tsl.person_id,tsl.person_name,tsl.mz,tdm.mz_name,tsl.xb,tdx.xb_name,tsl.bureau_id,
+       tbo.org_name as bureau_name from t_sys_loginperson as tsl
+    inner join t_dm_mz as tdm on tsl.mz=tdm.mz_id
+    inner join t_dm_xb as tdx on tsl.xb=tdx.xb_id
+    inner join t_base_organization as tbo on tsl.bureau_id=tbo.org_id;
+
+
+select tbc.class_id,tbc.class_name,tbo.bureau_id,tbo.org_name from t_base_class as tbc inner join t_base_organization as tbo on
+    tbc.bureau_id=tbo.org_id;
+```
+
+
+
+![](https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/BlogImages/202506020842789.png)
+
+#### 2、元数据管理
+
+(1) 维护有哪些厂商，哪些信息化系统，厂商与信息化系统之间是一对多关系
+
+(2) 为每个第三方厂商提供账号，第三方厂商可以登录系统维护自己的元数据
+
+(3) 提供在线的元数据（系统名称，表名，字段信息等）的录入功能，类似于长春市政数局向各委办局提供的数据采集平台功能。
+
+ ![](https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/BlogImages/202506020912575.png)
+
+>  **注意**:上面EXCEL界面是示意图，并不是真的想再开发一个EXCEL导入，尽量功能简单。
+
+(4)开放一个时段让第三方厂商录入，时段结束，只能浏览不能录入了。
+
+(5) 开放时间结束后，经我司与教育局共同确认无误后，由我司技术人员手动在共享MYSQL8.0中创建这些数据表（一个库，多张表，注意不同系统使用不同前缀，防止重名）。
+
+#### 3、实时数据同步监控
+
+使用Flink CDC对共享数据库进行监控，制作一个共享库的数据表有哪些，每张表有多少条数据，数据仓库中的数据表有哪些，每张表有多少条数据，是不是匹配，最后一条的数据是什么时间同步等等
+
+#### 4、数据汇集与数据共享
+
+(1)为每个厂商提供共享数据库的访问地址，用户名和密码。（各厂商的信息化系统应该在同一个局域网内，否则在公网上上报数据有风险）
+(2) 每个厂商根据自己系统的情况，定时或实时将业务系统数据汇集到共享数据库中。
+
+(3) 我司使用flink cdc监控共享数据库中数据变化，实时向Doris数据仓库完成数据同步工作。
+
+(4)在数据共享库中通过配置精细到字段级别的select 权限，向不同用户提供不同表的授权读取功能。
+
+(5) 前置库提供数据汇集和共享的职能，Doris数据仓库完成OLAP统计分析等功能。