dsProject

2.7 KiB

Raw Permalink Blame History Unescape Escape

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

数据治理平台需要添加的功能

1、SQL血缘关系

设计：录入多个常用数据仓库中的SQL查询语句，由AI自动生成血缘关系图

select tsl.person_id,tsl.person_name,tsl.mz,tdm.mz_name,tsl.xb,tdx.xb_name,tsl.bureau_id,
       tbo.org_name as bureau_name from t_sys_loginperson as tsl
    inner join t_dm_mz as tdm on tsl.mz=tdm.mz_id
    inner join t_dm_xb as tdx on tsl.xb=tdx.xb_id
    inner join t_base_organization as tbo on tsl.bureau_id=tbo.org_id;


select tbc.class_id,tbc.class_name,tbo.bureau_id,tbo.org_name from t_base_class as tbc inner join t_base_organization as tbo on
    tbc.bureau_id=tbo.org_id;

2、元数据管理

(1) 维护有哪些厂商，哪些信息化系统，厂商与信息化系统之间是一对多关系

(2) 为每个第三方厂商提供账号，第三方厂商可以登录系统维护自己的元数据

(3) 提供在线的元数据（系统名称，表名，字段信息等）的录入功能，类似于长春市政数局向各委办局提供的数据采集平台功能。

注意:上面EXCEL界面是示意图，并不是真的想再开发一个EXCEL导入，尽量功能简单。

(4)开放一个时段让第三方厂商录入，时段结束，只能浏览不能录入了。

(5) 开放时间结束后，经我司与教育局共同确认无误后，由我司技术人员手动在共享MYSQL8.0中创建这些数据表（一个库，多张表，注意不同系统使用不同前缀，防止重名）。

3、实时数据同步监控

使用Flink CDC对共享数据库进行监控，制作一个共享库的数据表有哪些，每张表有多少条数据，数据仓库中的数据表有哪些，每张表有多少条数据，是不是匹配，最后一条的数据是什么时间同步等等

4、数据汇集与数据共享

(1)为每个厂商提供共享数据库的访问地址，用户名和密码。（各厂商的信息化系统应该在同一个局域网内，否则在公网上上报数据有风险） (2) 每个厂商根据自己系统的情况，定时或实时将业务系统数据汇集到共享数据库中。

(3) 我司使用flink cdc监控共享数据库中数据变化，实时向Doris数据仓库完成数据同步工作。

(4)在数据共享库中通过配置精细到字段级别的select 权限，向不同用户提供不同表的授权读取功能。

(5) 前置库提供数据汇集和共享的职能，Doris数据仓库完成OLAP统计分析等功能。

2.7 KiB Raw Permalink Blame History Unescape Escape