|
|
|
|
@ -0,0 +1,15 @@
|
|
|
|
|
1、开发第三方数据接入系统的登录角色和功能，使用ak+sk可以登录到系统，是一个独立的登录页面。
|
|
|
|
|
|
|
|
|
|
2、第三方系统管理员，可以维护自己系统的数据上报信息，包括：表名，信息描述，表的所有字段名称，数据类型，数据长度，小数点后的位数（如果是float或double类型的话），建议采用 int,float,varchar,char,datetime,date几个数据类型即可。
|
|
|
|
|
|
|
|
|
|
3、录入完成后，有一个功能按钮叫“申请上线”
|
|
|
|
|
|
|
|
|
|
4、sys1可以登录后查看第三方系统的上线申请，可以通过或拒绝。通过后在ES中创建Mapping,在Greenplum中创建数据表。
|
|
|
|
|
此处可以参考黄海已完成的代码示例。E:\Work\dsMin\dsSupport\Test\CreatePgTable\CreatePgTable.go
|
|
|
|
|
|
|
|
|
|
5、sys1有一个功能叫“业务表下线”，将录入错误的数据表整体清除，包括元数据，es数据及greenplum数据表。
|
|
|
|
|
|
|
|
|
|
6、针对每个录入到系统的元数据和表格，通过Golang开发一个死循环的数据上报到Greenplum的功能。将last_updated_time最新的数据上报到Greenplum中。这个Greenplum是为了QuickBi使用的。
|
|
|
|
|
这一块黄海完成了一点测试，就是ES的深度分页：E:\Work\dsMin\dsSupport\Test\Elasticsearch\ReadElasticsearch.go
|
|
|
|
|
|
|
|
|
|
7、为使用DataV，需要独立开发一个Golang的程序，读取本地的GreenPlum，生成统计分析的JSON文件，然后每5分钟上传到OSS中，DataV设置数据源为OSS中的文件，并设置刷新时间即可。这个其实是通过GO开发一个框架，读取统计分析的SQL，执行，生成JSON文件，可以通过配置，不断的添加内容，而不是不断的修改程序。
|
