dsMin/Document/大数据中心的下一步开发思路V1.02.txt

1、开发第三方数据接入系统的登录角色和功能，使用ak+sk可以登录到系统，是一个独立的登录页面。

2、第三方系统管理员，可以维护自己系统的数据上报信息，包括：表名，信息描述，表的所有字段名称，数据类型，数据长度，小数点后的位数（如果是float或double类型的话），建议采用 int,float,varchar,char,datetime,date几个数据类型即可。

3、录入完成后，有一个功能按钮叫“申请上线”

4、sys1可以登录后查看第三方系统的上线申请，可以通过或拒绝。通过后在ES中创建Mapping,在Greenplum中创建数据表。
此处可以参考黄海已完成的代码示例。E:\Work\dsMin\dsSupport\Test\CreatePgTable\CreatePgTable.go

5、sys1有一个功能叫“业务表下线”，将录入错误的数据表整体清除，包括元数据，es数据及greenplum数据表。

6、针对每个录入到系统的元数据和表格，通过Golang开发一个死循环的数据上报到Greenplum的功能。将last_updated_time最新的数据上报到Greenplum中。这个Greenplum是为了QuickBi使用的。
这一块黄海完成了一点测试，就是ES的深度分页：E:\Work\dsMin\dsSupport\Test\Elasticsearch\ReadElasticsearch.go

7、为使用DataV，需要独立开发一个Golang的程序，读取本地的GreenPlum，生成统计分析的JSON文件，然后每5分钟上传到OSS中，DataV设置数据源为OSS中的文件，并设置刷新时间即可。这个其实是通过GO开发一个框架，读取统计分析的SQL，执行，生成JSON文件，可以通过配置，不断的添加内容，而不是不断的修改程序。