diff --git a/Document/大数据中心的下一步开发思路V1.02.txt b/Document/大数据中心的下一步开发思路V1.02.txt new file mode 100644 index 00000000..3fb3c1b6 --- /dev/null +++ b/Document/大数据中心的下一步开发思路V1.02.txt @@ -0,0 +1,15 @@ +1、开发第三方数据接入系统的登录角色和功能,使用ak+sk可以登录到系统,是一个独立的登录页面。 + +2、第三方系统管理员,可以维护自己系统的数据上报信息,包括:表名,信息描述,表的所有字段名称,数据类型,数据长度,小数点后的位数(如果是float或double类型的话),建议采用 int,float,varchar,char,datetime,date几个数据类型即可。 + +3、录入完成后,有一个功能按钮叫“申请上线” + +4、sys1可以登录后查看第三方系统的上线申请,可以通过或拒绝。通过后在ES中创建Mapping,在Greenplum中创建数据表。 +此处可以参考黄海已完成的代码示例。E:\Work\dsMin\dsSupport\Test\CreatePgTable\CreatePgTable.go + +5、sys1有一个功能叫“业务表下线”,将录入错误的数据表整体清除,包括元数据,es数据及greenplum数据表。 + +6、针对每个录入到系统的元数据和表格,通过Golang开发一个死循环的数据上报到Greenplum的功能。将last_updated_time最新的数据上报到Greenplum中。这个Greenplum是为了QuickBi使用的。 +这一块黄海完成了一点测试,就是ES的深度分页:E:\Work\dsMin\dsSupport\Test\Elasticsearch\ReadElasticsearch.go + +7、为使用DataV,需要独立开发一个Golang的程序,读取本地的GreenPlum,生成统计分析的JSON文件,然后每5分钟上传到OSS中,DataV设置数据源为OSS中的文件,并设置刷新时间即可。这个其实是通过GO开发一个框架,读取统计分析的SQL,执行,生成JSON文件,可以通过配置,不断的添加内容,而不是不断的修改程序。 \ No newline at end of file