1、数据上行同步接口 gin--->kafka--->GPkafka-Kafka---->greenplum golang进行数据对接系统鉴权。gin 提供数据上报方法,限定上报类型,检查数据格式,限定上报频率,记录上报日志。 提供数据获取方法,限定数据域,限定获取频率。记录数据获取的日志。 https://www.jianshu.com/p/688ef6c27ad6 https://gpdb.docs.pivotal.io/streaming-server/1-3-3/kafka/intro.html http://kafka.apache.org/downloads https://blog.csdn.net/haohaounique/article/details/104024820 2、数据下行同步接口 gin--->greenplum 暂不考虑优化,控制同步频率。 这两个都是数据的交换,定义名称: dsData 中文名称:理想数据 ===================================================== 3、业务系统通用数据上报 (1)数据变更需要使用主键ID+变更时间戳(PG没有UPDATE TIMESTAMP,需要业务层写入。) (2)因为中间隔了一层“数据上报同步接口”的HTTP API,所以没有现成的工具可用,需要GOLANG自行开发一个。 这个是数据上报的客户端,与其它第三方接入的方法基本类似,还需要开发一个JAVA版本的DEMO。 定义名称: dsReport 中文名称:理想上报 ====================================================== 4、日志汇集 logrus--->kafka--->GPkafka-Kafka---->greenplum https://www.jianshu.com/p/688ef6c27ad6 这个不需要单独的程序,是需要安装kafka,并且配置好logrus和GPkafka-Kafka,测试落盘到greenplum ======================================================