You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
dsMin/Document/大数据处理方式.txt

34 lines
1.2 KiB

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

1、数据上行同步接口
gin--->kafka--->GPkafka-Kafka---->greenplum
golang进行数据对接系统鉴权。gin
提供数据上报方法,限定上报类型,检查数据格式,限定上报频率,记录上报日志。
提供数据获取方法,限定数据域,限定获取频率。记录数据获取的日志。
https://www.jianshu.com/p/688ef6c27ad6
https://gpdb.docs.pivotal.io/streaming-server/1-3-3/kafka/intro.html
http://kafka.apache.org/downloads
https://blog.csdn.net/haohaounique/article/details/104024820
2、数据下行同步接口
gin--->greenplum 暂不考虑优化,控制同步频率。
这两个都是数据的交换,定义名称: dsData 中文名称:理想数据
=====================================================
3、业务系统通用数据上报
1数据变更需要使用主键ID+变更时间戳PG没有UPDATE TIMESTAMP需要业务层写入。
2因为中间隔了一层“数据上报同步接口”的HTTP API所以没有现成的工具可用需要GOLANG自行开发一个。
这个是数据上报的客户端与其它第三方接入的方法基本类似还需要开发一个JAVA版本的DEMO。
定义名称: dsReport 中文名称:理想上报
======================================================
4、日志汇集
logrus--->kafka--->GPkafka-Kafka---->greenplum
https://www.jianshu.com/p/688ef6c27ad6
这个不需要单独的程序是需要安装kafka并且配置好logrus和GPkafka-Kafka,测试落盘到greenplum
======================================================