You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
dsMin/Document/大数据的一些问题思考.txt

25 lines
1.2 KiB

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

思路:
1、在每个用户的服务器中安装GreenPlum集群进可自主继续研发BI和大数据分析退可直接使用QuickBi等组件进行分析。
2、之所以不采用Mysql而采用Greenplum的原因
GreenPlum简单性能测试与分析
https://www.cnblogs.com/purpleraintear/p/6054006.html
3、关于多维聚合的处理方式
暂时不准备在SQL中实现多维那样一来没想出办法即使有办法肯定也是很复杂准备在代码层面解决这个问题就是多次查询后进行组装完成。
4、BI与数据可视化
https://gallery.pyecharts.org/#/Bar/stack_bar_percent
python+echarts是数据可视化的有效办法相对于golang在数据可视化方面,python的优势很明显。上面的示例其实就是一个多维数据是通过多次查询提供即可。
5、短期目标
将落地项目的数据同时保存到elasticsearch和greenplum中通过QuickBi+DataV等进行提供数据可视化展示。
6、中线目标
自建、自研BI平台通过Greenplum的 olap+pyEcharts实现数据展现。
7、长期目标
整合Kylin等Hadoop体系技术实现数据实时分析等更深层大数据系统。