diff --git a/Document/大数据的一些问题思考.txt b/Document/大数据的一些问题思考.txt new file mode 100644 index 00000000..7138b139 --- /dev/null +++ b/Document/大数据的一些问题思考.txt @@ -0,0 +1,24 @@ +思路: +1、在每个用户的服务器中安装GreenPlum集群,进可自主继续研发BI和大数据分析,退可直接使用QuickBi等组件进行分析。 + +2、之所以不采用Mysql而采用Greenplum的原因: +GreenPlum简单性能测试与分析 +https://www.cnblogs.com/purpleraintear/p/6054006.html + +3、关于多维聚合的处理方式 +暂时不准备在SQL中实现多维,那样一来没想出办法,即使有办法肯定也是很复杂,准备在代码层面解决这个问题,就是多次查询后进行组装完成。 + +4、BI与数据可视化 +https://gallery.pyecharts.org/#/Bar/stack_bar_percent + +python+echarts是数据可视化的有效办法,相对于golang,在数据可视化方面,python的优势很明显。上面的示例,其实就是一个多维,数据是通过多次查询提供即可。 + +5、短期目标 +将落地项目的数据同时保存到elasticsearch和greenplum中,通过QuickBi+DataV等进行提供数据可视化展示。 + +6、中线目标 +自建、自研BI平台,通过Greenplum的 olap+pyEcharts实现数据展现。 + +7、长期目标 +整合Kylin等Hadoop体系技术,实现数据实时分析等更深层大数据系统。 +