做了个统计表,有一百多个sql但是加载的时候要三四十秒这个如何优化
etl落地
没啥好办法 优化无非是让他不全盘扫描 你100多个SQL改起来很麻烦,最好是用kettle把需要用的数据抽出来存到一个表里 这样查询能快点
先不说优化了。就算每个表只有50条数据。你一个统计表写了100多个数据集(100多个sql),就这一个查询从服务器去查询100多次都要花时间,然后再从服务器返回数据到报表也要时间,同时服务器当时的资源占用情况,和网络延时的情况也要占时间,以及最终前端还要去渲染。那么一样要花时间,特别是图表多的时候,前端渲染更占用时间。。
建议你如果是同维度的话。使用etl做成一张表吧。。假如你有5个维度的数据。就做成5张表,尽量减少sql和去服务器通信的数量与时间