【技术分享】本文将为你提供一份详细的离线数仓搭建指南，教你如何避免分析时直连对多个源业务系统产生的压力，提升关联分析性能！
快来关注好数连，获取更多关于数据库优化、离线数仓搭建的实用技巧！
| 实战案例 |
家居定制化业务的关联分析 |
背景
|
|
挑战：库存系统、客储系统、财务系统一同直连看板，关联分析受阻
|
|
实战方案：读写分离，数据降维——20亿到1亿的蜕变
|
|
场景价值
|
场景实战：搭建数仓，解决多源业务系统关联分析难题，赋能家居定制化业务发展
（1）背景：
某家居集团自创立以来，始终秉承“创新家居，品质生活”理念，致力于为消费者提供一站式、高品质的家居生活解决方案。作为行业内的领军企业，强势引领全屋定制、橱柜家具、厨房电器等多领域的协同发展，形成了一站式的现代家居产业链。
经过多年经营探索，目前公司信息化程度呈现以下特点：
● 业务库种类多：业务库多达十几个，数据库类型较多，Oracle使用较多，其次是MySQL、SQL Server
● 信息化程度高，系统多样：信息化系统覆盖前端、后端，系统多样。有下单平台- 拆单调度（把设计文件拆成最小板件）-订单调度系统（分发给各基地生产-生成采集系统-物流发货系统）
● 数据量大：数据量级覆盖百万级、千万级、十亿级别，一天大概100w左右。
（2）挑战：库存系统、客储系统、财务系统一同直连看板，关联分析受阻
然而，为了更好的满足定制化业务发展需求，橱柜部门与研发中心产生了大量数据关联分析的需求：
橱柜部门需要针对橱柜材料等需要制作相关看板数据。而板件存在多种属性，例如花色、颜色、材料等信息。部门需要将客户各种信息汇总后，和各种维度表做关联，形成宽表，制作BI看板（类似Tableau）。
研发中心每年需要确认淘汰、新增的板件材料，因此需要对各个维度的信息进行BI看板展示，以此来计算各种属性的欢迎度等。
使用问题便显现了出来：
1、BI看板直连业务数据，加载更新速度慢：直连业务库取数，数据约20-30亿，一次更新时间耗费7-8小时，甚至直到第二天早上，数据仍然未更新完成。
2、关联分析直连多系统，报表性能压力大：BI看板直连多个业务系统进行关联分析，不仅影响分析性能，还对业务库造成很大的性能压力，导致前端报表加载慢，重新启动更新代价太大。
3、数据孤岛，打通成本高：关联分析所需的目标数据分散在多个业务系统，像订单系统、ERP等常用系统、橱柜部门自己收集的客户需求信息，这些多源异构数据，以代码或者人工导出，时间人力成本高，难以维护。
（3）读写分离，数据降维——20亿到1亿的蜕变
IT部门经理将这些问题很快重视起来，形成了一套通过FDL建仓的读写分离方案：
采用FDL进行批处理和流处理，从业务库获取数据并将其同步到数仓，具体分层方式为：ODS层-DW层（DWD层-DWM层）-ADS层。
也就是说，采用数仓完成读写分离，前置处理BI看板(类似tableau)所需的高纬度的汇总数据，避免直连业务库。
1、 ODS层：制造中心将多个业务系统（如订单、物流和财务系统）数据进行实时同步，同时将业务数据做维度退化和清洗。
2、DWD层：制造中心依据业务处理逻辑，对20-30张表做关联形成宽表。
后从DWD层中取数据，对不同维度做轻度汇总，汇总后数据量从20-30亿行降到8-9亿行。
3. DWM层：该层负责对数据进行更细致的汇总——橱柜部门匹配自定义的维度表，生成材料数量、面积等数据的BI看板。
4. ADS层：橱柜部门将制造中心的DWM层的板件信息，与客户定制化需求表进行匹配，汇总后数据量从8-9亿行降到约1亿行。
下图是根据橱柜ADS层数据，根据不同的维度做的不同数据集。
5. BI看板连接ADS层：最后，在BI里面根据不同的维度对轻度汇总表再做一层汇总，形成自助数据集。
有了FDL建设的独立数仓和数据集，数据量从20-30亿降至约1亿
BI可视化报表的使用更稳定，数据的决策分析更有力
橱柜部门和研发部门的关联分析需求得以快速满足，为定制化业务发展插上了腾飞的翅膀
（4）场景价值：
1、解决多系统直连性能难题：基于FineDataLink，对接各个业务系统的数据，进行离线数仓的搭建。这种读写分离的操作，减轻了对业务系统的压力，同时提高了数据质量。
2、数出同源，及时准确：建立了统一的数据仓库，原始的20-30亿数据处理后，形成了约8亿数据，汇总后仅有1亿左右数据，加快了BI看板（类似tableau）的展示速度，同时保证了数据一致性和准确性。
3、高可用、高可维护：整合多源异构数据，无需复杂代码、人工导出，转移业务库计算压力。
希望本文所分享的技巧和方法能为您在实际工作中带来便利，丰富对FineDataLink的使用场景认知，助您在数据库领域更上一层楼！
想要学习更多技术和功能，请点击FineDataLink文档
由0到1，带您进入FineDataLink的世界
若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！
| 
