大数据架构干货文章精选（推荐收藏）

 

今天给大家推荐一个优质的大数据公众号，干货内容太多，强烈建议关注！

 

直奔主题。ps：建议先收藏！

 

2018.06.01 我们用程序员自己的方式，发出第一声啼哭：“hello world”

 

2019.07.22 我们发布高赞第一篇技术文章：SQL分析函数，看这一篇就够了

 

 

紧接着，几乎日更的高质量原创技术文章，一篇一篇发布开来。

 

 

 

这是一篇具有里程碑意义的文章（漫谈 | 大牛带你从0到1构建数据仓库实战）。从这一篇文章开始，我们才正式收获了我们公众号前200位读者朋友的芳心。听从了200位读者朋友们的建议，除了一些各自为点的原创文章，我们开始了第一个连载专栏系列。

 

数仓漫谈系列：

 

1. ▼ 系列 | 漫谈数仓第一篇NO.1 『基础架构』
2. ▼ 系列 | 漫谈数仓第二篇NO.2 『数仓建模』
3. ▼ 系列 | 漫谈数仓第三篇NO.3 『数据清洗』
4. ▼ 系列 | 漫谈数仓第四篇NO.4 『BI选型』

5. ▼ 系列 | 漫谈数仓第五篇NO.5 『OLAP选型』

6. ▼ 系列 | 漫谈数仓第六篇NO.6 『开发规范』

7. ▼ 系列 | 漫谈数仓第七篇NO.7 『数据质量』

8. ▼ 系列 | 漫谈数仓第八篇NO.8 『元数据管理』

9. ▼ 系列 | 漫谈数仓第九篇NO.9 『数据治理』

10. ▼ 系列 | 漫谈数仓第十篇NO.10『实时数仓』

 

一个月黑风高的晚上，我们召开了一个内部会议。缜密调研后，一拍即合，我们制定了公众号的技术分享路线：

 

SQL基础 — 数仓漫谈 — 传统数仓 — 实时数仓 — 数据中台 — 数据治理 — 用户画像 — 大数据开发 — 数据分析 — 数据产品 — 推荐系统 — 机器学习 — 面试真经 — 职业规划

 

这也是一个大数据数仓er成长进阶最快的路线，也是一个数仓er必须走过的技术路线图。技术以外，我们也可以做管理，做leader，做架构师，做项目经理，做总监，创业等etc.

 

我们希望每一个大数据数仓er都能在这有所收获，有所成长。这儿能成为数仓大佬们的集结地，在这里希望大家可以找到数仓er的归属感。我们会每天交流技术，也会定期分享资源。让我们一起努力，创建一个属于我们数仓ers的社区。

 

实时数仓：

 

1. 启蒙 | 如果你也想做实时数仓…

2. 启蒙 | Flink 0-1知识点之全景图.xmind

3. 启蒙 | ClickHouse全面学习指南.xmind

4. 系列 | 实时数仓实践第一篇NO.1

5. 系列 | 实时数仓实践第二篇NO.2

6. 系列 | 离线数仓实践第三篇NO.3

7. 系列 | 实时数仓实践第四篇NO.4

8. 回顾 | 基于 Flink 的严选实时数仓实践

9. 回顾 | 基于 Flink 的 58 实时数仓实践

10. 回顾 | 基于 Flink 的美团实时数仓实践

11. 回顾 | 爱奇艺大数据生态实时数仓

12. 回顾 | 菜鸟实时数仓2.0进阶之路

13. 回顾 | 美团外卖实时数仓建设与实践

14. 架构 | 漫谈实时数仓架构

15. 架构 | 实时数据仓库1.0 2.0 3.0 架构

16. 架构 | 实时数仓架构设计与选型（附ppt）

17. 架构 | 爱奇艺大数据实时数仓：ClickHouse

18. 源码 | Flink SQL实时数仓开源UI平台

19. 源码 | Flink实时维表join方法总结（附项目源码）

20. 源码 | Flink Client 实现原理与源码解析

21. 实践 | 一文搞定实时数仓CDC案例实战

22. 实践 | Flink SQL 在字节跳动的实践

23. 实践 | Flink on Hive构建流批一体实时数仓

24. 实践 | Flink + Iceberg  全场景实时数仓的建设实践

25. 实践 | Flink + ClickHouse 打造轻量级点击流实时数仓

 

大厂案例：

 

1. 阿里大数据建设OneData体系架构

2. 阿里 数据仓库架构与实时数仓案例

3. 阿里 蚂蚁金服技术中台架构实践

4. 美团  OneData：SaaS 数仓建设

5. 美团 数据质量平台 的设计与实践

6. 美团 数据治理平台 的架构与实践

7. 美团 DB实时同步数仓架构与实践

8. 有赞 数据仓库之 元数据系统 实践

9. 有赞 数据治理 体系与架构与实践

10. 有赞 大数据开发平台 架构与实践

11. 马蜂窝 数据仓库与数据中台架构与实践

12. 马蜂窝 Lambda架构实时平台演进之路

13. 京东 MySQL用得好好的，为什么要转ES

14. 爱奇艺 大数据分析平台的演进之路

15. 网易 基于Impala平台打造交互查询系统

16. 网易 基于Flink的严选实时数仓实践

17. 58同城 实时数仓计算平台架构与实践

18. 58同城 无埋点用户行为分析实践之路

19. 头条 ClickHouse在头条的演进与实践

20. 小米 DB实时同步到数仓的架构与实践

21. 小米 Apache Kylin在小米集团的应用

22. 腾讯 Kylin 的平台化及 Flink 引擎实践

23. 贝壳 实时计算引擎在贝壳的应用与实践

 

面试经验：

 

1. 记一次蚂蚁金服面试经历

2. 记一次字节跳动面试经历

3. 记一次美团&拼多多面试经验

4. 记一次蚂蚁金服的面试经历2

5. 记一次华为面试数据分析经历

6. 漫画 | 面试的我 VS 真实的我

7. 回忆当年阿里的一道 SQL 面试题

8. 大数据SQL经典面试题 - 连续3天登录

9. 直击面试 | 大数据/数仓面试必问之『数据倾斜』

10. 面试真经 | 大数据/数仓面试灵魂30问

11. 面试真经 | 大数据/数仓面试灵魂30问（答案）

12. 【offer谈判】终于面试通过了，我该怎么拿到满意的薪资呢？

 

大厂面试：

 

▼ 阿里 | 记一次蚂蚁金服面试经历

▼ 头条 | 大厂大数据开发面试经验

▼ 快手 | 记一次数据岗位大厂面试

▼ 校招 | 一个BAT校招面试官 1 天

▼ 美团 | 数据仓库高级工程师面试

▼ 字节 | 数据仓库高级工程师面试

▼ 拼多多 | 记一次拼多多面试经验

▼ 2020大数据Java面试总结（未完待续）

 

大佬访谈：

 

  ▼大佬故事汇 | 第一篇NO.1 复盘5年数仓之路

  ▼大佬故事汇 | 第二篇NO.2 大厂数开面试经验

  ▼大佬故事汇 | 第三篇NO.3 张教授大数据规划

  ▼大佬故事汇 | 第四篇NO.4 数仓开发转 DPM

  ▼大佬故事汇 | 第五篇NO.5 蚂蚁大佬数仓面经

  ▼大佬故事汇 | 第六篇NO.6 4年转行数仓leader    

 

数据中台：

 

1. 漫画：什么是中台

2. 阿里数据中台建模

3. 数据中台设计方法论

4. 苏宁数据中台架构实践

5. 基于数据中台的图谱构建

6. 回顾 | 阿里数据中台建模

7. 一文读懂大数据中台架构

8. 数据中台技术架构方案.ppt

9. 蚂蚁金服技术中台架构实践

10. 数据仓库与数据中台架构与实践

11. 终于来了！数据中台（送书福利）

12. 阿里巴巴数据中台实践分享（PPT）

13. 爱奇艺数据中台建设方案（附下载）

14. 从数仓到数据中台，谈技术选型最优解

15. 阿里架构总监一次讲透中台架构，13页PPT精华详解

16. 最新中台架构PPT，一起欣赏6大互联网大厂的架构图

17. 辨析数仓、大数据、数据中台的实质（内附21张架构图）

18. 辨析数据仓库、数据湖和数据中台内涵及差异点(建议收藏)

19. 我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

20. 数据中台VS数据仓库、数据中台VS业务中台，到底有什么区别？

21. 震惊！这篇文章解读数据仓库、数据湖、数据中台等概念，竟然写了4万字！

22. DTCC-数据趋势、数据治理、数据架构、数据中台、云数据库、数据安全.PPT

23. 中台的末路

 

数据湖：

 

1. 数据湖(Data Lake)-剑指下一代数据仓库

2. Delta Lake | 数据湖的诞生与案例实践

3. Delta Lake | Apache大神带你了解数据湖，这一篇文章就够了

4. 数据湖如何为企业带来9%的高增长？可否取代数据仓库？

5. 辨析BI、数据仓库、数据湖和数据中台内涵及差异点(建议收藏)

6. 数据湖前沿技术及挑战

7. 解读 | 数据湖普及？正要取代数据仓库？

8. Flink 数据湖 助力美团数仓增量生产

9. 数据湖已成熟？数据仓库岌岌可危！

10. 数据湖VS数据仓库之争？阿里提出大数据架构新概念：湖仓一体！

11. IOTA架构、数据湖、Metric Platform，终于有人讲清楚了！

12. 再谈数据湖？到底有什么用？KO.数据仓库！

13. 数据仓库vs数据湖？现在已是 LakeHouses 时代！

 

用户画像：

 

1. 用户画像 | 全面解读

2. 美团的用户画像实践

3.  58 的用户画像实践

4. 用户画像标签体系

5. 用户画像从0到100的构建思路

6. 一文了解用户标签画像，从洞察到突破

7. 做用户，绕不开画像！

8. 网易大数据用户画像实践

9. 终极版 | 73页PPT，教你从0到1构建用户画像系统（附下载）

10. 用户画像建模与应用

11. 用户画像：3种标签类型、8大系统模块（文末送书）

12. 从0到1构建用户画像系统技术和方法论

13. 用户画像 模型设计与存储

14. 干货请收好：终于有人把用户画像的流程、方法讲明白了

 

数据倾斜：

 

1. 漫谈千亿级数据优化实践：数据倾斜

2. 全面 | 彻底搞定数据倾斜12种姿势！

3. 解决Spark数据倾斜全面总结

4. 3万字细品数据倾斜（建议收藏）

5. Spark 数据倾斜及其解决方案

6. BigData | 一文带你搞清楚"数据倾斜"

7. 直击面试 | 一文搞懂大数据、数仓面试必问之『数据倾斜』（建议收藏）

数据治理：

 

★数据治理 | 解决方案.PPT

★数据治理 | 就是数据建模？

★数据治理 | 元数据管理实践

★数据治理 | 元数据采集那点事

★数据治理 | 平台工具前世今生

★数据治理 | 数仓深度之数据脱敏

★数据治理 | 该怎么做？全面解读！

★数据治理 | 企业数据治理七把利剑

★数据治理 | 携程数据治理落地实践

★数据治理 | 90%的人搞不清的事情

★数据治理 | 美团酒旅数据治理实践

★数据治理 | 基于数据架构和数据模型

★数据治理 | 百分点数据治理“PAI”建设实践

★数据治理 | 一文读懂数据治理（附500页ppt）

 

指标体系：

 

♤ 指标体系 | 完整的指标体系

♤ 指标体系 | 有赞指标库实践

♤ 指标体系 | 数据指标体系建设

♤ 指标体系 | 数据指标体系搭建

♤ 指标体系 | 最佳实践-指标逻辑树

♤ 指标体系 | 数据指标体系搭建实践

♤ 指标体系 | 滴滴指标体系搭建实践

♤ 指标体系 | 数据指标体系0-1搭建流程

 

Hadoop：

 

1. 大数据生态0-1全景图谱.xmind

2. 万亿数据下 Hadoop 的核心竞争力

3. Hadoop YARN：调度性能优化实践

4. 重磅 | Hadoop的第二个十年

5. Hadoop已死，Hadoop万岁

6. Hadoop怎么了，大数据路在何方？

7. 深度 | 一文带你了解Hadoop大数据原理与架构（文末赠书）

8. 从Hadoop到ClickHouse，现代BI系统有哪些问题？何解？

9. 大数据面试杀招 | Hadoop高频考点，正在刷新你的认知？！

 

 

推荐系统：

 

1. 基于画像推荐系统设计（离线+实时）

2. 企业级丨推荐系统架构体系

3. 基于Spark 推荐系统特征工程

4. 基于Flink商品实时推荐系统项目

5. 电商推荐系统案例设计 | 文末送书

6. 推荐系统 | 电商推荐那点事儿

7. 如何从 0 到 1 构建个性化推荐？

8. 推荐收藏 | 决策树，逻辑回归，PCA-算法面经

 

社区福利：

 

1. 大数据、数仓成神之路，冲击30k就靠它了！

2. 终于来了！数据中台（送书福利）

3. 抽奖 | 2019杭州·云栖大会 门票

4. 重磅揭晓！Flink Forward Asia 2019（送门票！）

5. 聊聊Apache Kylin在小米集团的应用 | 文末福利

6. 中台战略 | 终于有人把中台写清楚了（文末福利）

7. 为什么Flink会成为下一代大数据处理框架的标准？| 文末送书福利

8. 送书福利 | 开源大数据平台Greenplum6.0 正式发布！8大特性重塑开源大数据生态

9. 福利 | 1024程序员节! 当当购书狂欢来袭！满400减230！屯书充电，羊毛薅起！

 

更多热文：

 

1. 干货：解读主流大数据架构（推荐收藏）

2. 解读数据同步、增量Merge与数据漂移

3. 万亿数据下 Hadoop 的核心竞争力

4. 数据仓库建模

5. 干货：Hive调优及优化的12种方式

6. 数仓蓝图：如何优雅地规划数仓体系

7. “失败”的北漂十年，我真的尽力了！

8. 写给工程师的十条精进原则

9. Flink：常见问题与排查思路

10. Hadoop YARN：调度性能优化实践

11. 大数据初学者学习指南(建议收藏)

12. 数据仓库开发人员怎么避免成为取数机器？

13. 大数据下一个十年将如何演进？

14. 大数据分析双剑合璧：Apache Kylin 和 Superset

15. 未来最有前景的五大编程语言

16. 长文解惑：区块链与比特币

17. BI, 数据仓库，ETL, 数据开发，有什么区别？

18. Lambda架构已死，去ETL化的IOTA才是未来

19. 数据平台建设整体思路阐述和总结

20. 值得收藏 | 一份最完整的MySQL规范

21. 浅谈滴滴派单算法

22. 数据治理平台工具前世今生

23. 浅谈数据治理、数据管理、数据资源与数据资产管理内涵及差异点(建议收藏)

24. 六脉神剑 | Apache Flink SQL 搞定实时数仓

25. 漫谈 | 一种通用的数据仓库分层方法

26. 一个前腾讯员工自述：月薪没有达到7万，但收获不止薪水

27. 【案例】数据量猛增，BI分析效率太低怎么破？

28. 五年外包，我沦为过期甩卖的商品

29. 都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？

30. 干货 | 十分钟带你从入门到进阶python爬虫

31. 大数据可视化BI工具，通幽洞微

32. SQL分析函数，看这一篇就够了

 

编者寄语：

20年，感谢大家一路陪伴。500个日日夜夜，如果你写过文章，你一定会懂。

坚持比努力更可怕。

读者学到东西，认可"数据仓库与Python大数据"的价值，职业生涯因此受益。

这才是我们坚持写文章的初衷。

再见。

 

点击查看，后台菜单栏各种干货合集资料。

 

扫码关注公众号，接收更多干货！

 

关于我们：

本公众号致力于建设大数据领域知识技术人文资源共享平台，3w+关注，保持日更，每天08:16发文，为您提供优秀高质量的数据领域的分享。欢迎分享给同行朋友，加群或投稿或转载可加v：iom1128，备注：数据，谢谢！