记录2017 Hadoop技术峰会
2017 Hadoop技术峰会
原以为议程是这样的
60764
以为即使错过周五的话,周六到现场也不会错过太多的东西,
结果 到现场发现议程是这样的
60766
大部分内容都放在了周五,周六只有上午半天,
又分了两个厅同时开始,不能兼得,等于开始就直接错过了六分之五的内容;
印象比较深的是阿里巴巴中间件技术部的 何沛,原谷歌公司,
60768
讲的Apache Beam 流处理与批处理的统一编程框架,
关于Beam模型处理的目标数据的模式,迟到数据如何处理 都用了动画演示,而且人特别年轻
还有 南京大学的 顾荣 如果没记错的话,介绍人介绍他是博士,
讲的关于Alliuxio提升Spark和Hadoop HDFS的系统性能与稳定性。
以及延云大数据CTO 母延年 关于千亿数据的探索性即席分析核心技术实现,
即席分析在公安、交通、电信的方面使用,
通过大数据中快速的查询对比,发现目标行踪轨迹,在破获案件,截获情报,舆论定位,排查故障,资金流向追溯等方向都有使用。
介绍在这些场景带来的难度和挑战,
以及即席分析 现在业界主流方案存在的问题。
还有Spark的一些影响稳定性BUG的介绍;
遗憾错过周五那么多的内容,期待下次有机会继续参加吧。