MapReduce已经开始显现老化的迹象,局限性越来越明显。Tez作为下一代hadoop的执行引擎与传统的MapReduce相比做了很大的改进和优化,将计算模型直接建立在DAG上面,比传统的MapReduce更加直接,灵活,在性能上有很大的提升。同时由于Tez从项目开始就集成了Yarn,从而对于整个计算资源的Context了解的更加清楚,这也有助于性能的优化。本次演讲将主要对Tez做一个Overview的介绍。
很幸运很早的接触到了hadoop,从2009年开始使用pig,然后一步步延伸到hadoop,nosql,statisitcal data anlytics 等大数据领域。可以说一路走来都是在和data打交道,不管是从底层的infrastructure,还是更上层的统计数据分析,Machine Learning。和data打交道有一件很有趣,很有挑战,也能给人带来快乐的事情。喜欢技术,喜欢桌球,喜欢K歌,喜欢和人brainstorming:)