Qcon上海2014

基于Hadoop生态技术构建阿里搜索离线系统

一、计算平台架构

平台架构

集群规模

集群特点

二、支撑的搜索业务

搜索业务

处理流程

三、YARN计算平台

iStream计算模型

Schedule改进

AppHistoryServer改进

HStats资源用量统计

四、未来发展

阿里巴巴集团一淘子公司 搜索技术专家
微博: @GeekX

任春德,花名瓦力。从2010年开始专注于Hadoop及其生态圈相关技术,成功应用于阿里巴巴集团搜索的离线数据处理业务中,并较早(2012年底开始)将Hadoop-2.x推向生产应用;主导开发、维护、升级搜索自有的版本,同时在运维搜索集群过程中也积累了丰富的经验,尤其是与HBase的协同,在YARN上的计算模型、资源调度及管理;

2006年西安电子科技大学硕士毕业加入阿里巴巴集团,先后在雅虎中国、阿里云、淘宝一淘子公司从事社区、搜索、云计算等技术研发,现为一淘及搜索事业部搜索离线系统团队搜索研发专家从事Hadoop方面技术研发。