Qcon上海2014

Hadoop在营销数据挖掘的实践

讲师: 

介绍由于广告数据的多样化,包括有曝光、点击等被动获取的请求;微博、新闻、博客、论坛、行业网站等主动抓取的请求;问卷调查数据的补充;第三方数据的输入。导致对数据的清洗(ETL)、存储(Data Storage)、挖掘(Data Mining)都提出非常高的要求。将会介绍每天近100亿请求的性能是如何优化的,以及每天近1000亿数据的数据分析是如何实现的,还有数据从多IDC采集到同步中心机房如何实现分钟级的计算。最后将会重点介绍AdMaster 根据累积了超过7年的实际广告主和品牌的网络营销数千个实际案例的经验,自身研发的ADH(Advertising Distribution Hadoop)的发展及特点。其中包括内置的广告算法,应用调度器的优化,还有关于在线数据(HBase),离线数据(MapReduce),实时数据(Spark),流式数据(Storm)等方式的整合介绍。

AdMaster技术副总裁
微博: @卢亿雷

现任AdMaster技术副总裁,曾在联想研究院、百度基础架构部、Carbonite China工作;关注高可靠、高可用、高扩展、高性能系统服务,关注Hadoop/HBase/Storm/Spark等离线、流式及实时分布式计算技术。

对分布式存储和分布式计算、超大集群、大数据分析等有深刻理解及实践经验,对Lustre,HDFS,HBase,Map/Reduce,Storm,Spark等有很深的理解。曾在联想研究院、百度基础架构部、Carbonite China工作。2006年硕士毕业,一直从事云存储、云计算开发及架构工作,多年Hadoop实战经验,专注于分布式存储、分布式计算、大数据分析等方向,有两个发明专利,《一种分布式文件系统及其数据访问方法》和《一种数据备份的版本管理方法及装置》。曾多次被51CTO、CSDN、IT168、阿里技术邀请为嘉宾分享Hadoop大数据在互联网的应用。

2014年作为演讲嘉宾出席大数据全球峰会,介绍《混合异构数据的清洗、存储、挖掘架构选型和设计策略》

2014年作为演讲嘉宾出席阿里技术嘉年华,介绍《AdMaster在大数据商业化上的实践》

2014年作为演讲嘉宾出席中国数据库技术大会,介绍《混合异构数据的清洗、存储、挖掘架构选型和设计策略》

2013年作为演讲嘉宾出席PyConChina大会,介绍《Python在广告监测数据中的分析应用》

2013年作为演讲嘉宾出席北京(国际)开源大会,介绍《基于Hadoop的云备份存储解决方案》

2013年作为演讲嘉宾出席大数据全球峰会,介绍《大数据分布式系统并行设计与I/O优化》

2012年作为演讲嘉宾出席Hadoop in China技术大会,介绍《Hadoop在网盘和在线备份的应用与挑战》

2012年作为演讲嘉宾出席云计算架构师峰会,介绍《分布式存储在网盘和在线备份的应用研究》