Qcon上海2014

在IAAS之上实现搜索云和大数据云的那些坑

讲师: 

目前IAAS云计算平台的API不断丰富,自动化脚本和镜像服务也越来越具有可操作性。是时候在IAAS上部署深度的服务了。本主题将会讲述两个基于IAAS(使用了云主机、云存储、云硬盘和云分发)API的两个应用。

一个是基于Lucene/Solr + IAAS的搜索云。在云中实现搜索技术,如何分配建立索引的计算能力、如何平衡延迟和吞吐、如何进行基于IAAS的资源调度等是主要问题,本主题将介绍盛大搜索云的实战过程中的问题和方案,目前该产品实现了T B级别的企业级常见格式文档的全文检索。

另一个应用是基于Hadoop + IAAS的大数据云,需要考虑在不同的场景下分配Namenode,Datanode,Zookeeper, Resource Manager, QJM, Hive, Hbase, Storm, Datax, sqoop各个节点的计算能力,实现各个任务之间血缘关系,处理内网瓶颈,解决高IOPS问题,以及解决高可用问题。目前该平台已经支撑了10PB级别的数据分析任务。

“吃自己的狗粮”是AWS的重要实践之一,本主题将会阐述我们自己如何在IAAS之上实现一个新的PAAS产品,并总结我们遇到的问题以及处理的办法。

 听众收益:

1.  理解清楚IAAS云计算能做什么,也清楚它的能力极限

2.  理解如何在IAAS上搭建基于Lucene/Solr技术的搜索类应用

3.  理解如何在IAAS上搭建基于Hadoop的大数据类应用

盛大云计算产品运营中心总经理

聂颂,天津大学人工智能专业硕士,曾经在IBM担任第一个大中华区自主研发的IAAS产品P3负责人。现为盛大云产品委员会主席、产品运营中心总经理。聂颂还是PMP会员,中国系统分析员,中国云计算标准委员会委员。

参与代表项目:

1、2009年作为领头人负责IBM大中华区第一个自住研发的IAAS平台P3(Provisioning Platform and Portal),成功应用于国家电网、中华电信等500强企业。

2、2011-2012年作为盛大云技术负责人研发国内第一款按需付费的云主机产品——盛大云主机,目前应用于游戏、电商、网站、移动App等各种业务,为盛大集团提供基础设施服务,支持超过2亿终端用户访问。

演讲经历:

1.  2012 PMCaff 云计算技术演讲嘉宾

2.  2014 IC咖啡 - 《云中创业》主讲

3.  2014 漕河泾开发园区 - 《云中创业》主讲

4.  2014 云海联盟基地 - 《云中创业》主讲