Qcon上海2014

真实的云计算应用实践

专题出品人: 
专题日期: 
星期六专题

   伴随着移动互联网的高速发展和竞争的白热化,越来越多的公司选择放弃传统自建IT的方式,而选择了在云端上生存。如果你有计划改变你的企业IT架构,或者你已经在云端生存但是遇到了问题,欢迎参加“真实的云计算应用实践”,我们与你交流真实的云端生存体验,包括成功经验的分享,也包括曾经遇到的坑与对应的解决方法。

2011年刚从硅谷回到国内的时候,感到中国互联网行业的创业公司真心不(kǔ)易(bī),没有各种合适可用的第三方工具或者云服务,来缩短创业公司把产品推向市场的时间,帮助创业公司快速迭代自己的核心功能。

时间快进到2014年,3年里无数优秀的开发者服务从诞生走向成熟,为互联网创业公司提供了很多价值,我会结合“英语流利说”使用第三方工具或者云服务的经验,谈一下2014年在中国互联网创业公司工具箱里必不可少的一些工具。

目前IAAS云计算平台的API不断丰富,自动化脚本和镜像服务也越来越具有可操作性。是时候在IAAS上部署深度的服务了。本主题将会讲述两个基于IAAS(使用了云主机、云存储、云硬盘和云分发)API的两个应用。

一个是基于Lucene/Solr + IAAS的搜索云。在云中实现搜索技术,如何分配建立索引的计算能力、如何平衡延迟和吞吐、如何进行基于IAAS的资源调度等是主要问题,本主题将介绍盛大搜索云的实战过程中的问题和方案,目前该产品实现了T B级别的企业级常见格式文档的全文检索。

另一个应用是基于Hadoop + IAAS的大数据云,需要考虑在不同的场景下分配Namenode,Datanode,Zookeeper, Resource Manager, QJM, Hive, Hbase, Storm, Datax, sqoop各个节点的计算能力,实现各个任务之间血缘关系,处理内网瓶颈,解决高IOPS问题,以及解决高可用问题。目前该平台已经支撑了10PB级别的数据分析任务。

“吃自己的狗粮”是AWS的重要实践之一,本主题将会阐述我们自己如何在IAAS之上实现一个新的PAAS产品,并总结我们遇到的问题以及处理的办法。

 听众收益:

1.  理解清楚IAAS云计算能做什么,也清楚它的能力极限

2.  理解如何在IAAS上搭建基于Lucene/Solr技术的搜索类应用

3.  理解如何在IAAS上搭建基于Hadoop的大数据类应用

语音识别(Automatic Speech Recognition)是人机交互的一个非常重要的组成部分,是过去半个多世纪业界和学界的研究热点。语音识别的发展历程可谓坎坷,然而当语音识别遇上了深度学习、大数据以及云计算,一切都在朝着我们乐见的方向发展。

近几年,由于深度学习、大数据以及云计算在语音识别中得到广泛应用,语音识别的核心效果得到了长足的进展,然而其背后的超大深度学习平台还不为众人所知,本演讲也为大家揭开语音识别及其他人工智能背后的深度学习平台的神秘面纱。

美团于2012年开始云计算的探索。从2012年9月上线第一版云平台以来,经历了从无到有、从小到大、从简到繁的过程,目前美团每月超过40亿交易额的业务运行在自主研发的云平台之上。我们将向听众介绍在这两年多的时间里,美团云平台的演进历程,介绍一路上的各种尝试和思考。您将听到:

* 最初的云平台架构设计和选型,为什么基于OpenStack架构的同时又自主研发主要组件?

* 如何基于一套代码支撑了美团私有云、公有云(MOS)和办公云?

* 美团如何使用云平台?

* 如何通过技术手段保证云平台的稳定运行?

为知笔记是一款SaaS服务应用,所有服务都架构在云平台上。

为知笔记后台服务的发展历程,也是国内云生态链的发展经历。早期,我们在aws上使用,后来搬到阿里云,逐步发展到能够为用户提供多种云上部署,现在我们擅于应用各种新的云服务为用户服务。

在国内云服务还不成熟、国外云访问慢时,我们曾尝试过自建云服务,但最终决定专注于核心业务,与阿里云合作,全面迁移到阿里云,后来得到微软扶持在海外使用Azure。

为知笔记后台服务主要提供笔记的存储、组织检索和协同服务,还有大量的云端数据处理服务(如微博微信保存、邮件转换、离线抓取等),架构也随着用户量增多、功能增强而不断的演进,目前的架构是面向千万级用户的架构,可根据用户选择的服务在不同的云服务不同的帐号下部署个性化服务。这一切都是自动化的,减少了人工参与也减少了故障,我们同时使用云平台的安全策略和主动防御的机制来保障服务安全。

作为小团队创业,从一开始就把业务架构在云上是不二之选,在第一个版本开始就可以给用户提供优质服务,团队不仅可以专注于核心业务,还可以规避掉各种风险。

携程基于OpenStack做了大量的二次开发,打造携程私有云; 在刚刚结束的2014 cloud connect全球云计算大会上,携程云平台获得全球最佳实践奖。

将深入分享携程如何应用OpenStack构建私有云平台的最新进展,实现多数据中心基础设施即服务,物理机自动化部署,VMware/KVM虚拟机管理;以及相关系统的集成(如流程、监控、AD等); 如何基于openstack打造大规模呼叫中心虚拟桌面云以及碰到的挑战; 我们将所有的开发、测试环境全部迁移到OpenStack管理,VMWare到KVM的迁移已经实施部分,生产环境OpenStack初步实现与流程系统的集成,审批后即能自动部署,Bare Metal Provisioning已支持所有主流机型,大大提高了在携程业务、流量高速增长情况下基础设施的扩容速度;仅过去半年我们的vm数量就增长了1倍;虚拟桌面云已经部署近1000个桌面,分布在上海呼叫中心以及如皋卫星办公室,我们的目标是要打造支撑携程超过万人的多呼叫中心云桌面平台;

听众可以学习到:

• 如何基于OpenStack打造私有云

• OpenStack目前运维与开发主要的挑战

• OpenStack大规模自动化部署与HA

• 携程在OpenStack对KVM/VMware支持的改进方面,kvm优化经验