基于Storm利用空闲资源构建实时计算平台
讲师:
所属专题:
Storm是一个分布式实时流式计算系统，与Hadoop相比在实时、流式数据的处理方面具有天然的优势，在很多互联网公司有成功的应用。本演讲将介绍在360基于Storm构建大规模分布式实时计算平台，如何利用已有的空闲资源来满足业务的需求，在构建这个平台的过程中遇到了哪些问题以及如何解决的，特别是对于实时计算系统Storm，遇到过很多问题，做了很多改进和解决方案，包括平台稳定性、易用性、高可用等方面。
奇虎360技术经理
2009年至2012年在百度从事Hadoop平台研究与建设，2012年至今在360负责大数据计算平台包括Hadoop、Storm、Spark等，熟悉Hadoop核心代码，经历了Hadoop集群从几十台到上万台规模的扩张和其中遇到的各种问题与解决方案，参与设计实现基于HBase的搜索网页库。2012年开始研究分布式实时计算平台Storm，推动Storm在奇虎360的大规模应用与改进，目前在360负责大数据计算平台的改进与应用与新技术研发。热衷于开源技术，积极参与Hadoop、Storm等开源社区并贡献代码，曾在Hadoop In China、中国大数据技术大会上担任演讲嘉宾。