zhouhaipeng
周海鹏
TalkingData技术副总裁
周海鹏，中科院硕士毕业，一直从事云存储、云计算开发及架构工作，专注于分布式存储、分布式计算、大数据分析等方向。现任TalkingData技术副总裁，从事大数据计算平台工作，对分布式存储和分布式计算、VLDB、大数据分析等有深刻实践，主持研发实时流式OLAP计算框架，分布式索引，分布式查询系统。曾在中国电信、中国移动工作，主持开发中国移动12580项目等，关注高可靠、高可用、高扩展、高性能系统服务，以及Hadoop/HBase/Storm/Spark等离线、流式及实时分布式计算技术。
-
演讲主题: 大数据下的大表Join计算及其优化
所属专题:在统计分析领域，数据分析人员经常要大范围数据查询。传统基于关系型数据库早已无法有效支持。大数据时代，Hadoop、流式处理等技术的出现，给问题解决带来一些曙光，但是动辄几百、上千台服务器的集群，不是任何公司都可以承受的，另外每次批任务都要等待数小时，甚至一天才能获得结果，也越来越无法满足业务敏捷的需求。
Bitmap是传统DB中一种索引技术，TalkingData对这种索引技术进行了改造和优化，解决了以下几个大数据计算的典型问题：
1、快速的多维交叉计算：多维度，大数据表交叉计算的难题。
2、节省成本：小规模集群环境可以很好的支持大数据场景下的大表Join计算。
3、线性增长：采用自适应的计算模型，解决数据倾斜，负载均衡等分布式计算的复杂问题，使计算能力线性增长。