Qcon上海2014

大数据解决方案专场

专题日期: 
星期五专题

大数据已经从数据收集、保存发展到挖掘数据价值的阶段。随着智能设备的发展,提供了越来越多的精准数据,数据的开放、交易与定价变得越来越迫切。无论传统大型企业内部,还是在活跃的移动互联网,如何将各自独立的数据交叉关联在一起,就成为巨大的挑战。在本专题,我们将讨论如何通过数据创造价值。

本次演讲将介绍了微软公有云上的Hadoop平台HDInsight Service,包括Hive的性能提升,HBase、mahout和Storm等的功能点。通过维吉尼亚理工大学的项目案例,你可以了解到如何通过低成本的Hadoop分析来降低基因测序结果分析的成本。此外,你还可以了解到如何通过Hadoop来分析了解游戏客户,以及Hadoop在各行业主要应用。通过本次分享,你可以了解微软公有云的Hadoop平台的主要功能,以及云中部署的主要特点和优势。

在统计分析领域,数据分析人员经常要大范围数据查询。传统基于关系型数据库早已无法有效支持。大数据时代,Hadoop、流式处理等技术的出现,给问题解决带来一些曙光,但是动辄几百、上千台服务器的集群,不是任何公司都可以承受的,另外每次批任务都要等待数小时,甚至一天才能获得结果,也越来越无法满足业务敏捷的需求。

Bitmap是传统DB中一种索引技术,TalkingData对这种索引技术进行了改造和优化,解决了以下几个大数据计算的典型问题:

1、快速的多维交叉计算:多维度,大数据表交叉计算的难题。

2、​节省成本:小规模集群环境可以很好的支持大数据场景下的大表Join计算。​

3、线性增长:采用自适应的计算模型,解决数据倾斜,负载均衡等分布式计算的复杂问题,使计算能力线性增长。