Guagua：PayPal的Hadoop迭代式计算框架

PayPal的飞速发展离不开PayPal风险控制团队的巨大贡献。PayPal风险控制团队主要致力于使用大数据技术判别在PayPal上的虚假交易。如何利用大数据精准的训练风险控制的数学模型一直是PayPal风险控制团队的研究重点。

Guagua是基于Hadoop的内存迭代式计算框架。在PayPal内部Guagua主要被用于训练基于海量数据的风险控制模型。在本次演讲中您不仅可以了解到Guagua如何通过改进Hadoop MapReduce用以支持大数据的数学模型的训练，您还可以了解到Guagua的整体设计架构（包括对Hadoop YARN的支持）；在可扩展性方面，Guagua同时支持Hadoop MapReduce和Hadoop YARN，很容易扩展到其它计算平台。此外，Guagua的微核插件化设计体系可以使得用户灵活地更换、组合甚至是开发新的组件。本次演讲中您还会了解到Guagua不同于Spark的一些高级的特性，如：完整的容错机制、慢任务检测机制、可定制的Worker超时机制、友好的进度和状态提示等等。