Storm实时数据处理

内容概要

Quinton Anderson　软件工程师，专注实时计算系统开发。他在构建防御系统的实时通信系统，以及财务与银行服务中的企业级应用程序方面有丰富的经验。他热衷于开源，是Storm社区的活跃分子，乐于交付各种基于Storm的解决方案。

【译者简介】

卢誉声　资深软件开发工程师，现就职于思科系统（中国）研发中心云产品研发部。他曾参与多个项目协议级别定义、SDK及服务器后端和前端的设计与研发，在下一代实时云计算协作平台的研发过程中积累了丰富的敏捷实践与开发经验。此外，他还从事C/C++开发工作，对Clojure、JavaScript、Lua，以及移动开发平台等也有一定研究。

书籍目录

第1章　搭建开发环境 / 1

1.1　简介 / 1

1.2　搭建开发环境  / 1

1.3　分布式版本控制 / 3

1.4　创建“Hello World”Topology / 6

1.5　创建Storm集群——配置机器 / 12

1.6　创建Storm集群——配置Storm / 18

1.7　获取基本的点击率统计信息 / 23

1.8　对Bolt进行单元测试 / 31

1.9　实现集成测试 / 34

1.10　将产品部署到集群 / 37

第2章　日志流处理 / 38

2.1　简介 / 38

2.2　创建日志代理 / 38

2.3　创建日志Spout / 40

2.4　基于规则的日志流分析 / 45

2.5　索引与持久化日志数据 / 49

2.6　统计与持久化日志统计信息 / 53

2.7　为日志流集群创建集成测试 / 55

2.8　创建日志分析面板 / 59

第3章　使用Trident计算单词重要度 / 71

3.1　简介 / 71

3.2　使用Twitter过滤器创建URL流 / 71

3.3　从文件中获取整洁的词流 / 76

3.4　计算每个单词的相对重要度 / 81

第4章　分布式远程过程调用 / 85

4.1　简介 / 85

4.2　通过DPRC实现所需处理流程 / 85

4.3　对Trident Topology进行集成测试 / 90

4.4　实现滚动窗口Topology / 95

4.5　在集成测试中模拟时间 / 98

第5章　在不同语言中实现Topology / 100

5.1　简介 / 100

5.2　在Qt中实现多语言协议 / 100

5.3　在Qt中实现SplitSentence Bolt / 105

5.4　在Ruby中实现计数 Bolt / 108

5.5　在Clojure中实现单词计数Topology / 109

第6章　Storm与Hadoop集成 / 113

6.1　简介 / 113

6.2　在Hadoop中实现TF-IDF算法 / 115

6.3　持久化来自Storm的文件 / 121

6.4　集成批处理与实时视图 / 122

第7章　实时机器学习 / 127

7.1　简介 / 127

7.2　实现事务性Topology / 129

7.3　在R中创建随机森林分类模型 / 134

7.4　基于随机森林的事务流业务分类 / 143

7.5　在R中创建关联规则模型 / 149

7.6　创建推荐引擎 / 152

7.7　实时在线机器学习 / 157

第8章　持续交付 / 162

8.1　简介 / 162

8.2　搭建CI服务器 / 162

8.3　搭建系统环境 / 164

8.4　定义交付流水线 / 166

8.5　实现自动化验收测试 / 170

第9章　在AWS上部署Storm / 177

9.1　简介 / 177

9.2　使用Pallet在AWS上部署Storm / 177

9.3　 搭建虚拟私有云 / 181

9.4　使用Vagrant在虚拟私有云上部署Storm / 189

作者简介

【编辑推荐】

从多个角度全面讲解Storm实时数据处理技术和最佳实践，为快速掌握并灵活应用Storm提供实用指南；

从实际问题出发，系统介绍Storm的基本应用、多语言特性、完整业务系统实现和产品交付的最佳实践方法；从产品持续交付角度，分析并实践集成、测试和交付的所有步骤。

【内容简介】

在大数据领域，Hadoop无疑是最炙手可热的技术。作为分布式系统架构，Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而随着数据体积越来越大，实时处理能力成为了许多机构需要面对的首要挑战。Hadoop是一个批处理系统，在实时计算处理方面显得十分乏力。Storm是一个类似于Hadoop的实时数据处理框架，也是一个非常有效的开源实时计算工具，通常被比作“实时的Hadoop”。

本书通过丰富的实例，系统讲解Storm的基础知识和实时数据处理的最佳实践方法，内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器学习、持续交付和如何在AWS上部署Storm。此外，本书旨在围绕Storm技术促进DevOps实践，使读者能够开发Storm解决方案，同时可靠地交付有价值的产品。

本书适合想学习实时处理技术或者想通过Storm实现实时处理方法的开发者阅读。

本书涵盖搭建基于Storm的开发环境和测试实时系统的许多实用方法与实战用例，以及如何应用交付最佳实践来将系统部署至云端。

通过阅读本书，你将学到如何构建包含统计面板和可视化的实时日志处理系统。通过集成Storm、Cassandra、Cascading和Hadoop，你将了解如何构建一个用于文字挖掘的完整实时大数据解决方案。你还会了解到如何在Storm集群中利用不同编程语言实现特定的功能，并最终将所有解决方案交付至云端。本书中的每一个步骤都应用了成熟的开发和操作实践，确保你能够可靠地交付产品。

通过阅读本书，你将能够：

搭建你的开发环境并测试Strom集群

处理数据流，包括基于规则的处理流程

构建分布式远程过程调用

交付基于多语言实现的Storm Topology，包括Java、Clojure、Ruby和C++

将Storm与Cassandra、Hadoop集成

使用Cascading实现基于批处理的单词重要度算法

创建并部署预测评分模型和分类模型

掌握持续集成和将Storm部署至云端的方法。

 Storm实时数据处理下载 更多精彩书评