大数据：技术与应用实践指南

书籍目录

第1 章 大数据的概念和发展背景..........................................................................1

1.1 大数据的发展背景..................................................................................................1

1.2 大数据的概念和特征..............................................................................................4

1.2.1 大数据的概念.................................................................................................4

1.2.2 大数据的特征.................................................................................................4

1.3 大数据的产生..........................................................................................................5

1.3.1 数据产生由企业内部向企业外部扩展...........................................................5

1.3.2 数据产生从Web 1.0 向Web 2.0、从互联网向移动互联网扩展.....................6

1.3.3 数据产生从计算机/互联网（IT）向物联网（IOT）扩展..............................7

1.4 数据的量级..............................................................................................................7

1.4.1 数据大小的量级.............................................................................................7

1.4.2 大数据的量级.................................................................................................8

1.5 大量不同的数据类型..............................................................................................8

1.5.1 按照数据结构分类.........................................................................................9

1.5.2 按照产生主体分类....................................................................................... 12

1.5.3 按照数据作用方式分类................................................................................ 13

1.6 大数据的速度........................................................................................................ 14

1.7 大数据的潜在价值................................................................................................ 14

1.8 大数据的挑战........................................................................................................ 15

1.8.1 业务视角不同带来的挑战............................................................................ 15

1.8.2 技术架构不同带来的挑战............................................................................ 15

1.8.3 管理策略不同带来的挑战............................................................................. 16

第2 章 大数据应用的业务需求................................................................. 17

2.1 大数据应用的业务流程........................................................................................ 17

2.1.1 产生数据...................................................................................................... 17

2.1.2 聚集数据...................................................................................................... 18

2.1.3 分析数据...................................................................................................... 19

2.1.4 利用数据...................................................................................................... 19

2.2 大数据应用的业务价值........................................................................................ 19

2.2.1 发现大数据的潜在价值................................................................................ 20

2.2.2 实现大数据整合创新的价值........................................................................ 20

2.2.3 新领域再利用的价值................................................................................... 21

2.3 各行业大数据应用的个性需求............................................................................ 21

2.3.1 互联网与电子商务行业................................................................................ 21

2.3.2 零售业.......................................................................................................... 27

2.3.3 金融业.......................................................................................................... 28

2.3.4 政府.............................................................................................................. 32

2.3.5 医疗业.......................................................................................................... 34

2.3.6 能源业.......................................................................................................... 36

2.3.7 制造业.......................................................................................................... 37

2.3.8 电信运营业.................................................................................................. 39

2.3.9 交通物流业.................................................................................................. 41

2.4 企业级大数据应用的共性需求............................................................................ 42

2.4.1 客户分析...................................................................................................... 42

2.4.2 绩效分析...................................................................................................... 46

2.4.3 欺诈和风险评估........................................................................................... 48

2.5 以银行客户分析为例，分析一个大数据的应用场景....................................... 49

第3 章 大数据应用的总体架构和关键技术.............................................................. 51

3.1 总体架构................................................................................................................. 51

3.1.1 业务目标...................................................................................................... 51

3.1.2 架构设计原则............................................................................................... 52

3.1.3 总体架构参考模型....................................................................................... 55

3.1.4 总体架构的特点........................................................................................... 58

3.2 大数据存储和处理技术........................................................................................ 59

3.2.1 Hadoop：分布式存储和计算平台................................................................ 59

3.2.2 Hadoop 之HDFS：分布式文件系统............................................................. 65

3.2.3 Hadoop 之MapReduce：分布式计算框架.................................................... 72

3.2.4 Hadoop 之NoSQL：分布式数据库.............................................................. 98

3.2.5 Hadoop 之外的大数据计算技术................................................................. 113

3.3 大数据查询和分析技术：SQL on Hadoop ....................................................... 126

3.3.1 Hive：基本的Hadoop 查询和分析............................................................. 127

3.3.2 Hive 2.0：Hive 的优化和升级.................................................................... 137

3.3.3 实时互动的SQL：Impala 和drill .............................................................. 140

3.3.4 基于PostgreSQL 的SQL on Hadoop........................................................... 146

3.4 大数据高级分析和可视化技术.......................................................................... 147

3.4.1 传统数据仓库与联机分析处理技术........................................................... 147

3.4.2 大数据对传统分析的挑战.......................................................................... 150

3.4.3 大数据挖掘与高级分析.............................................................................. 150

3.4.4 大数据挖掘与高级分析库：Mahout........................................................... 155

3.4.5 非结构化复杂数据分析.............................................................................. 156

3.4.6 实时预测分析............................................................................................. 163

3.4.7 开源可视化工具：R 语言.......................................................................... 170

3.4.8 可视化技术................................................................................................ 178

3.5 以银行客户分析为例的大数据的技术环境部署............................................. 187

3.5.1 银行客户大数据应用体系架构................................................................... 187

3.5.2 技术环境安装与配置................................................................................. 189

第4 章 大数据与企业级应用的整合策略............................................................... 202

4.1 大数据传输、整合和流程管理平台................................................................. 203

4.1.1 数据传输.................................................................................................... 203

4.1.2 数据整合.................................................................................................... 209

4.1.3 流程管理.................................................................................................... 211

4.2 大数据与存储架构的整合.................................................................................. 215

4.2.1 传统存储架构比较..................................................................................... 215

4.2.2 大数据平台的存储架构的选择................................................................... 216

4.2.3 集群存储的发展......................................................................................... 217

4.2.4 基于HDFS 的集群存储.............................................................................. 219

4.2.5 固态硬盘（SSD）对内存计算的支持........................................................ 221

4.3 大数据与网络架构的发展.................................................................................. 221

4.4 大数据与虚拟化技术的整合.............................................................................. 227

4.5 在云计算平台上的大数据云.............................................................................. 229

4.6 大数据与信息安全.............................................................................................. 231

4.7 以银行客户分析为例，分析一个大数据的平台整合..................................... 234

第5 章 大数据应用的实践方法与案例................................................................... 235

5.1 实践方法论.......................................................................................................... 235

5.1.1 业务需求定义............................................................................................. 235

5.1.2 数据应用现状分析与标杆比较................................................................... 237

5.1.3 大数据应用架构规划和设计...................................................................... 238

5.1.4 大数据技术切入与实施.............................................................................. 239

5.1.5 大数据试用和评估..................................................................................... 240

5.1.6 大数据应用推广......................................................................................... 241

5.2 应用案例............................................................................................................... 241

5.2.1 亚马逊........................................................................................................ 241

5.2.2 雅虎............................................................................................................ 242

5.2.3 淘宝网........................................................................................................ 242

5.2.4 Facebook .................................................................................................... 243

5.3 以银行客户分析为例的实施案例分析............................................................. 244

5.3.1 银行基于大数据的客户分析的业务需求.................................................... 244

5.3.2 银行基于大数据的客户分析的现状与标杆比较......................................... 245

5.3.3 银行基于大数据的客户分析的应用架构规划与设计................................. 246

5.3.4 银行基于大数据的数据分析的实施、试点和推广..................................... 247

第6 章 大数据应用的主流解决方案...................................................................... 248

6.1 产业链................................................................................................................... 248

6.1.1 国际上的大数据生态环境.......................................................................... 248

6.1.2 国内产业链主要力量................................................................................. 251

6.2 主流厂商解决方案.............................................................................................. 252

6.2.1 Cloundera ................................................................................................... 252

6.2.2 Hortonworks ............................................................................................... 254

6.2.3 MapR.......................................................................................................... 254

6.2.4 IBM ............................................................................................................ 255

6.2.5 Oracle ......................................................................................................... 257

6.2.6 EMC ........................................................................................................... 258

6.2.7 Intel ............................................................................................................ 259

6.2.8 SAP ............................................................................................................ 260

6.2.9 Teradata ...................................................................................................... 262

第7 章 大数据应用的未来挑战和趋势........................................................................ 263

7.1 隐私保护............................................................................................................... 263

7.1.1 法律保护.................................................................................................... 264

7.1.2 技术保护.................................................................................................... 266

7.1.3 理念革新.................................................................................................... 267

7.2 技术标准............................................................................................................... 268

7.2.1 ISO 标准化进展......................................................................................... 268

7.2.2 评价基准和基准测试................................................................................. 269

7.2.3 标准套件.................................................................................................... 273

7.3 大数据治理.......................................................................................................... 273

7.3.1 数据治理框架............................................................................................. 274

7.3.2 数据质量管理............................................................................................. 274

7.3.3 大数据的组织、角色和责任...................................................................... 276

7.4 适应商业社会的未来趋势.................................................................................. 277

7.4.1 从产品推销向数据营销的转变................................................................... 277

7.4.2 从流程驱动到分析驱动的转变................................................................... 277

7.4.3 从私有资源到公共服务的转变................................................................... 278

作者简介

大数据是互联网、移动应用、社交网络和物联网等技术发展的必然趋势，大数据应用成为当前最为热门的信息技术应用领域。本书由浅入深，首先概述性地分析了大数据的发展背景、基本概念，从业务的角度分析了大数据应用的主要业务价值和业务需求，在此基础上介绍大数据的技术架构和关键技术，结合应用实践，详细阐述了传统信息系统与大数据平台的整合策略，大数据应用实践的流程和方法，并介绍了主要的大数据应用产品和解决方案。最后，对大数据面临的挑战和未来的趋势进行了展望。

本书既具有技术深度，又具有很强的可操作性，提供了一个系统性、架构性的大数据应用实践指南，纲要性地指导大数据应用实践，推动大数据技术在各个行业的广泛应用。

 大数据：技术与应用实践指南下载 更多精彩书评