R高性能编程

内容概要

Aloysius Lim

擅长将复杂的数据和模型表述为简单易懂的见解。作为About People的联合创办者、数据科学家及设计顾问，他喜欢解决问题，以及帮助他人寻找利用数据解决业务难题的实践方案。在政府、教育和零售行业长达7年的丰富经验，造就了他寻找具有创造性的解决办法的独特视角。

衷心地感谢上帝给我机会撰写本书，让我分享这些知识。在这个过程中，我亲爱的妻子Bethany给予了极大的支持和鼓励。谢谢你全部的爱，亲爱的。非常感谢我的搭档William，他是我灵感和洞察力的来源。

William Tjhi

数据科学家，在学术、政府及工业界具有多年的工作经验。他自读博期间开始了数据科学之旅，研究了一些新算法以提高高维数据聚类的健壮性。取得博士学位之后，他从基础研究转向了应用研究，致力于采用机器学习方法解决分子生物学和传染病学中的各种问题。他在一些同行评审的期刊和会议上发表了部分研究成果。随着大数据的兴起，William离开了学术界，转而投入工业界，开始了商业和公共部门领域的数据科学实践。William热衷于R，从他搞研究的那天开始就一直使用R作为主要的分析工具。他曾经是Revolution Analytics的一员，那时候他做了很多使R更加适合大数据的贡献。

书籍目录

前言
X

1  理解R的性能：为什么R程序有时候很慢？
1

计算性能的三个限制因素：CPU、RAM和磁盘I/O
2

R是运行时解释的
4

R是单线程的
5

R需要将全部数据加载到内存
5

算法设计影响时间和空间复杂度
6

小结
9

2  性能分析：衡量代码的性能
11

衡量总运行时间
11

使用system.time()衡量运行时间
12

使用rbenchmark重复衡量运行时间
13

使用microbenchmark衡量运行时间的分布
15

分析运行时间
16

使用Rprof()分析函数的性能
16

性能分析的结果
18

分析内存使用情况
20

使用OS工具监控内存使用情况、CPU使用情况和磁盘I/O
22

瓶颈的发现及解决
23

小结
26

3  加快R运行的简单方法
27

向量化
27

使用内置函数
29

预分配内存
30

使用更简单的数据结构
33

使用哈希表进行大型数据上的频繁查找
34

去CRAN寻找更快的包
35

小结
36

4  使用编译代码加快运行速度
37

在运行之前编译R代码
37

编译函数
38

即时编译（JIT）R代码
41

在R中使用编译语言
41

前提条件
42

以内联形式包含编译代码
42

调用外部编译代码
46

使用编译代码的注意事项
49

小结
52

5  使用GPU让R运行得更快
53

GPU上的通用计算
53

R和GPU
54

安装gputools
55

使用gputools实现快速统计建模
55

小结
59

6  减少内存使用的简单方法
61

重用对象而不多占用内存
61

删除不再需要的中间数据
66

运行时计算值而不是永久性存储值
69

交换活跃数据和非活跃数据
71

小结
71

7  使用有限的内存处理大型数据集
73

使用节约内存的数据结构
73

更小的数据类型
76

稀疏矩阵
77

对称矩阵
78

比特向量
79

使用内存映射文件并以块的形式处理数据
80

bigmemory包
81

ff包
85

小结
89

8  使用并行计算加倍提升性能
91

数据并行性 v.s. 任务并行性
91

实现数据并行的算法
95

实现任务并行的算法
98

集群节点运行同一个任务时
98

集群节点运行多个不同任务时
100

计算机集群并行执行多个任务
102

共享内存并行性 v.s. 分布式内存并行性
104

优化并行的性能
108

小结
109

9  将数据处理交给数据库系统
111

将数据抽取到R v.s. 在数据库中处理数据
111

在关系型数据库中使用SQL进行数据预处理
112

将R表达式转化为SQL
116

使用dplyr
117

使用PivotalR
119

在数据库中运行统计和机器学习算法
122

使用列式数据库提升性能
125

使用数据库阵列最大化科学计算的性能
128

小结
129

10  R和大数据
131

理解Hadoop
131

在Amazon Web Services上配置Hadoop
133

使用Hadoop批量处理大型数据集
136

将数据上传到HDFS
136

使用RHadoop分析HDFS数据
138

R中的其他Hadoop包
142

小结
143

作者简介

R语言是专门为统计学和数据分析开发的解释型语言，主要用于数学建模、统计计算、数据处理、可视化等几个方面。近年来，受大数据的影响，R语言备受业界追捧。与此同时，工业界和学术界都越来越要求R具备高效分析和处理大规模数据的能力。但是，由于R本身的设计问题，它能够有效处理的数据规模和计算复杂度有限。

为此，《R高性能编程》提供了较为完整的参考方案和技术指南。《R高性能编程》首先解释了CPU、内存和磁盘I/O等影响R性能的三个因素，剖析了R在处理大规模数据时出现性能瓶颈的原因。在理解了R的设计原理及其性能限制的基础之上，《R高性能编程》给出了提升R性能的方法和技术，例如：尽量使用向量化运算避免不必要的计算开销，预分配内存避免不必要的动态内存分配，使用编译代码减少CPU时间，删除不必要的中间数据释放内存占用，通过运行时计算代替永久存储减少内存使用，使用内存映射文件处理大型数据集，使用并行计算技术优化代码，以及接入数据库处理工具，等等。最后，《R高性能编程》提供了如何在R中使用Hadoop的方法，以处理和分析大数据。

 R高性能编程下载