数据挖掘核心技术揭秘

书籍目录

目录

前　言

第一部分　基 础 知 识

第1章　引言2

1.1　数据挖掘的含义2

1.2　数据挖掘的演变过程3

1.3　数据工具简介4

1.3.1　Hadoop与MapReduce5

1.3.2　Pig语言8

1.3.3　MATLAB编程9

1.3.4　SAS9

1.3.5　WEKA12

1.3.6　R语言编程12

1.4　数据挖掘应用领域13

1.5　小结14

第2章　数学基础15

2.1　概率统计16

2.1.1　基本概念16

2.1.2　随机变量及其分布19

2.2　相似度24

2.2.1　期望与方差25

2.2.2　距离27

2.2.3　相关系数31

2.3　矩阵计算34

2.4　最小二乘法39

2.4.1　最小二乘法定义39

2.4.2　回归40

2.4.3　参数的最小二乘法估计42

第3章　海量数据处理技术46

3.1　索引技术46

3.1.1　数据库索引46

3.1.2　文本索引49

3.2　海量数据处理技术52

3.2.1　外排序53

3.2.2　分布式处理53

3.2.3　Bloom filter54

3.2.4　常用技巧55

第二部分　聚　　类

第4章　聚类58

4.1　应用场景58

4.1.1　语音区分58

4.1.2　新闻分组59

4.1.3　选定销售策略59

4.1.4　交通事件预测59

4.2　聚类技术60

4.2.1　划分聚类61

4.2.2　层次聚类67

4.2.3　基于密度的聚类70

4.2.4　基于网格的聚类72

4.3　多元分析72

4.3.1　主成分分析法73

4.3.2　因子分析83

4.3.3　对比分析83

第5章　离群点挖掘技术85

5.1　应用场景85

5.1.1　异常交通事件检测85

5.1.2　欺诈检测85

5.1.3　入侵检测86

5.1.4　异常气候检测86

5.2　离群点挖掘技术86

5.2.1　基于统计的离群点挖掘技术87

5.2.2　基于邻近度的离群点挖掘技术88

5.2.3　基于密度的离群点挖掘技术89

5.2.4　基于聚类的离群点挖掘技术92

5.2.5　高维数据的离群点检测算法93

第三部分　分　　类

第6章　决策树98

6.1　应用场景98

6.1.1　病情诊断98

6.1.2　信用卡欺诈检测98

6.2　决策树技术99

6.2.1　概述99

6.2.2　技术实现100

6.2.3　多分类决策树104

6.2.4　参考实例106

第7章　基于实例的学习108

7.1　应用场景108

7.1.1　机械装备的总体设计108

7.1.2　对新的法律案件的推理109

7.1.3　规划或调度问题109

7.2　K近邻算法110

7.3　K-D树111

7.3.1　近邻的实现：K-D树111

7.3.2　K-D树的构建112

7.3.3　K-D树的最近邻搜索算法113

第8章　支持向量机115

8.1　应用场景115

8.1.1　病情分类115

8.1.2　动物分类116

8.2　支持向量机技术116

8.2.1　概述116

8.2.2　技术实现118

8.2.3　核函数122

8.2.4　多类分类器124

第9章　贝叶斯学习126

9.1　应用场景126

9.1.1　垃圾邮件过滤126

9.1.2　手写文字识别127

9.1.3　拼写检查128

9.1.4　分词128

9.1.5　语音识别129

9.1.6　股票价格预测129

9.1.7　病情诊断129

9.1.8　选定销售策略130

9.1.9　交通事件预测130

9.2　贝叶斯学习技术131

9.2.1　概述131

9.2.2　技术实现131

9.2.3　参考实例135

第10章　人工神经网络138

10.1　应用场景138

10.1.1　信用卡欺诈检测138

10.1.2　病情诊断139

10.1.3　足球比赛预测139

10.1.4　图像姿势识别139

10.1.5　利用图像识别的自动驾驶140

10.1.6　人脸识别140

10.1.7　语音分类识别141

10.2　人工神经网络技术142

10.2.1　概述142

10.2.2　技术实现142

10.2.3　参考实例145

第11章　遗传算法152

11.1　应用场景152

11.1.1　私人定制的电影152

11.1.2　国际象棋学习153

11.1.3　电路设计154

11.1.4　机器人的模拟控制154

11.1.5　函数设计154

11.1.6　唐诗生成器155

11.1.7　音乐生成器155

11.2　遗传技术155

11.2.1　概述155

11.2.2　技术实现158

11.2.3　参考实例：背包问题166

第四部分　回　　归

第12章　卡尔曼算法170

12.1　应用场景170

12.1.1　股票价格预测170

12.1.2　GPS定位预测171

12.2　卡尔曼技术171

12.2.1　卡尔曼算法定义171

12.2.2　技术实现172

12.2.3　参考实例：GPS定位175

第五部分　应　　用

第13章　推荐系统180

13.1　应用场景181

13.1.1　歌曲推荐181

13.1.2　QQ好友圈子的推荐功能182

13.1.3　今日头条183

13.1.4　淘宝商品推荐184

13.1.5　Netflix电影推荐184

13.1.6　豆瓣FM的推荐185

13.1.7　为用户定制的广告185

13.1.8　苹果APP排名的规则186

13.2　推荐系统技术186

13.2.1　协同过滤187

13.2.2　基于内容的推荐188

13.2.3　推荐系统的缺陷189

13.2.4　潜在因子算法190

13.2.5　参考实例：音乐推荐193

附录A　数据挖掘技术总结197

作者简介

本书包括五部分内容。第一部分（第1~3章）涉及数据挖掘技术的基础知识，介绍数据挖掘的定义、数据挖掘工具及应用领域，数据挖掘的数学基础内容，以及海量数据挖掘处理技术。第二部分（第4~5章）分别从聚类技术和离群点挖掘技术阐述聚类在语音区分、新闻分组、销售策略制定、交通事故预测、欺诈检测、入侵检测、异常气候检测等方面的应用。第三部分（第6~11章）分别从决策树、基于实例的学习、支持向量机、贝叶斯学习、人工神经网络、遗传算法在病情诊断、信用卡欺诈、机械装备设计、法律案件审理、动物分类、垃圾邮件过滤、手写文字识别、股票价格预测、人脸识别、音乐生成等方面阐述分类的应用。第四部分（第12章）阐述回归数据挖掘技术的应用，涉及卡尔曼算法在股票价格预测、GPS定位方面的应用。第五部分（第13章）介绍推荐系统这个最典型的数据挖掘应用。附录总结本书内容，阐述数据挖掘技术的数学本质。

 数据挖掘核心技术揭秘下载