大数据精准挖掘

内容概要

作者EMC2公司的工作经历、深厚的专业基础、精准的数据挖掘工具、结合实践的成功案例，使本书价值斐然，值得推荐！

书籍目录

第1篇基础篇

第1章大数据时代下的数据挖掘3

1.1大数据的基础4

1.1.1大数据呈现出了数据的新价值4

1.1.2数据采集、存储与提取技术信息化5

1.1.3数据挖掘技术是大数据时代最本质特征5

1.2大数据的特点6

1.2.1数据规模大6

1.2.2数据类型多6

1.2.3价值密度低，但总体的数据价值高7

1.2.4数据处理有速度要求7

1.3大数据的作用7

1.3.1数据已渗透到社会每个角落8

1.3.2数据成为竞争的新元素8

1.3.3数据创造新价值9

1.3.4大数据地位不断跃升9

1.4大数据与数据挖掘10

1.4.1数据挖掘技术是大数据时代的灵魂和核心10

1.4.2数据挖掘技术涉及多种多类的知识节点10

1.4.3选择最好的数据挖掘工具10

1.5令人期待的大数据时代11

1.6本章小结11

第2章大数据与云计算13

2.1大数据与云计算13

2.1.1大数据与云计算关系13

2.1.2大数据扩展了云计算服务类型14

2.1.3云计算数据存储系统得到推广14

2.1.4追求集成一体化技术14

2.1.5大数据和云计算缺一不可15

2.2云计算的定义与特点15

2.2.1云计算的定义15

2.2.2云计算的特点15

2.3云计算的基本架构16

2.3.1云计算架构的基本层次16

2.3.2云计算架构的服务层次16

2.4云计算的关键技术17

2.4.1虚拟化技术17

2.4.2数据存储技术19

2.4.3资源管理技术19

2.4.4云计算中的编程模型20

2.4.5集成一体化技术21

2.4.6自动化技术21

2.5云计算的商业模式21

2.5.1商业模式是云计算的基石21

2.5.2云计算的市场规模22

2.5.3云计算商业模式分析22

2.6本章小结23

第2篇理论篇

第3章数据挖掘的主要方法及工具27

3.1数据挖掘主要方法27

3.1.1决策树分类27

3.1.2神经网络33

3.1.3Logistic回归方法37

3.1.4聚类分析38

3.1.5数据挖掘方法比较39

3.1.6分类器的评估与选择40

3.2流行数据分析平台及数据挖掘工具介绍46

3.3本章小结52

第4章Logistic回归模型53

4.1多元线性回归模型53

4.2Logistic回归模型55

4.3Logistic回归模型的参数估计56

4.4Logistic回归模型中回归系数的意义58

4.5Logistic回归模型的拟合优度63

4.6Logistic回归系数的显著性检验72

4.7Logistic回归模型的预测准确性75

4.8回归变量的选择与逐步回归77

4.9本章小结83

第5章数据挖掘建模过程86

5.1CRISPDM86

5.2SAS数据挖掘方法论——SEMMA88

5.3数据挖掘经验谈89

5.4本章小结89

第3篇应用篇

第6章金融行业应用1——信用评分93

6.1国内信用卡业务现状93

6.2信用评分模型的起源、类别和发展94

6.3信用评分的步骤95

6.4实例演示97

6.4.1二元变量预测建模98

6.4.2图形版建模输出讲解1——效果评价101

6.4.3图形版建模输出讲解2——评分卡文件103

6.5本章小结109

第7章金融行业应用2——信用卡催收评分110

7.1信用卡催收评分模型背景介绍110

7.2实例演示112

7.2.1图形版连续变量预测建模112

7.2.2图形版建模输出114

7.3本章小结116

第8章保险电销应用——寻找目标客户117

8.1背景介绍117

8.2案例数据展示及分析118

8.2.1业务目标118

8.2.2数据展示118

8.3数据挖掘与分析过程120

8.3.1数据预处理120

8.3.2造变量122

8.3.3生成挖掘表123

8.3.4建立响应模型125

8.3.5建模结果分析125

8.4数据挖掘结果的运用129

8.5本章小结129

第9章电信行业应用——客户流失预测131

9.1背景介绍131

9.2案例数据展示及分析131

9.2.1商业理解131

9.2.2数据理解132

9.2.3数据准备132

9.3建立打分模型133

9.4分析建模结果134

9.5数据挖掘结果的运用136

9.6本章小结137

第10章商品零售行业应用——购物篮分析138

10.1某连锁零售公司的背景介绍138

10.2购物篮分析的基本内容139

10.2.1同次购买的基本概念139

10.2.2同次购买的关联规则质量的衡量140

10.2.3购买分析的实现141

10.2.4下次购买的基本概念142

10.2.5下次购买行为预测142

10.3购物篮分析——MBA工具的使用145

10.3.1MBA工具的用途145

10.3.2MBA工具的使用146

10.3.3MBA工具的输出146

10.4本章小结149

第11章实战项目——交叉销售150

11.1背景介绍150

11.2案例数据展示及分析151

11.2.1数据展示151

11.2.2业务目标及分析要求152

11.3数据挖掘过程152

11.3.1数据预处理152

11.3.2划分数据集及生成目标变量153

11.3.3生成衍生变量154

11.3.4生成挖掘表159

11.4建立打分模型160

11.5结果分析161

11.6本章小结162

第12章收益预测163

12.1背景介绍163

12.2数据展示163

12.2.1原始数据集展示163

12.2.2数据挖掘表的生成165

12.3图形版建模166

12.3.1建模过程166

12.3.2模型输出166

12.3.3为新数据集打分168

12.4本章小结170

参考文献172

作者简介

过去，在产品经济年代，一提到“基础设施”，人们便知道这是指：水、电、气；路、桥、隧；铁（路）、公（路）、机（场）等。因为原材料与制成品的运输、产品的制造必须仰仗这些基础设施。可是在数字化、服务经济的今天，“基础设施”还得加上“大、云、平、移”（大云平移）这几项。

那么，何为大云平移？

大就是大数据，即通过云计算、移动互联网等手段，从各类数据中快速获得有价值信息的能力。它具有体量巨大（Volume）、类型繁多（Variety）、价值低密度（Value）和处理快速（Velocity）的4V特点。它将在海量数据中挖掘事物的规律和特征，这是传统科学家和传统科研方法永远做不到的。

云就是云计算，从本质上说就是一种公共服务，就如100年前电的应用也是公共服务一样，现已证明云的普及只是转瞬之间发生的事。

平就是平台，有交易平台、媒体平台、支付平台、软件平台等。全球品牌500强前十名中有6个是平台型企业；中国500强企业前40名中，利润最丰厚的是平台型企业，如百度、网易、腾讯、阿里巴巴等。平台型企业是当下企业的巨无霸。

移就是移动互联网，即互联网加移动通信，近年来它在国内外的发展极为迅速，未来十年，它的全方位应用将让人怦然心动。

作为一种基础设施，大云平移正影响着许多产业。比如银行的前台（业务部门、市场拓展）、中台（信贷审批、市场监控、风险管理、规划与财务、政策管理与监管合规）与后台（集中处理、信息系统、呼叫中心、集团后勤），都有体现。2008年，银行后台开始应用这些基础设施；2009年，前台也开始运用大数据作分析，包括客户分级、精准营销、易流失客户群体的评判等。至于中台，例如银行规划商业网点的布点布局问题，在产品经济时代，只是简单地应用线性规划、运筹学就可以确定了。而在目前的数字化服务经济时代，银行商业网点布局会从资金流、信息流出发，更多地采用数字化、大数据等技术来解决。比如IBM提供的MCLP（最大覆盖选址）技术，其优化后的整体解决方案就很有效。

大云平移，精彩无比，但入门之功源起（大）数据挖掘。数据挖掘（DataMining）是从大量的、不完全的、模糊的、随机的、实际应用的数据中提取潜在有用的信息和知识的过程，可以帮助决策者找寻规律、预测趋势、防范疏漏。数据挖掘是一门交叉学科，涉及数据库、人工智能、机器学习、统计学、模式识别、高性能计算等等。

一些专家认为，数据挖掘的一般过程是：①数据准备（包括数据清理、数据集成和数据选择等）；②数据挖掘；③模式评估；④知识表示。常用的数据挖掘模式包括：关联规则模式、生物数据的序列比对、图模式、空间数据挖掘模式等。据国际知名权威机构IDC对欧洲和北美62家采用了数据挖掘技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25家企业的投资回报率超过600%！

海量数据是金矿银矿，但海量数据不是金银财宝。挖掘、采集矿藏并筛选冶炼之后才能获取财富。面对浩瀚的结构性、非结构性的海量数据，传统技术已苍白无力。不过，知识就是力量，近年来国内外已出版了多本有关大数据的书籍，可资学习。但迄至今日，概念类的偏多，应用性强的书籍不多，业界和企业亟盼急需的是实用的大数据技术及成功案例。《大数据精准挖掘》是握有国内外众多成功案例、讲授国内外有效地应用据数挖掘原理与操作的一本新书、好书。

“基础在（大）数据、游走在云端，运作在平台、胜出在移动”是阿里巴巴、腾讯等企业的成功秘籍之一。如果说这一秘籍昭示了在未来“大云平移”是企业不可或缺的、时时处处都将使用的基础设施的话，那么，《大数据精准挖掘》从应用数学的角度揭示了数据挖掘将是构造这一基础设施的基础设施。

中欧国际工商学院院长、管理学教授

上海数字化与互联网研究中心主任

2013年8月

 大数据精准挖掘下载