计算机视觉

章节摘录

版权页：   插图：   特征匹配验证和紧致化 一旦我们得到一些假设的（推断的）匹配，往往可以用几何配准来验证哪些匹配是“内点”（inlier），哪些是“外点”（outlier）。比如，如果我们预计出整个图像在匹配视角上平移或者旋转了，我们可以拟合出一个全局几何变换并仅保留那些与估计出来的变换足够接近的特征。这个选择一小部分种子匹配然后验证更大集合的过程叫“随机采样”（random sampling）或者RANSAC（6.1.4节）。一旦建立初始的对应集合，一些系统就寻找额外的对应，比如，通过在极线上（11.1节）寻找额外的对应或者基于全局变换在估计位置的附近区域寻找对应。这些主题将在6.1，11.2，和14.3.1节中进一步讨论。 4.1.4特征跟踪 在所有候选图像中独立地寻找特征然后将它们进行匹配，另一种替代策略是，在第一幅图像中寻找可能的特征位置集合，然后在后续的图像中搜索它们的对应位置。这类“这类”先检测后跟踪”（detect and track）的方法在视频跟踪应用中使用得非常广泛，这里，所期望的相邻帧之间的运动和表观的变形比较小。选择好特征来跟踪的过程和选择好特征来进行更一般的识别应用紧密相关。在实际中，那些在两个方向上梯度值均大的区域，也就是，自相关矩阵拥有大的特征值的区域（4.8），提供了可用于寻找对应的稳定的位置（Shi and Tomasi 1994）。 在后续的帧中，搜索那些平方差小的对应图像块区域（4.1）通常很高效。但是，如果图像的光照发生了变化，明确地补偿这些变化（8.9）或者使用规范化互相关（normalized cross—correlation）（8.11）就可能很有用。如果搜索范围很大，使用一种分层搜索策略常常更有效，它使用低分辨率下的匹配来提供较好的初始猜测值，因此加速了搜索过程（8.1.1节）。这种策略的替代策略包括了解被跟踪块的表观应该是什么，然后在预测的位置附近搜索它（Avidan 2001；Jurie and Dhome 2002：Williams，Blake，and Cipolla 2003）。这些主题都将在8.1.3节中详细描述。 如果特征需要在较长的图像序列中进行跟踪，它们的表观就会发生较大的变化。这样就需要决定是继续使用最初检测到的图像块（特征）进行匹配，还是在后续帧的匹配位置上重新采样特征。

内容概要

Richard Szeliski博士计算机视觉领域的大师级人物。Szeliski博士在计算机视觉研究方面有25年以上的丰富经验，先后任职干DEC和微软研究院。1996年，他在微软研究院任职期间，提出一种基于运动的全景图像拼接模型，采用L—M算法，通过求图像间的几何变换关系来进行图像匹配。此方法是图像拼接领域的经典算法，Richard Szeliski也因此成为图像拼接领域的奠基人。

书籍目录

目    录

第1章  概述
1

1.1  什么是计算机视觉？
2

1.2  简史
8

1.3  本书概述
16

1.4  课程大纲样例
21

1.5  标记法说明
22

1.6  扩展阅读
22

第2章  图像形成
25

2.1  几何基元和变换
26

2.1.1  几何基元
26

2.1.2  2D变换
29

2.1.3  3D变换
32

2.1.4  3D旋转
33

2.1.5  3D到2D投影
37

2.1.6  镜头畸变
46

2.2  光度测定学的图像形成
47

2.2.1  照明
48

2.2.2  反射和阴影
49

2.2.3  光学
54

2.3  数字摄像机
57

2.3.1  采样与混叠
60

2.3.2  色彩
63

2.3.3  压缩
71

2.4  补充阅读
72

2.5  习题
73

第3章  图像处理
77

3.1  点算子
78

3.1.1  像素变换
79

3.1.2  彩色变换
81

3.1.3  合成与抠图
81

3.1.4  直方图均衡化
83

3.1.5  应用：色调调整
86

3.2  线性滤波
86

3.2.1  可分离的滤波
89

3.2.2  线性滤波示例
90

3.2.3  带通和导向滤波器
91

3.3  更多的邻域算子
95

3.3.1  非线性滤波
95

3.3.2  形态学
99

3.3.3  距离变换
100

3.3.4  连通量
101

3.4  傅里叶变换
102

3.4.1  傅里叶变换对
105

3.4.2  二维傅里叶变换
107

3.4.3  维纳滤波
108

3.4.4  应用：锐化，模糊

和去噪
111

3.5  金字塔与小波
111

3.5.1  插值
112

3.5.2  降采样
114

3.5.3  多分辨率表达
116

3.5.4  小波
119

3.5.5  应用：图像融合
123

3.6  几何变换
125

3.6.1  参数化变换
125

3.6.2  基于网格的卷绕
131

3.6.3  应用：基于特征的变形
133

3.7  全局优化
133

3.7.1  正则化
134

3.7.2  马尔科夫随机场
138

3.7.3  应用：图像的恢复
147

3.8  补充阅读
147

3.9  习题
149

第4章  特征检测与匹配
157

4.1  点和块
159

4.1.1  特征检测器
160

4.1.2  特征描述子
169

4.1.3  特征匹配
172

4.1.4  特征跟踪
179

4.1.5  应用：表演驱动的动画
181

4.2  边缘
182

4.2.1  边缘检测
182

4.2.2  边缘连接
187

4.2.3  应用：边缘编辑和增强
189

4.3  线条
190

4.3.1  逐次近似
191

4.3.2  Hough变换
191

4.3.3  消失点
194

4.3.4  应用：矩形检测
196

4.4  扩展阅读
197

4.5  习题
198

第5章  分割
205

5.1  活动轮廓
206

5.1.1  蛇行
207

5.1.2  动态蛇行和

CONDENSATION
211

5.1.3  剪刀
214

5.1.4  水平集
215

5.1.5  应用：轮廓跟踪和

转描机
217

5.2  分裂与归并
218

5.2.1  分水岭
218

5.2.2  区域分裂(区分式聚类)
219

5.2.3  区域归并(凝聚式聚类)
219

5.2.4  基于图的分割
219

5.2.5  概率聚集
220

5.3  均值移位和模态发现
221

5.3.1  k-均值和高斯混合
222

5.3.2  均值移位
224

5.4  规范图割
227

5.5  图割和基于能量的方法
230

5.6  补充阅读
234

5.7  习题
235

第6章  基于特征的配准
237

6.1  基于2D和3D特征的配准
238

6.1.1  使用最小二乘的

2D配准
238

6.1.2  应用：全景图
240

6.1.3  迭代算法
241

6.1.4  鲁棒最小二乘

和RANSAC
243

6.1.5  3D配准
245

6.2  姿态估计
246

6.2.1  线性算法
246

6.2.2  迭代算法
248

6.2.3  应用：增强现实
249

6.3  几何内参数标定
250

6.3.1  标定模式
250

6.3.2  消失点
252

6.3.3  应用：单视图测量学
253

6.3.4  旋转运动
254

6.3.5  径向畸变
256

6.4  补充阅读
257

6.5  习题
258

第7章  由运动到结构
263

7.1  三角测量
264

7.2  二视图由运动到结构
266

7.2.1  投影(未标定的)重建
270

7.2.2  自标定
271

7.2.3  应用：视图变形
273

7.3  因子分解
274

7.3.1  透视与投影因子分解
276

7.3.2  应用：稀疏3D模型

提取
277

7.4  光束平差法
278

7.4.1  挖掘稀疏性
280

7.4.2  应用：匹配运动和增强

现实
282

7.4.3  不确定性和二义性
283

7.4.4  应用：由因特网照片

重建
284

7.5  限定结构和运动
287

7.5.1  基于线条的方法
287

7.5.2  基于平面的方法
288

7.6  补充阅读
289

7.7  习题
290

第8章  稠密运动估计
293

8.1  平移配准
294

8.1.1  分层运动估计
297

8.1.2  基于傅里叶的配准
298

8.1.3  逐次求精
300

8.2  参数化运动
305

8.2.1  应用：视频稳定化
308

8.2.2  学到的运动模型
308

8.3  基于样条的运动
309

8.4  光流 
312

8.4.1  多帧运动估计
315

8.4.2  应用：视频去噪
316

8.4.3  应用：去隔行扫描
316

8.5  层次运动
317

8.5.1  应用：帧插值
319

8.5.2  透明层和反射
320

8.6  补充阅读
321

8.7  习题 
322

第9章  图像拼接
327

9.1  运动模型
329

9.1.1  平面透视运动
329

9.1.2  应用：白板和文档扫描
330

9.1.3  旋转全景图
331

9.1.4  缝隙消除
333

9.1.5  应用：视频摘要和压缩
334

9.1.6  圆柱面和球面坐标
335

9.2  全局配准
338

9.2.1  光束平差法
338

9.2.2  视差消除
341

9.2.3  认出全景图
343

9.2.4  直接配准和基于特征的

?配准
345

9.3  合成
346

9.3.1  合成表面的选择
346

9.3.2  像素选择和加权

(去虚影)
348

9.3.3  应用：照片蒙太奇
352

9.3.4  融合
353

9.4  补充阅读
355

9.5  习题
356

第10章  计算摄影学
359

10.1  光度学标定
361

10.1.1  辐射度响应函数
362

10.1.2  噪声水平估计
363

10.1.3  虚影
364

10.1.4  光学模糊(空间响应)

估计
365

10.2  高动态范围成像
368

10.2.1  色调映射
374

10.2.2  应用：闪影术
380

10.3  超分辨率和模糊去除
381

10.3.1  彩色图像去马赛克
385

10.3.2  应用：彩色化
387

10.4  图像抠图和合成
388

10.4.1  蓝屏抠图
389

10.4.2  自然图像抠图
391

10.4.3  基于优化的抠图
394

10.4.4  烟、阴影和闪抠图
396

10.4.5  视频抠图
397

10.5  纹理分析与合成
398

10.5.1  应用：空洞填充

与修图
400

10.5.2  应用：非真实感绘制
401

10.6  补充阅读
403

10.7  习题
404

第11章  立体视觉对应
409

11.1  极线几何学
412

11.1.1  矫正
412

11.1.2  平面扫描
414

11.2  稀疏对应
416

11.3  稠密对应
418

11.4  局部方法
420

11.4.1  亚像素估计

与不确定性
422

11.4.2  应用：基于立体视觉的

头部跟踪
423

11.5  全局优化
424

11.5.1  动态规划
425

11.5.2  基于分割的方法
427

11.5.3  应用：z-键控与背景

替换
428

11.6  多视图立体视觉
429

11.6.1  体积与3D表面重建
432

11.6.2  由轮廓到形状
436

11.7  补充阅读
438

11.8  习题
439

第12章  3D重建
443

12.1  由X到形状
444

12.1.1  由阴影到形状与光度

测量立体视觉
445

12.1.2  由纹理到形状
447

12.1.3  由聚焦到形状
448

12.2  主动距离获取
449

12.2.1  距离数据归并
451

12.2.2  应用：数字遗产
453

12.3  表面表达
454

12.3.1  表面插值
454

12.3.2  表面简化
455

12.3.3  几何图像
456

12.4  基于点的表达
456

12.5  体积表达
457

12.6  基于模型的重建
459

12.6.1  建筑结构
459

12.6.2  头部和人脸
461

12.6.3  应用：脸部动画
463

12.6.4  完整人体建模与跟踪
465

12.7  恢复纹理映射与反照率
469

12.7.1  估计BRDF
470

12.7.2  应用：3D摄影学
471

12.8  补充阅读
472

12.9  习题
473

第13章  基于图像的绘制
477

13.1  视图插值
478

13.1.1  视图相关的纹理映射
480

13.1.2  应用：照片游览
481

13.2  层次深度图像
482

13.3  光场与发光图
484

13.3.1  非结构化发光图
487

13.3.2  表面光场
488

13.3.3  应用：同心拼图
489

13.4  环境影像形板
490

13.4.1  更高维光场
491

13.4.2  从建模到绘制
492

13.5  基于视频的绘制
493

13.5.1  基于视频的动画
493

13.5.2  视频纹理
494

13.5.3  应用：图片动画
497

13.5.4  3D视频
497

13.5.5  应用：基于视频的

游览
499

13.6  补充阅读
501

13.7  习题
503

第14章  识别
507

14.1  物体检测
509

14.1.1  人脸检测
509

14.1.2  行人检测
515

14.2  人脸识别
518

14.2.1  特征脸
518

14.2.2  活动表观与3D形状

模型
525

14.2.3  应用：个人照片收藏
528

14.3  实例识别
529

14.3.1  几何配准
530

14.3.2  大型数据库
531

14.3.3  应用：位置识别
535

14.4  类别识别
537

14.4.1  词袋
539

14.4.2  基于部件的模型
542

14.4.3  基于分割的识别
545

14.4.4  应用：智能照片编辑
548

14.5  上下文与场景理解
550

14.5.1  学习与大型图像收集
552

14.5.2  应用：图像搜索
554

14.6  识别数据库和测试集
555

14.7  补充阅读
559

14.8  习题
562

第15章  结语
567

附录A  线性代数与数值方法
569

A.1  矩阵分解
570

A.1.1  奇异值分解
570

A.1.2  特征值分解
571

A.1.3  QR因子分解
573

A.1.4  乔里斯基分解
574

A.2  线性最小二乘
575

A.3  非线性最小二乘
578

A.4  直接稀疏矩阵方法
579

A.5  迭代方法
580

A.5.1  共轭梯度
581

A.5.2  预处理
582

A.5.3  多重网格
583

附录B  贝叶斯建模与推断
585

B.1  估计理论
586

B.2  最大似然估计与最小二乘
589

B.3  鲁棒统计学
590

B.4  先验模型与贝叶斯推断
591

B.5  马尔科夫随机场
592

B.5.1  梯度下降与模拟退火
594

B.5.2  动态规划
595

B.5.3  置信传播
596

B.5.4  图割
598

B.5.5  线性规划
601

B.6  不确定性估计(误差分析)
602

附录C  补充材料
604

C.1  数据集
605

C.2  软件
607

C.3  幻灯片与讲座
615

C.4  参考文献
615

词汇表
617

编辑推荐

《计算机视觉:算法与应用》编辑推荐：作为人，我们可以轻松感知周围的三维世界相比之下，不管计算机视觉在近年来已经取得多么令人瞩目的成果，但要让计算机能像两岁小孩那样解釋和理解图像，却仍然是一个遥不可及的梦想。为什么计算机视觉会成为如此富有挑战性的难题？它当前发展到了哪个阶段？围绕着这些问题，《计算机视觉——算法与应用》探索了用于分析和解釋图像的各种常用方法，描述了42个成功的视觉应用实例，既有医学成像之类的专业应用，又有图像编辑和拼接之类有趣的大众应用。这种精心的编排和设计有利于学生将这些看似高深的技术应用于自己的照片和视频.从而在趣味橫生的动手实践中获得成就感。《计算机视觉:算法与应用》主题和特色：编排结构有利于活跃课堂气氛，适合面向项目的课程，针对各种特定课程提供了《计算机视觉:算法与应用》使用提示。各章末尾的习题着重强调对算法的测试，重点包含大量针对小型期中课题的建议。附录中提供额外的补充材料和更详细的数学知识介绍，包括线性代数、数值方法和贝叶斯估计理论。完整的参考文献和各章的补充阅读，全面覆盖各个子领域的最新研究进展和成果。配套网站提供丰富的课程补充材料。

作者简介

《计算机视觉——算法与应用》探索了用于分析和解释图像的各种常用技术，描述了具有一定挑战性的视觉应用方面的成功实例，兼顾专业的医学成像和图像编辑与交织之类有趣的大众应用，以便学生能够将其应用于自己的照片和视频，从中获得成就感和乐趣。本书从科学的角度介绍基本的视觉问题，将成像过程的物理模型公式化，然后在此基础上生成对场景的逼真描述。作者还运用统计模型来分析和运用严格的工程方法来解决这些问题。

本书作为本科生和研究生“计算机视觉”课程的理想教材，适合计算机和电子工程专业学生使用，重点介绍现实中行之有效的基本技术，通过大量应用和练习来鼓励学生大胆创新。此外，本书的精心设计和编排，使其可以作为计算机视觉领域中一本独特的基础技术参考和最新研究成果文献。

图书封面

---

 计算机视觉下载 精选章节试读 更多精彩书评

---