MySQL技术内幕

前言

【前言】 为什么要写这本书过去这些年我一直在和各种不同的数据库打交道，见证了MySQL从一个小型的关系型数据库发展为各大企业的核心数据库系统的过程，并且参与了一些大大小小的项目的开发工作，成功地帮助开发人员构建了可靠的、健壮的应用程序。在这个过程中积累了一些经验，正是这些不断累积的经验赋予了我灵感，于是有了这本书。这本书实际上反映了这些年来我做了哪些事情，其中汇集了很多同行每天可能都会遇到的一些问题，并给出了解决方案。MySQL数据库独有的插件式存储引擎架构使其和其他任何数据库都不同。不同的存储引擎有着完全不同的功能，而InnoDB存储引擎的存在使得MySQL跃入了企业级数据库领域。本书完整地讲解了InnoDB存储引擎中最重要的一些内容，即InnoDB的体系结构和工作原理，并结合InnoDB的源代码讲解了它的内部实现机制。本书不仅讲述了InnoDB存储引擎的诸多功能和特性，还阐述了如何正确地使用这些功能和特性，更重要的是，还尝试了教我们如何Think Different。Think Different是20世纪90年代苹果公司在其旷日持久的宣传活动中提出的一个口号，借此来重振公司的品牌，更重要的是，这个口号改变了人们对技术在日常生活中的作用的看法。需要注意的是，苹果的口号不是Think Differently，是Think Different，Different在这里做名词，意味该思考些什么。很多DBA和开发人员都相信某些“神话”，然而这些“神话”往往都是错误的。无论计算机技术发展的速度变得多快，数据库的使用变得多么简单，任何时候Why都比What重要。只有真正理解了内部实现原理、体系结构，才能更好地去使用。这正是人类正确思考问题的原则。因此，对于当前出现的技术，尽管学习其应用很重要，但更重要的是，应当正确地理解和使用这些技术。关于本书，我的头脑里有很多个目标，但最重要的是想告诉大家如下几个简单的观点：不要相信任何的“神话”，学会自己思考；不要墨守成规，大部分人都知道的事情可能是错误的；不要相信网上的传言，去测试，根据自己的实践做出决定；花时间充分地思考，敢于提出质疑。当前有关MySQL的书籍大部分都集中在教读者如何使用MySQL，例如SQL语句的使用、复制的搭建的、数据的切分等。没错，这对快速掌握和使用MySQL数据库非常有好处，但是真正的数据库工作者需要了解的不仅仅是应用，更多的是内部的具体实现。MySQL数据库独有的插件式存储引擎使得想要在一本书内完整地讲解各个存储引擎变得十分困难，有的书可能偏重对MyISAM的介绍，有的可能偏重对InnoDB存储引擎的介绍。对于初级的DBA来说，这可能会使他们的理解变得更困难。对于大多数MySQL DBA和开发人员来说，他们往往更希望了解作为MySQL企业级数据库应用的第一存储引擎的InnoDB，我想在本书中，他们完全可以找到他们希望了解的内容。再强调一遍，任何时候Why都比What重要，本书从源代码的角度对InnoDB的存储引擎的整个体系架构的各个组成部分进行了系统的分析和讲解，剖析了InnoDB存储引擎的核心实现和工作机制，相信这在其他书中是很难找到的。第1版与第2版的区别本书是第2版，在写作中吸收了读者对上一版内容的许多意见和建议，同时对于最新MySQL 5.6中许多关于InnoDB存储引擎的部分进行了详细的解析与介绍。希望通过这些改进，给读者一个从应用到设计再到实现的完整理解，弥补上一版中深度有余，内容层次不够丰富、分析手法单一等诸多不足。较第1版而言，第2版的改动非常大，基本上重写了50%的内容。其主要体现在以下几个方面，希望读者能够在阅读中体会到。本书增加了对最新MySQL 5.6中的InnoDB存储引擎特性的介绍。MySQL 5.6版本是有史以来最大的一次更新，InnoDB存储引擎更是添加了许多功能，如多线程清理线程、全文索引、在线索引添加、独立回滚段、非递归死锁检测、新的刷新算法、新的元数据表等。读者通过本书可以知道如何使用这些特性、新特性存在的局限性，并明白新功能与老版本InnoDB存储引擎之间实现的区别，从而在实际应用中充分利用这些特性。根据读者的要求对于InnoDB存储引擎的redo日志和undo日志进行了详细的分析。读者应该能更好地理解InnoDB存储引擎事务的实现。在undo日志分析中，通过InnoSQL自带的元数据表，用户终于可对undo日志进行统计和分析，极大提高了DBA对于InnoDB存储引擎内部的认知。对第6章进行大幅度的重写，读者可以更好地理解InnoDB存储引擎特有的next-key locking算法，并且通过分析锁的实现来了解死锁可能产生的情况，以及InnoDB存储引擎内部是如何来避免死锁问题的产生的。根据读者的反馈，对InnoDB存储引擎的insert buffer模块实现进行了更为详细的介绍，读者可以了解其使用方法以及其内部的实现原理。此外还增加了对insert buffer的升级版本功能——change buffer的介绍。读者对象本书不是一本面向应用的数据库类书籍，也不是一本参考手册，更不会教你如何在MySQL中使用SQL语句。本书面向那些使用MySQL InnoDB存储引擎作为数据库后端开发应用程序的开发者和有一定经验的MySQL DBA。书中的大部分例子都是用SQL语句来展示关键特性的，如果想通过本书来了解如何启动MySQL、如何配置Replication环境，可能并不能如愿。不过，在本书中，你将知道InnoDB存储引擎是如何工作的，它的关键特性的功能和作用是什么，以及如何正确配置和使用这些特性。如果你想更好地使用InnoDB存储引擎，如果你想让你的数据库应用获得更好的性能，就请阅读本书。从某种程度上讲，技术经理或总监也要非常了解数据库，要知道数据库对于企业的重要性。如果技术经理或总监想安排员工参加MySQL数据库技术方面的培训，完全可以利用本书来“充电”，相信你一定不会失望的。要想更好地学习本书的内容，要求具备以下条件：掌握SQL。掌握基本的MySQL操作。接触过一些高级语言，如C、C++、Python或Java。对一些基本算法有所了解，因为本书会分析InnoDB存储引擎的部分源代码，如果你能看懂这些算法，这会对你的理解非常有帮助。如何阅读本书本书一共有10章，每一章都像一本“迷你书”，可以单独成册，也就说你完全可以从书中任何一章开始阅读。例如，要了解第10章中的InnoDB源代码编译和调试的知识，就不必先去阅读第3章有关文件的知识。当然，如果你不太确定自己是否已经对本书所涉及的内容完全掌握了，建议你系统性地阅读本书。本书不是一本入门书籍，不会一步步引导你去如何操作。倘若你尚不了解InnoDB存储引擎，本书对你来说可能就显得沉重一些，建议你先查阅官方的API文档，大致掌握InnoDB的基础知识，然后再来学习本书，相信你会领略到不同的风景。为了便于大家阅读，本书在提供源代码下载（下载地址：www.hzbook.com）的同时也将源代码附在了书中，因此占去了一些篇幅，还请大家理解。勘误和支持由于作者对InnoDB存储引擎的认知水平有限，再加上写作时可能存在疏漏，书中还存在许多需要改进的地方。在此，欢迎读者朋友们指出书中存在的问题，并提出指导性意见，不甚感谢。如果大家有任何与本书相关的内容需要与我探讨，请发邮件到jiangchengyao@gmail.com，或者通过新浪微博@insidemysql与我联系，我会及时给予回复。最后，衷心地希望本书能给大家带来帮助，并祝大家阅读愉快！致谢在编写本书的过程中，我得到了很多朋友的热心帮助。首先要感谢Pecona公司的CEO Peter Zaitsev和CTO Vadim Tkachenko，通过和他们的不断交流，使我对InnoDB存储引擎有了更进一步的了解，同时知道了怎样才能正确地将InnoDB存储引擎的补丁应用到生产环境。其次，要感谢网易公司的各位同事们，能在才华横溢、充满创意的团队中工作我感到非常荣幸和兴奋。也因为在这个开放的工作环境中，我可以不断进行研究和创新。此外，我还要感谢我的母亲，写本书不是一件容易的事，特别是这本书还想传达一些思想，在这个过程中我遇到了很多的困难，感谢她在这个过程中给予我的支持和鼓励。最后，一份特别的感谢要送给本书的策划编辑杨福川和姜影，他们使得本书变得生动和更具有灵魂。此外还要感谢出版社的其他默默工作的同事们。姜承尧

名人推荐

作者是一位非常有经验的DBA，他将自己多年在MySQL存储引擎上积累的经验融汇成了这本书，并形成了自己的研究成果，实在是让人敬佩。本书内容深入且全面，像这样有内容的书已经越来越少，像这样有研究精神的人也越来越少。我不仅要向InnoDB的初学者推荐这本书，而且还要向富有经验的DBA推荐这本书，或许他们已经掌握了一些InnoDB的应用和调优知识，但这本书能帮助他们在这个方向上再前进“一小步”。——顾懿 久游网CEOSQL Server企业版的一颗CPU License要人民币20多万，Oracle的License更是按照CPU内核数计算，这样的价格不是一般的成长型企业能承受得起的，对于有海量数据存储需求的大企业，License费用就更夸张了。可见，MySQL在数据库市场上的重要性是毋容置疑的。然而，MySQL在教育上的投入远没有Microsoft和Oracle那样多，可以参考的书不多，其中大多数书又和帮助文档没有太多区别。毕竟，在这个心浮气躁的年代，愿意抛开杂念一心热衷于钻研IT技术的人越来越少了，坚持下来的，愿意花时间写书来分享自己经验的，就更少了。David就是这少数人当中的一个，认识他有十多年了，他给我的印象就是快乐的IT人，每次有新的发现或研究成果，都会很兴奋地跟我分享。这次，他把多年的InnoDB经验拿出来跟大家分享，完全是原创，希望MySQL的同行多多支持！——Tom Sawyer 玫琳凯（中国）化妆品有限公司数据库架构师

内容概要

姜承尧（David Jiang），资深MySQL数据库专家，擅长于数据库的故障诊断、性能调优、容灾处理、高可用和高扩展研究，同时一直致力于MySQL数据库底层实现原理的研究和探索。此外，对高性能数据库和数据仓库也有深刻而独到的理解。曾为MySQL编写了许多开源工具和性能扩展补丁，如广受好评的InnoDB引擎二级缓存项目。现任网易杭州研究院技术经理一职，负责MySQL数据库的内核开发，参与设计与开发MySQL数据库在网易云环境中的应用。曾担任久游网数据库工程部经理，曾领导并参与了多个大型核心数据库的设计、实施、管理和维护，实战经验非常丰富。活跃于开源数据库以及开源软件领域，是著名开源社区ChinaUnix MySQL版块的版主，热衷于与网友分享自己的心得和体会，深受社区欢迎。除本书外，他还撰写了《MySQL技术内幕：SQL编程》，是本书的姊妹篇，颇受好评。

书籍目录

推荐序

前言

第1章 MySQL体系结构和存储引擎  1

1.1 定义数据库和实例  1

1.2 MySQL体系结构  3

1.3 MySQL存储引擎  5

1.3.1 InnoDB存储引擎  6

1.3.2 MyISAM存储引擎  7

1.3.3 NDB存储引擎  7

1.3.4 Memory存储引擎  8

1.3.5 Archive存储引擎  9

1.3.6 Federated存储引擎  9

1.3.7 Maria存储引擎  9

1.3.8 其他存储引擎  9

1.4 各存储引擎之间的比较  10

1.5 连接MySQL  13

1.5.1 TCP/IP  13

1.5.2 命名管道和共享内存  15

1.5.3 UNIX域套接字  15

1.6 小结  15

第2章 InnoDB存储引擎  17

2.1 InnoDB存储引擎概述  17

2.2 InnoDB存储引擎的版本  18

2.3 InnoDB体系架构  19

2.3.1 后台线程  19

2.3.2 内存  22

2.4 Checkpoint技术  32

2.5 Master Thread工作方式  36

2.5.1 InnoDB 1.0.x版本之前的Master Thread  36

2.5.2 InnoDB1.2.x版本之前的Master Thread  41

2.5.3 InnoDB1.2.x版本的Master Thread  45

2.6 InnoDB关键特性  45

2.6.1 插入缓冲  46

2.6.2 两次写  53

2.6.3 自适应哈希索引  55

2.6.4 异步IO  57

2.6.5 刷新邻接页  58

2.7 启动、关闭与恢复  58

2.8 小结  61

第3章 文件  62

3.1 参数文件  62

3.1.1 什么是参数  63

3.1.2 参数类型  64

3.2 日志文件  65

3.2.1 错误日志  66

3.2.2 慢查询日志  67

3.2.3 查询日志  72

3.2.4 二进制日志  73

3.3 套接字文件  83

3.4 pid文件  83

3.5 表结构定义文件  84

3.6 InnoDB存储引擎文件  84

3.6.1 表空间文件  85

3.6.2 重做日志文件  86

3.7 小结  90

第4章 表  91

4.1 索引组织表  91

4.2 InnoDB逻辑存储结构  93

4.2.1 表空间  93

4.2.2 段  95

4.2.3 区  95

4.2.4 页  101

4.2.5 行  101

4.3 InnoDB行记录格式  102

4.3.1 Compact行记录格式  103

4.3.2 Redundant行记录格式  106

4.3.3 行溢出数据  110

4.3.4 Compressed和Dynamic行记录格式  117

4.3.5 CHAR的行结构存储  117

4.4 InnoDB数据页结构  120

4.4.1 File Header  121

4.4.2 Page Header  122

4.4.3 Infimum和Supremum Records  123

4.4.4 User Records和Free Space  123

4.4.5 Page Directory  124

4.4.6 File Trailer  124

4.4.7 InnoDB数据页结构示例分析  125

4.5 Named File Formats机制  132

4.6 约束  134

4.6.1 数据完整性  134

4.6.2 约束的创建和查找  135

4.6.3 约束和索引的区别  137

4.6.4 对错误数据的约束  137

4.6.5 ENUM和SET约束  139

4.6.6 触发器与约束  139

4.6.7 外键约束  142

4.7 视图  144

4.7.1 视图的作用  144

4.7.2 物化视图  147

4.8 分区表  152

4.8.1 分区概述  152

4.8.2 分区类型  155

4.8.3 子分区  168

4.8.4 分区中的NULL值  172

4.8.5 分区和性能  176

4.8.6 在表和分区间交换数据  180

4.9 小结  182

第5章 索引与算法  183

5.1 InnoDB存储引擎索引概述  183

5.2 数据结构与算法  184

5.2.1 二分查找法  184

5.2.2 二叉查找树和平衡二叉树  185

5.3 B+树  187

5.3.1 B+树的插入操作  187

5.3.2 B+树的删除操作  190

5.4 B+树索引  191

5.4.1 聚集索引  192

5.4.2 辅助索引  196

5.4.3 B+树索引的分裂  200

5.4.4 B+树索引的管理  202

5.5 Cardinality值  210

5.5.1 什么是Cardinality  210

5.5.2 InnoDB存储引擎的Cardinality统计  212

5.6 B+树索引的使用  215

5.6.1 不同应用中B+树索引的使用  215

5.6.2 联合索引  215

5.6.3 覆盖索引  218

5.6.4 优化器选择不使用索引的情况  219

5.6.5 索引提示  221

5.6.6 Multi-Range Read优化  223

5.6.7 Index Condition Pushdown（ICP）优化  226

5.7 哈希算法  227

5.7.1 哈希表  228

5.7.2 InnoDB存储引擎中的哈希算法  229

5.7.3 自适应哈希索引  230

5.8 全文检索  231

5.8.1 概述  231

5.8.2 倒排索引  232

5.8.3 InnoDB全文检索  233

5.8.4 全文检索  240

5.9 小结  248

第6章 锁  249

6.1 什么是锁  249

6.2 lock与latch  250

6.3 InnoDB存储引擎中的锁  252

6.3.1 锁的类型  252

6.3.2 一致性非锁定读  258

6.3.3 一致性锁定读  261

6.3.4 自增长与锁  262

6.3.5 外键和锁  264

6.4 锁的算法  265

6.4.1 行锁的3种算法  265

6.4.2 解决Phantom Problem  269

6.5 锁问题  271

6.5.1 脏读  271

6.5.2 不可重复读  273

6.5.3 丢失更新  274

6.6 阻塞  276

6.7 死锁  278

6.7.1 死锁的概念  278

6.7.2 死锁概率  280

6.7.3 死锁的示例  281

6.8 锁升级  283

6.9 小结  284

第7章 事务  285

7.1 认识事务  285

7.1.1 概述  285

7.1.2 分类  287

7.2 事务的实现  294

7.2.1 redo  294

7.2.2 undo  305

7.2.3 purge  317

7.2.4 group commit  319

7.3 事务控制语句  323

7.4 隐式提交的SQL语句  328

7.5 对于事务操作的统计  329

7.6 事务的隔离级别  330

7.7 分布式事务  335

7.7.1 MySQL数据库分布式事务  335

7.7.2 内部XA事务  340

7.8 不好的事务习惯  341

7.8.1 在循环中提交  341

7.8.2 使用自动提交  343

7.8.3 使用自动回滚  344

7.9 长事务  347

7.10 小结  349

第8章 备份与恢复  350

8.1 备份与恢复概述  350

8.2 冷备  352

8.3 逻辑备份  353

8.3.1 mysqldump  353

8.3.2 SELECT...INTO OUTFILE  360

8.3.3 逻辑备份的恢复  362

8.3.4 LOAD DATA INFILE  362

8.3.5 mysqlimport  364

8.4 二进制日志备份与恢复  366

8.5 热备  367

8.5.1 ibbackup  367

8.5.2 XtraBackup  368

8.5.3 XtraBackup实现增量备份  370

8.6 快照备份  372

8.7 复制  376

8.7.1 复制的工作原理  376

8.7.2 快照+复制的备份架构  380

8.8 小结  382

第9章 性能调优  383

9.1 选择合适的CPU  383

9.2 内存的重要性  384

9.3 硬盘对数据库性能的影响  387

9.3.1 传统机械硬盘  387

9.3.2 固态硬盘  387

9.4 合理地设置RAID  389

9.4.1 RAID类型  389

9.4.2 RAID Write Back功能  392

9.4.3 RAID配置工具  394

9.5 操作系统的选择  397

9.6 不同的文件系统对数据库性能的影响  398

9.7 选择合适的基准测试工具  399

9.7.1 sysbench  399

9.7.2 mysql-tpcc  405

9.8 小结  410

第10章 InnoDB存储引擎源代码的编译和调试  411

10.1 获取InnoDB存储引擎源代码  411

10.2 InnoDB源代码结构  413

10.3 MySQL 5.1版本编译和调试InnoDB源代码  415

10.3.1 Windows下的调试  415

10.3.2 Linux下的调试  418

10.4 cmake方式编译和调试InnoDB存储引擎  423

10.5 小结  424

编辑推荐

《MySQL技术内幕:InnoDB存储引擎(第2版)》编辑推荐：畅销书全新升级，第1版广获好评，资深专家撰写，国内外数据库专家联袂推荐，基于MySQL 5.6，从存储引擎内核角度对InnoDB的核心实现和工作机制进行深入剖析。

作者简介

《MySQL技术内幕:InnoDB存储引擎(第2版)》由国内资深MySQL专家亲自执笔，国内外多位数据库专家联袂推荐。作为国内唯一一本关于InnoDB的专著，《MySQL技术内幕:InnoDB存储引擎(第2版)》的第1版广受好评，第2版不仅针对最新的MySQL 5.6对相关内容进行了全面的补充，还根据广大读者的反馈意见对第1版中存在的不足进行了完善，《MySQL技术内幕:InnoDB存储引擎(第2版)》大约重写了50％的内容。《MySQL技术内幕:InnoDB存储引擎(第2版)》从源代码的角度深度解析了InnoDB的体系结构、实现原理、工作机制，并给出了大量最佳实践，能帮助你系统而深入地掌握InnoDB，更重要的是，它能为你设计管理高性能、高可用的数据库系统提供绝佳的指导。

《MySQL技术内幕:InnoDB存储引擎(第2版)》一共10章，首先宏观地介绍了MySQL的体系结构和各种常见的存储引擎以及它们之间的比较；接着以InnoDB的内部实现为切入点，逐一详细讲解了InnoDB存储引擎内部的各个功能模块的实现原理，包括InnoDB存储引擎的体系结构、内存中的数据结构、基于InnoDB存储引擎的表和页的物理存储、索引与算法、文件、锁、事务、备份与恢复，以及InnoDB的性能调优等重要的知识；最后对InnoDB存储引擎源代码的编译和调试做了介绍，对大家阅读和理解InnoDB的源代码有重要的指导意义。

《MySQL技术内幕:InnoDB存储引擎(第2版)》适合所有希望构建和管理高性能、高可用性的MySQL数据库系统的开发者和DBA阅读。

---

 MySQL技术内幕下载 精选章节试读 更多精彩书评

---