Oracle数据库性能优化方法论和最佳实践

内容概要

柳遵梁，杭州美创科技有限公司总经理，15年的DBA经历，擅长性能优化、数据安全、容灾备份、自动化运维、大数据分析等领域。在国内率先实践OWI和RTA性能优化方法论，并开创性提出了基于流程、资源和组件分析的优化方法论。关注容灾领域，构想了灾备一体化、全业务切换、桌面演练、双活等关键容灾技术并在美创科技产品上实现，关注数据安全和敏感数据保护，关注大数据分析作用于日常运营管理。

潘敏君，杭州美创科技有限公司高级DBA，团队主管，偶然碰触oracle，一搞就是7年，细细品味oracle，逐渐形成了自己的一套理论与方法。深入理解oracle体系架构及原理，精通系统级的性能优化，长于使用各种工具、事件跟踪排错故障，精通异常数据库的恢复与灾难挽救。关注容灾，数据安全及自动化运维，对闪存卡在企业中的应用有较深入的研究，并协助同事开发基于x86架构的数据库一体机实现了高性价*的横向扩展能力，现已到达商用阶段。带领团队成员处理各种数据库问题，具有极为丰富的Oracle数据库支持经验。

应以峰，杭州美创科技有限公司高级DBA，团队主管，Oracle10gOCM，拥有5年的数据库领域从业经验，精通Oracle数据库原理，擅长从等待事件角度分析诊断Oracle性能问题，对Oracle的OWI、SQL调优等技术有丰富的知识积累和研究，对ORACLERAC高可用架构体系有着较深的造诣。负责运维美创核心客户的海量数据库，负责美创高可用双机双柜部署实施、故障处理、性能优化等工作。

书籍目录

目录

前言

第1章Oracle性能优化漫谈1

1.1从生活场景漫谈性能优化1

1.1.1从一个真实病例说起1

1.1.2如何改善宝马汽车的运行速度2

1.2性能优化目标的确定和衡量3

1.2.1性能优化的范畴或优化对象确定4

1.2.2性能优化目标的用户期望管理4

1.2.3性能优化的目标衡量5

1.3吞吐量和响应时间6

1.3.1吞吐量6

1.3.2响应时间7

1.3.3吞吐量和响应时间关系曲线8

1.3.4医院挂号窗口的吞吐量和响应时间曲线8

1.3.5tpcc测试的吞吐量和响应时间曲线10

1.3.6磁盘I／O系统吞吐量和响应时间曲线10

1.4Oracle性能优化工作的分类12

1.4.1上线优化或从未达到过性能期望的系统优化12

1.4.2响应速度逐步变慢的系统优化13

1.4.3运行过程中突然变慢的系统优化13

1.4.4突然变慢，持续一段时间后又恢复正常的业务系统优化14

1.4.5基于降低资源消耗的系统优化14

1.4.6预防性日常性能优化14

1.5测量和变化15

1.5.1测量和性能15

1.5.2变化检测和性能优化17

1.5.3量变和质变18

1.6基线管理19

1.6.1基准点和基线19

1.6.2沟通基线19

1.6.3基线管理和动态基线20

1.7Oracle性能优化的神话和误区23

1.7.1艺术和科学23

1.7.2Oracle业务系统性能优化是高手的专利23

1.7.3测试系统性能很好，生产系统为什么不行24

1.7.4针对特定性能问题的标准解决方案24

1.7.5只要资源充足，数据库性能就不会差24

1.7.6只要数据库性能好，业务系统性能必然良好25

1.7.7降低等待时间就可以提高业务系统性能25

第2章Oracle性能优化方法论的发展27

2.1基于局部命中率分析的优化方法论28

2.2基于OWI的优化方法论29

2.2.1OWI优化方法论简述29

2.2.2OWI方法论的可检测体系30

2.2.3OWI方法中waitevent的发展31

2.3响应时间分析优化方法论32

2.3.1RTA方法论简述32

2.3.2RTA方法论的不足和改善35

2.4基于工作单元的响应时间分析优化方法论35

2.4.1UOWTBA优化方法论的导入35

2.4.2输入吞吐量指标的选择36

2.4.3采用UOWTBA优化方法工作38

2.5基于资源瓶颈分析的优化方法论38

2.5.1基于资源瓶颈分析优化方法论简述38

2.5.2主要的数据库服务资源供给39

2.5.3有效运行资源瓶颈分析优化方法40

2.6流程、资源和组件优化方法论41

2.6.1吞吐量和响应时间关系曲线41

2.6.2流程和流程响应分析41

2.6.3资源分析43

2.6.4组件45

第3章流程分析之数据库登录流程46

3.1数据库登录导致业务系统性能恶化案例分享46

3.2数据库登录流程的相关指标与优化47

3.2.1数据库登录流程的输入吞吐量和输出响应指标47

3.2.2输入压力与输出响应之间的关系58

3.2.3数据库登录流程响应问题的优化案例64

第4章流程分析之数据访问处理流程67

4.1数据访问处理流程优化案例分享68

4.2数据访问处理流程的分解68

4.3数据访问处理流程的输入和输出69

4.3.1输入单元和输出单元的确定69

4.3.2输入和输出指标的测量74

4.3.3输入和输出指标的关系曲线79

4.4数据访问流程优化步骤80

4.5客户端运行和响应阶段80

4.5.1子流程过程性分解80

4.5.2子流程的输入和输出指标81

4.5.3相关资源和组件84

4.5.4业务请求和响应阶段优化案例84

4.6SQL语句分析阶段（parse阶段）85

4.6.1parse阶段子流程分解85

4.6.2hard parse／soft parse／soft soft parse／no parse的区别87

4.6.3SQL语句parse的高版本93

4.6.4复杂语句和简单语句的parse差异96

4.6.5parse阶段的输入／输出指标99

4.6.6parse阶段的优化道路113

4.6.7相关资源和组件121

4.6.8parse阶段优化案例分析122

4.7SQL语句执行阶段（execute阶段）123

4.7.1SQL执行阶段子流程分解123

4.7.2SQL执行子流程输入／输出指标144

4.7.3SQL执行子流程的输入／输出指标衡量147

4.7.4SQL执行阶段输入／输出关系图155

4.7.5SQL执行阶段的优化道路158

4.7.6SQL执行阶段相关资源和组件162

4.7.7SQL执行阶段优化案例164

4.8fetch次数对逻辑读的影响165

4.9提交（Commit）阶段的流程分解和分析167

4.9.1提交阶段的主要执行过程167

4.9.2高并发性提交的响应问题169

4.9.3提交阶段的优化道路174

第5章资源175

5.1简单的资源供给类176

5.1.1资源使用的突变曲线176

5.1.2资源的使用率和队列长度176

5.1.3导致资源供给性能问题的主要场景177

5.2并发性资源178

5.2.1并发性资源效率的衡量178

5.2.2主要的并发性资源和响应突变曲线178

第6章资源供给：CPU179

6.1简单案例分享179

6.2CPU的特殊性179

6.3CPU的工作和运行性能的衡量180

6.3.1CPU的主要工作180

6.3.2CPU运行性能的衡量：利用率和运行队列长度180

6.3.3CPU的运行性能曲线180

6.4CPU资源的主要衡量指标186

6.4.1CPU的主要性能衡量指标186

6.4.2CPU的主要性能衡量指标的测量187

6.4.3CPU相关的主要Oracle指标189

6.5几个CPU资源常见问题的讨论191

6.5.1CPU资源的100%利用率191

6.5.2CPU运行队列的长度标准191

6.5.3CPUsys部分的资源消耗问题192

6.6CPU资源优化的目标和道路193

6.6.1CPU资源问题的场景和优化道路193

6.6.2降低CPU的输入压力195

6.6.3分布局部的CPU输入压力204

6.6.4提高CPU处理效率204

6.6.5合理调度平缓化CPU使用206

6.7CPU资源优化案例206

第7章资源供给：内存和虚拟内存208

7.1简单案例分享208

7.2物理内存和虚拟内存208

7.3简单的虚拟内存管理209

7.3.1工作存储分页和永久存储分页209

7.3.2计算分页和非计算分页210

7.3.3页面大小和大页管理215

7.3.4进程内存管理218

7.4虚拟内存运行性能的衡量221

7.4.1虚拟内存运行性能221

7.4.2虚拟内存的运行性能曲线222

7.5虚拟内存资源的主要衡量指标225

7.5.1虚拟内存的主要性能衡量指标225

7.5.2虚拟内存主要性能衡量指标的测量226

7.5.3虚拟内存相关的主要Oracle指标229

7.6几个虚拟内存资源常见问题的讨论231

7.6.1有128GB的内存，为什么自由空间还是很少231

7.6.2Oracle业务系统环境下的文件系统缓冲231

7.6.3如何从AWR报告中发现可能存在的虚拟问题232

7.6.4如何检测和发现内存泄漏233

7.7虚拟内存资源优化的目标和道路234

7.7.1虚拟内存资源问题的场景和优化道路234

7.7.2合理配置内存分配参数，避免发生swapin和swapout234

7.7.3合理分配内存，让内存的使用处于安全可控的范围236

7.7.4充分利用内存，提高业务处理程序运行效率237

7.7.5合理调度业务程序，使内存使用平缓化238

7.8虚拟内存资源优化案例239

第8章资源供给：I／O子系统243

8.1简单案例分享243

8.2I／O子系统和构成243

8.3卷管理器和文件系统245

8.3.1卷管理器245

8.3.2文件系统和逻辑卷246

8.4HBA、SAN交换机及其他存储系统链路通道249

8.4.1HBA和SAN249

8.4.2NIC和网络交换机250

8.4.3IB和IB交换机250

8.5磁盘和磁盘阵列251

8.5.1磁盘251

8.5.2磁盘的硬件基础性能衡量252

8.5.3磁盘的iops和数据传输率253

8.5.4磁盘平均队列长度254

8.5.5磁盘阵列254

8.6Raid和LUN255

8.7磁盘多路径访问和基于存储的容灾复制影响258

8.7.1磁盘多路径访问258

8.7.2基于存储（卷）的容灾复制系统的影响259

8.8固态硬盘和PCIe260

8.8.1固态硬盘和传统机械硬盘260

8.8.2SSD的简单结构261

8.8.3固态硬盘不是机械设备261

8.8.4固态硬盘不支持原址更新263

8.8.5Oracle和固态硬盘263

8.9随机访问和顺序访问266

8.10基于Oracle数据库的存储系统设计269

8.10.1Oracle online redo logfile和磁盘阵列269

8.10.2临时表空间的存储设计269

8.10.3OLTP业务系统或混合型业务系统269

8.10.4数据仓库或DSS决策系统270

8.11I／O子系统的运行性能衡量270

8.11.1I／O子系统运行性能的衡量指标270

8.11.2I／O子系统的运行性能曲线271

8.11.3I／O资源主要性能衡量指标的测量272

8.11.4I／O子系统相关的主要Oracle指标275

8.12几个I／O子系统资源常见问题的讨论275

8.12.1I／O资源极度紧张但I／Owait表现不高275

8.12.2发现大量的磁盘Cache但似乎Oracle不理会276

8.12.3磁盘利用率为100%，但处理能力还在不断上涨277

8.12.4如何发现因存储系统导致的性能故障277

8.13I／O子系统资源优化的目标和道路278

8.13.1I／O资源问题的场景和优化道路278

8.13.2明确存储故障，修正配置或修复存储278

8.13.3降低存储系统的全局I／O压力280

8.13.4分布存储系统压力，使每个I／O设备处于合理范畴290

8.13.5合理调度业务程序，使I／O资源使用平缓化291

8.14I／O子系统资源优化案例291

……

第9章资源供给：网络子系统

第10章资源供给：队列锁

第11章资源供给：row cache lock和library cache lock

第12章资源供给：buffer lock

第13章资源供给：latch

第14章资源供给：mutex

作者简介

本书内容为FlowofWorkUnitTimeBasedAnalysis性能优化方法论的 部分，主要介绍基于流程响应和流程分解的响应时间分析方法论。基本按照以下方式来展开论述： 部分：从性能优化常见的困惑和场景出发引出一些性能优化的基本概念，并重点阐述了Oracle数据库性能优化的方法论发展。第二部分：重点阐述FlowofWorkUnitTimeBasedAnalysis优化方法论，阐述流程、资源和组件之间的相互作用，构建了流程响应的输入输出的性能优化指标体系。第三部分：资源供给，重点阐述流程、资源和组件中的资源部分，全面分析了CPU、Memory、IOSubsystem,NetworkSubSystem、Lock,BufferLock、Latch、Mutex等主要的Oracle数据库资源，并针对每种资源建立了独立的衡量评价体系。

 Oracle数据库性能优化方法论和最佳实践下载