Ceph分布式存储实战

内容概要

耿　航　Ceph中国社区联合创始人， XSKY市场技术专家。资深Ceph布道者，率先提出Ceph中国行口号，先后担任过云计算系统工程师与研发工程师等职位，在Eucalyptus、OpenStack、Ceph方面积累了丰富的实战经验。

郭　峰　Ceph中国社区联合创始人，网易云计算架构师，负责网易游戏云平台方面的研发工作。曾任职于阿里巴巴（中国）、广州杰赛科技。在企业级系统的应用及分布式系统实战方面经验丰富。现专注于容器、DevOps、分布式对象存储的落地与实践。

郭华星　Ceph中国社区联合创始人，ZStack高级云计算工程师。在高性能计算、云计算虚拟化和分布式系统有丰富的实践经验。现专注于ZStack云计算、分布式块存储和网络虚拟化落地与实践.

程　鹏　Ceph中国社区联合创始人、上海巨人网络高级软件工程师，从事分布式存储架构方面的研发工作，在大规模分布式系统设计与实现、性能调优、高可用性和自动化等方面积累了丰富经验.热衷于容器技术Docker、Kubernetes、Mesos等开源技术研究。

沈志伟　Ceph中国社区联合创始人、北京趣游科技（即趣酷科技）运维开发工程师，从亊基础设施相关工作。擅长私有云规划、架构、部署、运维与优化，使用Python、Ngnix Lua做服务化接口。关注DevOps ，热衷OpenStack、 ZStack、Ceph等开源技术研究。

赵　威　Ceph中国社区上海站成员、饿了么架构师，负贵基于Docker、Mesos等的容器化平台建设。从亊云计算产品落地工作多年。致力应用Ceph、Swift到OpenStack私有云中，擅长私有云集成、优化和功能完善工作，实战经验丰富。

书籍目录

本书赞誉

序

前言

第1章　初识Ceph
1

1.1　Ceph概述
1

1.2　Ceph的功能组件
5

1.3　Ceph架构和设计思想
7

1.4　Ceph快速安装
9

1.4.1　Ubuntu/Debian安装
10

1.4.2　RHEL/CentOS安装
13

1.5　本章小结
16

第2章　存储基石RADOS
17

2.1　Ceph功能模块与RADOS
18

2.2　RADOS架构
20

2.2.1　Monitor介绍
20

2.2.2　Ceph OSD简介
22

2.3　RADOS与LIBRADOS
26

2.4　本章小结
31

第3章　智能分布CRUSH
32

3.1　引言
32

3.2　CRUSH基本原理
33

3.2.1　Object与PG
34

3.2.2　PG与OSD
34

3.2.3　PG与Pool
35

3.3　CRUSH关系分析
37

3.4　本章小结
41

第4章　三大存储访问类型
42

4.1　Ceph FS文件系统
42

4.1.1　Ceph FS和MDS介绍
43

4.1.2　部署MDS
45

4.1.3　挂载Ceph FS
46

4.2　RBD块存储
47

4.2.1　RBD介绍
47

4.2.2　librbd介绍
48

4.2.3　KRBD介绍
48

4.2.4　RBD操作
50

4.2.5　RBD应用场景
56

4.3　Object对象存储
57

4.3.1　RGW介绍
57

4.3.2　Amazon S3简介
58

4.3.3　快速搭建RGW环境
61

4.3.4　RGW搭建过程的排错指南
68

4.3.5　使用S3客户端访问RGW服务
71

4.3.6　admin管理接口的使用
75

4.4　本章小结
78

第5章　可视化管理Calamari
79

5.1　认识Calamari
79

5.2　安装介绍
79

5.2.1　安装calamari-server
80

5.2.2　安装romana（calamari-client）
82

5.2.3　安装diamond
85

5.2.4　安装salt-minion
86

5.2.5　重启服务
87

5.3　基本操作
87

5.3.1　登录Calamari
87

5.3.2　WORKBENCH页面
88

5.3.3　GRAPH页面
89

5.3.4　MANAGE页面
90

5.4　本章小结
92

第6章　文件系统—高性能计算与大数据
93

6.1　Ceph FS作为高性能计算存储
93

6.2　Ceph FS作为大数据后端存储
98

6.3　本章小结
101

第7章　块存储—虚拟化与数据库
102

7.1　Ceph与KVM
102

7.2　Ceph与OpenStack
106

7.3　Ceph与CloudStack
110

7.4　Ceph与ZStack
114

7.5　Ceph提供iSCSI存储 122

7.6　本章小结
128

第8章　对象存储—云盘与RGW异地灾备
129

8.1　网盘方案：RGW与OwnCloud的整合
129

8.2　RGW的异地同步方案
133

8.2.1　异地同步原理与部署方案设计
134

8.2.2　Region异地同步部署实战
137

8.3　本章小结
146

第9章　Ceph硬件选型、性能测试与优化
147

9.1　需求模型与设计
147

9.2　硬件选型
148

9.3　性能调优
151

9.3.1　硬件优化
152

9.3.2　操作系统优化
155

9.3.3　网络层面优化
161

9.3.4　Ceph层面优化
170

9.4　Ceph测试
174

9.4.1　测试前提
175

9.4.2　存储系统模型
175

9.4.3　硬盘测试
176

9.4.4　云硬盘测试
182

9.4.5　利用Cosbench来测试Ceph
185

9.5　本章小结
189

第10章　自定义CRUSH
191

10.1　CRUSH解析
191

10.2　CRUSH设计：两副本实例
201

10.3　CRUSH设计：SSD、SATA混合实例
207

10.3.1　场景一：快–慢存储方案
207

10.3.2　场景二：主–备存储方案
214

10.4　模拟测试CRUSH分布
217

10.5　本章小结
222

第11章　缓冲池与纠删码
223

11.1　缓冲池原理
223

11.2　缓冲池部署
225

11.2.1　缓冲池的建立与管理
226

11.2.2　缓冲池的参数配置
226

11.2.3　缓冲池的关闭
228

11.3　纠删码原理
229

11.4　纠删码应用实践
232

11.4.1　使用Jerasure插件配置纠删码
232

11.4.2　ISA-L插件介绍
234

11.4.3　LRC插件介绍
235

11.4.4　其他插件介绍
235

11.5　本章小结
235

第12章　生产环境应用案例
237

12.1　Ceph FS应用案例
237

12.1.1　将Ceph FS导出成NFS使用
238

12.1.2　在Windows客户端使用Ceph FS
239

12.1.3　OpenStack Manila项目对接Ceph FS案例
242

12.2　RBD应用案例
244

12.2.1　OpenStack对接RBD典型架构
244

12.2.2　如何实现Cinder Multi-Backend
246

12.3　Object RGW应用案例：读写分离方案
248

12.4　基于HLS的视频点播方案
249

12.5　本章小结
251

第13章　Ceph运维与排错
252

13.1　Ceph集群运维
252

13.1.1　集群扩展
252

13.1.2　集群维护
259

13.1.3　集群监控
266

13.2　Ceph常见错误与解决方案
277

13.2.1　时间问题
277

13.2.2　副本数问题
279

13.2.3　PG问题
282

13.2.4　OSD问题
286

13.3　本章小结
292

作者简介

十余位专家联袂推荐，Ceph中国社区专家撰写，权威性与实用性毋庸置疑。本书共13章，从设计思想到实践应用，从界面到运维，从基础到高级应用，涵盖读者需要的方方面面。

第1～５章，介绍Ceph的设计思想与核心功能。介绍Ceph的设计思想、核心功能、环境搭建、分布式基石CRUSH，三大存储的介绍与使用，界面Calamari的安装与基本操作。

第6～8章，介绍三大存储系统的应用。

第6章，讲解Ceph FS在HPC与大数据中的应用。

第7章，介绍RBD的应用实践，涵盖KVM、OpenStack、CloudStack、ZStack和iSCSI。

第8章，讲解对象存储应用，以云盘技术方案和备份方案为例讲解。

第9～13章，涵盖高级应用与生产实践。

第9章　 介绍Ceph分布式存储的硬件选型、性能调优与测试。

第10章　剖析CRUSH的结构，并给出二副本设计、SSD与SATA混合场景下的磁盘组织方案。

第11章　详细讲解缓冲池、纠删码的原理与部署，以及纠删码的应用。

第12章　Ceph在生产环境案例应用，让读者学以致用。

第13章　Ceph日常运维细节，以及常见错误的处理，解决Ceph运维难问题。

 Ceph分布式存储实战下载