海量网络存储系统原理与设计

章节摘录

　　具体来说，文件为用户提供一个高层抽象，数据块提供快速、可扩展的数据访问途径，使数据可以在不同的操作系统平台之问安全地共享，但必须经过文件服务器进行I／O认证和元数据管理，其性能受到很大的限制。对象具有文件和数据块两种技术的优点，对象是存储的原子单位，可以直接访问存储设备的对象而不需要另外的服务器，从而得到性能优势；同时访问对象的应用也要通过必要的元数据，容易实现对象的跨平台访问。对象存储在接口、属性、安全性和智能性等方面带来了新的变化。　　OSD的接口与文件系统非常类似。已经证明文件接口是易于理解和标准化（CIFS和NFS）的，便于不同平台之间的共享。传统的文件系统可以分为两部分：用户部分和存储部分。用户部分负责向用户应用程序提供一些逻辑的数据结构，存储部分负责物理磁盘上具体数据块的组织。在对象的存储中，文件系统中的用户组件部分基本保持不变，而将文件系统中的存储组件部分下移到智能存储设备，于是用户对于存储设备的访问接口由传统的块接口变为对象接口，这一概念如图4-7所示。该接口也易于扩充，通过针对应用的方法来处理对象的数据。对象存储将存储管理下放给对象存储设备。

前言

　　当前，人类社会活动越来越依赖于各种数字化信息。无论是个人的数据资料、企事业单位核心运营数据（学生提交的作业、科研工作者撰写的技术文档、多媒体娱乐文件等，以及工厂的资源管理系统和生产调度系统、企业交易系统等），还是保证国家和社会正常运转的文件（社会经济统计数据、个人和企业的档案税收记录等），都离不开各种海量信息数据的存储、处理和传输。一个观察到的现象是，社会中数据总量增长速度正比于当前社会信息化的程度，这说明数据总量是按指数形式增长，过去几十年的历史数据也证实了这一点，并在短时期内还没有发现什么因素能够延缓这种数据量的增长速度。因此，数据爆炸式增长，并且其重要性不断增加是客观的，这对于存放数据的存储系统提出了巨大的挑战。　　虽然在过去几十年中，存储设备的性能和容量得到极大的提高，但在性能方面它还赶不上处理器和网络的性能增长速度；在容量和可用性方面单设备也依然难以满足应用的需求。因此，使用系统的方法提高存储系统的性能、容量和可用性成为必然趋势。与传统计算机系统结构相比，当前存储系统不再仅仅被看做主机的外围I/O设备，而是具有高性能处理、存储和网络传输部件的独立计算机系统，能够提供高质量的数据存储服务，这也导致最近10年以来，数据存储系统及其相关技术受到越来越多的研究者、市场和用户的关注。　　海量网络存储系统由于能够在系统层面包含各种存储部件并融合多种存储技术，提供高性价比的存储服务成为当前研究和应用的焦点。一般而言，海量网络存储系统主要采用高速网络技术连接多个存储设备或者存储节点，使之能够存储海量的数字化信息，也就是说，高速网络互联是手段，高效组织是核心，海量数据存储是目的。本书从设计者的角度讨论高性能、高可用性和高安全性的海量网络存储系统及其部件的设计原则、评价方法、研究手段和实现方法，同时针对一些典型系统和技术给出相应的设计实例。　　本书整体分为三个部分：首先，从存储系统整体上高度分析了存储系统的层次性物理与逻辑结构、各种标准存储接口、存取路径及其常用的设计评价原则和方法；其次，从设备、单节点系统和大规模存储系统三个层次分别讨论基本原理和概念、当前的国内外状况、设计和评价方法，然后给出详细的设计实例；最后，针对海量存储系统中的实际功能需求讨论了若干关键问题，包括海量存储系统可靠性和可用性，存取安全和连续数据保护等，在每个专题中给出一些具体的设计优化和实现方案的例子。　　本书的作者从理论和实践两个方面，全面系统地对海量网络存储系统各个方面的问题进行深入分析和讨论，并结合自身的科研成果以实例的方式细致描述存储系统的研究手段、实现方式和整体思路。考虑到存储领域，特别是海量网络存储领域，国内外都缺乏能够理论结合实际的资料，相信本书能让广大读者加深理解网络存储系统的运行机制和特点，并能为存储系统研究、开发和产业发展提供一定帮助。　　本书共分为9章，其中第1，2，5，6，8，9章由曹强撰写，第4，7章由黄建忠撰写，第3章由万继光撰写，全书由谢长生统稿。博士生李红艳、刘洋和陈云亮对书中文字和内容进行录入、编排，吴晨涛、吴丹璐绘制了书中部分图表，在此一并表示感谢。在成书过程中得到了华中科技大学计算机学院和武汉光电国家实验室（筹）领导以及师生的热心支持，书中使用了大量的所在研究组的资料，在此谨以衷心的谢意。　　由于作者水平有限，书中难免存在不足之处，敬请读者批评指正。

书籍目录

第1章　存储系统设计原理1.1　应用需求1.1.1　数据量增长1.1.2　数据的价值1.2　计算机存储系统1.2.1　计算机存储系统概述1.2.2　存储结构的发展1.3　评价指标和功能需求1.3.1　评价指标1.3.2　功能需求1.3.3　典型系统1.4　存取路径和接口1.4.1　存取接口1.4.2　存取路径1.5　存储空间组织和管理1.5.1　存储空间的基本概念1.5.2　存储空间和主机的关系1.5.3　存储空间的合并1.5.4　存储空间的可用性1.5.5　存储系统的层次结构1.5.6　存储虚拟化1.6　设计方法1.6.1　测试方法1.6.2　系统仿真1.6.3　优化方法1.7　本章小结参考文献第2章　基本存储设备2.1　磁盘2.1.1　发展历史2.1.2　原理和结构2.1.3　数据布局和接口2.1.4　存取特性2.1.5　磁盘调度2.2　固态盘2.2.1　原理和结构2.2.2　存取特性2.2.3　软件系统2.3　磁带2.3.1　原理和结构2.3.2　存取特性2.3.3　磁带库系统优化技术2.4　光盘2.4.1　原理和结构2.4.2　存取特性2.5　其他存储机制和设备2.5.1　体全息光盘2.5.2　相变存储器2.5.3　MEMS设备2.6　本章小结参考文献第3章　磁盘阵列3.1　基本原理3.1.1　RAID级别3.1.2　RAID实现方式3.1.3　RAID快照技术3.2　RAID系统设计3.2.1　RAID控制器硬件设计3.2.2　RAID核心控制软件3.3　磁盘阵列系统性能评价3.3.1　磁盘阵列硬件瓶颈分析3.3.2　PCI传输瓶颈及优化3.3.3　内存访问瓶颈及优化3.3.4　CPU运算瓶颈及优化3.3.5　硬件性能评估结论3.4　磁盘阵列在线扩容技术3.4.1　磁盘阵列扩容的一般实现过程3.4.2　扩容过程中数据迁移的研究3.4.3　基于控制理论的分组分区迁移策略3.5　多协议磁盘阵列技术3.5.1　外存储设备接口协议3.5.2　存储整合3.5.3　多协议磁盘阵列系统结构3.6　磁盘阵列预警技术3.6.1　当前应用需求现状3.6.2　国内外相关技术研究现状3.6.3　基于安全预警技术的RAID系统设计3.7　当前阵列的研究热点3.7.1　绿色存储简介3.7.2　阵列级节能技术3.8　本章小结参考文献第4章　对象存储系统研究4.1　引言4.1.1　对象存储技术产生的背景4.1.2　常用网络存储系统4.1.3　对象存储带来的变化4.1.4　对象存储的研究内容4.2　对象存储设备的指令集4.2.1　SCSI命令集的扩展4.2.2　OSDT10的属性页4.2.3　属性列表4.2.4　对象扩展属性页4.3　对象存储文件系统4.3.1　分布式文件系统4.3.2　对象文件系统的设计思路4.3.3　采用OSD的对象文件系统4.4　存储服务质量4.4.1　存储服务质量的研究意义4.4.2　QoS系统结构4.4.3　QoSS的实施要素4.4.4　面向QoSS的属性管理模型AM-M4.4.5　基于属性管理的流媒体QoS保证4.5　一种基于属性控制的对象存储文件系统4.5.1　对象热度扩展属性页4.5.2　文件系统设计4.5.3　基于属性管理的应用原型总体设计4.5.4　应用原型客户端的设计4.5.5　应用原型存储端的设计4.5.6　性能评估与分析4.6　本章小结参考文献第5章　大规模网络存储系统5.1　概述5.1.1　存储域5.1.2　存储域的系统结构和功能需要5.1.3　基于网络的文件系统5.2　典型分布式文件系统5.2.1　PVFS5.2.2　Lustre文件系统5.2.3　Panasas文件系统5.2.4　GPFS5.2.5　GoogleFS5.2.6　Hadoop分布式文件系统5.2.7　分布式文件系统评价5.3　DNFS系统设计与实现5.3.1　DNFS系统结构5.3.2　DNFS实现方法5.3.3　测试与分析5.4　本章小结参考文献第6章　可靠性和可用性研究6.1　可靠性概述6.1.1　背景6.1.2　可靠性和可用性6.2　容错机制6.2.1　容错机制的分类6.2.2　容错机制的层次分析6.3　可靠性研究6.3.1　磁盘失效数据6.3.2　磁盘阵列的可靠性结构和模型6.3.3　集群存储系统的可靠性结构和模型6.3.4　Monte Carlo法模拟系统运行6.4　集群存储系统的容错机制6.4.1　集群存储系统容错一6.4.2　纠删码的选择6.4.3　LDPC编码6.4.4　系统实现6.4.5　性能评估6.5　本章小结参考文献第7章　存储安全性研究7.1　引言7.2　存储安全研究现状7.2.1　现有原型系统7.2.2　现有研究的分析7.2.3　存储安全研究范畴7.3　存储安全的一般性原理7.3.1　怎样研究网络存储安全7.3.2　存储安全的三大特征7.3.3　安全存储数据通道7.3.4　服务独立的存储安全服务模型7.3.5　安全访问协议7.4　典型存储安全案例研究7.4.1　存储设备的安全性7.4.2　常用存储系统的安全性7.4.3　对象存储安全性研究7.4.4　大规模存储系统及其安全性7.5　本章小结参考文献第8章　连续数据保护8.1　连续数据保护技术8.1.1　数据恢复的技术指标8.1.2　数据恢复级别8.2　ST-CDP机制8.2.1　当前CDP机制存在的问题8.2.2　数据记录8.2.3　数据恢复8.3　量化分析模型8.4　机制实现8.4.1　系统架构8.4.2　机制实现的相关问题8.4.3　工作流程8.4.4　设计方法改进8.5　实验分析8.5.1　测试环境设置8.5.2　测试结果与分析8.6　本章小结参考文献第9章　网络存储备份系统9.1　复制和镜像技术9.2　备份系统概述9.3　备份系统基本结构9.4　典型网络备份系统的设计9.4.1　网络备份系统的结构与业务逻辑9.4.2　网络备份系统的软件设计9.4.3　网络备份系统性能测试9.5　本章小结参考文献附录　存储安全的相关术语表

作者简介

本书从设计者的角度讨论高性能、高可用性和高安全性的海量网络存储系统及其部件的设计原则、评价方法、研究手段和实现方法，同时针对一些典型系统和技术给出相应的设计实例。

本书整体分为三个部分：首先，从存储系统整体上高度分析了存储系统的层次性物理与逻辑结构、各种标准存储接口、存取路径及其常用的设计评价原则和方法；其次，从设备、单节点系统和大规模存储系统三个层次分别讨论基本原理和概念、当前的国内外状况、设计和评价方法，然后给出详细的设计实例；最后，针对海量存储系统中的实际功能需求讨论了若干关键问题，包括海量存储系统可靠性和可用性，存取安全和连续数据保护等，在每个专题中给出一些具体的设计优化和实现方案的例子。

本书的作者从理论和实践两个方面，全面系统地对海量网络存储系统各个方面的问题进行深入分析和讨论，并结合自身的科研成果以实例的方式细致描述存储系统的研究手段、实现方式和整体思路。考虑到存储领域，特别是海量网络存储领域，国内外都缺乏能够理论结合实际的资料，相信本书能让广大读者加深理解网络存储系统的运行机制和特点，并能为存储系统研究、开发和产业发展提供一定帮助。

图书封面

---

 海量网络存储系统原理与设计下载

---