数据工程理论与技术

章节摘录

插图：1.数据工程概念数据工程是以数据作为研究对象、以数据活动为研究内容，以实现数据重用、共享与应用为目标的科学。从应用的观点出发，数据工程是关于数据生产和数据使用的信息系统工程。数据的生产者将经过规范化处理的、语义清晰的数据提供给数据应用者使用。从生命周期的观点出发，数据工程是关于数据定义、标准化、采集、处理、运用、共享与重用、存储和容灾备份的信息系统工程，强调对数据的全寿命管理。从学科发展角度看，数据工程是设计和实现数据库系统及数据库应用系统的理论、方法和技术，是研究结构化数据表示、数据管理和数据应用的一门学科。2.数据工程研究的内容数据工程研究的主要内容包括数据建模、数据标准化、数据管理、数据应用和数据安全等。（1）数据建模。现实世界中的数据描述现实世界中的一些事物的某些方面的特征及其相互联系，是原始的、非规范化的。通过数据建模，对现实世界中具体的人、物、活动、概念进行抽象、表示和处理，变成计算机可处理的数据，也就是把现实世界中的数据抽象到信息世界和计算机世界。数据建模主要研究如何运用关系数据库设计理论，利用数据建模工具，建立既能正确反映客观世界，又便于计算机处理的数据模型。（2）数据标准化。数据标准化主要为复杂的信息表达、分类和定位建立相应的原则和规范，使其简单化、结构化和标准化，从而实现信息的可理解、可比较和可共享，为信息在异构系统之间实现语义互操作提供基础支撑。数据标准化主要是在现有国家、部门、地方和企业的现有标准规范基础上，结合国际相关标准，制定数据标准，并在信息化建设中宣传、贯彻和执行。数据标准化重点研究数据标准化的组成和方法等内容。（3）数据管理。数据管理是保证数据有效性的前提。首先要通过合理、安全、有效的方式将数据保存到数据存储介质上，实现数据的长期保存；然后对数据进行维护管理，提高数据的质量。数据管理研究的主要内容包括数据存储、备份与容灾的技术和方法，以及数据质量因素、数据质量评价方法和数据清理方法。

前言

数据是人类社会活动、科技活动、经济活动和军事活动的产物，它凝聚着重要的科学价值、经济价值、社会价值和军事价值，是当代社会进步、经济发展、科技创新、新军事变革的重要资源和基础，数据资源的开发和利用已成为推动社会发展和进步的重要力量。随着信息技术的迅猛发展，我们面临许多新的数据问题。首先，数据量爆炸式增长，数据管理的难度和压力日益增加；其次，社会信息化发展导致不同的信息系统的交流日益广泛，我们对数据共享共用的要求越来越高，以业务为中心的传统信息系统开发模式难以适应这种要求；最后，很多信息系统本身功能强大，但由于缺乏有效数据的支撑，导致其应有的效益难以发挥，数据资源的建设发展已成为制约信息系统效益发挥的瓶颈。数据工程正是在这种背景下产生的一门新兴学科。数据工程是信息系统的基础工程，围绕数据的生命周期，规范数据从产生到应用的全过程，目标是为信息系统的运行提供可靠的数据保障和服务，为信息系统之间的数据共享提供安全、高效的支撑环境，为信息系统实现互连、互通、互操作提供有力的数据支撑。它是实现这些目标的一系列技术、方法和工程建设活动的总称。主要研究内容包括数据建模、数据标准化、数据管理、数据应用和数据安全有关理论和技术。数据建模是对现实世界中具体的人、物、活动、概念进行抽象、表示和处理，变成计算机可处理的数据，也就是把现实世界中的数据从现实世界抽象到信息世界和计算机世界。数据建模主要研究如何运用关系数据库设计理论，利用数据建模工具，建立既能正确反映客观世界，又便于计算机处理的数据模型。数据标准化主要为复杂的信息表达、分类和定位建立相应的原则和规范，并在信息化建设中予以宣传、贯彻和执行的过程。数据标准化重点研究数据标准化的内容、数据标准化的方法等。数据管理是保证数据有效性的前提。首先要通过合理、安全、有效的方式将数据保存到数据存储介质上，实现数据的长期保存；然后，需要对数据进行维护管理，提高数据的质量。数据管理研究的主要内容包括数据存储、备份与容灾的技术和方法，以及数据质量管理方法。数据应用通过数据集成、数据挖掘、数据服务、数据可视化、信息检索等手段，将数据转为信息或知识，辅助人们进行决策。数据应用研究的主要内容包括数据集成、数据挖掘、数据服务、数据可视化和信息检索的相关技术和方法。数据安全是采取一定的安全措施，确保合法用户采用正确的方式、在正确的时间对相应的数据进行正确的操作，确保数据的机密性、完整性、可用性和合法使用。数据安全包括数据访问安全、数据传输安全、数据存储安全和数据库安全。

书籍目录

第1章  绪论  1.1  数据    1.1.1  数据的定义与生命周期    1.1.2  数据的特性    1.1.3  数据与信息、知识、智慧的关系  1.2  数据工程概述    1.2.1  数据工程产生的背景    1.2.2  数据工程的内涵    1.2.3  数据工程研究的对象  1.3  数据工程的现状与发展    1.3.1  美军数据管理策略的演进    1.3.2  我国数据工程建设现状第2章  数据建模  2.1  关系数据库设计理论    2.1.1  关系模型的基本概念    2.1.2  数据依赖    2.1.3  范式    2.1.4  关系模式规范化  2.2  数据模型    2.2.1  概念模型    2.2.2  逻辑模型    2.2.3  物理模型    2.2.4  数据模型标记符号  2.3  数据建模方法    2.3.1  数据需求分析    2.3.2  概念模型设计    2.3.3  逻辑模型设计    2.3.4  物理模型设计  2.4  PowerDesigner建模工具    2.4.1  PowerDesigner主界面    2.4.2  构建概念模型    2.4.3  从概念模型创建逻辑模型    2.4.4  从逻辑模型创建物理模型    2.4.5  生成模型报告    2.4.6  创建数据库第3章  数据标准化  3.1  概述    3.1.1  标准和标准化    3.1.2  数据标准化的概念  3.2  元数据标准化    3.2.1  元数据的定义、作用和结构    3.2.2  信息资源元数据标准    3.2.3  数据集元数据标准内容  3.3  数据元标准化    3.3.1  数据元基本概念和组成    3.3.2  数据元基本属性及描述符    3.3.3  数据元命名规则    3.3.4  数据元标准制定  3.4  数据模式标准化    3.4.1  数据模式标准化内容及作用    3.4.2  数据模式规范化描述方法    3.4.3  数据模式标准化实例  3.5  数据分类与编码标准化    3.5.1  数据分类与编码的定义和作用    3.5.2  数据分类的基本原则和方法    3.5.3  数据编码的基本原则和方法  3.6  数据标准化管理    3.6.1  确定数据需求    3.6.2  制定数据标准    3.6.3  批准数据标准    3.6.4  实施数据标准第4章  数据存储、备份与容灾  4.1  数据存储    4.1.1  数据存储介质    4.1.2  数据存储技术    4.1.3  存储管理  4.2  数据备份    4.2.1  备份结构    4.2.2  备份策略    4.2.3  备份软件    4.2.4  数据库备份  4.3  数据容灾    4.3.1  数据容灾与数据备份的关系    4.3.2  数据容灾的国际标准    4.3.3  数据容灾的关键技术    4.3.4  数据容灾的典型案例第5章  数据质量管理  5.1  数据质量管理思想  5.2  数据质量描述    5.2.1  数据质量定量元素    5.2.2  数据质量非定量元素  5.3  数据质量评价    5.3.1  数据质量评价过程    5.3.2  数据质量评价方法  5.4  数据质量控制    5.4.1  数据生命周期各阶段对质量的影响    5.4.2  数据质量控制过程    5.4.3  数据质量控制实施  5.5  数据清理    5.5.1  数据清理的处理流程    5.5.2  数据清理的主要工具    5.5.3  相似重复数据的清理    5.5.4  不完整数据的清理    5.5.5  错误数据的清理第6章  数据集成  6.1  数据集成概述  6.2  数据集成的常用方法    6.2.1  模式集成方法    6.2.2  数据复制方法    6.2.3  混合型集成方法  6.3  数据集成的常见标准与技术    6.3.1  数据访问接口    6.3.2  Web Services技术    6.3.3  数据网格技术  6.4  数据集成的典型结构    6.4.1  IBM信息集成平台    6.4.2  ORACLE数据集成架构第7章  数据挖掘  7.1  数据挖掘概述    7.1.1  数据挖掘的内涵和任务    7.1.2  数据挖掘的过程    7.1.3  数据挖掘与数据仓库  7.2  数据挖掘的方法    7.2.1  数据总结方法    7.2.2  关联分析方法    7.2.3  分类和预测方法    7.2.4  聚类分析方法  7.3  多维数据分析    7.3.1  多维数据模型    7.3.2  多维数据分析基本操作第8章  数据应用  8.1  数据服务    8.1.1  数据目录服务    8.1.2  数据查询、浏览和下载服务    8.1.3  数据分发服务  8.2  数据可视化    8.2.1  一维数据可视化    8.2.2  二维数据可视化    8.2.3  三维数据可视化    8.2.4  多维数据可视化    8.2.5  其他数据可视化  8.3  信息检索    8.3.1  信息检索简介    8.3.2  数据库搜索引擎技术    8.3.3  互联网搜索引擎技术第9章  数据库安全  9.1  数据库安全概述    9.1.1  数据库安全威胁    9.1.2  数据库安全对策  9.2  数据库安全机制    9.2.1  身份认证    9.2.2  存取控制    9.2.3  数据库加密    9.2.4  数据库审计    9.2.5  推理控制与隐私保护    9.2.6  入侵容忍技术  9.3  Oracle安全措施    9.3.1  身份认证    9.3.2  授权与检查机制    9.3.3  数据加密    9.3.4  数据审计    9.3.5  用户定义的安全性措施参考文献

编辑推荐

《数据工程理论与技术》是由国防工业出版社出版的。

作者简介

《数据工程理论与技术》以数据的生命周期为主线，重点研究数据建模、数据标准化、数据管理、数据应用和数据库安全有关理论和技术。数据建模主要介绍了数据建模的理论、方法和工具；数据标准化重点研究了数据标准化的内容和数据标准化方法；数据管理介绍了数据存储、备份与容灾基础知识和基本技术，以及数据质量管理的方法；数据应用研究了数据集成、数据挖掘、数据服务、数据可视化和信息检索的方法和技术；数据库安全重点研究了数据库安全威胁和安全机制。

《数据工程理论与技术》着重理论、技术和实践相结合，内容实用、覆盖面广，可作为相关专业研究生和高年级本科生的教材，也可作为工程技术人员的参考书。

图书封面

---

 数据工程理论与技术下载

---