Files vs. Databases#

👉 DBMS 是应用和数据库之间的中间层

file system会导致:

1. Data redundancy and inconsistency（数据冗余和不一致）
2. Data isolation（数据孤立）
3. Difficulties in accessing data（数据访问困难）
4. Integrity problems（完整性问题）
   • 例如：年龄不能为负数，成绩必须在0-100之间
5. Atomicity problems（原子性问题）
   • 例如：转账操作中，扣款成功但未到账，导致数据不一致
6. Concurrent access anomalies（并发访问异常）
   • 例如：两个用户同时修改同一条记录，可能导致数据丢失或不一致
7. Security problems（安全问题）
   • 例如：未经授权的用户访问敏感数据，导致数据泄露或篡改

Characteristics of Databases:

1. Data persistence(数据持久性)
2. Convenience in accessing data(数据访问便利性)
3. Data integrity （数据完整性）
4. Concurrency control for multiple users(多用户并发控制)
5. Failure recovery（故障恢复）
6. Security control（安全控制）

Database & DBMS#

Database： 一个企业中相互关联的数据集合（A collection of interrelated data about an enterprise）

DBMS（Database Management System）： 管理数据库的软件系统，目标是：

Provide a way to store and retrieve data conveniently and efficiently.

DBMS 负责：存储与检索、权限控制、并发处理、崩溃恢复

数据库的两种使用模式#

数据管理两方面#

1
create table student (
2
    id int primary key,
3
    name varchar(20),
4
    age int
5
);

数据库系统核心要求#

Three-Level Abstraction of Databases#

数据库分为三层：

1
View Level
2
    ↓ (view/logical mapping)
3
Logical Level
4
    ↓ (logical/physical mapping)
5
Physical Level

Physical Level（物理层）#

• 描述数据如何真正存储
• 文件组织方式
• 索引结构
• 存储块结构

👉 关注 “how data are stored”

例如：

• 表是否顺序存储？
• 是否有 B+ 树索引？
• 数据在磁盘页中如何排列？

Logical Level（逻辑层）#

• 描述数据库存储了什么数据
• 描述数据之间的关系
• 定义表、属性、约束

👉 关注 “what data are stored”

例如：

1
Instructor(ID, name, dept_name, salary)
2
Department(dept_name, building, budget)

程序员和 DBA 主要工作在这一层。

View Level（视图层）#

• 只显示数据库的一部分
• 不同用户看到不同视图
• 用于简化使用与安全控制

例如：

教务人员：

• 只能看到 student 信息

不能看到：

• instructor 的 salary

👉 View = 数据库的子集表示

三层抽象的作用#

1. Hide the complexities（隐藏复杂性）
2. Enhance the adaptation to changes（增强对变化的适应能力）

Schema#

数据库的逻辑结构

类似于程序中的“类型定义”。

例如：

数据库包含：

• customers
• accounts
• 以及它们之间的关系

Schema 是设计，不是数据本身。

分类#

• Physical Schema（物理模式）

  • 数据库在物理层的设计

• Logical Schema（逻辑模式）

  • 数据库在逻辑层的设计
  • 最重要，应用程序依赖它

• View Schema（视图模式）

  • 不同用户看到的子模式

Instance#

数据库在某一时刻的实际内容

类似于变量当前的 value。

Schema 是“结构”， Instance 是“数据”。

Physical Data Independence（物理数据独立性）#

可以修改 physical schema 而不改变 logical schema

例如：

• 改变索引结构
• 改变文件存储方式

应用程序不需要修改。

👉 Applications depend on logical schema, not physical schema.

Logical Data Independence（逻辑数据独立性）#

可以修改 logical schema 而不改变 user view schema

例如：

• 增加字段
• 重构表结构

用户视图不需要改变。

常见数据模型#

1. Relational Model（关系模型）
2. Entity-Relationship Model（实体-联系模型）
3. Object-based Data Models
   • Object-oriented
   • Object-relational
4. Semistructured Data Model（XML）
5. 旧模型：
   • Network Model（网状模型）
   • Hierarchical Model（层次模型）

Data Definition Language (DDL)#

DDL 用于定义数据库的 schema（结构规范），例如：

1
create table instructor (
2
    ID          char(5),
3
    name        varchar(20),
4
    dept_name   varchar(20),
5
    salary      numeric(8,2),
6
    primary key (ID),
7
    foreign key (dept_name) references Department,
8
    check (salary >= 60000)
9
);

DDL 编译器会生成一组表模板，存储在 数据字典（Data Dictionary） 中。

Data Manipulation Language (DML)#

数据控制语言用于查询和修改数据库中的数据，例如：

主要分为两类：

1. Procedural DML（过程式 DML）：用户指定如何获取结果，例如：使用游标（cursor）逐行处理数据。
   • 过程式语言是类似C语言要将怎么查找，用什么查找写出来的。
2. Nonprocedural DML（非过程式 DML）：用户只指定想要什么结果，数据库系统负责如何获取，例如：SQL 查询语言。
   • 非过程式语言是类似SQL语言只要写出想要什么结果，数据库系统会自己决定怎么查找。数据库系统会自行优化。

1
select name from instructor where dept_name = 'Comp. Sci.';

Application Program Interface（API）#

SQL 不是完整编程语言，

应用程序必须通过嵌入式 SQL 或数据库 API 来访问数据库，

数据处理与业务逻辑分离。

1
┌──────────────────────┐
2
│      用户浏览器       │
3
│   (Browser / Client) │
4
└──────────┬───────────┘
5
           │  HTTP Request
6
           ▼
7
┌──────────────────────┐
8
│       Web Server      │
9
│   (Nginx / Apache)    │
10
└──────────┬───────────┘
11
           │ 转发请求
12
           ▼
13
┌──────────────────────┐
14
│    应用程序服务器     │
15
│ (Java / Python / Go) │
16
│  业务逻辑处理层       │
17
└──────────┬───────────┘
18
           │
19
           │ 调用数据库 API
20
           │ (JDBC / ODBC / ORM)
21
           ▼
22
┌──────────────────────┐
23
│        DBMS          │
24
│   (MySQL / PostgreSQL)│
25
│  SQL解析 + 优化 + 执行 │
26
└──────────┬───────────┘
27
           │
28
           │ 访问数据文件
29
           ▼
30
┌──────────────────────┐
31
│       数据库文件       │
32
│  (磁盘上的数据页/索引) │
33
└──────────────────────┘

1
数据库文件
2
      ▲
3
      │
4
DBMS 执行结果
5
      ▲
6
      │
7
API 返回结果集
8
      ▲
9
      │
10
应用程序处理数据
11
      ▲
12
      │
13
Web Server 返回 HTTP Response
14
      ▲
15
      │
16
用户浏览器显示页面

1
cursor.execute("SELECT * FROM instructor")

Entity-Relationship Model（实体-联系模型）#

• 将企业建模为一组数据实体（entities）和联系（relationships）
• 用 E-R 图（entity-relationship diagram） 直观表示

例如，instructor 与 department 之间通过 member 联系：

1
┌─────────────────┐          ◇           ┌─────────────────┐
2
│   instructor    │─────── member ────── │   department    │
3
│─────────────────│                      │─────────────────│
4
│ <u>ID</u>       │                      │ <u>dept_name</u>│
5
│ name            │                      │ building        │
6
│ salary          │                      │ budget          │
7
└─────────────────┘                      └─────────────────┘

矩形 = 实体集，菱形 = 联系集，下划线属性 = 主键。

👉 E-R 模型将在 Part Two（Chapter 6, 7） 详细介绍。

Normalization Theory（规范化理论）#

规范化理论用于形式化地判断哪些数据库设计是”坏”的，并提供检验方法。

考虑下面这张将 instructor 与 department 合并的表：

❓ 这个设计有什么问题？

• 数据冗余（Redundancy）：dept_name、building、budget 在每个属于同一系的教师行中重复存储
• 更新异常（Update Anomaly）：若某系搬楼，需修改多行，容易遗漏导致不一致
• 插入异常（Insertion Anomaly）：若一个系还没有教师，该系的信息无法被记录
• 删除异常（Deletion Anomaly）：若删掉某系最后一个教师，该系的所有信息也随之丢失

👉 规范化理论将在 Part Two（Chapter 6, 7） 详细讨论。

Storage Manager#

Storage Manager 是一个程序模块，提供底层数据库数据与应用程序/查询之间的接口。

负责的任务：

• 与 OS 文件管理器交互
• 数据的高效存储、检索与更新

Storage Manager 的组成组件：

Storage Manager 实现的数据结构：

• Data files：存储数据库本身
• Data dictionary：存储数据库结构的元数据，特别是数据库的 schema
• Indices：提供对数据项的快速访问；数据库索引存储指向持有特定值的数据项的指针
• Statistical data：存储关于数据的统计信息，供查询优化器使用

👉 将在 Part Five（Chapters 12, 13, 14） 详细介绍。

Query Processor#

Query Processor 的组成组件：

• DDL interpreter：解释 DDL 语句，并将定义记录到数据字典中
• DML compiler：将查询语言中的 DML 语句翻译为由低级指令组成的evaluation plan，供查询执行引擎理解
  • DML compiler 执行query optimization：从多种可能的执行计划中选取代价最低的方案
• Query evaluation engine：执行由 DML compiler 生成的低级指令

Query Processing 的步骤：

1. Parsing and translation
2. Optimization
3. Evaluation

1
query
2
  │
3
  ▼
4
parser and translator  ──→  relational-algebra expression
5
                                        │
6
                                        ▼
7
                                    optimizer  ←── statistics about data
8
                                        │
9
                                        ▼
10
evaluation engine  ←──────────  execution plan
11
  │
12
  ▼
13
query output
14
  │
15
  └── data (from data files)

👉 将在 Part Six（Chapters 15, 16） 详细介绍。

Transaction Management#

Transaction 是执行单一逻辑功能的一组操作集合。

Transaction Management 的两大组件：

• Recovery Manager：确保在系统故障和事务故障发生时，数据库仍能保持一致的状态
• Concurrency-control manager：控制并发事务之间的交互，确保数据库的一致性

👉 将在 Part Seven（Chapters 17, 18, 19） 详细介绍。

系统整体架构#

数据库系统的用户与组件层次如下：

1
        Naïve users          Application programmer      DBA / Data Analyst
2
              │                        │                         │
3
              ▼                        │                         │
4
   Database application  ←─────────────┘                         │
5
              │                                                  │
6
              ▼                                                  │
7
            API  (ODBC, JDBC, Hibernate …)                       │
8
              │                                                  │
9
              ▼                                                  ▼
10
            DBMS  (Oracle, MySQL, PostgreSQL, 达梦, GaussDB …) ◄──┘
11
              │
12
              ▼
13
             OS  (Unix/Linux, Windows, Mac OS …)
14
              │
15
              ▼
16
           Database

四类数据库用户#

用户根据与系统交互方式的不同进行区分：

Database Administrator（DBA）#

DBA 负责协调数据库系统的所有活动，对企业的信息资源和需求有深刻理解。

DBA 的职责包括：

• Schema definition：定义数据库模式
• Storage structure and access method definition：定义存储结构和访问方法
• Schema and physical organization modification：修改模式和物理组织结构
• Granting user authority：授予用户访问数据库的权限
• Routine maintenance：
  • Performance Tuning：监控性能，响应需求变化
  • Backing up：定期将数据库备份到远程服务器
  • Disk space management：确保有足够的磁盘空间用于正常运营，并按需扩容