MySQL 从磁盘读取数据页到 Buffer Pool 时，free 链表 在这一过程中扮演了重要的角色。

1. 数据库启动时如何初始化 Buffer Pool

我们已经了解了 Buffer Pool 的基本结构和功能，它主要包含了许多 缓存页，每个缓存页都有一段 描述数据（或称为缓存页的 元数据）。那么，在数据库启动时，Buffer Pool 是如何初始化的呢？

1.1. 申请内存空间

在数据库启动时，系统会按照预先设定的 Buffer Pool 大小 来申请一块内存区域。这块内存区域将会成为 Buffer Pool 的存储空间，存放数据页和相关的元数据。

Buffer Pool 大小：你可以通过数据库配置来设置 Buffer Pool 的大小（例如通过 MySQL 配置项

innodb_buffer_pool_size

来设置）。这个值可以根据数据库的负载和系统内存的大小进行调整。

示例：假设你将 Buffer Pool 大小设置为 2GB，数据库启动时会根据这个设置来申请 2GB 的内存区域。

1.2. 划分内存为缓存页

一旦内存区域被申请完毕，数据库会根据 缓存页的大小（通常是 16KB）以及每个缓存页的 描述数据（约 800 字节）来划分这块内存。

缓存页大小：每个缓存页的大小是固定的（比如 16KB），而每个缓存页会有一个描述数据（元数据）来记录该缓存页的信息（如该数据页所属的表空间、页号等）。
描述数据大小：每个缓存页的描述数据大约占 800 字节左右，确保每个缓存页都有独立的标识和元数据。

1.3. 内存分配与初始化

数据库会为每一个缓存页分配 16KB 的内存空间，并为每个缓存页分配 800 字节的描述数据。然后，数据库会通过 free 链表 来管理这些缓存页。这个链表会指向那些尚未被使用的缓存页，确保当需要读取新的数据页时，可以高效地从 Buffer Pool 中分配空闲的缓存页。

1.4. 完成 Buffer Pool 初始化

当上述步骤完成后，数据库的 Buffer Pool 就初始化完成了。此时，Buffer Pool 中已经有了分配好的缓存页和相应的描述数据，数据库就可以开始从磁盘加载数据页并存储到这些缓存页中了。

补充思考

内存优化：为了避免内存浪费和碎片化，数据库会尽量合理配置 Buffer Pool 大小，并根据系统的负载动态调整。如果设置过小，可能会导致频繁的磁盘 I/O 操作；如果设置过大，则可能会浪费内存资源，尤其是在内存不足的情况下。
数据页管理：初始化后的缓存页是空闲的，可以被用来缓存磁盘中的数据页。每当数据库访问某个数据页时，系统会首先检查缓存页是否已经存在。如果缓存中有对应的数据页，就直接返回，否则就从磁盘读取，并将其存放到缓存页中。
与磁盘的交互：数据库在启动时，通常不会立即将磁盘上的所有数据页都加载到 Buffer Pool 中，而是通过 懒加载 方式，根据实际需要逐步加载数据页。Buffer Pool 在缓存数据页时，依赖于 LRU 算法来决定缓存页的替换策略，确保内存中的数据是最有可能被访问的。

总结来说，数据库通过在启动时申请内存并初始化 Buffer Pool，为后续的数据页加载和操作做好准备。通过合理的内存分配、缓存页管理和优化策略，确保数据库能够高效地从磁盘读取数据并减少磁盘 I/O 操作，从而提高系统的整体性能。

2. 如何知道哪些缓存页是空闲的呢?

当数据库启动后，系统会不断执行增删改查操作，这就需要频繁地从磁盘读取数据页并将它们加载到 Buffer Pool 中的缓存页。这样，数据就会被缓存在内存中，后续的增删改查操作就能在内存中直接执行。

然而，在从磁盘读取数据页并放入 Buffer Pool 中的缓存页时，存在一个问题，那就是如何判断哪些缓存页是空闲的。

由于磁盘上的数据页和缓存页通常是一一对应的（每个数据页16KB，匹配一个缓存页），因此我们必须清楚 Buffer Pool 中哪些缓存页是空闲的。

为此，数据库设计了一个 free 链表，这是一个双向链表数据结构，专门用于管理空闲缓存页。链表中的每个节点代表一个空闲缓存页的描述数据块的地址。也就是说，当一个缓存页空闲时，其描述数据块的地址会被添加到 free 链表中。

在数据库启动时，所有缓存页通常都是空闲的，尤其是在一个全新的数据库中，没有任何数据，因此所有缓存页的描述数据块都会被加入到 free 链表中。

如上图，引入了一个 free 链表，这个链表用于管理所有空闲缓存页的描述数据块。只要缓存页处于空闲状态，它对应的描述数据块就会被加入到 free 链表 中。每个节点都会与前后节点双向链接，形成一个双向链表。

除了这些普通节点之外，free 链表 还会有一个基础节点，用来引用链表的头节点和尾节点。同时，这个基础节点还会记录链表中有多少个描述数据块节点，也就是有多少个空闲的缓存页。

3. free链表占用的内存空间？

有些人可能会误以为，描述数据块 在 Buffer Pool 中和 free链表 中各自有一份副本，导致内存中存在两个完全相同的描述数据块。这样看来，似乎内存中的描述数据块会被重复存储。

实际上，这种理解是错误的。

需要说明的是，free链表 本身实际上是由 Buffer Pool 中的描述数据块构成的。可以理解为每个描述数据块都包含了两个指针，一个是 free_pre，指向链表中前一个节点；另一个是 free_next，指向下一个节点。通过这两个指针，Buffer Pool 中的描述数据块就能够连接成一个完整的 free链表。

换句话说，描述数据块 只会存在于 Buffer Pool 中，它本身就承担了在 free链表 中管理空闲缓存页的作用。因此，描述数据块并没有被重复存储。

关于 free链表，它只有一个额外的基础节点，该节点并不属于 Buffer Pool。这个基础节点的大小是 40字节，它存储了 free链表的头节点、尾节点的地址，以及当前链表中节点的数量。

4. 如何将磁盘上的页读取到Buffer Pool的缓存页中去？

当需要将磁盘上的数据页加载到 Buffer Pool 中的缓存页时，具体是如何操作的呢？

其实，有了 free链表，这个过程变得相对简单。

首先，我们需要从 free链表 中获取一个描述数据块。通过这个描述数据块，就可以找到它对应的空闲缓存页。然后，我们就可以将磁盘上的数据页加载到这个空闲的缓存页中，具体操作如图所示。

接着，我们可以将磁盘上的数据页读取到相应的缓存页中，同时将一些必要的描述数据写入缓存页的描述数据块里。例如，缓存页所属的表空间等信息。最后，将这个描述数据块从 free链表 中移除，完成数据页的加载过程。

描述数据块是如何从 free链表中移除的？其实，这个过程并不复杂，我们可以用一段伪代码来演示一下。假设当前有一个描述数据块 02，它的前一个节点是 01，后一个节点是 03，那么它在内存中的数据结构如下所示：

// 描述数据块
DescriptionDataBlock{  
    // 自身  b
    lock_id = block02;  
    // 上一个节点 
    free_pre = block01; 
    // 下一个节点  
    free_next = block03;
}

如果 block03 被使用了，需要从 free链表 中移除，这时我们只需要调整 block02 的 free_next 指针，将其设为 null，这样 block03 就不再被 free链表 引用，相当于将其从链表中移除了，如下所示：

// 描述数据块
DescriptionDataBlock{  
    // 自身  b
    lock_id = block02;  
    // 上一个节点 
    free_pre = block01; 
    // 下一个节点  
    free_next = null;
}

5. 如何判断数据页是否已被缓存？

在数据库执行增删改查操作时，首先需要确认目标数据页是否已经被缓存。如果数据页尚未缓存，系统会按照之前提到的流程，从 free 链表中找到一个空闲的缓存页，将数据页从磁盘读取到该缓存页，并写入相应的描述数据，随后从 free 链表中移除该缓存页的描述数据块。

然而，如果数据页已经被缓存，数据库会直接使用缓存中的数据页，而无需再次从磁盘读取，以提高查询效率。

为了快速判断数据页是否已被缓存，数据库维护了一个哈希表数据结构。该哈希表以 “表空间号 + 数据页号” 作为 key，缓存页的地址作为 value。

当数据库需要访问某个数据页时，会使用 “表空间号 + 数据页号” 作为 key，在哈希表中进行查找：

如果 key 存在，说明数据页已经被缓存，直接使用缓存页的数据。
如果 key 不存在，说明数据页尚未缓存，则需要从磁盘读取数据页，并将其存入缓存。

可以将这个过程理解为，每次加载一个数据页到缓存后，都会在哈希表中添加一条 key-value 记录，以便后续查询时能够快速判断该数据页是否已被缓存，从而提高数据库访问的性能。

6. 🙋‍♂️🙋‍♂️🙋‍♂️探讨一下 MySQL 内部操作中表空间与数据页之间的关系和区别。

我们在执行 SQL 查询时，通常理解的是 表 + 行 的概念，但在 MySQL 内部，这些数据实际上是通过 表空间 + 数据页 来管理的。

在这个背景下，思考以下几个问题：

1. 表空间与数据页的区别是什么？

2. 表空间和数据页之间的联系又是什么？

可以从以下角度进行思考：

表空间 是存储数据的物理区域，它包含一个或多个数据页。每个表空间可以用于存储多个表的数据，通常是针对大型数据库设计的一个逻辑存储单位。
数据页 是表空间中的基本存储单元，每个数据页通常用于存储多行数据。数据页是 MySQL 从磁盘中读取和写入数据的基本单位。

通过这个思考题，可以进一步理解 MySQL 数据存储的内部机制，以及表空间和数据页如何协同工作以提高数据访问效率。

表空间与数据页的区别和联系

1. 表空间与数据页的区别：

• 表空间（Tablespace）：

表空间是一个逻辑存储单元，表示数据库中的数据文件集合。它是用于存储表的数据的物理区域。在 MySQL 中，一个表空间通常对应一个或多个文件，每个文件包含一个或多个数据页。表空间有助于将数据库中的数据文件进行逻辑划分和管理，通常会按照不同的需求来设计和配置表空间（例如，不同的表或不同的数据类型可能存储在不同的表空间中）。

• 数据页（Data Page）：

数据页是数据库存储系统的最小单位。在 MySQL 中，每个数据页通常为 16KB。数据页存储的是实际的表数据，通常每个数据页包含多个行。每当数据库需要从磁盘读取或写入数据时，它以数据页为单位来进行操作。数据页不仅包含数据，还可能包括与数据相关的元数据，如行指针、索引等。

2. 表空间与数据页的联系：

• 表空间包含数据页：

每个表空间包含多个数据页，这些数据页具体存储表的行数据。当数据库需要读取或写入数据时，操作的基本单位是数据页，而数据页属于某个表空间。因此，数据页的存取和管理是基于表空间的。

• 表空间是数据页的容器：

数据页是实际存储数据的地方，而表空间是数据页的容器，管理着这些数据页的组织和分配。通过表空间，MySQL 可以有效地管理数据库中的数据页，并在需要时分配和释放数据页。

总结：

• 区别：表空间是一个更高层次的逻辑存储单位，而数据页是存储实际数据的物理单位。表空间通常包含多个数据页，并负责数据页的管理。

• 联系：表空间提供了一个包含数据页的容器，用于管理和存储数据库中的数据，而数据页是表空间中实际存储数据的基本单元。

7. 🙋‍♂️🙋‍♂️🙋‍♂️Free 链表的设计

1️⃣ 双向链表结构：

Free 链表 是一个双向链表，链表中的每个节点代表一个空闲缓存页。每个节点包含了该缓存页的 描述数据块的地址，也就是缓存页的元数据。描述数据块记录了该缓存页的位置信息，表明该缓存页是空闲的，可以用来存储新的数据页。

2️⃣ 缓存页的空闲状态：

当 Buffer Pool 中的某个缓存页被标记为空闲时，它的 描述数据块地址 会被加入到 free 链表 中。这个描述数据块地址指向该缓存页的位置，数据库可以通过它快速找到空闲缓存页。

3️⃣ 初始状态：所有缓存页空闲：

在数据库启动时，Buffer Pool 中的所有缓存页都是空闲的，因为此时数据库可能还没有数据，或者数据还没有被加载到缓存中。此时，所有缓存页的 描述数据块地址 都会被添加到 free 链表 中，表示这些缓存页都可以用来存储数据。

假设数据库是全新的，尚未执行任何增删改查操作，那么在启动时，系统会自动初始化 free 链表，并将每个缓存页的描述数据块添加到链表中。这样，数据库可以在需要读取数据页时，快速从链表中找到一个空闲的缓存页。

8. 🙋‍♂️🙋‍♂️🙋‍♂️ 为什么需要 Free 链表？

• 性能提升：通过 free 链表 管理空闲缓存页，数据库能够高效地找到空闲的缓存页，避免频繁的内存分配和回收，从而提高了系统的性能。

• 减少内存碎片：如果不使用 free 链表，每次需要缓存新的数据页时，都可能面临内存碎片的问题。通过链表的管理，空闲缓存页被有序地组织起来，减少了内存碎片的产生，保证了内存的高效使用。

• 优化内存管理：free 链表 使得数据库能够根据需求动态地分配和释放缓存页，避免了过度分配内存的情况，同时还能够灵活地应对缓存页替换的需求。

总结

Free 链表 是 Buffer Pool 中用来管理 空闲缓存页 的重要结构。它通过双向链表的方式记录空闲缓存页的位置，确保数据库在需要缓存新的数据页时，能够快速、有效地找到空闲缓存页。当数据库启动时，所有缓存页都是空闲的，所有缓存页的描述数据都会被加入到 free 链表 中。随着数据库的运行，缓存页的状态会不断变化，而 free 链表 保证了内存的高效管理，提升了系统的性能。

9. 🙋‍♂️🙋‍♂️🙋‍♂️从磁盘加载数据页到 Buffer Pool 的具体流程

1. 判断是否有空闲缓存页：

当数据库需要从磁盘读取某个数据页时，首先会检查 free 链表，看看是否有空闲的缓存页。如果有空闲缓存页，系统就从链表中取出一个缓存页，并将其标记为“已占用”，然后从磁盘加载数据页到该缓存页。

2. 如果没有空闲缓存页，进行替换：

如果 free 链表 中没有空闲缓存页，系统会通过缓存页替换策略（如 LRU（最少使用））选择一个已经存在的缓存页进行替换。这个缓存页可能是脏页（已修改但未写回磁盘），因此需要先将其写回磁盘，然后将其从 Buffer Pool 中移除，空出位置供新的数据页使用。然后，该缓存页会被放入 free 链表，以便以后重新使用。

3. 缓存页的管理：

每当一个缓存页被替换或释放时，它会被添加回 free 链表 中。当数据库再需要空闲缓存页时，系统可以通过 free 链表 快速找到合适的缓存页进行使用，减少内存分配的开销，提高性能。

10. 🙋‍♂️🙋‍♂️🙋‍♂️为什么需要 Free 链表？

• 性能提升：通过 free 链表 管理空闲缓存页，数据库能够高效地找到空闲的缓存页，避免频繁的内存分配和回收，从而提高了系统的性能。

总结

11. 🙋‍♂️🙋‍♂️🙋‍♂️ Free 链表的作用

在 Buffer Pool 中，free 链表是一个链表结构，专门用于管理 空闲的缓存页。当 MySQL 从磁盘读取数据页时，它会将数据页加载到 Buffer Pool 中，并且需要一个地方来存储空闲的缓存页，以便在将来需要时能够快速分配和重用这些空闲的缓存页。

具体作用包括：

1. 管理空闲缓存页：

• 当某个数据页被替换或移除（例如在内存中已经没有用的缓存页），它会被标记为可用，并且加入到 free 链表 中。这些缓存页虽然已被释放，但它们的内存空间依然被占用，可以被重新分配用于存储新的数据页。

• free 链表 通过链表的形式维护这些空闲缓存页，便于 MySQL 快速查找和重用这些内存块。

2. 减少内存分配的开销：

• 当 MySQL 需要分配一个新的缓存页时，它会从 free 链表 中取出一个空闲缓存页，而不是重新分配内存。这大大减少了内存管理的开销和碎片化问题。

• 由于缓存页在 Buffer Pool 中是固定大小的（通常为 16KB），缓存页的内存空间往往已经预分配好了，MySQL 只需要从 free 链表 中获取，避免了复杂的内存分配和回收过程。

3. 提高性能：

• 通过高效的 free 链表管理，MySQL 能够快速找到空闲的缓存页，并且减少了频繁的内存申请和释放过程，提高了数据库的性能。

• 这也有助于减少内存碎片的产生，保证内存的高效利用。

12. 🙋‍♂️🙋‍♂️🙋‍♂️从磁盘读取数据页到 Buffer Pool 时的工作流程

数据页缺失时加载：

当某个数据页不在 Buffer Pool 中，MySQL 会根据请求读取磁盘中的数据页。

在加载数据页之前，MySQL 会检查 free 链表 是否有空闲的缓存页。如果有，系统会从 free 链表 中选择一个缓存页，将其从空闲状态标记为“已占用”，然后将磁盘中的数据页加载到该缓存页中。

缓存页的替换：

如果 Buffer Pool 中没有足够的空闲缓存页来存储新的数据页，MySQL 会根据替换策略（如 LRU（Least Recently Used））选择一页已有缓存页进行替换。

替换的缓存页会先将其数据写回磁盘（如果它是脏页的话），然后被移出 Buffer Pool。此时，该缓存页会被添加到 free 链表 中，等待下一次使用。

释放缓存页：

当某个数据页被删除或更新后，缓存页可能会被标记为不再需要。这时候，缓存页会被移出 Buffer Pool，并重新加入到 free 链表，等待重用。

13. 🙋‍♂️🙋‍♂️🙋‍♂️如何减少内存碎片和提高效率

合适的 Buffer Pool 大小：

为了避免频繁的缓存页替换和内存分配操作，适当增大 Buffer Pool 的大小可以减少对 free 链表的依赖，降低碎片化的风险。

在高并发的数据库环境中，Buffer Pool 太小可能会导致频繁的页替换，产生更多的 内存碎片，影响性能。

LRU 替换策略：

MySQL 使用 LRU 算法来决定哪些缓存页应该被淘汰，确保最近使用的数据页能够保留在 Buffer Pool 中，减少空闲缓存页的产生。

周期性清理缓存：

通过定期清理不再使用的缓存页（例如 FLUSH 或 RESET 操作），可以有效减少空闲缓存页的积累，避免内存碎片的增多。

14. 🙋‍♂️🙋‍♂️🙋‍♂️总结Free 链表

Free 链表 在 Buffer Pool 中扮演着至关重要的角色，主要负责管理内存中的空闲缓存页。在从磁盘读取数据页到 Buffer Pool 时，free 链表确保了系统能够快速、有效地分配和重用缓存页，而不需要频繁进行内存分配操作。这种机制不仅提高了性能，也降低了内存碎片的风险，帮助数据库在高负载情况下保持良好的性能表现。

目录CONTENT

07-Free链表