`
zzc1684
  • 浏览: 1183156 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

MongoDB数据文件内部结构

阅读更多

有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。

 

每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项,那你每个库的文件会单独放在一个文件夹里。

 

数据库文件在内部会被切分成单个的块,每个块只保存一个名字空间的数据。在MongoDB中,名字空间用于区分不同的存储类别。比如每个collection有一个独立的名字空间,每个索引也有自己的名字空间。

 

在一个块中,会保存多条记录,每条记录是BSON格式的,记录与记录之间通过双向链表进行连接。

 

索引数据也存在数据文件中,不过索引是被组织成B Tree结构,而不是双向链表。

 

对每个数据库,有一个命名空间文件,用于保存每个名字空间对应的元数据。我们通过查询这些元数据来找到对应的名字空间的存储块位置。

 

如果你开启了jorunaling日志,那么还会有一些文件存储着你所有的操作记录。

 

下面图片摘自10gen工程师Mathias Stearn在MongoSV2011大会上的发言稿,手绘的数据文件结构。

 

1.每个数据库有相应的数据文件和命名空间文件

 

preview_slide_1

 

2.数据文件从16MB开始,新的数据文件比上一个文件大一倍,最大为2GB

 

preview_slide_2

 

3.文件使用MMAP进行内存映射,会将所有数据文件映射到内存中,但是只是虚拟内存,只有访问到这块数据时才会交换到物理内存。

 

preview_slide_4

 

preview_slide_3

 

4.MongoDB的数据文件映射到内存表中的位置

 

preview_slide_5

 

preview_slide_7

 

5.使用32位机器的话,内存地址最大可以标识4GB内存

 

preview_slide_8

 

preview_slide_6

 

6.但是在32位机器上,4GB内存会有1GB被内核战用,大约0.5GB会用于mongod进程的stack空间,只剩下大约2.5GB可用于映射数据文件。

 

preview_slide_9

 

preview_slide_10

 

preview_slide_11

 

7.在64位机器上则最多可以表示128TB的空间

 

preview_slide_12

 

preview_slide_13

 

preview_slide_14

 

8.每个数据文件会被分成一个一个的数据块,块与块之间用双向链表连接

 

preview_slide_16

 

preview_slide_15

 

9.在名字空间文件中,保存的是一个hash table,保存了每个名字空间的存储信息元数据,包括其大小,块数,第一块位置,最后一块位置,被删除的块的链表以及索引信息

 

preview_slide_17

 

preview_slide_18

 

10.这些位置通过DiskLoc数据结构进行存储,存储了数据文件编号和块在文件中的位置

 

preview_slide_20

 

preview_slide_19

 

preview_slide_22

 

preview_slide_21

 

11.对每一个块来说,其头部包含了一些块的元数据,比如自己的位置,上一个和下一个块的位置以及块中第一条和最后一条记录的位置指针。剩下的部分用于存储具体的数据,具体数据之间也是通过双向链接来进行连接。

 

preview_slide_23

 

preview_slide_24

 

preview_slide_25

 

12.下面是B Tree的存储结构和工作原理

 

preview_slide_26

 

preview_slide_27

 

preview_slide_28

 

preview_slide_30

 

preview_slide_29

 

preview_slide_31

 

preview_slide_32

 

preview_slide_33

preview_slide_34

分享到:
评论

相关推荐

    MongoDB的数据存储结构.docx

    在MongoDB内部,每个数据库都包含一个.ns文件和一些数据文件,而且这些数据文件会随着数据量的增加而变得越来越多。所以如果系统中有一个叫做foo的数据库,那么构成foo这个数据库的文件就会由foo.ns,foo.0,foo.1,...

    MongoDB架构图解

    还可能包含一部分附加空间,这使得在数据update变大后可以不移动位置相关阅读:《MongoDB数据文件内部结构》在MongoDB中实现事务众所周知,MongoDB只支持对单行记录的原子性修改,并不支持对多行数据的原子操作。...

    mongodb数据库

    特点:内部执行引擎为JS解释器, 把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作. 传统型数据库: 结构化数据, 定好了表结构后,每一行的内容,必是符合表结构的,就是说--列的个数,类型都一样...

    MongoDB最新安装包( Winslow32)

    模式自由(schema-free),意味着对于存储在mongodb数据库中的文件,我们不需要知道它的任何结构定义。如果需要的话,你完全可以把不同结构的文件存储在同一个数据库里。 存储在集合中的文档,被存储为键-值对的形式...

    MongoDB技术交流

    从需求背景角度出发,以及处理当前需求背景是,关系型数据库遇到的问题,及NoSQL的优势,然后介绍几种优秀的NoSQL产品的区别,最后从集群架构、数据文件内部结构、索引实现角度将重点介绍MongoDB。

    NoSQL云数据库mongoDB的C#示例(vs2005)

     模式自由(schema-free),意味着对于存储在mongodb数据库中的文件,我们不需要知道它的任何结构定义。如果需要的话,你完全可以把不同结构的文件存储在同一个数据库里。  存储在集合中的文档,被存储为键-值对的...

    MongoDB.zip

    他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大...

    深入云计算 MongoDB管理与开发实战详解pdf.part1

    2.4 MongoDB数据类型 2.4.1 基本数据类型 2.4.2 数字类型 2.4.3 日期类型 2.4.4 数组类型 2.4.5 内嵌文档类型 2.4.6 _id键和ObjectId对象 2.5 MongoDB的下载和安装 2.5.1 MongoDB的下载 ...

    MongoDB图形化工具+windows安装包+Linux安装包

    它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大...

    深入云计算 MongoDB管理与开发实战详解pdf.part2

    2.4 MongoDB数据类型 2.4.1 基本数据类型 2.4.2 数字类型 2.4.3 日期类型 2.4.4 数组类型 2.4.5 内嵌文档类型 2.4.6 _id键和ObjectId对象 2.5 MongoDB的下载和安装 2.5.1 MongoDB的下载 ...

    MongoDB的基本特性与内部构造的讲解

    MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式...在MongoDB中,文档是对数据的抽象,它被使用在Client端

    MongoDB For Windows v4.0

    他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大...

    MongoDB For Windows v3.5.4

    他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大...

    MongoDB For Windows v3.5.4.zip

    他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大...

    mongodb-mongo-r2.1.0-1967-g869e8b4.tar.gz

    他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大...

    phpMoAdmin(MongoDB管理工具) v2.6.4.zip

    他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝...

    MongoSyphon:用于将数据从关系数据库传输到MongoDB的工具

    将数据发送到MongoDB时,它可以利用强大的本机文档更新功能。 这与许多其他ETL工具不同,后者针对关系结构并具有最少的MongoDB附加组件。 MongoSyphon可用于初始批量传输和正在进行的更新。 MongoSyphon不包含显式...

Global site tag (gtag.js) - Google Analytics