搜索

  • 售前

  • 售后

草根技术分享 › 数据库 › MongoDB › mongodb中oplog介绍和格式详析
心随674 关注Ta
  • 发帖数25
  • 粉丝0

此人很懒，什么也没有留下

阅读作者更多精彩帖子
热门帖子
入门百科
返回列表 发新帖

mongodb中oplog介绍和格式详析

[复制链接]
心随674 显示全部楼层 发表于 2021-8-14 15:10:49 |阅读模式 打印 上一主题 下一主题
目次


  • 1. 根本概念
  • 2. Oplog 的默认储存巨细
  • 3. 可能需要更大oplog的工作负载
  • 4. Oplog状态
  • 5. Oplog格式
  • 6. CUD操纵和Oplog的对应关系

    • delete操纵
    • update操纵

  • 小结
  • 总结

1. 根本概念


    oplog使用固定巨细聚集记录了数据库中所有修改操纵的操纵日志(新增、修改和删除，无查询)，mongodb收到修改哀求后，先在主节点（Primary）执行哀求，再把操纵日志生存到oplog表中，其他从节点（Secondary）到主节点拉取oplog并在异步进程中应用这些操纵，从而达到主从数据的一致性。复制组内的所有节点都会生存一份oplog(聚集名local.oplog.rs)，这让他们可以保持同样的数据库状态。
    为了提高同步服从，所有复制构成员都会向其他成员发送保活报文(pings)，恣意从节点可以从其他成员节点同步oplog（即可以从主节点同步，也可以从从节点同步）。oplog中的操纵都是幂等的，即oplog中的某个操纵日志在目的数据库中应用一次或者多次，其结果都是一样的。
    主从同步表示图如下(客户端写数据到主节点，从节点从主节点同步oplog并应用到本节点)：


2. Oplog 的默认储存巨细


当你初次启动复制组节点时，在你未指定oplog巨细时，mongodb会使用默认巨细来创建oplog。
对于Unix和Windows系统来说，默认巨细和存储引擎的对应关系如下：
存储引擎类型oplog巨细下限上限
内存物理内存的5%50MB50GB
WiredTiger空闲磁盘的5%990MB50GB　
(注意，最新4.4版本的mongodb移除了MMAP类型存储引擎的支持。)
对于64位maxOS系统来说，参照使用的存储引擎类型，该默认巨细是192MB（物理内存或者磁盘空间），如下：
存储引擎类型oplog巨细
内存192MB物理内存
WiredTiger192MB的磁盘空间
大部分情况下，oplog的默认巨细是富足的。举个例子，如果5%的磁盘空间存储了最近24小时的操纵日志，此时如果某个从节点的日志同步时间差超过24小时时，从节点将制止同步oplog，并将自身的状态从“Secondery”切换到“STALE”。固然，在现实的运行情况中，大部分复制构成员的负载会低一些，他们的oplog中也会持有更长时间段的日志。

3. 可能需要更大oplog的工作负载


如果你预测到你的复制组的工作负载属于以下的模式，你需要创建比默认值更大一些的oplog。相反的，如果你的应用大部分情况下是读操纵，只有小部分的写操纵，那么更小一些的oplog也是满足需要的。
下面的工作负载可能需要更大一些的oplog
单次操纵会更新多条记录
为了满足oplog的幂等性，单次操纵更新多条记录时，mongodb会记录多条操纵日志到oplog中，这种场景就需要使用大量的oplog的空间，固然此时数据巨细或者磁盘巨细并没有相应的增加那么多。
删除操纵和插入操纵一样多时
如果你的删除操纵哀求量和插入操纵的哀求量大抵相当时，数据库在磁盘空间斲丧方面不会有显着增长，但是操纵日志的巨细会非常巨大。
显着数量的原文档更新
如果工作负载的大部分操纵都是原文档更新，此时固然不会增加数据库中文档的数量，但是数据库需要记录大量的操纵日志。

4. Oplog状态


如果要查看oplog的状态，包含记录条数和时间范围，可以使用"rs.printReplicationInfo() "命令，如下： 
  1. MongoDB Enterprise repa:PRIMARY> rs.printReplicationInfo()

  2. configured oplog size:   1024MB  // oplog大小是1024MB

  3. log length start to end: 867353secs (240.93hrs)  // 第一条和最后一条日志的时间差是240.93小时

  4. oplog first event time:  Wed Jul 07 2021 20:24:57 GMT+0800

  5. oplog last event time:   Sat Jul 17 2021 21:20:50 GMT+0800

  6. now:                     Sat Jul 17 2021 21:20:56 GMT+0800
复制代码
5. Oplog格式


从前面知道oplog是存储在数据库local中，表名为“oplog.rs”，通过查询命令看一下oplog的数据格式：
  1. db.oplog.rs.find({"ns":"test.users"}).limit(1)   // ns字段指明查询对数据库test中users表的操作日志

  2. {

  3.     "ts": Timestamp(1625660877, 2),     // 日志的操作时间戳，第一个数字是时间戳，单位秒，第二个数字是当前秒的第2个操作

  4.     "t": NumberLong(2),

  5.     "h": NumberLong("5521980394145765083"),

  6.     "v": 2,

  7.     "op": "i",            // i表示insert，u表示update,d表示delete，c 表示的是数据库的命令，比如建表,n表示noop,即空操作

  8.     "ns": "test.users",   // 命名空间，即数据库和集合名称

  9.     "ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), // 连接到mongodb的客户端会话id

  10.     "wall": ISODate("2021-07-07T12:27:57.689Z"),  // 操作执行时间，utc时间

  11.     "o": {        // 操作的内容，对于不同的op类型，其格式不尽相同

  12.         "_id": ObjectId("60e59dcd46db1fb4605f8b18"),

  13.         "name": "1"

  14.     }

  15. }
复制代码
6. CUD操纵和Oplog的对应关系


前面分析oplog日志格式的时间，查看了一条insert操尴尬刁难应的日志，就不再赘述，下面再看下delete和update对应的日志格式(find不会产生oplog)。

delete操纵


首先插入三条记录：
  1. MongoDB Enterprise repa:PRIMARY> use testswitched to db testMongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"张三","age":NumberInt(10),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"李四","age":NumberInt(11),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"王五","age":NumberInt(12),"sex":"男"})WriteResult({ "nInserted" : 1 })MongoDB Enterprise repa:PRIMARY> db.users.find(){ "_id" : ObjectId("60f2e11b0d98dc3b374199de"), "name" : "张三", "age" : 10, "sex" : "男" }{ "_id" : ObjectId("60f2e11e0d98dc3b374199df"), "name" : "李四", "age" : 11, "sex" : "男" }{ "_id" : ObjectId("60f2e11e0d98dc3b374199e0"), "name" : "王五", "age" : 12, "sex" : "男" }
复制代码
执行delete操纵，匹配条件是{"sex":"男"}，即删除所有性别为男的记录：
  1. MongoDB Enterprise repa:PRIMARY> db.users.remove({"sex":"男"})

  2. WriteResult({ "nRemoved" : 3 })

  3. MongoDB Enterprise repa:PRIMARY> db.users.find()

  4. MongoDB Enterprise repa:PRIMARY>
复制代码
可以看到，一条删除命令删除了三条记录，对应的oplog是什么呢，来，查一下：
  1. MongoDB Enterprise repa:PRIMARY> use local

  2. switched to db local

  3. MongoDB Enterprise repa:PRIMARY> db.oplog.rs.find({"ns":"test.users","op":"d","wall":{"$gt":ISODate("2021-07-17T13:50:57.689Z")}})

  4. { "ts" : Timestamp(1626530154, 1), "t" : NumberLong(2), "h" : NumberLong("5834731856459959506"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11b0d98dc3b374199de") } }

  5. { "ts" : Timestamp(1626530154, 2), "t" : NumberLong(2), "h" : NumberLong("-2164276082472824844"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11e0d98dc3b374199df") } }

  6. { "ts" : Timestamp(1626530154, 3), "t" : NumberLong(2), "h" : NumberLong("3834858247238363179"), "v" : 2, "op" : "d", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "wall" : ISODate("2021-07-17T13:55:54.424Z"), "o" : { "_id" : ObjectId("60f2e11e0d98dc3b374199e0") } }

  7. MongoDB Enterprise repa:PRIMARY>
复制代码
从上可以看到，一条删除命令，在oplog中记录了三条日志，下面分析其中的一条：
  1. {

  2.     "ts": Timestamp(1626530154, 1),

  3.     "t": NumberLong(2),

  4.     "h": NumberLong("5834731856459959506"),

  5.     "v": 2,

  6.     "op": "d",   // 删除操作

  7.     "ns": "test.users",  // 数据库是test，集合是users

  8.     "ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"),

  9.     "wall": ISODate("2021-07-17T13:55:54.424Z"),

  10.     "o": {     // 待删除记录的_id

  11.         "_id": ObjectId("60f2e11b0d98dc3b374199de")

  12.     }

  13. }
复制代码
从上面日志分析可以得到结论：
用户的一次删除哀求，如果删除了N条记录，那么oplog中将记录N条日志，日志中会记录待删除记录的“_id”字段，与用户的删除哀求的参数无关。

update操纵


下面再看下更新操尴尬刁难应的oplog的日志数量和格式。
首先插入三条记录：
  1. MongoDB Enterprise repa:PRIMARY> use test

  2. switched to db test

  3. MongoDB Enterprise repa:PRIMARY>

  4. MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"张三","age":NumberInt(10),"sex":"男"})

  5. WriteResult({ "nInserted" : 1 })

  6. MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"李四","age":NumberInt(11),"sex":"男"})

  7. WriteResult({ "nInserted" : 1 })

  8. MongoDB Enterprise repa:PRIMARY> db.users.insert({"name":"王五","age":NumberInt(12),"sex":"男"})

  9. WriteResult({ "nInserted" : 1 })

  10. MongoDB Enterprise repa:PRIMARY> db.users.find()

  11. { "_id" : ObjectId("60f2e2db0d98dc3b374199e1"), "name" : "张三", "age" : 10, "sex" : "男" }

  12. { "_id" : ObjectId("60f2e2db0d98dc3b374199e2"), "name" : "李四", "age" : 11, "sex" : "男" }

  13. { "_id" : ObjectId("60f2e2dc0d98dc3b374199e3"), "name" : "王五", "age" : 12, "sex" : "男" }
复制代码
再执行更新操纵：
  1. MongoDB Enterprise repa:PRIMARY> db.users.update({"sex":"男"},  {"$inc":{"age":NumberInt(1)}}, false, true)

  2. WriteResult({ "nMatched" : 3, "nUpserted" : 0, "nModified" : 3 })

  3. MongoDB Enterprise repa:PRIMARY> db.users.find()                                                          

  4. { "_id" : ObjectId("60f2e2db0d98dc3b374199e1"), "name" : "张三", "age" : 11, "sex" : "男" }

  5. { "_id" : ObjectId("60f2e2db0d98dc3b374199e2"), "name" : "李四", "age" : 12, "sex" : "男" }

  6. { "_id" : ObjectId("60f2e2dc0d98dc3b374199e3"), "name" : "王五", "age" : 13, "sex" : "男" }
复制代码
从返回结果可以看到，更新操纵执行乐成，并更新了三条记录，下面看下oplog的日志：
  1. MongoDB Enterprise repa:PRIMARY> use local

  2. switched to db local

  3. MongoDB Enterprise repa:PRIMARY> db.oplog.rs.find({"ns":"test.users","op":"u","wall":{"$gt":ISODate("2021-07-17T13:50:57.689Z")}})

  4. { "ts" : Timestamp(1626530575, 1), "t" : NumberLong(2), "h" : NumberLong("-6359278368726841648"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2db0d98dc3b374199e1") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 11 } } }

  5. { "ts" : Timestamp(1626530575, 2), "t" : NumberLong(2), "h" : NumberLong("-4351658862590633053"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2db0d98dc3b374199e2") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 12 } } }

  6. { "ts" : Timestamp(1626530575, 3), "t" : NumberLong(2), "h" : NumberLong("5911110003695351597"), "v" : 2, "op" : "u", "ns" : "test.users", "ui" : UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"), "o2" : { "_id" : ObjectId("60f2e2dc0d98dc3b374199e3") }, "wall" : ISODate("2021-07-17T14:02:55.319Z"), "o" : { "$v" : 1, "$set" : { "age" : 13 } } }
复制代码
和delete雷同，update操纵也是产生了三条日志，选第一条分析：
  1. {

  2.     "ts": Timestamp(1626530575, 1),

  3.     "t": NumberLong(2),

  4.     "h": NumberLong("-6359278368726841648"),

  5.     "v": 2,

  6.     "op": "u",   // 更新操作

  7.     "ns": "test.users",  // 数据库test，集合是users

  8.     "ui": UUID("edabbd93-76eb-42be-b54a-cdc29eb1f267"),

  9.     "o2": {  // 更新操作的查询条件，使用的记录的_id

  10.         "_id": ObjectId("60f2e2db0d98dc3b374199e1")

  11.     },

  12.     "wall": ISODate("2021-07-17T14:02:55.319Z"),

  13.     "o": {  // 更新操作的更新内容，原始的inc操作符转变为set操作符，可以满足幂等性

  14.         "$v": 1,

  15.         "$set": {

  16.             "age": 11

  17.         }

  18.     }

  19. }
复制代码
从上面日志分析可以得到结论：
用户的一次更新哀求，如果更新了N条记录，那么oplog中将记录N条日志，日志中记录待更新记录的“_id”字段为查询条件，更新操纵使用的是set操纵符，并不是用户的更新操纵符。

小结


从上面的delete和update操尴尬刁难应的oplog日志分析可以看出，oplog记录的不是用户的原始命令，而是对应的逻辑命令，通过这种方式可以满足oplog的幂等性，但是也会衍生出可能产生大量oplog记录的问题，需要用户根据业务模子的需要，来选择合适的oplog巨细。
https://github.com/tomliugen

总结

到此这篇关于mongodb中oplog先容和格式详析的文章就先容到这了,更多相关mongodb oplog和格式内容请搜索草根技术分享从前的文章或继续浏览下面的相关文章希望大家以后多多支持草根技术分享！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有帐号？立即注册

x

帖子地址： 

回复

使用道具 举报

心随674
关注Ta
0 0
分享
推广
火星云矿 | 预约S19Pro，享500抵1000！
发布主题
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享（草根吧）是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。

  • 官方手机版

  • 微信公众号

  • 商务合作