• 售前

  • 售后

热门帖子
入门百科

记录/var/lib/docker/overlay2/ 磁盘爆满的解决过程

[复制链接]
麦子971 显示全部楼层 发表于 2022-1-12 12:07:56 |阅读模式 打印 上一主题 下一主题
问题描述

  今天售后同事匆匆忙忙跑过来说:“客户那边的机器人挂掉了,app都运行不起来,可硬件都是正常的,我也不知道什么问题”,我心想:“我们机器人系统已经开发迭代好多年了,还会出现这种问题?”,没方法,还是借助我们开发好的远程工具排查吧,排查当然得从机器人服务器Ubuntu系统开始。
排查步骤

1.用docker ps 命令检查docker 正在执行的容器,竟然发现有容器服务不能正常运行。

2. 好好的容器为什么起不了呢?记得以前出现过硬盘爆满导致服务起不了的情况,用df -h 命令查询,果然是硬盘满了!!!

3. 硬盘满后,查不了很具体的磁盘信息,先删除一些无关紧要的文件,再次进行查询,查到了又是/var/lib/docker/overlay2文件,以前出现这个问题情景历历在目。。。
4. 用 du -h max-depth=1 命令一步一步找到到底是哪个文件把硬盘吃掉了?原来是某个容器的log文件。。。

5. 用docker ps | grep 命令找到对应的运行容器(这里容器的id是var/lib/docker/containers文件夹名字的前12位,用grep命令很容易找到)。

1. 用docker logs -f 命令打印对应容器的logs信息,原来这个容器服务是客户那边定制的测体温服务,刚开发好就出货了,log等级还是debug等级,输出了好多好多的log信息。

7. 找到问题就好办了,修改容器服务的log等级,不要输出那么多log,把第四点提到占了巨大存储的xxx-json.log文件删除,sudo reboot,解决。

8. 为了安全其实也可以限制每个容器的log文件大小,可我们机器人服务器存储还是有的,就没必要去做这个限制了。
后续

  我是一位商用服务机器人的从业者,我会把对服务机器人这行业的想法、发展趋势和在工作中遇到的问题和解决方法分享出来。
  如果本期内容对大家有帮助记得点赞哦,所写内容对大家有帮助是我继续写下去的原动力。

来源:https://blog.caogenba.net/chenfengkai/article/details/122436707
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作