最近项目在部署Canal集群的时候 K8S 频繁启动 canal-server容器。
容器启动的日志是正常的。
[main] INFOcom.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
[main] INFOcom.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
[main] INFOc.a.o.c.c.rocketmq.producer.CanalRocketMQProducer - ##Start RocketMQ producer##
[main] INFOcom.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
[main] INFOcom.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.16..1.101)(192.16..1.102):11111]
[main] INFOcom.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
[canal-instance-scan-0] INFOcom.alibaba.otter.canal.deployer.CanalController - auto notify start canal_instance_db1_v02 successful.
[canal-instance-scan-0] INFOcom.alibaba.otter.canal.deployer.CanalController - auto notify start canal_instance_db2_v02 successful.
[canal-instance-scan-0] INFOcom.alibaba.otter.canal.deployer.CanalController - auto notify start canal_instance_db3_v02 successful.
[canal-instance-scan-0] INFOcom.alibaba.otter.canal.deployer.CanalController - auto notify start canal_instance_db4_v02 successful.
最终通过监控定位是 K8S机器内存不足,OOM导致K8s重启,解决办法:减少canal-server节点。
为什么我的容器没有运行?
回答这个问题需要知道Docker容器为什么退出,退出码会提示容器停止运行的情况。本文列出了最常见的退出码,来回答两个重要问题:
- 这些退出码是什么意思?
- 导致该退出码的动作是什么?
exit code: 代表一个进程的返回码,通过系统调用 exit_group 来触发。在 POSIX 中,0 代表正常的返回码,而 1-255 代表异常返回码,不过一般错误码都是 1。这里有一张附表 Appendix E. Exit Codes With Special Meanings
如何查看退出码
方法一:查看 pod 中的容器退出码
方法二:用docker查看
方法三:手动输出
常见退出码
Exit Code 0
- 退出代码0表示特定容器没有附加前台进程。
- 该退出代码是所有其他后续退出代码的例外。
- 这不一定意味着发生了不好的事情。如果开发人员想要在容器完成其工作后自动停止其容器,则使用此退出代码。
如果你执行docker run hello-world
, 你会得到“Hello from docker!”,但查看容器的时候docker ps -a | grep hello-world
,会发现状态码为 0
Exit Code 1
- 程序错误,或者Dockerfile中引用不存在的文件,如 entrypoint中引用了错误的包
- 程序错误可以很简单,例如“除以0”,也可以很复杂,比如空引用或者其他程序 crash
Exit Code 137
- 表明容器收到了SIGKILL信号,进程被杀掉,对应kill -9
- 引发SIGKILL的是docker kill。这可以由用户或由docker守护程序来发起,手动执行:docker kill
- 137 比较常见,如果 pod 中的limit 资源设置较小,会运行内存不足导致OOMKilled,此时state 中的”OOMKilled”值为true,你可以在系统的 dmesg 中看到 oom 日志
Exit Code 139
- 表明容器收到了SIGSEGV信号,无效的内存引用,对应kill -11
- 一般是代码有问题,或者 docker 的基础镜像有问题
Exit Code 143
- 表明容器收到了SIGTERM信号,终端关闭,对应kill -15
- 一般对应docker stop 命令
- 有时docker stop也会导致Exit Code 137。发生在与代码无法处理SIGTERM的情况下,docker进程等待十秒钟然后发出SIGKILL强制退出。
不常用的一些 Exit Code
- Exit Code 126: 权限问题或命令不可执行
- Exit Code 127: Shell脚本中可能出现错字且字符无法识别的情况
- Exit Code 1 或 255:因为很多程序员写异常退出时习惯用 exit(1) 或 exit(-1),-1 会根据转换规则转成 255。这个一般是自定义 code,要看具体逻辑。
退出状态码的区间
- 必须在 0-255 之间,0 表示正常退出
- 外界将程序中断退出,状态码在 129-255
- 程序自身异常退出,状态码一般在 1-128
- 假如写代码指定的退出状态码时不在 0-255 之间,例如: exit(-1),这时会自动做一个转换,最终呈现的状态码还是会在 0-255 之间。我们把状态码记为 code,当指定的退出时状态码为负数,那么转换公式如下:256 – (|code| % 256)
参考
- http://tldp.org/LDP/abs/html/exitcodes.html
- https://imroc.io/posts/kubernetes/analysis-exitcode/
- https://medium.com/better-programming/understanding-docker-container-exit-codes-5ee79a1d58f6
文章评论