线上bug导致tomcat 线程池堆积

2023-07-24 04:25| 来源: 网络整理| 查看: 265

线上bug导致tomcat 线程池堆积事情经过

今天早上项目搜索页偶现504 页面!

504

马上查看线上日志发现大量的 ConnectionTimeOut 异常. 里面跟踪下代码

RequestConfig config = RequestConfig.custom().setConnectTimeout(10000).setSocketTimeout(10000).build();

ConnectionTimeOut 居然是10s

这个时候能确定2个问题: - 第三方接口存在不可用情况 - 自身应用timeout设置过长难道就是这个原因导致的? 仔细分析了下发现出现ConnectionTimeOut异常的地方并不是搜索页的功能.而是一个依赖于第三方接口用户绑定功能. 这个时候很迷惑了. 到底是什么原因呢?

查看线程堆栈

通过查看线程堆栈这里写图片描述

发现大量的线程都wait在httpGet在第三方接口上

我们看下线程树这里写图片描述

发现一共有920上下的线程数目

我们在来看下容器(tomcat)的线程数这里写图片描述

容器处理请求的线程数最大是1000个. 这个时候我们就可以大胆猜测就是大量的第三方接口请求导致耗光了容器的线程池.所以其他请过过来, 只能等待线程池中资源释放才能正常处理.

验证修改connectionTimeOut时间为1000重启应用 ok 业务恢复正常了。线程数也降下来了

【本文地址】

今日新闻