RedisCluster集群模式下master宕机主从切换期间Lettuce连接Redis无法使用报错Redis command timed out的问题 |
您所在的位置：网站首页 › redis主从自动切换 › RedisCluster集群模式下master宕机主从切换期间Lettuce连接Redis无法使用报错Redis command timed out的问题 |
RedisCluster集群模式下master宕机主从切换期间Lettuce连接Redis无法使用报错Redis command timed out的问题
|
最新一次线上生产环境下Redis集群服务器某一个主节点发生故障，Cluster节点下的从节点快速进行迁移升级为主节点，节点迁移时间大概为15秒，这15秒期间Redis服务不可用，程序无法读写Redis数据，报错java.lang.RuntimeException: org.springframework.web.util.NestedServletException: Request processing failed; nested exception is org.springframework.dao.QueryTimeoutException: Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 1 minute(s)，但是15秒过后服务依旧无法使用，大概持续了6分钟，而在业务高峰期间这6分钟也会造成很大的用户感知，为何要持续这么久Redis才能恢复，成为了未知的谜团！ 联合运维和云厂商做了很多测试，发现凡是使用jedis客户端的服务都可以在15秒主从切换后恢复，而使用lettuce作为redis客户端的服务则无法恢复使用，一直抛超时的异常，做了实验发现，使用lettuce作为客户端的服务，在15秒主从切换后一直要等待redis服务的宕机节点拉起成功后才可以恢复，而这时间大概持续了2分钟，从网上搜了很多答案发现也有一些遇到了同样问题的情况发生。Lettuce的节点切换15秒是来源于 cluster-node-timeout这个配置的默认时间，这个是时间节点宕机发现时间，也就是Redis群集节点不可用的最长时间，因为RedisCluster是无中心设计，节点探测的时间设置太小会因为网络抖动造成的节点下线，时间太长又无法快速处理节点切换，这个可以具体了解Cluster集群主从切换的原理。相关阅读https://www.cnblogs.com/kaleidoscope/p/9636264.html 因为所有微服务使用SpringBoot2.1.7版本SpringBoot2.X版本开始Redis默认的连接池都是采用的Lettuce，之前的文章也有介绍过Lettuce连接池的使用，为了避免后续出现硬件故障，导致服务连接Redis一段时间不可用的情况，所以也就急需要解决节点宕机的恢复时间问题。 经过大量的调研和实验最后发现有关，官方的描述是https://github.com/lettuce-io/lettuce-core/wiki/Redis-Cluster#user-content-refreshing-the-cluster-topology-view， Lettuce需要刷新节点拓扑视图， 大致意思是，Redis集群配置在运行期间可能会改变，可以添加新的节点，为特定插槽的主节点可以发生改变，Lettuce处理Moved和Ask永久重定向，但是由于命令重定向，你必须刷新节点拓扑视图，拓扑是绑定到RedisClusterClient的示例，所有由一个RedisClusterClient实例创建的节点连接共享相同的节点拓扑视图，视图可以采用以下三种方式更新 1、Either by calling RedisClusterClient.reloadPartitions 通过调用RedisClusterClient.reloadPartitions 2、Periodic updates in the background based on an interval 后台基于时间间隔的周期刷新 3、Adaptive updates in the background based on persistent disconnects and MOVED/ASKredirections 后台基于持续的断开和移动/重定向的自适应更新 By default, commands follow -ASK and -MOVED redirects up to 5 times until the command execution is considered to be failed. Background topology updating starts with the first connection obtained through RedisClusterClient. 默认的 命令跟随ASK 和移MOVED 命令执行重定向到5次,直到被认为是失败了，后台拓扑更新始于第一次RedisClusterClient链接 相关阅读 https://github.com/lettuce-io/lettuce-core/wiki/Client-options#periodic-cluster-topology-refresh 所以说在RedisCluster集群模式下可以通过 3种方式去刷新节点拓扑视图去解决节点重新识别的问题， 第一种方式是通过RedisClusterClient，SpringBoot通过Sprint Redis Data构建Redis时，没有显式构建RedisClusterClient，所以只能通过其他两种方式 https://github.com/lettuce-io/lettuce-core/wiki/Client-Options 这里描述了很多特殊场景下设置的客户端选项，可以视自身情况去设置调整 @Autowired private RedisProperties redisProperties; @Bean public GenericObjectPoolConfig genericObjectPoolConfig(Pool properties) { GenericObjectPoolConfig config = new GenericObjectPoolConfig(); config.setMaxTotal(properties.getMaxActive()); config.setMaxIdle(properties.getMaxIdle()); config.setMinIdle(properties.getMinIdle()); if (properties.getTimeBetweenEvictionRuns() != null) { config.setTimeBetweenEvictionRunsMillis(properties.getTimeBetweenEvictionRuns().toMillis()); } if (properties.getMaxWait() != null) { config.setMaxWaitMillis(properties.getMaxWait().toMillis()); } return config; } @Bean(destroyMethod = "destroy") public LettuceConnectionFactory lettuceConnectionFactory() { //开启 自适应集群拓扑刷新和周期拓扑刷新 ClusterTopologyRefreshOptions clusterTopologyRefreshOptions = ClusterTopologyRefreshOptions.builder() // 开启全部自适应刷新 .enableAllAdaptiveRefreshTriggers() // 开启自适应刷新,自适应刷新不开启,Redis集群变更时将会导致连接异常 // 自适应刷新超时时间(默认30秒) .adaptiveRefreshTriggersTimeout(Duration.ofSeconds(30)) //默认关闭开启后时间为30秒 // 开周期刷新 .enablePeriodicRefresh(Duration.ofSeconds(20)) // 默认关闭开启后时间为60秒 ClusterTopologyRefreshOptions.DEFAULT_REFRESH_PERIOD 60 .enablePeriodicRefresh(Duration.ofSeconds(2)) = .enablePeriodicRefresh().refreshPeriod(Duration.ofSeconds(2)) .build(); // https://github.com/lettuce-io/lettuce-core/wiki/Client-Options ClientOptions clientOptions = ClusterClientOptions.builder() .topologyRefreshOptions(clusterTopologyRefreshOptions) .build(); LettuceClientConfiguration clientConfig = LettucePoolingClientConfiguration.builder() .poolConfig(genericObjectPoolConfig(redisProperties.getLettuce().getPool())) //.readFrom(ReadFrom.MASTER_PREFERRED) .clientOptions(clientOptions) .commandTimeout(redisProperties.getTimeout()) //默认RedisURI.DEFAULT_TIMEOUT 60 .build(); List clusterNodes = redisProperties.getCluster().getNodes(); Set nodes = new HashSet(); clusterNodes.forEach(address -> nodes.add(new RedisNode(address.split(":")[0].trim(), Integer.valueOf(address.split(":")[1])))); RedisClusterConfiguration clusterConfiguration = new RedisClusterConfiguration(); clusterConfiguration.setClusterNodes(nodes); clusterConfiguration.setPassword(RedisPassword.of(redisProperties.getPassword())); clusterConfiguration.setMaxRedirects(redisProperties.getCluster().getMaxRedirects()); LettuceConnectionFactory lettuceConnectionFactory = new LettuceConnectionFactory(clusterConfiguration, clientConfig); // lettuceConnectionFactory.setShareNativeConnection(false); //是否允许多个线程操作共用同一个缓存连接，默认true，false时每个操作都将开辟新的连接 // lettuceConnectionFactory.resetConnection(); // 重置底层共享连接, 在接下来的访问时初始化 return lettuceConnectionFactory; } 开启自适应刷新并设定刷新频率 可以看到设定前，周期刷新和拓扑刷新都是false
调整后周期刷新和拓扑刷新都是true
enablePeriodicRefresh意思就是开启并设定周期刷新时间 开关的开启后的控制实际是RedisClusterClient.activateTopologyRefreshIfNeeded在这个方法内完成的，如果开关开启则会创建一个ScheduledFuture 根据你设置的节点刷新事件定期的去调用，当RedisClusterClient初始化后，定时器会周期性的执行， 如果 定时器执行通过，则RedisClusterClient.doLoadPartitions会返回loadedPartitions，如果半截Return掉，则不再返回新的节点信息。
相关阅读https://github.com/lettuce-io/lettuce-core/issues/240 相关阅读https://blog.csdn.net/weixin_42182797/article/details/95210437#_1
当然，如果你想就此放弃lettuce转用jedis也是可以的 Spring Boot2.X版本，只要在pom.xml里，调整一下依赖包的引用 org.springframework.boot spring-boot-starter-data-redis io.lettuce lettuce-core redis.clients jedis配置上lettuce换成jedis的，既可以完成底层对jedis的替换 spring: redis: jedis: pool: max-active: ${redis.config.maxTotal:1024} max-idle: ${redis.config.maxIdle:50} min-idle: ${redis.config.minIdle:1} max-wait: ${redis.config.maxWaitMillis:5000} #lettuce: #pool: #max-active: ${redis.config.maxTotal:1024} #max-idle: ${redis.config.maxIdle:50} #min-idle: ${redis.config.minIdle:1} #max-wait: ${redis.config.maxWaitMillis:5000}因为jedis的节点信息，没有搞的那么复杂
后续SpringBoot2.3.0以后开始Lettuce支持集群拓扑动态感应刷新的新特性，可以移步这里 https://blog.csdn.net/ankeway/article/details/108192487 |
【本文地址】
今日新闻 |
推荐新闻 |