[Flink错误]The transaction timeout is larger than the maximum value allowed by the broker

您所在的位置:网站首页 unsteady和unstable [Flink错误]The transaction timeout is larger than the maximum value allowed by the broker

[Flink错误]The transaction timeout is larger than the maximum value allowed by the broker

2023-10-15 12:22| 来源: 网络整理| 查看: 265

错误分析:

报错信息如下: The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).

官网解释如下: flink官网解释

简而言之就是:sinkProducer的超时时间默认为1个小时, 但是kafka broker的超时时间默认是15分钟, kafka broker不允许producer的超时时间比他大. 所以有两种解决办法: 1.生产者的超时时间调小 2.将broker的超时时间调大

默认情况下,Kafka broker 将 transaction.max.timeout.ms 设置为 15 分钟。此属性不允许为大于其值的 producer 设置事务超时时间。 默认情况下,FlinkKafkaProducer 将 producer config 中的 transaction.timeout.ms 属性设置为 1 小时,因此在使用 Semantic.EXACTLY_ONCE 模式之前应该增加 transaction.max.timeout.ms 的值。

在这里插入图片描述

解决办法: //将kafka producer的超时时间调至和broker一致即可 sinkConfig.put("transaction.timeout.ms",15*60*1000);


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3