sparksteraming消费Kafka报error:
User class threw exception: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition appbury-9 could be determined
我设置的批处理时间是半个小时。前面几次都正常,运行三四小时之后就报这个错了,很奇怪。在网上都说kafka broker那边出了问题,但是排查一下并没有问题,相关的flink任务(消费同样的topic)也正常跑了,唯独这spark任务出这个问题。有大佬遇见过这个问题吗?跪求解决方式
User class threw exception: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition appbury-9 could be determined
我设置的批处理时间是半个小时。前面几次都正常,运行三四小时之后就报这个错了,很奇怪。在网上都说kafka broker那边出了问题,但是排查一下并没有问题,相关的flink任务(消费同样的topic)也正常跑了,唯独这spark任务出这个问题。有大佬遇见过这个问题吗?跪求解决方式