Flink对接Kafka的topic数据消费offset设置参数

开始阅读位置 #

config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是：

• `group-offsets`：从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。
• `earliest-offset`：从可能的最早偏移量开始。
• `latest-offset`：从最新的偏移量开始。
• `timestamp`：从用户提供的每个分区的时间戳开始。
• `specific-offsets`：从用户提供的每个分区的特定偏移量开始。

默认选项值group-offsets表示从 ZK / Kafka 代理中最后提交的偏移量开始消费。

如果timestamp指定，scan.startup.timestamp-millis则需要另一个配置选项来指定自 1970 年 1 月 1 日 00:00:00.000 GMT 以来的以毫秒为单位的特定启动时间戳。

如果specific-offsets被指定，另一个配置选项scan.startup.specific-offsets需要为每个分区指定特定的启动偏移，例如一个选项值partition:0,offset:42;partition:1,offset:300表示偏移42为分区0和偏移300为分区1。