pandas

您所在的位置:网站首页 json数据转换成表格格式 pandas

pandas

2023-10-01 12:43| 来源: 网络整理| 查看: 265

python --kafka(二): confluent-kafka 模块生产数据消费数据

Gu_fcsdn: 抱歉我没有表述清楚,我想说的是kafka多分区情况下消费指定的分区partitions(上面单词我不小心打错了打成了pattern),6个分区我只消费第2个分区需要的参数。我已经解决了,利用assign,通过提交一个TopicPartition即可解决,代码如下: [code=python] from confluent_kafka import TopicPartition ...... consumer = Consumer(conf) # 消费者对象 par_id = 2 # 消费第二个分区数据 topic_p = TopicPartition('test-topic', par_id) # 消费名为test-topic的topic,并且分区id为指定id的数据 consumer.assign([topic_p]) # 消费者分区分配 ...... consumer.poll(1) ...... [/code]

python --kafka(二): confluent-kafka 模块生产数据消费数据

高高兴兴5788: 希望对你有帮助

python --kafka(二): confluent-kafka 模块生产数据消费数据

高高兴兴5788: 消费有两个位置:1. 上次消费结束位置,下次重新消费自动从上次结束位置开始消费;2. 上次消费结束之前的任意位置(缓存没有清除),这时候消费的位置你可以根据自己的需求填写(回滚我熟悉的两种方式,第一种方式是根据消费批次长度向前回滚N个batch长度,第二种方式是根据时间从某个时间之后开始消费)

python --kafka(二): confluent-kafka 模块生产数据消费数据

Gu_fcsdn: 消费指定pattern的数据的话需要什么参数呢。比如我有6个pattern, 我先在只想消费par-1的数据

pandas--基础操作(七): datetime、time时间戳操作

找不到弥豆子的善逸: microseconds,是微秒表情包



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3