java

关注公众号 jb51net

关闭
首页 > 软件编程 > java > kafka-console-consumer.sh使用2次grep管道无法提取消息

kafka-console-consumer.sh使用2次grep管道无法提取消息的解决

作者:Geoffrey Turing

这篇文章主要介绍了kafka-console-consumer.sh使用2次grep管道无法提取消息的解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

问题

在使用kafka自带脚本消费时,想用grep关键词过滤出来想要的信息

./kafka-console-consumer.sh \
--bootstrap-server node1:9092,node2:9092,node3:9092 \
--topic test \
--from-beginning \
--consumer-property group.id=gaofeng_test\
 | grep  "b786aba6f3a6" | grep 388aabd

但是发现grep命令在这里有问题,无法取到想要消息


在这里插入图片描述

已经消费到latest了,都没有提取到想要的msg

这里确认了producer端已经发送成功了,回调函数里都没有任何异常

怀疑

怀疑是否kafka存在丢数据的情况

排查问题后发现kafka集群一切正常,性能也很强劲

并且在存储消息的日志文件中也已经查询到了我想要的消息了,为什么就是消费不出来呢

分析

将kafka的这个主题 --from-beginning 消费到文件topic.log中去

对topic.log这个静态文件进行grep “b786aba6f3a6” | grep 388aabd抽取,发现取到了自己想要的这条消息

kafka消费时结果是动态的,grep这里用法不对,只有对静态的文件可以抽取到数据

--line-buffered
         Force output to be line buffered.  By default, output is line buffered when standard output is
         a terminal and block buffered otherwise

上面的意思是

所以,这也就解释了为什么双重grep过滤没有内容,因为没有达到块缓冲限制。

验证

生产消息

a,b,c

在这里插入图片描述

消费时两次grep则无消息

在这里插入图片描述

消费时一次grep则都出来

在这里插入图片描述

结论

解决

使用如下命令即可

./kafka-console-consumer.sh \
--bootstrap-server node1:9092,node2:9092,node3:9092 \
--topic test \
--from-beginning \
--consumer-property group.id=gaofeng_test\
 | grep --line-buffered "b786aba6f3a6" | grep 388aabd

【注意】

这里用了grep 的 --line-buffered参数

具体用法

查阅https://www.jb51.net/article/277299.htm

最后

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文