×

Ruby教程

ruby json转化成对象_logstash中利用ruby语言对消息进行复杂处理

HaoHao HaoHao 发表于2024-06-22 浏览4585 评论0
问题场景:在业务实现过程中,需要将kafka消息中的某个字段进行一个复杂的解析,最终得到 我们需要的两个字段,并将这两个字段连同消息本身都存入elasticsearch中。 起初想到的解决方案是用java或者Python先将kafka数据读取出来解析,最后再存入elasticsearch中。这种方式思路很简单,也肯定可以实现,但是,kafka中的消息是一直都在生产的,用代码读取消息处理完又写入,随着消息的量不断增加,这个性能无法保障。 Logstash提供了从kafka到es的插件,可以