12.8. 入口处理器¶
12.8.1. GetGeoMesaKafkaRecord¶
这个 GetGeoMesaKafkaRecord
Processor能够读取由GeoMesa Kafka数据存储写入的消息,并将其作为NiFi记录输出以供进一步处理。
警告
这个 GetGeoMesaKafkaRecord
尚未使用多处理器线程进行测试,可能无法按预期工作。 kafka.consumer.count
可用于配置给定处理器中的使用者线程数。
属性 |
描述 |
---|---|
kafka.brokers |
卡夫卡经纪人,以 |
kafka.zookeepers |
卡夫卡动物园管理员,以 |
kafka.zk.path |
ZooKeeper可发现的路径,用于命名架构 |
类型名称 |
要读取的简单要素类型名称 |
卡夫卡集团ID |
Kafka消费群ID,用于跟踪消息阅读情况 |
唱片编写器 |
用于序列化记录的NiFi记录器服务 |
几何图形序列化格式 |
用于序列化几何的格式,文本或二进制 |
包括可见性 |
包括具有每行可见性表达式的列 |
包括用户数据 |
包含一个列,其中包含来自SimpleFeature的用户数据,序列化为JSON |
记录最大批次大小 |
要在单个流文件中输出的最大记录数 |
记录最小批次大小 |
要在单个流文件中输出的最小记录数 |
记录最大延迟 |
接收消息和将其作为流文件写出之间的最大延迟。如果两者都设置,则优先于最小批处理大小 |
消费者轮询超时 |
在写出流文件之前等待新记录的时间量,受批处理大小限制 |
卡夫卡初始偏移 |
从新主题读取邮件时使用的初始偏移量 |
kafka.consumer.count |
用于阅读消息的使用者(线程)数量 |
kafka.consumer.config |
Configuration options 对于Kafka消费者,采用Java属性格式 |
请注意,具有相同Kafka组ID的任何处理器将按照标准的Kafka消费者组行为在处理器之间拆分消息。通常这是不可取的,每个处理器都应该使用唯一的组ID。
12.8.1.1. 属性¶
这个 GetGeoMesaKafkaRecord
将设置以下NiFi表达式属性,以在配置的记录器中使用:
属性 |
描述 |
---|---|
|
输出记录中要素ID列的名称 |
|
输出记录中所有几何列的名称和类型,以逗号分隔 |
|
输出记录中默认日期列的名称 |
|
输出记录中任何JSON类型字符串列的名称,以逗号分隔 |
|
输出记录中可见性列的名称 |
这些属性对应于GeoMesa的默认配置 唱片处理机 ,所以从Kafka读取和写入到另一个数据存储通常不需要额外的配置。