12.8. 入口处理器

12.8.1. GetGeoMesaKafkaRecord

这个 GetGeoMesaKafkaRecord Processor能够读取由GeoMesa Kafka数据存储写入的消息,并将其作为NiFi记录输出以供进一步处理。

警告

这个 GetGeoMesaKafkaRecord 尚未使用多处理器线程进行测试,可能无法按预期工作。 kafka.consumer.count 可用于配置给定处理器中的使用者线程数。

属性

描述

kafka.brokers

卡夫卡经纪人,以 host1:port1,host2:port2

kafka.zookeepers

卡夫卡动物园管理员,以 host1:port1,host2:port2

kafka.zk.path

ZooKeeper可发现的路径,用于命名架构

类型名称

要读取的简单要素类型名称

卡夫卡集团ID

Kafka消费群ID,用于跟踪消息阅读情况

唱片编写器

用于序列化记录的NiFi记录器服务

几何图形序列化格式

用于序列化几何的格式,文本或二进制

包括可见性

包括具有每行可见性表达式的列

包括用户数据

包含一个列,其中包含来自SimpleFeature的用户数据,序列化为JSON

记录最大批次大小

要在单个流文件中输出的最大记录数

记录最小批次大小

要在单个流文件中输出的最小记录数

记录最大延迟

接收消息和将其作为流文件写出之间的最大延迟。如果两者都设置,则优先于最小批处理大小

消费者轮询超时

在写出流文件之前等待新记录的时间量,受批处理大小限制

卡夫卡初始偏移

从新主题读取邮件时使用的初始偏移量

kafka.consumer.count

用于阅读消息的使用者(线程)数量

kafka.consumer.config

Configuration options 对于Kafka消费者,采用Java属性格式

请注意,具有相同Kafka组ID的任何处理器将按照标准的Kafka消费者组行为在处理器之间拆分消息。通常这是不可取的,每个处理器都应该使用唯一的组ID。

12.8.1.1. 属性

这个 GetGeoMesaKafkaRecord 将设置以下NiFi表达式属性,以在配置的记录器中使用:

属性

描述

geomesa.id.col

输出记录中要素ID列的名称

geomesa.geometry.cols

输出记录中所有几何列的名称和类型,以逗号分隔

geomesa.default.dtg.col

输出记录中默认日期列的名称

geomesa.json.cols

输出记录中任何JSON类型字符串列的名称,以逗号分隔

geomesa.visibilities.col

输出记录中可见性列的名称

这些属性对应于GeoMesa的默认配置 唱片处理机 ,所以从Kafka读取和写入到另一个数据存储通常不需要额外的配置。