返回列表 发新帖

kafka 配置参数_配置Kafka/DMS Kafka源端参数

[复制链接]

24

主题

76

帖子

115

积分

注册会员

Rank: 2

积分
115
发表于 2024-11-3 17:49:06  | 显示全部楼层 | 阅读模式
Kafka配置参数是用于设置Kafka/DMS Kafka源端的关键属性,包括broker地址、端口、主题名称和消费者组ID等。正确配置这些参数对于确保数据流的可靠性和性能至关重要。
Kafka 配置参数主要包括以下几个方面:

zbhjxaojvyzshjr.jpg

zbhjxaojvyzshjr.jpg


(图片来源网络,侵删)
1、基本配置
2、生产者配置
3、消费者配置
4、Kafka Connect 配置
5、DMS Kafka源端配置
以下是各个部分的详细配置参数:
1. 基本配置

zbhjtkwvgkv3ama.jpg

zbhjtkwvgkv3ama.jpg


(图片来源网络,侵删)
参数名 描述 默认值
broker.id Broker的唯一标识符
listeners 用于监听客户端连接的地址和端口
log.dirs Kafka日志存储目录 /tmp/kafkalogs
zookeeper.connect Zookeeper集群地址 localhost:2181
num.network.threads 网络线程数 3
num.io.threads I/O线程数 8
socket.send.buffer.bytes socket发送缓冲区大小 102400
socket.receive.buffer.bytes socket接收缓冲区大小 102400
socket.request.max.bytes socket请求的最大字节数 104857600
log.retention.hours 日志保留时间(小时) 168
log.segment.bytes 日志段文件大小 1073741824
log.retention.check.interval.ms 检查日志保留时间的间隔(毫秒) 300000
num.partitions 每个主题的分区数 1
num.recovery.threads.per.data.dir 每个数据目录的恢复线程数 1
offsets.topic.replication.factor offsets主题的副本因子 1
transaction.state.log.replication.factor 事务状态日志的副本因子 1
transaction.state.log.min.isr 事务状态日志的最小ISR数量 1
default.replication.factor 新主题的默认副本因子 1
min.insync.replicas 最小的同步副本数 1
inter.broker.protocol.version Broker之间的协议版本 0.10.2.1

2. 生产者配置
参数名 描述 默认值
acks 消息确认机制 1
buffer.memory 生产者内存缓冲区大小 33554432
compression.type 消息压缩类型 none
retries 重试次数 0
batch.size 批量发送的消息大小 16384
linger.ms 延迟发送消息的时间(毫秒) 0
max.request.size 最大请求大小(字节) 1048576
request.timeout.ms 请求超时时间(毫秒) 30000
delivery.timeout.ms 交付超时时间(毫秒) 120000
max.block.ms 阻塞等待时间(毫秒) 60000
max.in.flight.requests.per.connection 每个连接的最大未完成请求数 5

3. 消费者配置
参数名 描述 默认值
group.id 消费者组ID null
enable.auto.commit 是否自动提交偏移量 true
auto.commit.interval.ms 自动提交偏移量的时间间隔(毫秒) 5000
session.timeout.ms 消费者组会话超时时间(毫秒) 10000
auto.offset.reset 当没有初始偏移量或偏移量无效时,如何重置偏移量 latest
fetch.min.bytes 服务器返回的最小数据量(字节) 1
fetch.max.wait.ms 获取数据的最长等待时间(毫秒) 500
fetch.max.bytes 服务器返回的最大数据量(字节) 52428800
max.partition.fetch.bytes 服务器返回的最大分区数据量(字节) 1048576

4. Kafka Connect 配置
参数名 描述 默认值
connector.class Connector类名 null
tasks.max 最大任务数 1
key.converter Key转换器类名 null
value.converter Value转换器类名 null
converter.schemas.enable 是否启用Schema转换器 false
rest.port Connect REST API端口号 8083

5. DMS Kafka源端配置
参数名 描述 默认值
endpoints Kafka集群地址列表,用逗号分隔 null
accessId AccessKey ID,用于访问Kafka集群的身份验证 null
accessSecret AccessKey Secret,用于访问Kafka集群的身份验证 null
topicNamePattern Kafka主题名称模式,支持通配符匹配多个主题 null
consumerGroupId Kafka消费者组ID,用于消费数据流 null
dataTypeMappings 数据类型映射,用于将Kafka消息转换为DMS支持的数据类型 null
tableNamePrefix DMS表名前缀,用于生成DMS表名 null
tableNameSuffix DMS表名后缀,用于生成DMS表名 null
partitionNumPerTable 每个DMS表的分区数,用于并行处理数据流 100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000


zbhj0gn5h23ps3u.png

zbhj0gn5h23ps3u.png


(图片来源网络,侵删)
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表