kafka使用zookeeper保存集群的(broker、主题、分区)元数据、消费信息。 由于zookeeper使用了一致性协议,如果zookeeper节点过多会降低集群的性能。 broker常规配置参数 broker.id、port、zookeeper.connect log.dirs:kafka消息保存在磁盘中的路径 num.recovery.threads.per.data.dir:使用配置的线程数量打开或者关闭日志片段。
Zookeeper2.8总结第3章Kafka生产者——向Kafka写入数据3.1生产者概览3.2创建Kafka生产者3.3发送消息到Kafka3.3.1同步发送消息3.3.2异步发送消息3.4生产者的配置3.5序列化器3.5.1自定义序列化器3.5.2使用Avro序列化3.5.3在Kafka里使用Avro3.6分区3.7旧版的生产者API3.8总结第4章Kafka消费者——从Kafka读取数据4.1Kafka...
Kafka权威指南(第2版) (美)格温·沙皮拉等 计算机网络·数据库·0字 完本| 更新时间 本书介绍Kafka的技术原理和应用技巧。内容包括如何安装和配置Kafka、如何使用KafkaAPI、Kafka的设计原则和可靠性保证,以及Kafka的一些架构细节,如复制协议、控制器和存储层。本书列举了一些非常流行的Kafka应用场景,比如基于事件...
Kafka权威指南 作者:(美)妮哈·纳克海德 格温·沙皮拉 托德·帕利诺 0字 0总推荐 0周推荐 加入书架 手机扫码读本书 作品简介 本书是关于Kafka的全面教程,主要内容包括:Kafka相对于其他消息队列系统的优点,主要是它如何完美匹配大数据平台开发;详解Kafka内部设计;用Kafka构建应用的最佳实践;理解在生产中部署...
Kafka权威指南 第二版 一、Java安装 不论安装Zookeeper还是Kafka都需要提前安装好Java并配置好Java环境变量。 Kafka服务端的代码是由Scala语言编写的,新版本的客户端是由Java语言编写的,两种语言都会编译成class文件,都属于JVM语系。 建议安装java8以上版本,参考安装教程。
(1)kafka提供了一个MirrorMaker的工具,可以实现kakfa集群之间的消息复制,其内部包含了一个生产者和消费者,两者之间通过队列相连。 2|0第三章:kafka生产者 (1) kafka 写入的时候会创建ProducerRecord对象,其包含主题,分区,键,值信息。 (2) 判断返回结果,acks=0,直接写入,不判断返回信息,不确定是否成功写入,acks...
拉吉尼·西瓦拉姆(Rajini Sivaram)是Kafka项目的Committer和PMC成员。她在Confluent为Kafka设计和开发跨集群复制和安全功能。 克里特·佩蒂(Krit Petty)是LinkedIn的Kafka站点可靠性工程经理,曾负责将LinkedIn的大规模Kafka集群迁移到微软的Azure云。 【译者介绍】 ...
格温.沙皮拉(Gwen Shapira)是Kafka项目的Committer和PMC成员,也是Confluent的工程主管,领导云原生Kafka团队,致力于打造更具弹性和可伸缩性的Kafka云服务。 托德.帕利诺(Todd Palino)是LinkedIn的站点可靠性工程师,他开发了Kafka消费者监控工具Burrow。 拉吉尼.西瓦拉姆(Rajini Sivaram)是Kafka项目的Committer和PMC成员。她...
1.1 创建Kafka生产者 要往Kafka中写入消息,首先要创建一个生产者对象,并设置一些属性。一般有三个必须属性。 1.指定的broker地址,地址的格式为host:port。可以不包含所有的broker地址,生产者会从给定的broker中找到其他的broker地址,为了防止宕机,一般至少要提供两个broker信息。 2.key指定序列化器 3.value指定序列化...
本书介绍Kafka的技术原理和应用技巧。内容包括如何安装和配置Kafka、如何使用KafkaAPI、Kafka的设计原则和可靠性保证,以及Kafka的一些架构细节,如复制协议、控制器和存储层。本书列举了一些非常流行的Kafka应用场景,比如基于事件驱动的微服务系统的消息总线、流式处理应用程序和大规模数据管道。通过学习本书,你不仅能够深入...