kafka基础篇(一)

您所在的位置:网站首页 kafka架构分为两层 kafka基础篇(一)

kafka基础篇(一)

2024-01-14 12:18| 来源: 网络整理| 查看: 265

前言

kafka作为一个MQ,我们将kafka分为服务端和客户端来讲解。服务端指kafka服务,即接收并存储消息的服务。客户端指我们在自己项目里调用kafka提供的JAVA API实现消息生产者和消费者的功能。本文我们介绍kafka服务端的工作机制和原理,只有了解和熟悉了kafka服务端的原理,才可以更好的在客户端实现生产者和消费者的功能。

一、消息主题与分区的概念&&偏移量概念

消息: 就是MQ中的消息概念。kafka只接收字节数组的消息。

主题: 在MQ中,主题的概念我们并不陌生。主题是对消息的分类,它类似于数据库中表的概念。

分区: kafka中引入了分区的概念。每个主题下,可以包括若干个分区。消息进入主题后,会存入不同的分区里。分区是服务器上的文件,消息进入分区,其实就是写入了分区文件。所以,我们理解分区,就是消息文件即可。一个主题有若干分区,也就是消息写入了若干个文件。 由此可知,kafka中是把消息写入文件的,这也是kafka的特点之一:消息持久化

偏移量: 偏移量是kafka分区里内部维护的 一个元数据,在消息创建的时候会把偏移量加入消息中,是一个递增的整数。我们可以理解为,在某个分区中,偏移量就是消息的脚标即可。一个偏移量代表着一个消息。

二、服务端管理命令

kafka单机版和集群的安装,我们这里不进行讲解,网上教材很多,可以自行查阅并安装。这里我们讲解kafka安装成功后,在kafka服务中的一些管理命令。

1.创建主题命令: kafka-topics.bat --zookeeper localhost:2181 --create --topic my-topic --replication-factor 1 --partitions 8

–topic:主题名称 –replication-factor:副本数,在单机中,副本数只能是1。在集群中,副本数要



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3