kafka基础篇(一) |
您所在的位置:网站首页 › kafka架构分为两层 › kafka基础篇(一) |
前言
kafka作为一个MQ,我们将kafka分为服务端和客户端来讲解。服务端指kafka服务,即接收并存储消息的服务。客户端指我们在自己项目里调用kafka提供的JAVA API实现消息生产者和消费者的功能。本文我们介绍kafka服务端的工作机制和原理,只有了解和熟悉了kafka服务端的原理,才可以更好的在客户端实现生产者和消费者的功能。 一、消息主题与分区的概念&&偏移量概念消息: 就是MQ中的消息概念。kafka只接收字节数组的消息。 主题: 在MQ中,主题的概念我们并不陌生。主题是对消息的分类,它类似于数据库中表的概念。 分区: kafka中引入了分区的概念。每个主题下,可以包括若干个分区。消息进入主题后,会存入不同的分区里。分区是服务器上的文件,消息进入分区,其实就是写入了分区文件。所以,我们理解分区,就是消息文件即可。一个主题有若干分区,也就是消息写入了若干个文件。 由此可知,kafka中是把消息写入文件的,这也是kafka的特点之一:消息持久化 偏移量: 偏移量是kafka分区里内部维护的 一个元数据,在消息创建的时候会把偏移量加入消息中,是一个递增的整数。我们可以理解为,在某个分区中,偏移量就是消息的脚标即可。一个偏移量代表着一个消息。 二、服务端管理命令kafka单机版和集群的安装,我们这里不进行讲解,网上教材很多,可以自行查阅并安装。这里我们讲解kafka安装成功后,在kafka服务中的一些管理命令。 1.创建主题命令: kafka-topics.bat --zookeeper localhost:2181 --create --topic my-topic --replication-factor 1 --partitions 8 –topic:主题名称 –replication-factor:副本数,在单机中,副本数只能是1。在集群中,副本数要 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |