RocketMQ经典高频面试题大全（附答案） |
您所在的位置：网站首页 › Java开发面试题不会怎么办 › RocketMQ经典高频面试题大全（附答案） |
|
编程界的小学生
0、彩蛋1、说说你们公司线上生产环境用的是什么消息中间件?2、多个mq如何选型？3、为什么要使用MQ？4、RocketMQ由哪些角色组成，每个角色作用和特点是什么？5、RocketMQ中的Topic和JMS的queue有什么区别？6、RocketMQ Broker中的消息被消费后会立即删除吗？追问：那么消息会堆积吗？什么时候清理过期消息？
7、RocketMQ消费模式有几种？8、消费消息是push还是pull？追问：为什么要主动拉取消息而不使用事件监听方式？
9、broker如何处理拉取请求的？10、RocketMQ如何做负载均衡？producer端consumer端追问：当消费负载均衡consumer和queue不对等的时候会发生什么？
11、消息重复消费12、如何让RocketMQ保证消息的顺序消费追问：怎么保证消息发到同一个queue？
13、RocketMQ如何保证消息不丢失13.1、Producer端如何保证消息不丢失13.2、Broker端如何保证消息不丢失13.3、Consumer端如何保证消息不丢失
14、rocketMQ的消息堆积如何处理追问：如果Consumer和Queue不对等，上线了多台也在短时间内无法消费完堆积的消息怎么办？追问：堆积时间过长消息超时了？追问：堆积的消息会不会进死信队列？
15、RocketMQ在分布式事务支持这块机制的底层原理?16、如果让你来动手实现一个分布式消息中间件，整体架构你会如何设计实现?17、看过RocketMQ 的源码没有。如果看过，说说你对RocketMQ 源码的理解?18、高吞吐量下如何优化生产者和消费者的性能?开发运维
19、再说说RocketMQ 是如何保证数据的高容错性的?20、任何一台Broker突然宕机了怎么办？21、Broker把自己的信息注册到哪个NameServer上？
0、彩蛋
先来看看大佬们的代码是怎么写的： package org.apache.rocketmq.common.protocol.header; /** * Use short variable name to speed up FastJson deserialization process. */ public class SendMessageRequestHeaderV2 implements CommandCustomHeader { @CFNotNull private String a; // producerGroup; @CFNotNull private String b; // topic; @CFNotNull private String c; // defaultTopic; @CFNotNull private Integer d; // defaultTopicQueueNums; @CFNotNull private Integer e; // queueId; @CFNotNull private Integer f; // sysFlag; @CFNotNull private Long g; // bornTimestamp; @CFNotNull private Integer h; // flag; @CFNullable private String i; // properties; @CFNullable private Integer j; // reconsumeTimes; @CFNullable private boolean k; // unitMode = false; private Integer l; // consumeRetryTimes @CFNullable private boolean m; //batch }这些abcdefg你爱了吗？以后我就这么写变量名，以注释写真实的含义。谁在骂我我就贴给他顶级开源项目的代码，让他自己慢慢品。 1、说说你们公司线上生产环境用的是什么消息中间件?见【2、多个mq如何选型？】 2、多个mq如何选型？ MQ描述RabbitMQerlang开发，对消息堆积的支持并不好，当大量消息积压的时候，会导致 RabbitMQ 的性能急剧下降。每秒钟可以处理几万到十几万条消息。RocketMQjava开发，面向互联网集群化功能丰富，对在线业务的响应时延做了很多的优化，大多数情况下可以做到毫秒级的响应，每秒钟大概能处理几十万条消息。KafkaScala开发，面向日志功能丰富，性能最高。当你的业务场景中，每秒钟消息数量没有那么多的时候，Kafka 的时延反而会比较高。所以，Kafka 不太适合在线业务场景。ActiveMQjava开发，简单，稳定，性能不如前面三个。小型系统用也ok，但是不推荐。推荐用互联网主流的。 3、为什么要使用MQ？因为项目比较大，做了分布式系统，所有远程服务调用请求都是同步执行经常出问题，所以引入了mq 作用描述解耦系统耦合度降低，没有强依赖关系异步不需要同步执行的远程调用可以有效提高响应时间削峰请求达到峰值后，后端service还可以保持固定消费速率消费，不会被压垮 4、RocketMQ由哪些角色组成，每个角色作用和特点是什么？ 角色作用Nameserver无状态，动态列表；这也是和zookeeper的重要区别之一。zookeeper是有状态的。Producer消息生产者，负责发消息到Broker。Broker就是MQ本身，负责收发消息、持久化消息等。Consumer消息消费者，负责从Broker上拉取消息进行消费，消费完进行ack。 5、RocketMQ中的Topic和JMS的queue有什么区别？queue就是来源于数据结构的FIFO队列。而Topic是个抽象的概念，每个Topic底层对应N个queue，而数据也真实存在queue上的。 6、RocketMQ Broker中的消息被消费后会立即删除吗？不会，每条消息都会持久化到CommitLog中，每个Consumer连接到Broker后会维持消费进度信息，当有消息消费后只是当前Consumer的消费进度（CommitLog的offset）更新了。 追问：那么消息会堆积吗？什么时候清理过期消息？4.6版本默认48小时后会删除不再使用的CommitLog文件 检查这个文件最后访问时间判断是否大于过期时间指定时间删除，默认凌晨4点源码如下： /** * {@link org.apache.rocketmq.store.DefaultMessageStore.CleanCommitLogService#isTimeToDelete()} */ private boolean isTimeToDelete() { // when = "04"; String when = DefaultMessageStore.this.getMessageStoreConfig().getDeleteWhen(); // 是04点，就返回true if (UtilAll.isItTimeToDo(when)) { return true; } // 不是04点，返回false return false; } /** * {@link org.apache.rocketmq.store.DefaultMessageStore.CleanCommitLogService#deleteExpiredFiles()} */ private void deleteExpiredFiles() { // isTimeToDelete()这个方法是判断是不是凌晨四点，是的话就执行删除逻辑。 if (isTimeToDelete()) { // 默认是72，但是broker配置文件默认改成了48，所以新版本都是48。 long fileReservedTime = 48 * 60 * 60 * 1000; deleteCount = DefaultMessageStore.this.commitLog.deleteExpiredFile(72 * 60 * 60 * 1000, xx, xx, xx); } } /** * {@link org.apache.rocketmq.store.CommitLog#deleteExpiredFile()} */ public int deleteExpiredFile(xxx) { // 这个方法的主逻辑就是遍历查找最后更改时间+过期时间，小于当前系统时间的话就删了（也就是小于48小时）。 return this.mappedFileQueue.deleteExpiredFileByTime(72 * 60 * 60 * 1000, xx, xx, xx); } 7、RocketMQ消费模式有几种？消费模型由Consumer决定，消费维度为Topic。 集群消费1.一条消息只会被同Group中的一个Consumer消费 2.多个Group同时消费一个Topic时，每个Group都会有一个Consumer消费到数据 广播消费消息将对一 个Consumer Group 下的各个 Consumer 实例都消费一遍。即即使这些 Consumer 属于同一个Consumer Group ，消息也会被 Consumer Group 中的每个 Consumer 都消费一次。 8、消费消息是push还是pull？RocketMQ没有真正意义的push，都是pull，虽然有push类，但实际底层实现采用的是长轮询机制，即拉取方式 broker端属性 longPollingEnable 标记是否开启长轮询。默认开启 源码如下： // {@link org.apache.rocketmq.client.impl.consumer.DefaultMQPushConsumerImpl#pullMessage()} // 看到没，这是一只披着羊皮的狼，名字叫PushConsumerImpl，实际干的确是pull的活。 // 拉取消息，结果放到pullCallback里 this.pullAPIWrapper.pullKernelImpl(pullCallback); 追问：为什么要主动拉取消息而不使用事件监听方式？事件驱动方式是建立好长连接，由事件（发送数据）的方式来实时推送。 如果broker主动推送消息的话有可能push速度快，消费速度慢的情况，那么就会造成消息在consumer端堆积过多，同时又不能被其他consumer消费的情况。而pull的方式可以根据当前自身情况来pull，不会造成过多的压力而造成瓶颈。所以采取了pull的方式。 9、broker如何处理拉取请求的？Consumer首次请求Broker Broker中是否有符合条件的消息有 -> 响应Consumer等待下次Consumer的请求 没有 挂起consumer的请求，即不断开连接，也不返回数据使用consumer的offset， DefaultMessageStore#ReputMessageService#run方法 每隔1ms检查commitLog中是否有新消息，有的话写入到pullRequestTable当有新消息的时候返回请求 PullRequestHoldService 来Hold连接，每个5s执行一次检查pullRequestTable有没有消息，有的话立即推送 10、RocketMQ如何做负载均衡？通过Topic在多Broker中分布式存储实现。 producer端发送端指定message queue发送消息到相应的broker，来达到写入时的负载均衡 提升写入吞吐量，当多个producer同时向一个broker写入数据的时候，性能会下降消息分布在多broker中，为负载消费做准备默认策略是随机选择： producer维护一个index每次取节点会自增index向所有broker个数取余自带容错策略其他实现： SelectMessageQueueByHash hash的是传入的args SelectMessageQueueByRandomSelectMessageQueueByMachineRoom 没有实现也可以自定义实现MessageQueueSelector接口中的select方法 MessageQueue select(final List mqs, final Message msg, final Object arg); consumer端采用的是平均分配算法来进行负载均衡。 其他负载均衡算法 平均分配策略(默认)(AllocateMessageQueueAveragely) 环形分配策略(AllocateMessageQueueAveragelyByCircle) 手动配置分配策略(AllocateMessageQueueByConfig) 机房分配策略(AllocateMessageQueueByMachineRoom) 一致性哈希分配策略(AllocateMessageQueueConsistentHash) 靠近机房策略(AllocateMachineRoomNearby) 追问：当消费负载均衡consumer和queue不对等的时候会发生什么？Consumer和queue会优先平均分配，如果Consumer少于queue的个数，则会存在部分Consumer消费多个queue的情况，如果Consumer等于queue的个数，那就是一个Consumer消费一个queue，如果Consumer个数大于queue的个数，那么会有部分Consumer空余出来，白白的浪费了。 11、消息重复消费影响消息正常发送和消费的重要原因是网络的不确定性。 引起重复消费的原因 ACK正常情况下在consumer真正消费完消息后应该发送ack，通知broker该消息已正常消费，从queue中剔除 当ack因为网络原因无法发送到broker，broker会认为词条消息没有被消费，此后会开启消息重投机制把消息再次投递到consumer 消费模式在CLUSTERING模式下，消息在broker中会保证相同group的consumer消费一次，但是针对不同group的consumer会推送多次 解决方案 数据库表处理消息前，使用消息主键在表中带有约束的字段中insert Map单机时可以使用map ConcurrentHashMap -> putIfAbsent guava cache Redis分布式锁搞起来。 12、如何让RocketMQ保证消息的顺序消费你们线上业务用消息中间件的时候，是否需要保证消息的顺序性? 如果不需要保证消息顺序，为什么不需要?假如我有一个场景要保证消息的顺序，你们应该如何保证? 首先多个queue只能保证单个queue里的顺序，queue是典型的FIFO，天然顺序。多个queue同时消费是无法绝对保证消息的有序性的。所以总结如下： 同一topic，同一个QUEUE，发消息的时候一个线程去发送消息，消费的时候 一个线程去消费一个queue里的消息。 追问：怎么保证消息发到同一个queue？Rocket MQ给我们提供了MessageQueueSelector接口，可以自己重写里面的接口，实现自己的算法，举个最简单的例子：判断i % 2 == 0，那就都放到queue1里，否则放到queue2里。 for (int i = 0; i = maxReconsumeTimes || delayLevel |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |