腾讯二面: Redis 如何使用批量操作提高效率? |
您所在的位置:网站首页 › xshll命令 › 腾讯二面: Redis 如何使用批量操作提高效率? |
![]()
一个 Redis 命令的执行可以简化为以下 4 步: 发送命令 命令排队 命令执行 返回结果 其中,第 1 步和第 4 步耗费时间之和称为Round Trip Time (RTT,往返时间),也就是数据在网络上传输的时间。 使用批量操作可以减少网络传输次数,进而有效减小网络开销,大幅减少 RTT。 原生批量操作命令 Redis 中有一些原生支持批量操作的命令,比如: mget(获取一个或多个指定 key 的值)、mset(设置一个或多个指定 key 的值)、 hmget(获取指定哈希表中一个或者多个指定字段的值)、hmset(同时将一个或多个 field-value 对设置到指定哈希表中)、 sadd(向指定集合添加一个或多个元素) ...... 不过,在 Redis 官方提供的分片集群解决方案 Redis Cluster 下,使用这些原生批量操作命令可能会存在一些小问题需要解决。就比如说mget无法保证所有的 key 都在同一个hash slot(哈希槽)上,mget可能还是需要多次网络传输,原子操作也无法保证了。不过,相较于非批量操作,还是可以节省不少网络传输次数。 整个步骤的简化版如下(通常由 Redis 客户端实现,无需我们自己再手动实现): 找到 key 对应的所有 hash slot; 分别向对应的 Redis 节点发起mget请求获取数据; 等待所有请求执行结束,重新组装结果数据,保持跟入参 key 的顺序一致,然后返回结果。 如果想要解决这个多次网络传输的问题,比较常用的办法是自己维护 key 与 slot 的关系。不过这样不太灵活,虽然带来了性能提升,但同样让系统复杂性提升。 Redis Cluster 并没有使用一致性哈希,采用的是哈希槽分区,每一个键值对都属于一个hash slot(哈希槽) 。当客户端发送命令请求的时候,需要先根据 key 通过上面的计算公示找到的对应的哈希槽,然后再查询哈希槽和节点的映射关系,即可找到目标 Redis 节点。 pipeline 对于不支持批量操作的命令,我们可以利用pipeline(流水线)将一批 Redis 命令封装成一组,这些 Redis 命令会被一次性提交到 Redis 服务器,只需要一次网络传输。不过,需要注意控制一次批量操作的元素个数(例如 500 以内,实际也和元素字节数有关),避免网络传输的数据量过大。 与mget、mset等原生批量操作命令一样,pipeline 同样在 Redis Cluster 上使用会存在一些小问题。原因类似,无法保证所有的 key 都在同一个hash slot(哈希槽)上。如果想要使用的话,客户端需要自己维护 key 与 slot 的关系。 原生批量操作命令和 pipeline 的是有区别的,使用的时候需要注意: 原生批量操作命令是原子操作,pipeline 是非原子操作; pipeline 可以打包不同的命令,原生批量操作命令不可以; 原生批量操作命令是 Redis 服务端支持实现的,而 pipeline 需要服务端和客户端的共同实现。 另外,pipeline 不适用于执行顺序有依赖关系的一批命令。就比如说,你需要将前一个命令的结果给后续的命令使用,pipeline 就没办法满足你的需求了。对于这种需求,我们可以使用Lua 脚本。 Lua 脚本 Lua 脚本同样支持批量操作多条命令。一段 Lua 脚本可以视作一条命令执行,可以看作是原子操作。一段 Lua 脚本执行过程中不会有其他脚本或 Redis 命令同时执行,保证了操作不会被其他指令插入或打扰,这是 pipeline 所不具备的。 分布式锁的 Lua 脚本: 并且,Lua 脚本中支持一些简单的逻辑处理比如使用命令读取值并在 Lua 脚本中进行处理,这同样是 pipeline 所不具备的。 不过, Redis Cluster 下 Lua 脚本的原子操作也无法保证了,原因同样是无法保证所有的 key 都在同一个hash slot(哈希槽)上。 本文节选自 JavaGuide(javaguide.cn)。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |