Netty学习（八）：TCP的粘包拆包与解决方案 |
您所在的位置：网站首页 › 标包编号是什么 › Netty学习（八）：TCP的粘包拆包与解决方案 |
Netty学习（八）：TCP的粘包拆包与解决方案
|
一、什么是粘包和拆包
TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket,因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化方法(Nagle算法)，将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样做虽然提高了效率，但是接收端就难于分辨出完整的数据包了，因为面向流的通信是无消息保护边界的。 由于TCP无消息保护边界,需要在接收端处理消息边界问题，这也就是我们所说的粘包、拆包问题。 二、拆包粘包示意图
假设客户端分别发送了两个数据包Dl和D2给服务端，由于服务端一次读取到字节数是不确定的，故可能存在以下四种情况: 服务端分两次读取到了两个独立的数据包，分别是D1和 D2，没有粘包和拆包 服务端一次接受到了两个数据包，D1和D2粘合在一起，称之为TCP粘包 服务端分两次读取到了数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余内容，这称之为TCP拆包 服务端分两次读取到了数据包，第一次读取到了D1包的部分内容Dl_1，第二次读取到了D1包的剩余部分内容Dl_2和完整的D2包 三、拆包粘包现象实例在编写Netty程序时，如果没有做处理，默认会发生粘包拆包问题。 我们在客户端中发送10条“hello,server”，看看服务端会收到什么。 3.1 客户端handler public class MyClientHandler extends SimpleChannelInboundHandler { private int count; @Override public void channelActive(ChannelHandlerContext ctx) throws Exception { //使用客户端发送10条数据 hello,server 编号 for(int i= 0; i< 10; ++i) { ByteBuf buffer = Unpooled.copiedBuffer("hello,server " + i, Charset.forName("utf-8")); ctx.writeAndFlush(buffer); } } @Override protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception { byte[] buffer = new byte[msg.readableBytes()]; msg.readBytes(buffer); String message = new String(buffer, Charset.forName("utf-8")); System.out.println("客户端接收到消息=" + message); System.out.println("客户端接收消息数量=" + (++this.count)); } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { cause.printStackTrace(); ctx.close(); } } 3.2 服务端handler public class MyServerHandler extends SimpleChannelInboundHandler{ private int count; @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { //cause.printStackTrace(); ctx.close(); } @Override protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception { byte[] buffer = new byte[msg.readableBytes()]; msg.readBytes(buffer); //将buffer转成字符串 String message = new String(buffer, Charset.forName("utf-8")); System.out.println("服务器接收到数据 " + message); System.out.println("服务器接收到消息量=" + (++this.count)); //服务器回送数据给客户端, 回送一个随机id , ByteBuf responseByteBuf = Unpooled.copiedBuffer(UUID.randomUUID().toString() + " ", Charset.forName("utf-8")); ctx.writeAndFlush(responseByteBuf); } } 3.3 发送结果（每次启动结果都有可能不同）客户端：发送了一条消息： 客户端接收到消息=301f5819-059a-4ac2-b7f8-18688b3d88f6 5ecf1160-0609-4f24-aa1a-69b3d291c018 b0436ae3-c1cd-483e-94e3-b0b7cfbdc713 88995985-342e-4ab8-b742-2128bb4e63db 客户端接收消息数量=1服务端： 服务器接收到数据 hello,server 0hello,server 1hello,server 2hello,server 3hello,server 4hello,server 5hello,server 6hello,server 7hello,server 8hello,server 9 服务器接收到消息量=1 服务器接收到数据 hello,server 0 服务器接收到消息量=1 服务器接收到数据 hello,server 1 服务器接收到消息量=2 服务器接收到数据 hello,server 2hello,server 3hello,server 4hello,server 5hello,server 6 服务器接收到消息量=3 服务器接收到数据 hello,server 7hello,server 8hello,server 9 服务器接收到消息量=4可以看到服务端将这条消息拆成了4次来接收。 四、拆包粘包解决方案 4.1 解决方案解决问题的关键在于要解决服务器端每次读取数据长度的问题。这样就不会出现服务器多读或少读数据的问题，从而避免的TCP粘包、拆包。 因此我们使用自定义协议＋编解码器来解决。 自定义协议即是规定一次读取的长度等，这样的协议需要一套自己的编解码器。将这两个部分实现就可以解决粘包拆包问题了。 在这里有必要介绍一下Protocol。Protobuf是Google 发布的开源项目，全称Google Protocol Buffers，是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或RPC数据交换格式，能够跨平台，跨语言，有高性能、高可靠性，解决了许多Java自带编解码器的弊端。（参考文档: https://developers.google.com/protocol-buffers/docs/proto） 4.2 案例描述客户端每次发送一个Message对象，共发送5个Message 对象, 服务器端每次接收一个Message，分5次进行解码，每读取到一个Message，会回复一个Message对象给客户端。 
如果不做处理的话，这五个message可能就会被拆开或者粘在一起，我们做这个案例就是为了避免这个粘包拆包的问题。 4.3 协议 //协议包 public class MessageProtocol { private int len; //关键 private byte[] content; public int getLen() { return len; } public void setLen(int len) { this.len = len; } public byte[] getContent() { return content; } public void setContent(byte[] content) { this.content = content; } } 4.4 客户端handler public class MyClientHandler extends SimpleChannelInboundHandler { private int count; @Override public void channelActive(ChannelHandlerContext ctx) throws Exception { //使用客户端发送10条数据 "今天天气冷，吃火锅" 编号 for(int i = 0; i< 5; i++) { String mes = "今天天气冷，吃火锅"; byte[] content = mes.getBytes(Charset.forName("utf-8")); int length = mes.getBytes(Charset.forName("utf-8")).length; //创建协议包对象 MessageProtocol messageProtocol = new MessageProtocol(); messageProtocol.setLen(length); messageProtocol.setContent(content); ctx.writeAndFlush(messageProtocol); } } // @Override protected void channelRead0(ChannelHandlerContext ctx, MessageProtocol msg) throws Exception { int len = msg.getLen(); byte[] content = msg.getContent(); System.out.println("客户端接收到消息如下"); System.out.println("长度=" + len); System.out.println("内容=" + new String(content, Charset.forName("utf-8"))); System.out.println("客户端接收消息数量=" + (++this.count)); } @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { System.out.println("异常消息=" + cause.getMessage()); ctx.close(); } } 4.5 服务器handler public class MyServerHandler extends SimpleChannelInboundHandler{ private int count; @Override public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception { //cause.printStackTrace(); ctx.close(); } @Override protected void channelRead0(ChannelHandlerContext ctx, MessageProtocol msg) throws Exception { //接收到数据，并处理 int len = msg.getLen(); byte[] content = msg.getContent(); System.out.println(); System.out.println(); System.out.println(); System.out.println("服务器接收到信息如下"); System.out.println("长度=" + len); System.out.println("内容=" + new String(content, Charset.forName("utf-8"))); System.out.println("服务器接收到消息包数量=" + (++this.count)); //回复消息 String responseContent = UUID.randomUUID().toString(); int responseLen = responseContent.getBytes("utf-8").length; byte[] responseContent2 = responseContent.getBytes("utf-8"); //构建一个协议包 MessageProtocol messageProtocol = new MessageProtocol(); messageProtocol.setLen(responseLen); messageProtocol.setContent(responseContent2); ctx.writeAndFlush(messageProtocol); } } 4.6 编码器 public class MyMessageEncoder extends MessageToByteEncoder { @Override protected void encode(ChannelHandlerContext ctx, MessageProtocol msg, ByteBuf out) throws Exception { System.out.println("MyMessageEncoder encode 方法被调用"); out.writeInt(msg.getLen()); out.writeBytes(msg.getContent()); } } 4.7 解码器 public class MyMessageDecoder extends ReplayingDecoder { @Override protected void decode(ChannelHandlerContext ctx, ByteBuf in, List out) throws Exception { System.out.println("MyMessageDecoder decode 被调用"); //需要将得到二进制字节码-> MessageProtocol 数据包(对象) int length = in.readInt(); byte[] content = new byte[length]; in.readBytes(content); //封装成 MessageProtocol 对象，放入 out， 传递下一个handler业务处理 MessageProtocol messageProtocol = new MessageProtocol(); messageProtocol.setLen(length); messageProtocol.setContent(content); out.add(messageProtocol); } } 4.8 运行结果客户端： MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=b980df87-3c1d-4ebd-923d-583d6c08377a 客户端接收消息数量=1 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=34c572fc-c5fc-4763-aa86-9f0d6ebbce51 客户端接收消息数量=2 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=2bdc5cd2-a7de-4e1d-80c2-8e654458f6e8 客户端接收消息数量=3 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=8fa37455-cafa-420f-8f18-7ec39ccdb07f 客户端接收消息数量=4 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=2fca698d-581e-49c9-ab96-d47b3c52a1bd 客户端接收消息数量=5服务端： MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageEncoder encode 方法被调用 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=b980df87-3c1d-4ebd-923d-583d6c08377a 客户端接收消息数量=1 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=34c572fc-c5fc-4763-aa86-9f0d6ebbce51 客户端接收消息数量=2 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=2bdc5cd2-a7de-4e1d-80c2-8e654458f6e8 客户端接收消息数量=3 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=8fa37455-cafa-420f-8f18-7ec39ccdb07f 客户端接收消息数量=4 MyMessageDecoder decode 被调用 客户端接收到消息如下 长度=36 内容=2fca698d-581e-49c9-ab96-d47b3c52a1bd 客户端接收消息数量=5可以看到，服务端完整地接收了五条消息，并在接收到每条message后给客户端返回信息了。说明我们解决了粘包拆包问题。 |
【本文地址】
今日新闻 |
推荐新闻 |