【精选】Pcap包的包头与负载解析，制作数据集

您所在的位置：网站首页 › pcap解析为dat文件 › 【精选】Pcap包的包头与负载解析，制作数据集

【精选】Pcap包的包头与负载解析，制作数据集

2023-10-24 10:13| 来源: 网络整理| 查看: 265

最近在做有关网络流的项目，需要替换数据集，使用自己的网络流数据集，但发现网上的并不是那么全面，因此在这里综合了几个博客并加了自己的思路做了个小总结。

pcap文件是常用的数据报存储格式，可以理解为就是一种文件格式，只不过里面的数据是按照特定格式存储的，所以我们想要解析里面的数据，也必须按照一定的格式。普通的记事本打开pcap文件显示的是乱码，用安装了HEX-Editor插件的Notepad++打开，能够以16进制数据的格式显示，用wireshark这种抓包工具就可以正常打开这种文件，愉快地查看里面的网络数据报了，同时wireshark也可以生成这种格式的文件。当然这些工具只是我经常使用的，还有很多其它能够查看pcap文件的工具。

首先，该数据集是通过解析Pcap包来进行每一条包的分离与解析，提取出每一个包的十六进制传输层头与负载部分，将其分别放入模型中进行训练。

在Pcap包的文件头中有以下描述：

struct pcap_file_header { bpf_u_int32 magic; u_short version_major; u_short version_minor; bpf_int32 thiszone; /* gmt to local correction */ bpf_u_int32 sigfigs; /* accuracy of timestamps */ bpf_u_int32 snaplen; /* max length saved portion of each pkt */ bpf_u_int32 linktype; /* data link type (LINKTYPE_*) */ };

而在这个文件头后面即是全部数据包，为了描述每一个数据包的信息，都会有一个描述头，头的描述如下：

struct pcap_pkthdr { struct timeval ts; /* time stamp */ bpf_u_int32 caplen; /* length of portion present 由于tcpdump可以设置-s参数指定抓取的长度，这个字段表示实际抓取的数据包长度 */ bpf_u_int32 len; /* length this packet (off wire) 这个字段表示数据包的自然长度 */ };

在本科课设中进行了wireshark的学习，因此从拿到这个任务的时候，首先想到该工具，从wireshark中打开包可以看到通过Wireshark打开包后的界面双击点开第一条流，可以看到在这里插入图片描述其中包含这条流的很多信息

python分析pcap文件_Python读取pcap文件

该文章中通过代码，读取pcap文件的内容，并且分析出pcap文件头，每一包数据的pcap头，每一包的数据内容(暂时不包括数据包的协议解析) 源码也放在这里：

#coding=utf-8 #读取pcap文件，解析相应的信息，为了在记事本中显示的方便，把二进制的信息 import struct fpcap = open('ddossim.pcap','rb') ftxt = open('result.txt','w') string_data = fpcap.read() #pcap文件包头解析 pcap_header = {} pcap_header['magic_number'] = string_data[0:4] pcap_header['version_major'] = string_data[4:6] pcap_header['version_minor'] = string_data[6:8] pcap_header['thiszone'] = string_data[8:12] pcap_header['sigfigs'] = string_data[12:16] pcap_header['snaplen'] = string_data[16:20] pcap_header['linktype'] = string_data[20:24] #把pacp文件头信息写入result.txt ftxt.write("Pcap文件的包头内容如下: \n") for key in ['magic_number','version_major','version_minor','thiszone','sigfigs','snaplen','linktype']: ftxt.write(key+ " : " + repr(pcap_header[key])+'\n') #pcap文件的数据包解析 step = 0 packet_num = 0 packet_data = [] pcap_packet_header = {} i = 24 while(i): #数据包头各个字段 pcap_packet_header['GMTtime'] = string_data[i:i+4] pcap_packet_header['MicroTime'] = string_data[i+4:i+8] pcap_packet_header['caplen'] = string_data[i+8:i+12] pcap_packet_header['len'] = string_data[i+12:i+16] #求出此包的包长len packet_len = struct.unpack('I',pcap_packet_header['len'])[0] #写入此包数据 packet_data.append(string_data[i+16:i+16+packet_len]) i = i+ packet_len+16 packet_num+=1 #把pacp文件里的数据包信息写入result.txt for i in range(packet_num): #先写每一包的包头 ftxt.write("这是第"+str(i)+"包数据的包头和数据："+'\n') for key in ['GMTtime','MicroTime','caplen','len']: ftxt.write(key+' : '+repr(pcap_packet_header[key])+'\n') #再写数据部分 ftxt.write('此包的数据内容'+repr(packet_data[i])+'\n') ftxt.write('一共有'+str(packet_num)+"包数据"+'\n') ftxt.close() fpcap.close()

在这里插入图片描述

但取出的是每条流的全部十六进制，并非单独取出了每一条数据头与负载部分，并且它会混合使用十六进制和ascii（如随机括号和括号所示），而观察Wireshark打开该包后的Packet bytes，可以看到有的是将左边的十六进制转化成为ascii码加入读取的数据中。

b"\\xff\\xff\\xff\\xff\\xff\\xff\\x00\\x11%\\xbb\\xce\\xa1\\x08\\x00E\\x00\\x00\\xe5*#\\x00\\x00\\x80\\x11\\x8b/\\xc0\\xa8\\x01f\\xc0\\xa8\\x01\\xff\\x00\\x8a\ \x00\\x8a\\x00\\xd1\\x871\\x11\\x02\\x8f\\xb5\\xc0\\xa8\\x01f\\x00\\x8a\\x00\\xbb\\x00\\x00 FEEFFDFEECEFEEDADCCACACACACACACA\\x00 FHEPFCELEHFCEPFFFACACACACACACAB N\\x00\\xffSMB%\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11\\x00\ \x00!\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xe8\\x03\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00!\\x00V\\x00\\x03\\x00\\x01\\x00\\x00\\x00\\x02\\x002\\x00\\\ \MAILSLOT\\\\BROWSE\\x00\\x01\\x00\\x80\\xfc\\n\\x00TESTBED02\\x00\\x9c\'\\xb8\\x05\\x02\\x00\\x05\\x01\\x03\\x10\\x00\\x00\\x0f\\x01U\\xaa\\x00"

在这里插入图片描述之后我们采用转化手段，将右边出现的ascii码转化为左边的十六进制码，从而得到完整的十六进制数据

packet_data.append(binascii.hexlify(string_data[i+16:i+16+packet_len]))

但由于并为将传输层头与负载分开，而是全部提取，该方法并不完全适用于制作数据集在这里插入图片描述上图我们选中了第一条数据的 UDP payload，可以看到第一条数据的负载部分，我们就是希望能够分离负载部分。而此时寻找新的读取方式，找到了python中的scapy库，下载方式为pip install scapy

利用Python库Scapy解析pcap文件的方法

import scapy from scapy.all import * from scapy.utils import PcapReader packets=rdpcap("./test.pcap") for data in packets: if 'UDP' in data: s = repr(data) print(s) print(data['UDP'].sport) break

输出结果为：在这里插入图片描述可以使用 data['UDP']打印出UDP端口，也可以通过 data['UDP'].sport 单独打印udp的源端口 TCP也如此，由于在数据集制作中只需要UDP与TCP协议的流量数据，因此通过代码将UDP与TCP从Pcap包中分离通过对Wireshark中的分析，可以得到UDP与TCP的Payload长度在 data['UDP'].len 与 data['IP'].len 得到最终代码如下：

#coding=utf-8 import scapy from scapy.all import * from scapy.utils import PcapReader import binascii import struct import binascii import numpy as np fpcap = open("ddossim.pcap",'rb') string_data = fpcap.read() packets=rdpcap("ddossim.pcap") #pcap文件包头解析 pcap_header ={} pcap_header['magic_number'] = string_data[0:4] pcap_header['version_major'] = string_data[4:6] pcap_header['version_minor'] = string_data[6:8] pcap_header['thiszone'] = string_data[8:12] pcap_header['sigfigs'] = string_data[12:16] pcap_header['snaplen'] = string_data[16:20] pcap_header['linktype'] = string_data[20:24] #pcap文件的数据包解析 step = 0 packet_num = 0 packet_data = [] pcap_packet_header = [] i =24 packet_num_w=0 packet_content=[] for data in packets: packet_num_w+=1 if 'UDP' in data: payload_len=data['UDP'].len-8 elif 'TCP' in data and data['IP'].len>40: payload_len=data['IP'].len-40 else: i = i+ struct.unpack('I',string_data[i+12:i+16])[0]+16 continue packet_header=binascii.hexlify(string_data[i:i+16]) pcap_packet_header.append(packet_header) #求出此包的包长len pcap_packet_header_len = string_data[i+12:i+16] packet_len = struct.unpack('I',pcap_packet_header_len)[0] #写入此包数据 pcap_packet_payload=binascii.hexlify(string_data[i+16:i+16+packet_len]) packet_data.append(pcap_packet_payload) payload = str(pcap_packet_payload[-payload_len*2:])[2:-1] header = str(packet_data[0]).replace(payload[2:-1],"")[2:-1] header_256 = [] payload_256 = [] for header_len_each in range(packet_len-int(payload_len)): header_256_each=int(header[header_len_each*2:header_len_each*2+2],16) header_256.append(header_256_each) for payload_len_each in range(int(payload_len)): payload_256_each=int(payload[payload_len_each*2:payload_len_each*2+2],16) payload_256.append(payload_256_each) header_256 = np.array(header_256) payload_256 = np.array(payload_256) packet_content.append(header_256) packet_content.append(payload_256) i = i+ packet_len+16 packet_num+=1 if packet_num==30: break packet_content=np.array(packet_content).reshape(int(len(packet_content)/2),2) # import pdb;pdb.set_trace() fpcap.close()

但在此过程中发现还有很多问题需要解决，例如对Pcap包基本结构不太清晰。

【本文地址】

【精选】Pcap包的包头与负载解析，制作数据集

【精选】Pcap包的包头与负载解析，制作数据集

今日新闻

推荐新闻