序列化与反序列化以及几种JSON库的性能比较

您所在的位置:网站首页 序列化和反序列化性能问题 序列化与反序列化以及几种JSON库的性能比较

序列化与反序列化以及几种JSON库的性能比较

2023-09-21 15:46| 来源: 网络整理| 查看: 265

一、序列化与反序列化

内存中的数据对象只有转换成二进制才可以进行数据持久化和网络传输。将数据对象转换成二进制的流程称之为对象的序列化(Serialization)。

反之,将二进制流恢复为数据对象的过程称之为反序列化(Deserialization)。序列化需要保留充分的信息以恢复数据对象,但是为了节省存储空间和网络带宽,序列化后的二进制流又要尽可能的小。序列化常见的使用时RPC框架的数据传输。

二、常见的序列化方式 2.1 Java原生序列化

Java类型通过实现Serializable接口来实现该类对象的序列化,这个接口非常特殊,没有任何方法,只是起到一个标识符的作用。Java序列化保留了对象的元数据(如类、成员变量、继承类信息等),以及对象数据等,兼容性最好,但是不支持跨语言,同时性能不是最好的。

实现Serializable接口的类建议设置serialVersionUID字段值,如果不设置,那么每次运行时,编译器会根据类的内部实现,包括类名、接口名、方法名和属性等来自动生成serialVersionUID。如果类的源代码有修改,那么重新编译后serialVersionUID的取值可能会变化。因此实现Serializable接口的类最好是显示低设置serialVersionUID值,修改类时候可以根据需要或者兼容性来决定是否需要修改serialVersionUID值。

SerialVersionUID是一个标识符,当它通常使用对象的哈希码序列化时会标记在对象上。我们可以通过Java中serialver工具找到该对象的serialVersionUID。

如果是兼容升级,请不要修改serialVersionUID字段,避免反序列化失败 java.io.NotSerializableException。

如果是不兼容升级,需要修改serialVersionUID值,避免反序列化失败java.io.NotSerializableException。

使用Java原生态序列化需要注意,Java反序列化时候不会调用类的无参构造方法,而是调用native方法将成员变量赋值为对应类型的初始值,基于性能以及兼容性的考虑,不推荐使用Java序列化。

2.3 Hessian序列化

Hessian序列化是一种支持动态类型、跨语言、基于对象传输的网络协议。Java对象序列化的二进制流可以被其他语言(如:C++,python等语言)反序列化。

特性:

自描述序列化类型,不依赖外部描述文件或接口定义,用一个字节表示常用基础类型,极大的缩短了二进制流。

语言无关性,支持脚本语言

协议简单,比Java原生态序列化高效

相比Hessian 1.0、Hessian 2.0中增加了压缩编码,其序列化二进制流大小是Java原生态序列化的50%,序列化耗时是Java原生态大小的30%,反序列化耗时是Java原生态反序列化的20%。

Hessian 会把复杂对象所有属性存储在一个map中进行序列化。所以在父类、子类存在同名成员变量的情况下,Hessian 序列化时,先序列化子类,然后序列化父类,因此反序列化结果会导致子类同名成员变量被父类的值覆盖。

 

2.4 JSON序列化

JSON序列化这里的JSON=JavaScript Object Notation,是一种轻量级的数据交换格式,JSON 序列化就是将数据对象转换成JSON字符串。在序列化过程中跑起来类型信息,所以反序列化时候只有提供类型信息才能准确低反序列化。相比前面两种方式JSON可读性笔记好,方便调试。

序列化通常会通过网络协议传输对象,而对象中往往有敏感数据,所以序列化常常是黑客们的攻击点,攻击者穷秒地利用反序列化过程构造恶意代码,是得程序在反序列化过程中执行任意代码。

 

Java工程中广泛使用的Apache Commons Collections、Jackson、fastjson等都出现过反序列化漏洞。

2.5 如果防范这种黑客攻击呢?

将一些对象的敏感信息不进行序列化传输,可以加关键字transient修饰,避免把该属性信息转化为序列化的二进制流。如果一定要传递对象的敏感信息,也可以使用对称加密和非对称加密方式独立传输,再使用某个方法把属性还原丹对象中。transient 修饰符仅适用于变量,不适用于方法和类。在序列化时,如果我们不想序列化特定变量以满足安全约束,那么我们应该将该变量声明为transient。执行序列化时,JVM会忽略transient变量的原始值并将默认值保存到文件中。因此,transient意味着不要序列化。

应用开发者对序列化要有一定的安全意识防范,对传入数据的内容进行校验或者权限控制,及时更新安全漏洞,避免遭到黑客攻击。

三、常见的JSON序列化方式性能比较

目前对于Java开源的JSON类库有很多种,下面我们取4个常用的JSON库进行性能测试对比, 同时根据测试结果分析如果根据实际应用场景选择最合适的JSON库。

这4个JSON类库分别为:Gson,FastJson,Jackson,Json-lib。

简单介绍

选择一个合适的JSON库要从多个方面进行考虑:

字符串解析成JSON性能

字符串解析成JavaBean性能

JavaBean构造JSON性能

集合构造JSON性能

易用性

先简单介绍下四个类库的身份背景

Gson

项目地址:https://github.com/google/gson

Gson是目前功能最全的Json解析神器,Gson当初是为因应Google公司内部需求而由Google自行研发而来,但自从在2008年五月公开发布第一版后已被许多公司或用户应用。Gson的应用主要为toJson与fromJson两个转换函数,无依赖,不需要例外额外的jar,能够直接跑在JDK上。在使用这种对象转换之前,需先创建好对象的类型以及其成员才能成功的将JSON字符串成功转换成相对应的对象。类里面只要有get和set方法,Gson完全可以实现复杂类型的json到bean或bean到json的转换,是JSON解析的神器。

FastJson

项目地址:https://github.com/alibaba/fastjson

Fastjson是一个Java语言编写的高性能的JSON处理器,由阿里巴巴公司开发。无依赖,不需要例外额外的jar,能够直接跑在JDK上。FastJson在复杂类型的Bean转换Json上会出现一些问题,可能会出现引用的类型,导致Json转换出错,需要制定引用。FastJson采用独创的算法,将parse的速度提升到极致,超过所有json库。

Jackson

项目地址:https://github.com/FasterXML/jackson

Jackson是当前用的比较广泛的,用来序列化和反序列化json的Java开源框架。Jackson社区相对比较活跃,更新速度也比较快, 从Github中的统计来看,Jackson是最流行的json解析器之一,Spring MVC的默认json解析器便是Jackson。

Jackson优点很多:

Jackson 所依赖的jar包较少,简单易用。

与其他 Java 的 json 的框架 Gson 等相比,Jackson 解析大的 json 文件速度比较快。

Jackson 运行时占用内存比较低,性能比较好

Jackson 有灵活的 API,可以很容易进行扩展和定制。

目前最新版本是2.9.4,Jackson 的核心模块由三部分组成:

jackson-core 核心包,提供基于”流模式”解析的相关 API,它包括 JsonPaser 和 JsonGenerator。Jackson 内部实现正是通过高性能的流模式 API 的 JsonGenerator 和 JsonParser 来生成和解析 json。

jackson-annotations 注解包,提供标准注解功能;

jackson-databind 数据绑定包,提供基于”对象绑定” 解析的相关 API( ObjectMapper )和”树模型” 解析的相关 API(JsonNode);基于”对象绑定” 解析的 API 和”树模型”解析的 API 依赖基于”流模式”解析的 API。

Json-lib

项目地址:http://json-lib.sourceforge.net/index.html

json-lib最开始的也是应用最广泛的json解析工具,json-lib 不好的地方确实是依赖于很多第三方包,对于复杂类型的转换,json-lib对于json转换成bean还有缺陷, 比如一个类里面会出现另一个类的list或者map集合,json-lib从json到bean的转换就会出现问题。json-lib在功能和性能上面都不能满足现在互联网化的需求。

编写性能测试

接下来开始编写这四个库的性能测试代码。

添加maven依赖

当然首先是添加四个库的maven依赖,公平起见,我全部使用它们最新的版本:

net.sf.json-lib json-lib 2.4 jdk15 com.google.code.gson gson 2.8.2 com.alibaba fastjson 1.2.46 com.fasterxml.jackson.core jackson-databind 2.9.4 com.fasterxml.jackson.core jackson-annotations 2.9.4

四个库的工具类

FastJsonUtil.java

public class FastJsonUtil { public static String bean2Json(Object obj) { return JSON.toJSONString(obj); } public static T json2Bean(String jsonStr, Class objClass) { return JSON.parseObject(jsonStr, objClass); } }

GsonUtil.java  

public class GsonUtil { private static Gson gson = new GsonBuilder().create(); public static String bean2Json(Object obj) { return gson.toJson(obj); } public static T json2Bean(String jsonStr, Class objClass) { return gson.fromJson(jsonStr, objClass); } public static String jsonFormatter(String uglyJsonStr) { Gson gson = new GsonBuilder().setPrettyPrinting().create(); JsonParser jp = new JsonParser(); JsonElement je = jp.parse(uglyJsonStr); return gson.toJson(je); } }

JacksonUtil.java

public class JacksonUtil { private static ObjectMapper mapper = new ObjectMapper(); public static String bean2Json(Object obj) { try { return mapper.writeValueAsString(obj); } catch (JsonProcessingException e) { e.printStackTrace(); return null; } } public static T json2Bean(String jsonStr, Class objClass) { try { return mapper.readValue(jsonStr, objClass); } catch (IOException e) { e.printStackTrace(); return null; } } }

JsonLibUtil.java

public class JsonLibUtil { public static String bean2Json(Object obj) { JSONObject jsonObject = JSONObject.fromObject(obj); return jsonObject.toString(); } @SuppressWarnings("unchecked") public static T json2Bean(String jsonStr, Class objClass) { return (T) JSONObject.toBean(JSONObject.fromObject(jsonStr), objClass); } }

准备Model类

这里我写一个简单的Person类,同时属性有Date、List、Map和自定义的类FullName,最大程度模拟真实场景。

public class Person { private String name; private FullName fullName; private int age; private Date birthday; private List hobbies; private Map clothes; private List friends; // getter/setter省略 @Override public String toString() { StringBuilder str = new StringBuilder("Person [name=" + name + ", fullName=" + fullName + ", age=" + age + ", birthday=" + birthday + ", hobbies=" + hobbies + ", clothes=" + clothes + "]\n"); if (friends != null) { str.append("Friends:\n"); for (Person f : friends) { str.append("\t").append(f); } } return str.toString(); } }

 

public class FullName { private String firstName; private String middleName; private String lastName; public FullName() { } public FullName(String firstName, String middleName, String lastName) { this.firstName = firstName; this.middleName = middleName; this.lastName = lastName; } // 省略getter和setter @Override public String toString() { return "[firstName=" + firstName + ", middleName=" + middleName + ", lastName=" + lastName + "]"; } }

JSON序列化性能基准测试

@BenchmarkMode(Mode.SingleShotTime) @OutputTimeUnit(TimeUnit.SECONDS) @State(Scope.Benchmark) public class JsonSerializeBenchmark { /** * 序列化次数参数 */ @Param({"1000", "10000", "100000"}) private int count; private Person p; public static void main(String[] args) throws Exception { Options opt = new OptionsBuilder() .include(JsonSerializeBenchmark.class.getSimpleName()) .forks(1) .warmupIterations(0) .build(); Collection results = new Runner(opt).run(); ResultExporter.exportResult("JSON序列化性能", results, "count", "秒"); } @Benchmark public void JsonLib() { for (int i = 0; i < count; i++) { JsonLibUtil.bean2Json(p); } } @Benchmark public void Gson() { for (int i = 0; i < count; i++) { GsonUtil.bean2Json(p); } } @Benchmark public void FastJson() { for (int i = 0; i < count; i++) { FastJsonUtil.bean2Json(p); } } @Benchmark public void Jackson() { for (int i = 0; i < count; i++) { JacksonUtil.bean2Json(p); } } @Setup public void prepare() { List friends=new ArrayList(); friends.add(createAPerson("小明",null)); friends.add(createAPerson("Tony",null)); friends.add(createAPerson("陈小二",null)); p=createAPerson("邵同学",friends); } @TearDown public void shutdown() { } private Person createAPerson(String name,List friends) { Person newPerson=new Person(); newPerson.setName(name); newPerson.setFullName(new FullName("zjj_first", "zjj_middle", "zjj_last")); newPerson.setAge(24); List hobbies=new ArrayList(); hobbies.add("篮球"); hobbies.add("游泳"); hobbies.add("coding"); newPerson.setHobbies(hobbies); Map clothes=new HashMap(); clothes.put("coat", "Nike"); clothes.put("trousers", "adidas"); clothes.put("shoes", "安踏"); newPerson.setClothes(clothes); newPerson.setFriends(friends); return newPerson; } }

说明一下,上面的代码中

ResultExporter.exportResult("JSON序列化性能", results, "count", "秒");

这个是我自己编写的将性能测试报告数据填充至Echarts图,然后导出png图片的方法,具体代码我就不贴了,参考我的github源码。

执行后的结果图:

 

从上面的测试结果可以看出,序列化次数比较小的时候,Gson性能最好,当不断增加的时候到了100000,Gson明细弱于Jackson和FastJson, 这时候FastJson性能是真的牛,另外还可以看到不管数量少还是多,Jackson一直表现优异。而那个Json-lib简直就是来搞笑的。^_^

JSON反序列化性能基准测试

@BenchmarkMode(Mode.SingleShotTime) @OutputTimeUnit(TimeUnit.SECONDS) @State(Scope.Benchmark) public class JsonDeserializeBenchmark { /** * 反序列化次数参数 */ @Param({"1000", "10000", "100000"}) private int count; private String jsonStr; public static void main(String[] args) throws Exception { Options opt = new OptionsBuilder() .include(JsonDeserializeBenchmark.class.getSimpleName()) .forks(1) .warmupIterations(0) .build(); Collection results = new Runner(opt).run(); ResultExporter.exportResult("JSON反序列化性能", results, "count", "秒"); } @Benchmark public void JsonLib() { for (int i = 0; i < count; i++) { JsonLibUtil.json2Bean(jsonStr, Person.class); } } @Benchmark public void Gson() { for (int i = 0; i < count; i++) { GsonUtil.json2Bean(jsonStr, Person.class); } } @Benchmark public void FastJson() { for (int i = 0; i < count; i++) { FastJsonUtil.json2Bean(jsonStr, Person.class); } } @Benchmark public void Jackson() { for (int i = 0; i < count; i++) { JacksonUtil.json2Bean(jsonStr, Person.class); } } @Setup public void prepare() { jsonStr="{\"name\":\"邵同学\",\"fullName\":{\"firstName\":\"zjj_first\",\"middleName\":\"zjj_middle\",\"lastName\":\"zjj_last\"},\"age\":24,\"birthday\":null,\"hobbies\":[\"篮球\",\"游泳\",\"coding\"],\"clothes\":{\"shoes\":\"安踏\",\"trousers\":\"adidas\",\"coat\":\"Nike\"},\"friends\":[{\"name\":\"小明\",\"fullName\":{\"firstName\":\"xxx_first\",\"middleName\":\"xxx_middle\",\"lastName\":\"xxx_last\"},\"age\":24,\"birthday\":null,\"hobbies\":[\"篮球\",\"游泳\",\"coding\"],\"clothes\":{\"shoes\":\"安踏\",\"trousers\":\"adidas\",\"coat\":\"Nike\"},\"friends\":null},{\"name\":\"Tony\",\"fullName\":{\"firstName\":\"xxx_first\",\"middleName\":\"xxx_middle\",\"lastName\":\"xxx_last\"},\"age\":24,\"birthday\":null,\"hobbies\":[\"篮球\",\"游泳\",\"coding\"],\"clothes\":{\"shoes\":\"安踏\",\"trousers\":\"adidas\",\"coat\":\"Nike\"},\"friends\":null},{\"name\":\"陈小二\",\"fullName\":{\"firstName\":\"xxx_first\",\"middleName\":\"xxx_middle\",\"lastName\":\"xxx_last\"},\"age\":24,\"birthday\":null,\"hobbies\":[\"篮球\",\"游泳\",\"coding\"],\"clothes\":{\"shoes\":\"安踏\",\"trousers\":\"adidas\",\"coat\":\"Nike\"},\"friends\":null}]}"; } @TearDown public void shutdown() { } }

执行后的结果图:

 

从上面的测试结果可以看出,反序列化的时候,Gson、Jackson和FastJson区别不大,性能都很优异,而那个Json-lib还是来继续搞笑的。

 

| 来源:公众号方志朋,公众号Java后端技术栈



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3