有限状态熵编码的

VLSI

设计与实现

黄海

1)

, 

邢琳

2)

, 

那宁

2)

, 

张国良

3)

, 

赵石磊

1)

, 

刘志伟

1)

1)

 (

哈尔滨理工大学软件与微电子学院

哈尔滨

  150080)  

2)

 (

哈尔滨理工大学计算机科学与技术学院

哈尔滨

  150080) 

3)

 (

中国航天科技集团有限公司第九研究院

北京

  100094)  

(*************.cn)

摘

要

: 

在处理海量数据时

, 

以软件方式实现的

Z

标准

(Zstd)

无损压缩算法难以满足特定应用领域对压缩速度的需

求

. 

对

Zstd

进行硬件加速设计是解决这一问题的有效方案

, 

尤其是针对

Zstd

的有限状态熵编码

(finite state entropy, 

FSE)

的硬件加速

. 

因此

, 

提出一种适用于

Zstd

的

FSE

压缩、解压硬件实现架构

, 

采用固定压缩表实现最优的硬件加

速步骤

; 

通过增加序列映射的硬件模块来降低存储空间并提高传输速度

; 

采用软硬件协同设计方案

, 

并对硬件实现

架构进行

7

级流水设计

. 

通过

Visual Studio

与

Modelsim

的联合验证平台进行验证

, 

实验结果表明在

TSMC 55

nm

的工

艺下

, 

系统最高频率可达到

750

MHz. 

与软件实现相比

, 

整体压缩速度提高了

9

倍以上

, 

整体解压速度提高了约

100

倍

. 

关键词

: 

无损压缩算法

; 

有限状态熵编码

; Z

标准

; 

硬件加速

中图法分类号

: 

TP391     

 DOI: 

10.3724/SP.J.1089.2021.18575 

Design and Implementation of VLSI for Finite State Entropy Encoding 

Huang Hai

1)

, Xing Lin

2)

, Na Ning

2)

, Zhang Guoliang

3)

, Zhao Shilei

1)

, and Liu Zhiwei

1)

1)

 (

School of Software and Microelectronics, Harbin University of Science and Technology, Harbin 

150080)

2)

 (

School of Computer Science and Technology, Harbin University of Science and Technology, Harbin 

150080) 

3)

 (

Ninth Research Institute, China Aerospace Science and Technology Corporation, Beijing 

100094) 

Abstract:

 The Zstd (Zstandard) lossless compression algorithm that implemented by software is difficult to 

meet the demand of compression speed in specific application field when processing massive data. It is an 

effective solution to this problem by using the hardware acceleration scheme, especially for the hardware 

acceleration of FSE (finite state entropy). Thus, a hardware implementation of the compression and decom-

pression in FSE is proposed for Zstd. This scheme determines the optimal hardware acceleration step by 

fixing the size of compression table, reduces the storage space and improves the transmission speed by add-

ing hardware modules of sequence mapping, enhances the time of parallel processing by dividing the 

seven-stages of flow and realizes the architecture by software and hardware collaboration. The proposed ar-

chitecture is implemented in the TSMC 55

nm process, and the highest frequency can reach 750 MHz. The 

experimental results show that compared with the software implementation, the speed of the whole com-

pression is more than 9 times faster, the speed of the whole decompression is more than the 100 times faster.