FastDFS小文件存储原理

您所在的位置:网站首页 图片大小15kb FastDFS小文件存储原理

FastDFS小文件存储原理

#FastDFS小文件存储原理| 来源: 网络整理| 查看: 265

一、需要小文件存储的原因

思考:

什么是海量小文件存储?多小为小?多少文件为海量?为什么要针对海量小文件存储做优化?1.1、小文件应用场景

通常,大小在1MB以内的文件称为小文件;百万级数量及以上称为海量。

典型应用场景:

(1)Facebook存储了600亿张以上的图片,推出了专门针对海量小图片定制优化的Haystack进行存储。

(2)淘宝存储超过200亿张图片,平均大小仅为15KB,也推出了针对小文件优化的TFS文件系统存储这些图片,并且进行了开源。

(3)动漫渲染和影视后期制作应用,会使用大量的视频、音频、图像、纹理等原理素材,一部普通的动画电影可能包含超过500万的小文件,平均大小在10-20KB之间。

(4)金融票据影像,需要对大量原始票据进行扫描形成图片和描述信息文件,单个文件大小为几KB至几百KB的不等,文件数量达到数千万乃至数亿,并且逐年增长。

应用范例:

1.2、小文件存储带来的问题

Linux通过node存储文件信息,但inode也会消耗硬盘空间,所以硬盘格式化的时候,操作系统自动将硬盘分成两个区域: 一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。

每个inode节点的大小,一般是128字节或256字节。inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。

小文件主要有2个问题:

如果小文件都小于



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3