一起聊聊图像质量和美学评估的数据集

您所在的位置:网站首页 week25图像量化 一起聊聊图像质量和美学评估的数据集

一起聊聊图像质量和美学评估的数据集

2023-03-13 03:50| 来源: 网络整理| 查看: 265

图像质量和美学评估是计算机视觉领域中热点的研究问题,并且极具应用前景,可与众多实际应用深度结合。评价一张图片,主要从两个方向,一个是图像的质量,如像素、清晰度、有无噪声等,一个是图像的感觉,也就是美学,如构图、颜色、内容主体等。通过这两个方面就可以评价一张图片的好坏,通过计算机视觉算法,可以为图片自动评分,得分高的图片被认为较好,可以用于推荐和搜索等应用场景。本文主要聊聊一些关于图像质量和美学评估的数据集,是一篇综述类文章。

数据集在算法研发中至关重要,就像赛车比赛的赛道,好的车手,不仅要有优秀的车技,也需要对于赛道拥有绝对的理解,不同路况如何开好车。

其中,图像质量评价和图像美观评价的相关数据集,如下:

数据集 介绍 备注 网址 TID2013 图像质量评价 25张参考图像,24个失真类型 链接 LIVE 图像质量评价 29张参考图像,5个失真类型 链接 MLIVE 图像质量评价 15张参考图像,15个失真类型 链接 WATERLOO 图像质量评价 4744张参考图像,20个失真类型 链接 photo.net 图像美观评价 20,278张图像,打分[0,10] 链接 DPChallenge.com 图像美观评价 16,509张图像,打分[0,10] 链接 AVA 图像美观评价 255,500张图像,打分[0,10] 链接

其中TID2013的网站可能无法访问。

TID2013

Image database TID2013: Peculiarities, results and perspectives

paper webset(暂时无法访问)

image.png

TID,即TAMPERE IMAGE DATABASE,Tampere来自于Tampere University of Technology。TID2013是用于全参考图像质量的视觉评价, 主要是评价图像质量评价模型与平均人类感知的匹配。例如,在TID2013中, PSNR(峰值信噪比)和平均人类感知(MOS,平均意见得分)的Spearman相关系数是0.69。

TIP2013是TIP2008的升级版本,包括25幅参考图像,3000幅失真图像,即25参考图像X24种失真×5失真水平。失真类型有24种,增加了包括:改变色彩饱和度、多重高斯噪声、舒适噪声、有损压缩、彩色图像量化、色差以及稀疏采样。

数据集包括:

reference_images:25张参考图像 distorted_images:3000张失真图像,即25张参考图像x24种失真×5失真水平

全部图像都以Bitmap格式,保存在数据库中,无需任何压缩。

BMP:Bitmap JPEG:Joint Photographic Experts Group

文件命名iXX_YY_Z.bmp:第1位是图像编号、第2位是失真类型、第3位是失真等级。例如,"i03_08_4.bmp"意味着第3号图像、第8种失真类型、第4级失真。

失真类型(Types of distortion):

编号 失真类型 英文 1 高斯噪声 Additive Gaussian noise 2 在颜色分量中添加噪声,在亮度分量中添加噪声,且颜色强于亮度 Additive noise in color components is more intensive than additive noise in the luminance component 3 空间相关噪声 Spatially correlated noise 4 掩码噪声 Masked noise 5 高频噪声 High frequency noise 6 脉冲噪声 Impulse noise 7 量化噪声 Quantization noise 8 高斯模糊 Gaussian blur 9 图像去噪 Image denoising 10 JPEG压缩 JPEG compression 11 JPEG2000压缩 JPEG2000 compression 12 JPEG2000压缩 JPEG2000 compression 13 JPEG传输错误 JPEG transmission errors 14 非偏心模式噪声 Non eccentricity pattern noise 15 不同强度的局部块状扭曲 Local block-wise distortions of different intensity 16 平均移位(强度移位) Mean shift (intensity shift) 17 对比度变化 Contrast change 18 颜色饱和度的变化 Change of color saturation 19 乘法高斯噪声 Multiplicative Gaussian noise 20 舒适的噪声 Comfort noise 21 噪声图像的有损压缩 Lossy compression of noisy images 22 抖动的图像颜色量化 Image color quantization with dither 23 色差 Chromatic aberrations 24 稀疏采样和重建 Sparse sampling and reconstruction

具体效果:

image.png

MOS(Mean Opinion Score),平均主观意见分,三个评分文件:

mos.txt:每个失真图像的平均意见得分 mos_with_names.txt:相应失真图像的相同信息和文件名。 mos_std.txt:每个失真图像的MOS标准偏差

该数据库的DMOS值由971观察者给出524340个数据统计得到,较高的MOS值,对应较高的图像视觉质量,分数范围0~9分。还有一些包含TID2008图像计算的一些质量指标的值。所有图像都以Bitmap格式保存在数据库中,没有任何压缩。

MOS是来自5个国家的观察员,进行的971次实验的结果,即:芬兰,法国,意大利,乌克兰和美国。

芬兰(Finland)116次 法国(France)72次 意大利(Italy)80次 乌克兰(Ukraine)602次 美国(USA)101次

971个观察者:

扭曲图像视觉质量的比较:visual quality of distorted images,524340次 图像对的相对视觉质量评估:evaluations of relative visual quality,1048680次 LIVE 和 MLIVE

LIVE,即Laboratory for Image & Video Engineering,图像视频工程库,由德克萨斯大学奥斯汀分校(The University of Texas at Austin)提供。LIVE提供多个图像和视频质量评估的数据库,参考。

LIVE

图像和视频处理领域,通常处理用于需要用户消费的信息,例如网络上的图像或视频。在呈现给用户之前,图像或视频可能经历许多处理阶段,并且每个处理阶段可能引入可能降低最终显示质量的失真。例如,图像和视频由相机设备获取,这可能由于光学,传感器噪声,颜色校准,曝光控制,相机运动等而引入失真。在获取之后,图像或视频可以进一步通过压缩算法来处理,该算法减少了存储或传输的带宽要求。这种压缩算法通常被设计为通过使信号发生某些失真来实现更大的带宽节省。同样的,在通过信道传输图像时发生的比特错误或者在存储图像时(很少)发生比特错误也会引入失真。最后,用于渲染最终输出的显示设备可能会引入一些自身的失真,例如低再现分辨率,不良校准等。每个阶段可能添加的失真量主要取决于经济或设备的物理限制。

人们显然对能够测量图像或视频的质量,以及衡量在不同阶段,添加到失真感兴趣。确定图像或视频质量的一种显而易见的方法是征求人类观察者的意见。毕竟,这些信号是供人类消费的。然而,这种方法不可行,不仅是因为“外面”的图像和视频的剪切数较大量,而且,因为我们希望能够将质量测量技术嵌入到处理图像和视频的算法中,因此对于给定的一组资源,算法输出能力,可以最大化。

客观的图像质量评估,所研究的目标是开发能够自动预测感知图像质量的定量测量。一般而言,客观图像质量度量可以在广泛的应用中发挥重要作用,例如图像采集、压缩、通信、显示、打印、恢复、增强、分析和水印。具体:

可用于动态监控和调整图像质量。 可用于优化图像处理系统的算法和参数设置。 可以用于基准图像处理系统和算法。

简而言之,客观质量测量(与人类观察者的主观质量评估相反)旨在通过算法确定图像或视频的质量。客观质量评估(QA)研究的目标是设计算法,其质量预测与人类观察者的主观评分一致。

图像和视频QA算法可分为三大类:

全参考(Full-Reference,FR)QA方法:其中QA算法可以访问图像或视频的“完美版本”,以便与“扭曲版本”进行比较。“完美版本”通常来自高质量的采集设备,在被压缩伪像和传输错误扭曲之前。然而,参考图像或视频通常比失真版本需要更多的资源,因此,FRQA通常仅用作于设计用于实验室内,测试的图像和视频处理算法的工具,并且不能作为应用程序部署。 无参考(No-Reference,NR)QA方法:其中QA算法只能访问失真信号,并且必须在不知道“完美版本”的情况下估计信号质量。由于NR方法不需要任何参考信息,因此,可用于需要质量测量的任何应用中。然而,为这种灵活性支付的价格是根据算法进行准确质量预测的能力,或NRQA算法的有限范围(例如仅用于JPEG图像的NRQA等)。 简化参考(Reduced-Reference,RR)QA方法:其中提供了关于“完美版本”的部分信息。存在一个侧信道(称为RR信道),通过该信道可以使关于参考的一些信息可用于QA算法。RRQA算法使用该部分参考信息来判断失真信号的质量。

LIVE含有两个图像质量评估的数据集:

LIVE Image Quality Assessment Database LIVE Multiply Distorted Image Quality Database LIVE Image Quality Assessment Database

数据集:链接

图像和视频评估的简介,参考Image & Video Quality Assessment at LIVE。

图像和视频质量评估,研究强烈依赖于主观实验来提供校准数据以及测试机制。毕竟,所有的QA研究的目标是使质量预测,是在协议与人类观察者的主观意见。为了校准QA算法并测试算法的性能,需要一组质量已由人类受试者排序的图像和视频的数据集。可以在该数据集的一部分上训练QA算法,并在其余部分上进行测试。在LIVE中,进行了一项广泛的实验,以获得人类受试者对许多扭曲不同扭曲类型的图像的分数。获得这些图像是为了支持关于通用形状匹配和识别的研究项目。

图像质量评估数据集,链接,29张图片,5种失真类型:

失真类型 英文 文件夹 图片数 info JPEG2000 JPEG2000 jp2k 227 比特率 JPEG JPEG jpeg 233 比特率 白化噪声 White Noise wn 174 标准差 sigma 高斯模糊 Gaussian Blur gblur 174 标准差 sigma 快速衰落瑞利(误码) Fast Fading Rayleigh fastfading 174 失真强度 原图 - refimgs 29 -

DMOS:Difference Mean Opinion Score (DMOS)

图像质量评价可以分为主观评价方法和客观评价方法,主观评价由观察者对图像质量进行主观评分, 一般采用:

平均主观得分(Mean Opinion Score, MOS) 平均主观得分差异(Direrential Mean Opinion Score, DMOS),即人眼对无失真图像和有失真图像评价得分的差异

数据集中包含两个文件:

dmos.mat,评分值 refnames_all.mat,图片引用

其中dmos.mat,得分越高,质量越差:

[Info] dmos_data 0: [0.] [Info] dmos_data 1: [28.00384536] [Info] dmos_data 2: [34.01073628] [Info] dmos_data 3: [65.13140971] [Info] dmos_data 4: [68.9113403] [Info] dmos_data 5: [65.15010253] [Info] dmos_data 6: [54.39726604] [Info] dmos_data 7: [44.3971449] [Info] dmos_data 8: [0.] [Info] dmos_data 9: [47.43001376]

其中refnames_all.mat:

[Info] ref_data 0: [array(['buildings.bmp'], dtype='


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3