详解MNIST数据集下载、解析及显示的Python实现 |
您所在的位置:网站首页 › 怎么下载淘宝图片集 › 详解MNIST数据集下载、解析及显示的Python实现 |
Content
MNIST数据集基本介绍下载MNIST数据集到本地解析MNIST数据集显示MNIST数据集中训练集的前9张图片和标签
随着图像处理、计算机视觉、机器学习,甚至深度学习的蓬勃发展,一个良好的数据集作为学习和测试相关算法非常重要。MNIST数据集对于想要学习和测试相关算法,同时又不想花费大量的时间收集和整理数据集的人们来说,这是一个很好的数据库。MNIST数据集官方地址为:http://yann.lecun.com/exdb/mnist/【请复制链接到浏览器打开,直接点击此处进入需要账号和密码】😆😆😆 http://yann.lecun.com/exdb/mnist/ MNIST数据集基本介绍MNIST 数据库是一个大型手写数字数据库(包含0~9十个数字),包含 60,000 张训练图像和 10,000 张测试图像,通常用于训练各种图像处理系统。训练数据集取自美国人口普查局员工,而测试数据集取自美国高中生。所有的手写数字图片的分辨率为28*28。 MNIST训练集图像、训练集标签、测试集图像和测试及标签如下表: 数据集MNIST中的文件名下载地址文件大小训练集图像train-images-idx3-ubyte.gzhttp://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz9912422字节训练集标签train-labels-idx1-ubyte.gzhttp://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz28881字节测试集图像t10k-images-idx3-ubyte.gzhttp://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz1648877字节测试集标签t10k-labels-idx1-ubyte.gzhttp://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz4542字节 下载MNIST数据集到本地【这里给出了多种下载方式,宝子们根据情况选择🔥🔥】 通过博主分享的百度网盘下载公开数据集MNIST;通过代码直接下载【推荐】💥💥💥;官网下载【可能会需要账号密码】;复制链接地址到迅雷下载。 使用百度网盘下载。🏃🏃🏃博主已将MNIST公开数据集上传至百度网盘,大家可以直接下载学习。 链接:https://pan.baidu.com/s/1jAPlVKLYamJn6I63GD6HDg?pwd=azq2 提取码:azq2直接进入http://yann.lecun.com/exdb/mnist/点击对应的数据集下载。【截止20231219,需要账号密码】 使用迅雷下载🔥🔥
不同于我们常见到的数据集图片通过jpg这样的图片格式保存,标签通过txt、xml、json等常规文本文件保存。MNIST的图片和标签均通过二进制文件进行保存,也就是我们无法直接在Windows中查看手写数字的图片和标签,必须要先解码。 MNITS的编码格式如下: 训练集 测试集 通过上一步解析后的MNIST数据已经是numpy.narray数据类型,可以直接通过pillow、opencv和matplotlib库直接可视化了。此处博主通过matplotlib库可视化MNIST训练集的前9张图片及其标签,代码和效果如下: """ 通过gzip和numpy解析MNIST数据集的二进制文件, 并可视化训练集前10张图片和标签 """ import os import gzip import logging import numpy as np import matplotlib.pyplot as plt logging.basicConfig(format="%(message)s", level=logging.DEBUG) # 设置Python日志管理工具的消息格式和显示级别 plt.rcParams["font.sans-serif"] = "SimHei" # 确保plt绘图正常显示中文 plt.rcParams["figure.figsize"] = [9, 10] # 设置plt绘图尺寸 def parse_mnist(minst_file_addr: str = None) -> np.array: """解析MNIST二进制文件, 并返回解析结果 输入参数: minst_file: MNIST数据集的文件地址. 类型: 字符串. 返回值: 解析后的numpy数组 """ if minst_file_addr is not None: minst_file_name = os.path.basename(minst_file_addr) # 根据地址获取MNIST文件名字 with gzip.open(filename=minst_file_addr, mode="rb") as minst_file: mnist_file_content = minst_file.read() if "label" in minst_file_name: # 传入的为标签二进制编码文件地址 data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=8) # MNIST标签文件的前8个字节为描述性内容,直接从第九个字节开始读取标签,并解析 else: # 传入的为图片二进制编码文件地址 data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=16) # MNIST图片文件的前16个字节为描述性内容,直接从第九个字节开始读取标签,并解析 data = data.reshape(-1, 28, 28) else: logging.warning(msg="请传入MNIST文件地址!") return data if __name__ == "__main__": train_imgs = parse_mnist(minst_file_addr="train-images-idx3-ubyte.gz") # 训练集图像 train_labels = parse_mnist(minst_file_addr="train-labels-idx1-ubyte.gz") # 训练集标签 # 可视化 fig, ax = plt.subplots(ncols=3, nrows=3) ax[0, 0].imshow(train_imgs[0], cmap=plt.cm.gray) ax[0, 0].set_title(f"标签为{train_labels[0]}") ax[0, 1].imshow(train_imgs[1], cmap=plt.cm.gray) ax[0, 1].set_title(f"标签为{train_labels[1]}") ax[0, 2].imshow(train_imgs[2], cmap=plt.cm.gray) ax[0, 2].set_title(f"标签为{train_labels[2]}") ax[1, 0].imshow(train_imgs[3], cmap=plt.cm.gray) ax[1, 0].set_title(f"标签为{train_labels[3]}") ax[1, 1].imshow(train_imgs[4], cmap=plt.cm.gray) ax[1, 1].set_title(f"标签为{train_labels[4]}") ax[1, 2].imshow(train_imgs[5], cmap=plt.cm.gray) ax[1, 2].set_title(f"标签为{train_labels[5]}") ax[2, 0].imshow(train_imgs[6], cmap=plt.cm.gray) ax[2, 0].set_title(f"标签为{train_labels[6]}") ax[2, 1].imshow(train_imgs[7], cmap=plt.cm.gray) ax[2, 1].set_title(f"标签为{train_labels[7]}") ax[2, 2].imshow(train_imgs[8], cmap=plt.cm.gray) ax[2, 2].set_title(f"标签为{train_labels[8]}") plt.show() # 显示绘图 print(plt.rcParams.keys())创作不易,若觉得此篇博文有用的观众老爷,不妨点赞👍➕收藏🌟💯🚀 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |