数据集随机+比例分为训练集和测试集：并分别存为文件夹 |
您所在的位置：网站首页 › 如何分成两个桌面文件夹并保存 › 数据集随机+比例分为训练集和测试集：并分别存为文件夹 |
数据集随机+比例分为训练集和测试集：并分别存为文件夹
|
需求：将数据集随机分为训练集和测试集，并将随机分类的图像保存至对应的文件夹。让train+test=原始数据，且带有随机比例。 原因：需要将初始化数据集随机分配之后，再将训练集做数据增光，所以不能直接采用txt随机生成路径的方式。 原始数据：0,1 train：0,1；把原始数据的内容复制到train里，再做分割。 test:0,1 1. 数据集随机分为训练集+测试集，并分别保存在相应的文件夹中 # coding=utf-8 # 随机生成训练集和测试集 # 对一个文件夹下的图像生成txt，然后随机选取里面的内容，然后保存到不同的文件夹。 # coding=utf-8 import os, random, shutil def moveFile(fileDir): pathDir = os.listdir(fileDir) # 取图片的原始路径 filenumber = len(pathDir) picknumber = int(filenumber * ratio) # 按照rate比例从文件夹中取一定数量图片 sample = random.sample(pathDir, picknumber) # 随机选取picknumber数量的样本图片 for name in sample: shutil.move(os.path.join(fileDir, name), os.path.join(tarDir, name)) return if __name__ == '__main__': ori_path = 'G:\\train' # 最开始train的文件夹路径 split_Dir = 'G:\\test1' # 移动到新的文件夹路径 ratio = 0.3 # 抽取比例 for firstPath in os.listdir(ori_path): fileDir = os.path.join(ori_path, firstPath) # 原图片文件夹路径 tarDir = os.path.join(split_Dir, firstPath) # val下子文件夹名字 if not os.path.exists(tarDir): # 如果val下没有子文件夹，就创建 os.makedirs(tarDir) moveFile(fileDir) # 从每个子类别开始逐个划分 2. 对训练集的图像进行镜像处理 # coding=utf-8 # 训练集扩充：生成镜像 from PIL import Image import os rootPath = 'G:\\flir adas dataset\\infra_pestrain_0606\\train' for firstPath in os.listdir(rootPath): # 将子文件夹的名字加入到路径里面 fileDir = os.path.join(rootPath, firstPath) pathDir = os.listdir(fileDir) filenumber = len(pathDir) for name in pathDir: image = Image.open(fileDir+'\\'+name) # 图像左右翻转 out = image.transpose(Image.FLIP_LEFT_RIGHT) # 重命名 savename = fileDir+'\\'+name[:-4]+"_mirr.jpg" # 图像存储 out.save(savename, quality=100) # quality=100 3、Windows下dos将文件夹下的图像名的路径保存为txthttps://blog.csdn.net/Young__Fan/article/details/84998254
参考代码：HOG+SVM的minist https://github.com/YihangLou/SVM-Minist-HandWriting-Recognition/tree/4f29be085f4977e7f38df1a84a6c84abbc05f58e 手写数字体识别，肯定是多分类，且是10类分类，还可以统计accuracy，有Python对应的代码来统计信息。 libsvm svm_predict_probability函数的用法——>返回概率 表明libsvm是可以实现多分类的，接口和意义如下：
同样的数据在Python的sklearn的svm下面训练，accuracy是1，所以不知道问题是什么？先搭建一下C++的环境，然后再python环境下查找问题，然后优化，然后再移植。 仍然存在的问题： （1）数据量不够，数据采集规则见https://blog.csdn.net/haronchou/article/details/106649118 （2）没有负样本了，单分类肯定放很多负样本进去以确保模型的鲁棒性，但是多分类怎么确保呢？ （3）python下面的train error是0，testing error是0，对应着accuracy=1。就是每一个都预测的是对的，这……是特征很容易分开，还是模型过拟合了？ （4）现在的问题是：既不是行人也不是汽车的样本进入到分类器后，会怎么样？
|
【本文地址】
今日新闻 |
推荐新闻 |