|
解决Google Colab - 上传数据集慢 - pytorch读取数据慢
上传数据集慢pytorch读取数据慢
上传数据集慢
许多小伙伴在白嫖GoogleColab时遇到上传数据集慢的问题，那么上传数据集慢是怎么回事呢，下面小编现在就… (不是营销号，划掉)
解决方法：先将数据集压缩打包，然后传压缩包到谷歌云端，再Colab用解压，速度可以快很多。
# 解压缩文件
# (我不会 我百度的 但是能用 嘻嘻)
import zipfile
file_dir = '/content/drive/My Drive/Colab Notebooks/pokemon8600.zip' # 你的压缩包路径
zipFile = zipfile.ZipFile(file_dir)
for file in zipFile.namelist():
zipFile.extract(file, '/content') # 解压路径
zipFile.close()
pytorch读取数据慢
刚开始用(嫖)Colab训练，可能发现训练比线下慢很多，博主用pytorch遇到了这个情况，不知道TensorFlow会不会这样。 原因是数据集放在了'/content/drive'路径下，这样读取就很慢 解决方法：把数据移到/content下就好了 注意/content在云端是看不到的，在Colab里装载了云端能看到。另外现在装载云端不需要用代码了，好多教程比较老，放了好多连接云端的代码，现在直接点一下就好了…
# 拷贝文件到 /content
import shutil
shutil.copyfile('/content/drive/My Drive/Colab Notebooks/Img', '/content/Img')
|