在美帝的服务器的prefetch和aspera下载比较

您所在的位置:网站首页 geo数据下载速度 在美帝的服务器的prefetch和aspera下载比较

在美帝的服务器的prefetch和aspera下载比较

2023-09-21 12:52| 来源: 网络整理| 查看: 265

如果你的服务器在中国大陆,基本上就放弃prefetch啦,直接aspera即可。但是如果是在海外,就可以尝试比较prefetch和aspera下载速度。

需要注意的是:什么,SRA测序数据要收费了,同样的,需要熟悉GEO和SRA数据库编号规则:

解读GEO数据存放规律及下载,一文就够解读SRA数据库规律一文就够

获得文献里面的数据集里面的样本的数据库里面的ID列表,但是ncbi的sratoolkit有可能不好用,比如prefetch命令下载sra文件速度太慢,可以参考:使用ebi数据库直接下载fastq测序数据 , 需要自行配置好aspera从ebi下载的软件环境,然后去EBI里面搜索到的 fq.txt 路径文件:

比如一个文章的测序数据项目地址是:https://www.ebi.ac.uk/ena/browser/view/PRJEB33490可以使用conda安装aspera和prefetch

其中prefetch属于 sra-tools,而aspera属于aspera-cli,都是需要先搜索它们拿到官方下载方式,我已经给大家找好了,如下:

# wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # bash Miniconda3-latest-Linux-x86_64.sh # echo $SHELL conda create -y -n download conda activate download conda install -y -c hcc aspera-cli conda install -y -c bioconda sra-tools which ascp ## 一定要搞清楚你的软件被conda安装在哪 ls -lh ~/miniconda3/etc/asperaweb_id_dsa.openssh

我们已经多次介绍过conda细节了,这里就不再赘述。

conda管理生信软件一文就够生信技能树B站软件安装视频https://www.bilibili.com/video/av28836717开始测试

我们直接在 https://www.ebi.ac.uk/ena/browser/view/PRJEB33490 找到第一个样本的数据来进行测试,全部的代码如下:

首先看看wget的速度:

wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz

因为这个数据太小了,所以我们的服务器的网速体现不出来,其实正常情况下都是100M/s的!

然后测试prefetch命令:

prefetch ERR3445007

速度也是太快了,我根本就反应不过来:

最后是aspera,

id=fasp.sra.ebi.ac.uk:/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz ascp -QT -l 300m -P33001 \ -i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh \ era-fasp@$id .

也是数据量太小了 ,根本就体现不出来我们的服务器的网络优势,唉,高手寂寞啊!

测试了另外的数据集,发现速度是接近200Mb/s,一般般啦!



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3