测序数据处理

2024-07-17 03:13| 来源: 网络整理| 查看: 265

测序数据处理 —— 数据下载

文章目录测序数据处理 —— 数据下载下载 SRA 数据下载 EBI 数据如果是我们自己测的数据，一般公司提供的文件是压缩后的数据，后缀为 fastq.gz 或 fq.gz。但如果我们想要使用别人上传到 SRA 或 EBI 数据库中的测序数据，则需要使用专门的下载软件把这些数据下载到本地。

下载 SRA 数据

对于 SRA 数据库中的文件，我们可以使用官方提供的 sratools 工具包中的软件进行下载，该工具包可以使用 conda 来进行安装

conda install -c bioconda sra-tools

在 GEO 中搜索感兴趣的项目，并进入 SRA 数据库

我们可以选择全部或部分文件，并下载对应的 Accession List，我们选择两个文件

然后使用 sratools 工具包中的 prefetch 下载对应的文件，例如

prefetch --option-file SRR_Acc_List.txt --output-directory .

下载成功之后会有两个 sra 文件

ls */*sra # SRR22225215/SRR22225215.sra SRR22225218/SRR22225218.sra

需要先将其转换为 fastq

ls */*sra | xargs fastq-dump --split-3

再将其压缩为 gz 格式，因为是双端测序，所以每个样本会有两个以 1 和 2 标识的数据

ls *fastq | xargs gzip ls *fastq.gz # SRR22225215_1.fastq.gz SRR22225215_2.fastq.gz SRR22225218_1.fastq.gz SRR22225218_2.fastq.gz

或者直接一步到位

ls */*.sra | xargs fastq-dump --split-files --gzip -O .

如果你嫌 fastq-dump 跑的太慢的话，可以使用更快的 fasterq-dump，并使用 -e 指定线程数，但是该方法不支持压缩命令，需要手动压缩

ls */*.sra | xargs fasterq-dump --split-files -e 10 -O . # 压缩 ls *fastq | xargs gzip

如果你既想要飞一般的速度，同时能够压缩文件，则可以使用 parallel-fastq-dump

先用 conda 安装

conda install -c bioconda parallel-fastq-dump

使用命令行转换

mkdir -p raw ls */*.sra | xargs -n 1 -P 4 -I {} parallel-fastq-dump \ --sra-id {} \ --threads 4 \ --outdir raw \ --split-3 \ --gzip \ --tmpdir /tmp

或者写入到 Bash 脚本中

# 设置输出目录 output_dir="./raw" # 确保输出目录存在 mkdir -p "$output_dir" # 遍历子目录中的所有 .sra 文件 for sra_file in $(ls */*.sra); do echo "正在解压 $sra_file ..." parallel-fastq-dump --sra-id "$sra_file" \ --threads 4 \ --outdir "$output_dir" \ --split-3 \ --gzip \ --tmpdir /tmp echo "$sra_file 解压完成" done echo "所有文件解压完成" 下载 EBI 数据

如果下载 SRA 数据库的数据很慢，则可以尝试转道 EBI 数据库下载，这两个数据库中的数据是互通的。比如，进入 https://www.ebi.ac.uk/ena/browser/home 并搜索 SRR22225215