Linux快速复制T级数据或删除大量小文件

您所在的位置：网站首页 › linux拷贝到windows文件数量不一致 › Linux快速复制T级数据或删除大量小文件

Linux快速复制T级数据或删除大量小文件

2024-07-12 21:45| 来源: 网络整理| 查看: 265

1:快速大量小文件复制 a. 本机不同磁盘之间复制:

复制目录

$ tar cvf – /home/src_dir | tar xvf – -C /opt

复制文件

$ tar cf – access.log |tar xf – -C /opt Tips:快速tar打包的一些小技巧以及常用的tar使用

tar 快速打包(仅打包不压缩传输,耗时比较短)

step1:从文件中生成文件列表

$ find . -name '*.jpg' -print > jpg.txt **** 匹配多个后缀格式 $ find . -regex '.*\.png\|.*\.jpeg\|.*\.jpg' -print >jpg.txt

若生成的文件列表比较大，可以借助split拆分成小文件进行并行打包. 若文件数较小，可忽略此步骤。

#将文件 jpg.txt 分成若干个小文件，每个文件500000行(-l 500000)，文件前缀为xiu_ ，系数不是字母而是数字（-d），后缀系数为四位数（-a 4） $ split -l 500000 ../ jpg.txt -d -a 4 xiu_

step2: tar怎么从文件中读取文件列表呢？查了很久，用 -T

-T, --files-from F get names to extract or create from file F

tips: 注意这里不要加 -v参数啦，对于大量文件，控制台输出是很浪费时间的...

$ tar -czf jpg.tar.gz -T yourfile **** 不压缩的话，可以直接打包, 比较快。 $ tar -cf jpg.tar.gz -T yourfile

tar 常用的一些命令

解包

$ tar xvf FileName.tar ## 或者不输出文件，比较快 $ tar xf FileName.tar

不解包查看打包内容

$ tar tvf FileName.tar

不解包统计打包内容文件数以及文件夹

### 统计文件数 $ tar tvf FileName.tar |grep "^-"|wc -l ### 统计文件加 $ tar tvf FileName.tar |grep "^d"|wc -l b. 跨网络不同主机之间复制 tar+nc:

思路：在网络环境中传输时，打包再结合nc命令，通过管道和tcp端口进行传输。比如 A往B主机传输数据

i. 在机器B上，用nc来监听一个端口，任意都行，只要不被占用；并且将收到的数据用tar展开。-l代表监听模式。

$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -

ii. 接着，在A上通过nc和 tar发送data_01目录。使用一致的34183的端口。

$ tar -zcvf - data_01 |nc 192.168.0.1 34183 2:快速删除大量小文件或者大文件 2.1: 快速删除大量小文件 rsync提供了一些跟删除相关的参数 rsync --help | grep delete --del an alias for --delete-during --delete delete files that don't exist on the sending side --delete-before receiver deletes before transfer (default) --delete-during receiver deletes during transfer, not before --delete-after receiver deletes after transfer, not before --delete-excluded also delete excluded files on the receiving side --ignore-errors delete even if there are I/O errors --max-delete=NUM don't delete more than NUM files 其中--delete-before 接收者在传输之前进行删除操作

可以用来清空目录或文件，如下：

1. 建立一个空目录 mkdir -p /del_blank 2. 确立需要清空的目标目录 /del_data 3. 使用rsync同步删除（注意目录后面的“/”），整体效率会快一个数量级的样子。 rsync --delete-before -a -H -v --progress --stats /del_blank/ /del_data/ 选项说明： –delete-before 接收者在传输之前进行删除操作 –progress 在传输时显示传输过程 -a 归档模式，表示以递归方式传输文件，并保持所有文件属性 -H 保持硬连接的文件 -v 详细输出模式 -stats 给出某些文件的传输状态一般我们不需要显示进度，使用以下命令即可 rsync --delete-before -a -H /del_blank/ /del_data/ 　　这样我们要删除的 del_data目录就会被清空了 2.2: 快速删除大文件

如何删除特别大的文件（数量级），比如nohup.out这样的实时更新的文件，动辄都是几十个G上百G的，也可以用rsync来清空大文件，而且效率比较高。

1、创建空文件 touch /data/blank.txt 2、用rsync清空文件 rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out building file list ... 1 file to consider blank.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1) Number of files: 1 Number of files transferred: 1 Total file size: 0 bytes Total transferred file size: 0 bytes Literal data: 0 bytes Matched data: 0 bytes File list size: 27 File list generation time: 0.006 seconds File list transfer time: 0.000 seconds Total bytes sent: 73 Total bytes received: 31 sent 73 bytes received 31 bytes 208.00 bytes/sec total size is 0 speedup is 0.00

** tips：

当SRC和DEST文件性质不一致时将会报错当SRC和DEST性质都为文件【f】时，意思是清空文件内容而不是删除文件当SRC和DEST性质都为目录【d】时，意思是删除该目录下的所有文件，使其变为空目录最重要的是，它的处理速度相当快，处理几个G的文件也就是秒级的事最核心的内容是：rsync实际上用的就是替换原理

【本文地址】

Linux快速复制T级数据或删除大量小文件

Linux快速复制T级数据或删除大量小文件

今日新闻

推荐新闻