使用nohup和--remove-source-files在后台运行rsync并记录日志方式

一、什么是 --remove-source-files？

• 作用：在文件成功同步到目标路径后，删除源路径中的文件。
• 适用场景：需要将文件从一处“移动”到另一处，而不是保留副本，例如清理旧数据、迁移文件到新存储。
• 注意：此选项只删除文件，不会删除源目录结构。

与常见的 mv 命令相比，rsync --remove-source-files 更适合跨设备或跨网络的移动操作，因为它支持增量传输和错误恢复。

二、示例命令

以下是一个使用 nohup 和 --remove-source-files 的完整命令模板：

nohup rsync -av --remove-source-files /source/path/ /destination/path/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &

让我们逐步拆解这条命令。

三、命令详解

1. nohup

• 作用：确保任务在终端关闭后继续运行，忽略挂起信号（SIGHUP）。
• 用法：置于命令开头。

2. rsync -av --remove-source-files

• -a（归档模式）：递归同步目录，保留文件属性（如权限、时间戳）。
• -v（详细输出）：显示同步和删除的详细信息。
• --remove-source-files：同步完成后删除源文件。

源路径和目标路径：

• /source/path/：包含需要移动的文件或目录。
• /destination/path/：文件的目标位置。

3. 日志重定向

> /var/log/rsync_$(date +%Y%m%d_%H%M%S).log：

• 将标准输出重定向到日志文件。
• 使用 $(date +%Y%m%d_%H%M%S) 生成时间戳，例如 rsync_20250324_153022.log。

2>&1：将标准错误也重定向到日志文件，确保所有信息都被记录。

4. 后台运行 &

• 作用：将任务放入后台，释放终端。

四、使用场景与示例

场景1：本地文件移动

将 /data/old/ 中的文件移动到 /data/new/：

nohup rsync -av --remove-source-files /data/old/ /data/new/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &

• 结果：/data/old/ 中的文件被同步到 /data/new/ 并删除，目录结构保留。

场景2：远程文件迁移

将本地文件移动到远程服务器：

nohup rsync -avz --remove-source-files -e ssh /local/data/ user@remote:/remote/data/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &

• -z：压缩数据，优化网络传输。
• -e ssh：通过SSH连接远程服务器。

场景3：特定文件移动

只移动特定类型的文件（例如 .txt 文件）：

nohup rsync -av --remove-source-files --include '*.txt' --exclude '*' /source/ /destination/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 &

• --include 和 --exclude 组合过滤需要移动的文件。

五、操作步骤

准备工作：

• 确保源路径和目标路径存在且可访问。
• 创建日志目录：mkdir -p /var/log/。
• 检查权限：对源路径有读写权限，对目标路径和日志路径有写权限。

执行命令：

• 输入命令并运行，任务将在后台启动。
• 查看进程：ps -ef | grep rsync。

验证结果：

• 检查日志：tail -f /var/log/rsync_*.log，确认同步和删除操作。
• 检查源路径：确认文件已被删除。
• 检查目标路径：确认文件已正确同步。

六、--remove-source-files 的工作原理

• 同步优先：只有当文件成功同步到目标路径后，源文件才会被删除。
• 安全性：如果同步失败（例如目标磁盘满或网络中断），源文件会保留。
• 目录保留：不会删除源路径中的空目录，仅影响文件。

例如：

• 源目录 /source/ 包含：

/source/
├── file1.txt
├── file2.txt
└── subdir/
    └── file3.txt

运行 rsync -av --remove-source-files /source/ /dest/ 后：

• /dest/ 包含所有文件。
• /source/ 变为：

/source/
└── subdir/

• 文件被删除，但目录结构保留。

七、注意事项

谨慎使用：

• --remove-source-files 会永久删除源文件，操作前建议备份或测试。
• 可先用 --dry-run 模拟运行，检查结果：rsync -av --remove-source-files --dry-run /source/ /dest/。

磁盘空间：

• 确保目标路径有足够空间，否则同步失败，源文件不会删除。

日志重要性：

• 日志记录了删除和同步的细节，若出现问题，可快速定位。

权限问题：

• 源文件删除需要写权限，目标路径写入需要相应权限。

网络中断：

• 远程同步时，若中断，rsync 支持续传，未完成的文件不会删除。

八、高级用法

• 限制带宽：避免影响网络，添加 --bwlimit=1000（1MB/s）。

定时任务：结合cron，每天凌晨2点移动文件：

0 2 * * * nohup rsync -av --remove-source-files /source/ /dest/ > /var/log/rsync_$(date +\%Y\%m\%d_\%H\%M\%S).log 2>&1 &

错误通知：添加失败提示：

nohup rsync -av --remove-source-files /source/ /dest/ > /var/log/rsync_$(date +%Y%m%d_%H%M%S).log 2>&1 || echo "Rsync failed" | mail -s "Error" admin@example.com &

总结

通过 nohup 和 --remove-source-files，我们可以安全、高效地将文件从一处移动到另一处，并利用日志记录整个过程。

这一方法在数据迁移、清理旧文件等场景中尤为实用。只要注意权限、空间和备份，就能充分发挥其优势。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。