python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Python文件合并

Python脚本实现多文本文件合并

作者：XLYcmy

这篇文章主要和大家分享一个专注于多文本文件合并的Python工具脚本,其核心目标是将用户指定的多个 .txt格式文件按输入顺序拼接为单个统一文件,同时最大限度保留原始文件的格式特征,感兴趣的小伙伴可以了解下

一、程序概述与核心功能定位

一个专注于多文本文件合并的Python工具脚本，其核心目标是将用户指定的多个 .txt格式文件按输入顺序拼接为单个统一文件，同时最大限度保留原始文件的格式特征（如换行、缩进、特殊字符等）。该脚本设计轻量、逻辑直观，既可直接作为独立工具使用，也可嵌入更复杂的文本处理流程中，适用于日志归档、数据预处理、文档整合等场景。

1.1 核心功能拆解

功能模块具体描述
多文件顺序读取按用户输入的路径列表依次打开文件，确保合并顺序与输入顺序一致
原始格式保留不对文本内容做清洗、转换或格式化处理，直接拼接原始字节流（通过文本模式读取）
编码兼容处理优先使用 utf-8编码读取，捕获编码异常并给出 gbk编码重试提示
错误捕获与提示针对文件不存在、编码错误等常见问题提供明确反馈，避免程序静默失败
执行状态反馈合并成功后输出统计信息（文件数量、输出路径），便于用户确认执行结果

二、数据结构设计解析

脚本虽短小，但数据结构的选择紧密围绕“高效合并”目标，体现了轻量级工具的简洁性。

2.1 输入数据结构：input_files（列表类型）

input_files = [
    r"\download_1.txt",
    r"\download_2.txt",
    r"\download_3.txt",
    r"\download_4.txt"
]

2.2 中间存储结构：merged_content（列表类型）

merged_content = []
# ... 循环中 append 内容 ...
f.write(''.join(merged_content))

2.3 输出数据结构：目标文件（output_file）

输出为单个 .txt文件，内容是 merged_content列表所有元素的拼接结果。文件编码强制使用 utf-8，确保跨平台兼容性（Windows 记事本默认编码为 gbk，但 Python 写入时显式指定 utf-8可避免中文乱码问题）。

三、算法逻辑与执行流程

脚本的算法逻辑呈线性流程，无复杂分支或递归，核心是“读取-缓存-写入”三步循环，时间复杂度和空间复杂度均较低，适合中小规模文件合并。

3.1 整体执行流程

开始
  ↓
初始化 merged_content 空列表
  ↓
遍历 input_files 中的每个文件路径：
  ├─ 打开文件（utf-8 编码）
  ├─ 读取全部内容（f.read()）
  └─ 追加到 merged_content 列表
  ↓
打开输出文件（utf-8 编码）
  ↓
将 merged_content 列表拼接为字符串并写入
  ↓
打印成功信息
  ↓
异常处理（文件不存在/编码错误/其他错误）
结束

3.2 关键步骤详解

文件读取：f.read()方法

内容拼接：''.join(merged_content)

异常处理机制

脚本通过 try-except块捕获三类异常，体现对用户体验的考虑：

异常类型触发场景处理逻辑
FileNotFoundError输入路径不存在或无权限访问提示用户检查路径
UnicodeDecodeError文件编码非 utf-8（如 gbk）建议尝试 gbk编码重新运行
Exception（基类）其他未预料错误（如磁盘满、权限不足）打印具体错误信息，辅助调试

3.3 算法复杂度分析

指标复杂度说明
时间复杂度O(n)n 为所有文件的总字符数。读取、缓存、拼接均为线性操作，无嵌套循环。
空间复杂度O(n)需存储所有文件的完整内容，内存占用与总字符数成正比。
最优情况O(1)仅当输入文件为空时，无需缓存内容，直接写入空文件。
最坏情况O(n)合并 100 个各含 1MB 内容的文件，需缓存 100MB 数据（取决于系统内存）。

四、代码质量与工程特性评估

从软件工程角度审视，该脚本体现了“小而美”的工具属性，但也存在可优化的空间。

4.1 优点

4.2 局限性与潜在风险

局限性详细说明
无文件大小校验若合并超大文件（如 10GB），会导致内存溢出（MemoryError）。
编码处理单一仅提示 gbk编码，未自动尝试多种编码（如 latin-1、utf-16），也未支持用户指定编码。
无重复文件检查若输入列表包含重复路径，会重复合并同一文件内容。
无写入权限校验若输出路径无写入权限，会在 open(output_file, 'w')时抛出 PermissionError（被基类 Exception捕获，但未明确提示）。
缺乏进度反馈合并大量文件时无进度提示，用户无法判断是否卡顿。

五、应用场景与扩展方向

基于脚本的核心功能，可衍生出丰富的实际应用，并通过扩展优化其适用性。

5.1 典型应用场景

5.2 功能扩展建议

支持大文件流式合并（优化内存）

将“全量缓存”改为“边读边写”，避免内存占用过高：

def merge_txt_files_stream(input_files, output_file):
    try:
        with open(output_file, 'w', encoding='utf-8') as out_f:
            for file_path in input_files:
                with open(file_path, 'r', encoding='utf-8') as in_f:
                    # 逐块读取（如 4096 字节），避免一次性加载
                    while chunk := in_f.read(4096):
                        out_f.write(chunk)
                        out_f.write('\n')  # 可选：添加文件分隔符
        print(f"合并成功！保存至 {output_file}")
    except Exception as e:
        print(f"错误: {e}")

自动编码检测（提升兼容性）

使用 chardet库自动识别文件编码，替代硬编码的 utf-8/gbk：

import chardet

def detect_encoding(file_path):
    with open(file_path, 'rb') as f:
        result = chardet.detect(f.read())
    return result['encoding'] or 'utf-8'  # 默认 utf-8

# 读取时使用检测到的编码
encoding = detect_encoding(file_path)
with open(file_path, 'r', encoding=encoding) as f:
    content = f.read()

命令行参数支持（增强易用性）

通过 argparse模块支持命令行调用，无需修改代码即可指定输入输出：

import argparse

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="合并多个 txt 文件")
    parser.add_argument("-i", "--input", nargs="+", required=True, help="输入文件路径（空格分隔）")
    parser.add_argument("-o", "--output", required=True, help="输出文件路径")
    args = parser.parse_args()
    merge_txt_files(args.input, args.output)

调用方式：python merge.py -i file1.txt file2.txt -o merged.txt

文件过滤与排序（提升灵活性）

支持通配符匹配（如 *.txt）和按文件名排序，避免手动输入路径：

import glob
import os

input_dir = "data/"
input_files = sorted(glob.glob(os.path.join(input_dir, "*.txt")))  # 按文件名排序

六、与其他合并方案的对比

为更全面理解该脚本的定位，将其与常见文本合并方案进行对比：

方案优势劣势适用场景
本脚本（merge.py）轻量、无依赖、逻辑透明不支持大文件、编码检测弱中小文件、快速合并需求
Linux cat命令系统原生、速度极快、支持管道无错误处理、需熟悉命令行服务器端批量合并
PowerShell Get-ContentWindows 原生、支持编码指定语法较复杂、跨平台性差Windows 环境下的自动化脚本
Python fileinput模块内置模块、支持流式处理、自动处理文件灵活性较低、自定义格式困难简单合并任务
Pandas 读取 CSV自动处理表头、数据清洗能力强依赖第三方库、不适合非结构化文本表格数据合并

七、总结

一个典型的“小而美”工具脚本，核心价值在于用最少的代码解决特定问题。它通过列表缓存、顺序读取、异常捕获等基础机制，实现了可靠的文本文件合并功能，适合作为入门级 Python 文件操作案例，或嵌入小型项目的文本预处理流程中。

尽管在超大文件处理、编码兼容性、用户交互等方面存在局限，但这些取舍恰恰使其保持了代码的简洁性和可维护性。通过本文提出的扩展方向（如流式处理、编码检测、命令行支持），可进一步将其升级为更通用的生产级工具。对于开发者而言，理解该脚本的设计思路和潜在优化点，有助于在实际开发中平衡“功能完整性”与“实现成本”，写出更高效的代码。

源代码

def merge_txt_files(input_files, output_file):
    """合并多个txt文件内容（保持原始格式）"""
    try:
        merged_content = []
        # 按顺序读取每个文件
        for file_path in input_files:
            with open(file_path, 'r', encoding='utf-8') as f:
                # 保留原始格式直接追加内容
                merged_content.append(f.read())
        # 写入新文件
        with open(output_file, 'w', encoding='utf-8') as f:
            f.write(''.join(merged_content))
        print(f"合并成功！共合并 {len(input_files)} 个文件，保存至 {output_file}")
    except FileNotFoundError:
        print("错误：找不到指定文件，请检查路径是否正确")
    except UnicodeDecodeError:
        print("提示：检测到文件编码异常，尝试使用gbk编码重新运行")
    except Exception as e:
        print(f"发生未知错误: {str(e)}")
# 使用示例（需要修改路径）
if __name__ == "__main__":
    # 替换为您的实际文件路径（按顺序排列）
    input_paths = [
        r"\download_1.txt",
        r"\download_2.txt",
        r"\download_3.txt",
        r"\download_4.txt"
    ]
    # 设置输出路径
    output_path = r"\merged_result.txt"
    merge_txt_files(input_paths, output_path)

以上就是Python脚本实现多文本文件合并的详细内容，更多关于Python文件合并的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:
阅读全文