首页 > 脚本专栏 > python > Python提取PDF表格数据

Python如何提取PDF表格数据并写入SQLite数据库

2026-09-22 11:53:18 作者：LAYONTHEGROUND

本文分享了一套完整的Python解决方案,利用免费库FreeSpire.PDF解析PDF表格,涵盖文本清洗、列名规范化、动态建表和批量入库全流程,有需要的小伙伴可以参考下

处理 PDF 表格数据的场景很常见：季度报表、对账单、业务台账，业务方给一份 PDF 过来，需要结构化后进数据库做后续分析。本文分享一个完整的 Python 实现，覆盖从表格提取、字段清洗、动态建表到批量入库的全流程。代码依赖免费库 Free Spire.PDF 完成 PDF 解析，其余全部基于标准库，部署成本很低。

环境与库

pip install Spire.Pdf.Free

导入方式：

from spire.pdf import *
from spire.pdf.common import *

需要提前说明两个能力边界，避免后面踩坑：

免费版单文件最多处理前 10 页，超出部分不会返回。
表格提取依赖 PDF 内的边框线结构，扫描件或无框线表格不适用，需走 OCR 方案。

整体流程

处理流程分三步：

逐页提取所有表格的原始文本矩阵
对表头做规范化、去重，生成合法列名
每张表动态建表并批量插入

这样做的好处是，一份 PDF 里包含多张结构不同的表格时，不需要提前预知列结构，也能全部落入数据库。

文本清洗：先处理连字问题

PDF 里常见的一类坑是连字符（ligature）被替换成 Unicode 私有区字符，例如 fi、ff 会变成 \ue005、\ue000 之类的编码。直接入库就是一堆乱码方块，所以第一步要做归一化。

def normalize_text(text: str) -&gt; str:
    if not text:
        return ""
    ligature_map = {
        '\ue000': 'ff', '\ue001': 'ft', '\ue002': 'ffi',
        '\ue003': 'ffl', '\ue004': 'ti', '\ue005': 'fi',
    }
    for k, v in ligature_map.items():
        text = text.replace(k, v)
    return text.strip()

映射表不需要一次穷举，实践中遇到新字符再补充即可。

列名规范化与去重

原始表头往往带空格、大小写混杂、甚至包含中文和符号，不能直接作为数据库列名。这里做两件事：

用正则把非字母数字字符统一替换成下划线，空表头用 column_N 兜底
处理重复列名（PDF 表格经常出现两个同名"金额"列）

def normalize_column_name(name: str, index: int) -&gt; str:
    if not name:
        return f"column_{index}"
    name = name.lower()
    name = re.sub(r'[^a-z0-9]+', '_', name).strip('_')
    return name or f"column_{index}"
def deduplicate_columns(columns):

seen = set()

result = []

for col in columns:

base = col

count = 1

while col in seen:

col = f"{base}_{count}"

count += 1

seen.add(col)

result.append(col)

return result

去重逻辑采用后缀递增方式，amount、amount_1、amount_2，不会互相覆盖。

提取表格

PdfTableExtractor 是核心对象，按页调用 ExtractTable(page_index) 返回该页所有表格对象。每张表通过 GetRowCount() / GetColumnCount() 遍历，单元格文本用 GetText(row, col) 获取。

pdf = PdfDocument()
pdf.LoadFromFile("Quarterly Sales.pdf")
extractor = PdfTableExtractor(pdf)
all_tables = []
for i in range(pdf.Pages.Count):
tables = extractor.ExtractTable(i)
if not tables:
continue
for table in tables:
table_rows = []
for row in range(table.GetRowCount()):
row_data = [
normalize_text(table.GetText(row, col))
for col in range(table.GetColumnCount())
]
table_rows.append(row_data)
if table_rows:
all_tables.append(table_rows)
pdf.Close()
if not all_tables:
raise ValueError("No tables found in PDF.")

注意 pdf.Close() 的位置——批量处理多份文件时这一步很关键，否则内存占用会持续累积。

动态建表 + 批量插入

不同表格的列结构不同，用 table_N 命名并动态生成 DDL 是最省事的做法。所有列统一声明为 TEXT，把类型推断推迟到查询阶段处理。

conn = sqlite3.connect("sales_data.db")
cursor = conn.cursor()
for table_index, table in enumerate(all_tables):
if len(table) < 2:
continue  # 只有表头没有数据行的表直接跳过
raw_headers = table[0]
normalized_headers = [
normalize_column_name(h, i) for i, h in enumerate(raw_headers)
]
normalized_headers = deduplicate_columns(normalized_headers)
table_name = f"table_{table_index + 1}"
columns_def = ", ".join([f'"{col}" TEXT' for col in normalized_headers])
cursor.execute(f"""
CREATE TABLE IF NOT EXISTS "{table_name}" (
id INTEGER PRIMARY KEY AUTOINCREMENT,
{columns_def}
)
""")
placeholders = ", ".join(["?" for _ in normalized_headers])
column_names = ", ".join([f'"{col}"' for col in normalized_headers])
insert_sql = f"""
INSERT INTO "{table_name}" ({column_names})
VALUES ({placeholders})
"""
batch = []
for row in table[1:]:
if not any(row):
continue
values = [
row[i] if i < len(row) else ""
for i in range(len(normalized_headers))
]
batch.append(values)
if batch:
cursor.executemany(insert_sql, batch)
print(f"Inserted {len(batch)} rows into {table_name}")
conn.commit()
conn.close()
print(f"Processed {len(all_tables)} tables from PDF.")

几个实现细节值得展开：

if len(table) < 2 跳过空表。 PDF 中有时会提取出只有表头、甚至只有一行空字符串的伪表格，提前过滤掉能避免无意义建表。

列数对齐取最小值。当某行的列数少于表头时，row[i] if i < len(row) else "" 补齐空字符串。反过来如果某行列数多于表头，多出的部分会被直接丢弃——这在合并单元格场景下会出现，实践中建议加一条日志记录列数异常的行号，方便后续人工核对。

executemany 批量插入。单条 INSERT 在一张几百行的表上就会明显变慢，批量执行能显著降低 SQLite 事务开销。

验证结果

跑完后直接用 sqlite3 命令行看数据：

sqlite3 sales_data.db ".tables"
sqlite3 sales_data.db "SELECT * FROM table_1 LIMIT 5;"

可以继续优化的方向

类型转换。 目前全部以 TEXT 入库，如果后续要按数值排序或聚合，可以在插入前做一次类型推断：

def try_parse(value: str):
    try:
        return float(value.replace(",", ""))
    except (ValueError, AttributeError):
        return value

把 values 列表在入 batch 前做一次映射，能让纯数字列以 REAL 类型存储，查询时就不需要 CAST 了。

表名语义化。 用 table_1、table_2 只是最省事的方案。如果 PDF 中每张表上方有标题文本，可以提取后作为表名，读起来更直观。

多文件批处理。 把主流程封装成 process_pdf(path, conn) 函数，外层套一层文件遍历即可。注意每个文件都要 LoadFromFile → 提取 → Close()，不要复用 PdfDocument 实例。

整套方案除 PDF 解析库外没有任何第三方依赖，适合嵌入现有的数据处理脚本，也方便在容器里跑。如果你的场景是页数不多、结构相对规范的 PDF 报表，这份代码基本可以直接拿去改几个常量投入使用。

以上就是Python如何提取PDF表格数据并写入SQLite数据库的详细内容，更多关于Python提取PDF表格数据的资料请关注脚本之家其它相关文章！