从正则到 BERT详解Python如何判断文本是否为标题

import re

def is_title_heuristic(text, threshold=30):
    """
    基于启发式规则判断是否为标题
    """
    # 1. 长度检测：太长肯定不是标题，太短可能是废话
    if len(text) > threshold or len(text) < 4:
        return False
    
    # 2. 结尾标点检测：如果以句号、逗号结尾，大概率是正文
    if text.endswith(('。', '．', ',', '.', ';', '；')):
        return False
    
    # 3. 数字/年份特征：包含年份或列表数字（如 1. 2. 3.）
    if re.search(r'\d{4}年|第[\d一二三四五六七八九十]+章|Top \d+', text):
        return True
    
    # 4. 英文 Title Case 检测 (简单版)
    # 检查首字母是否大写，且长度大于1
    if text[0].isupper() and len(text) > 1:
        # 简单的概率判断：如果大写字母占比过高（全大写标题除外），可能是标题
        upper_ratio = sum(1 for c in text if c.isupper()) / len(text)
        if 0.2 < upper_ratio < 0.8: 
             return True
            
    # 5. 关键词匹配
    title_keywords = ['报告', '指南', '揭秘', '分析', '研究', '新闻', 'Review', 'Guide', 'Analysis']
    if any(keyword in text for keyword in title_keywords):
        return True

    return False

# 测试
test_cases = [
    "2023年中国经济发展报告",      # True
    "这是一个普通的句子。",          # False
    "How to Learn Python in 30 Days", # True
    "今天天气不错",                  # False (太短且无特征)
    "揭秘：DeepSeek 的核心技术"       # True
]

for t in test_cases:
    print(f"{t:30} -> {'是标题' if is_title_heuristic(t) else '是正文'}")

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import joblib

# 1. 模拟数据集 (实际应用中需要几千条真实数据)
data = [
    ("深度学习入门教程", 1),
    ("根据最新的统计数据显示", 0),
    ("2024年投资策略分析", 1),
    ("他昨天去了公园，玩得很开心。", 0),
    ("Python 编程最佳实践", 1),
    ("这是一段用于测试的正文内容。", 0),
    ("如何优雅地删除 Emoji", 1),
    ("在自然语言处理中，数据清洗非常重要。", 0),
]

texts = [d[0] for d in data]
labels = [d[1] for d in data] # 1=标题, 0=正文

# 2. 特征工程：TF-IDF (注意：中文需要先分词，这里为了演示用 char level)
vectorizer = TfidfVectorizer(analyzer='char', ngram_range=(2, 3)) # 使用字符级N-gram捕捉结构
X = vectorizer.fit_transform(texts)

# 3. 训练模型
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)
clf = LogisticRegression()
clf.fit(X_train, y_train)

# 4. 预测
def predict_is_title(text):
    vec = vectorizer.transform([text])
    return clf.predict(vec)[0] == 1

# 测试
new_text = "2024年宏观经济展望"
print(f"'{new_text}' 是标题吗? {predict_is_title(new_text)}")

new_text_2 = "我们需要进一步观察市场的反应。"
print(f"'{new_text_2}' 是标题吗? {predict_is_title(new_text_2)}")

pip install transformers torch

from sentence_transformers import SentenceTransformer, util

# 加载预训练模型 (中文)
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 定义一些“典型标题”的模板
title_templates = [
    "2023年行业研究报告",
    "Python 入门指南",
    "如何高效学习",
    "深度学习技术分析",
    "新闻早知道"
]

# 计算模板的嵌入向量
template_embeddings = model.encode(title_templates)

def is_title_bert(text, threshold=0.6):
    """
    通过计算文本与标题模板的语义相似度来判断
    """
    text_embedding = model.encode(text)
    
    # 计算与所有模板的最大相似度
    max_score = 0
    for tpl_emb in template_embeddings:
        score = util.cos_sim(text_embedding, tpl_emb).item()
        if score > max_score:
            max_score = score
            
    return max_score > threshold

# 测试
print(is_title_bert("2024年AI发展趋势"))  # True (高相似度)
print(is_title_bert("今天中午吃了面条"))  # False (低相似度)
print(is_title_bert("Python 编程教程"))   # True

from bs4 import BeautifulSoup

html = """
<h1>这是主标题</h1>
<p>这是正文段落。</p>
<h2>这是副标题</h2>
<div class="content">这里也是正文</div>
"""

soup = BeautifulSoup(html, 'html.parser')

for tag in soup.find_all(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']):
    print(f"发现标题: {tag.get_text()} (层级: {tag.name})")

import re

def is_markdown_title(line):
    # 匹配 # 标题
    if re.match(r'^#{1,6}\s+', line):
        return True
    # 匹配 Setext 风格标题 (下划线)
    if re.match(r'^=+$|^--+$', line):
        return True
    return False