python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Pytorch BERT命名实体识别

Pytorch微调BERT实现命名实体识别

作者：梦想画家

命名实体识别（NER）是自然语言处理（NLP）中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种 NLP 任务中显著提高了性能,包括 NER,在本文中,我们将展示如何使用 PyTorch 对预训练的 BERT 模型进行微调,以用于 NER 任务

环境准备

在继续之前，确保你已经安装了PyTorch， Transformers by hugs Face和其他必要的Python库：

pip install torch transformers datasets

加载预训练BERT模型

首先导入所需的模块并加载预训练的BERT模型。我们使用“bert-base-case”模型作为起点：

from transformers import BertTokenizer, BertForTokenClassification
import torch

# Load pre-trained model tokenizer (vocabulary)
tokenizer = BertTokenizer.from_pretrained('bert-base-cased')

# Load pre-trained model for token classification
model = BertForTokenClassification.from_pretrained('bert-base-cased', num_labels=9)

这里，num_labels表示我们希望分类的实体类型的数量。对于简单的NER任务，这可能包括PERSON、ORGANIZATION、LOCATION等标签。

准备数据集

我们将使用hug Face数据集库来加载数据集。我们将用‘conll2003’数据集来演示这一点：

from datasets import load_dataset

dataset = load_dataset("conll2003")

CoNLL-2003 数据集包含单词、词性标记、句法块标记和命名实体标记。对于NER任务，我们感兴趣的是“NER”标签。它是经典的 英文命名实体识别（Named Entity Recognition, NER） 数据集。以下是详细介绍：

1. 数据集背景

2. 核心内容

标注实体类型

数据集中定义了以下 4 种实体类型：

数据格式

[
  {"word": "John", "label": "PER"},
  {"word": "works", "label": "O"},
  {"word": "at", "label": "O"},
  {"word": "Google", "label": "ORG"},
  ...
]

数据集划分

3. 应用场景

注意事项

标记与对齐

在通过 BERT 处理数据之前，正确地对其进行标记并管理词块标记化至关重要，这包括正确对齐实体标签。以下是我们在数据集上进行标记化和对齐的方式：

def tokenize_and_align_labels(examples):
    tokenized_inputs = 
    tokenizer(examples["tokens"], 
              truncation=True, 
              padding="max_length", 
              is_split_into_words=True)
    labels = []
    for i, label in enumerate(examples["ner"]):
        word_ids = tokenized_inputs.word_ids(batch_index=i)
        previous_word_idx = None
        label_ids = []
        for word_idx in word_ids:
            if word_idx is None:
                label_ids.append(-100)
            elif word_idx != previous_word_idx:
                label_ids.append(label[word_idx])
            else:
                label_ids.append(-100)
            previous_word_idx = word_idx
        labels.append(label_ids)
    tokenized_inputs["labels"] = labels
    return tokenized_inputs

# Apply tokenizer
encoded_dataset = dataset.map(tokenize_and_align_labels, batched=True)

这段代码的作用是对 命名实体识别（NER）数据进行分词（Tokenization）和标签对齐（Label Alignment），使其适配预训练模型（如 BERT、RoBERTa 等）的输入格式。以下是逐行解释和核心逻辑分析：

-100 标签用于在训练期间屏蔽标签，并且对应于在损失计算过程中必须跳过的标记。

微调 BERT

让我们使用 PyTorch 框架设置数据加载器，并定义训练和评估函数。此过程涉及配置优化器、设置学习率以及建立微调循环：

from torch.utils.data import DataLoader
from transformers import AdamW

train_dataset = encoded_dataset["train"]
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=16)

optimizer = AdamW(model.parameters(), lr=5e-5)

model.train()
for epoch in range(3):  # loop over the dataset multiple times
    for batch in train_dataloader:
        inputs = {k: v.to(device) for k, v in batch.items() if k != "labels"}
        labels = batch["labels"].to(device)
        outputs = model(**inputs, labels=labels)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

训练通常需要对 GPU 利用率给予特别关注。如果具备使用 GPU 的条件，请确保您的模型、输入数据以及优化器都已迁移到 GPU 上。

最后总结

在 PyTorch 中对 BERT 进行微调以用于命名实体识别涉及一系列步骤，从加载预训练的 BERT 分词器和模型开始，到准备数据集、训练，最后使用训练好的模型来识别命名实体。有了合适的数据集和适当的模型调整，这种技术使你能够利用最先进的 NLP 架构应用于各种实际场景。

以上就是Pytorch微调BERT实现命名实体识别的详细内容，更多关于Pytorch BERT命名实体识别的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:
阅读全文