Python统计中文词频的四种方法小结
作者：PythonFun
统计中文词频是Python考试中常见的操作，由于考察内容较多，因此比较麻烦，那么有没有好的方法来实现呢？今天，我们总结了四种常见的中文词频统计方法，并列出代码，供大家学习参考。
中文词频统计主要是通过open()打开文本，然后read()方法读取后，采用结巴分词(jieba)模块进行分词，接着用推表推导式、Counter或者是字典的方法来统计词频，也可以采用NLTK的方法，最后格式化打印出来。
题目：统计中文文本文件【词频统计文本.txt】中长度大于1的词的词频，然后打印出词频数最高的10个词。
默认系统里已经安装好了jieba这个模块。如果还没有安装，可以在cmd下通过pip install jieba来安装这个模块。
一、字典法——常用的方法
先读取文本，然后jieba分词，再对分词后的列表进行遍历，然后用字典统计词频。这里排除了单个词，代码如下：
import jieba
txt = open("词频统计文本.txt", "r").read()
words = jieba.lcut(txt)
counts = {}
for word in words:
if len(word) == 1: #排除单个字符的分词结果
continue
else:
counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(10):
word, count = items[i]
print("{0:<10}{1:>5}".format(word,count))
print ('已统计数量排前10的词')二、Counter法——代码简单，速度快
先生成Counter对象，再排序，最后再打印出来。这里我们使用了most_common的方法，代码更为简洁，更好理解一点。代码如下：
import jieba
from collections import Counter
with open("词频统计文本.txt", "r",encoding="utf-8") as f:
words = jieba.lcut(f.read())
words = [item for item in words if len(item)>1]
counts = Counter(words)
for word,count in counts.most_common(10):
print(word,count)
print ('已统计数量排前10的词')三、NLTK方法——有点儿小麻烦
利用列表推导式筛选列表，利用NLTK中的FreqDist来统计列表中的词步，代码如下。
import jieba,os
from nltk.probability import FreqDist
with open("词频统计文本.txt","r",encoding="utf-8") as f:
text = f.read()
words = jieba.lcut(text)
lst = [i for i in words if len(i)>1]
freq = FreqDist(lst)
for item in freq.most_common(10):
word,count=item
print(f"{word:<10}\t{count:<5}")
print ('已统计数量排前10的词')使用这种方法，得安装nltk包，较为麻烦。
四、列表推导式法
如果不借助其它包，我们可以充分利用Python自带的count方法和列表推导式，实现词频的统计。这其中与前面排序的方法不同的是，我们采用了sorted的方法，完整代码如下：
import jieba,os
with open("词频统计文本.txt","r",encoding="utf-8") as f:
text = f.read()
words = jieba.lcut(text)
lst = [(key,words.count(key)) for key in set(words) if len(key)>1]
items = sorted(lst,key=lambda x:x[1],reverse=True)
for i in range(10):
word, count = items[i]
if len(word) == 1: #排除单个字符的分词结果
continue
else:
print(f"{word:<10}\t{count:<5}")
print ('已统计数量排前10的词')五、学后反思
1. 中文词频统计主要考察文本的读取、列表的遍历、jieba分词、词频统计、排序、结果的格式化和打印输出等综合能力。因此，它是Python二级中常考的题目，认真学习，并找出多种词频统计的方法可以更好地理解Python中的相关概念和基础语法知识。
2. 四种方法中最麻烦的是NLTK法和列表推导式化，字典法和Counter方法最为常用，字典法常出现在考试中，而Counter的方法实用性更强，大家可以有选择地使用。
3. 有了词频表，后续可以进行可视化的图表生成，包括词云图和线形图等，以便更直观地观察语篇中词的特点。
到此这篇关于Python统计中文词频的四种方法小结的文章就介绍到这了,更多相关Python统计中文词频内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！