Python:使用nltk统计词频并绘制统计图

简介: Python:使用nltk统计词频并绘制统计图

测试环境:

mac

python3.6.5

安装

pip install nltk

代码示例

# -*- coding: utf-8 -*-


from nltk import FreqDist
from matplotlib import rcParams

# matplotlib 设置中文字体
rcParams["font.family"] = "STHeiti"
rcParams["font.size"] = 8


words = ["你好", "你好", "我好", "我还有"]

freq = FreqDist(words)
print(freq.most_common(1)) # [('你好', 2)]
print(freq.freq("你好")) # 频率 0.5
print(freq["你好"]) # 次数 2

freq.tabulate() # 频率分布表

freq.plot() # 频率分布图

d21.1.png

            </div>
目录
相关文章
|
达摩院 语音技术
使用ModelScope社区搭建一个录音情感识别小应用
本文介绍通过ModelScope来完成“语音情绪识别”这一应用,该应用使用两个模型: ● 语音转文本(ASR):paraformer模型 ● 文本情绪识别:达摩院StructBERT中文情感分类模型
2169 3
|
9月前
|
人工智能 运维 安全
AI大模型运维开发探索第四篇:智能体分阶段演进路线
本文探讨了智能体工程的演进历程,从最初的思维链(智能体1.0)到实例化智能体(智能体2.0),再到结构化智能体(智能体3.0),最终展望了自演进智能体(智能体4.0)。文章详细分析了各阶段遇到的问题及解决策略,如工具调用可靠性、推理能力提升等,并引入了大模型中间件的概念以优化业务平台与工具间的协调。此外,文中还提到了RunnableHub开源项目,为读者提供了实际落地的参考方案。通过不断迭代,智能体逐渐具备更强的适应性和解决问题的能力,展现了未来AI发展的潜力。
|
边缘计算 Kubernetes 自动驾驶
重磅新书 丨 一文带你读懂《CDN技术架构》
CDN技术架构,阿里云CDN技术团队出品,文末有电子链接~
2801 0
重磅新书 丨 一文带你读懂《CDN技术架构》
|
9月前
|
机器学习/深度学习 数据处理
大语言模型中的归一化技术:LayerNorm与RMSNorm的深入研究
本文分析了大规模Transformer架构(如LLama)中归一化技术的关键作用,重点探讨了LayerNorm被RMSNorm替代的原因。归一化通过调整数据量纲保持分布形态不变,提升计算稳定性和收敛速度。LayerNorm通过均值和方差归一化确保数值稳定,适用于序列模型;而RMSNorm仅使用均方根归一化,省略均值计算,降低计算成本并缓解梯度消失问题。RMSNorm在深层网络中表现出更高的训练稳定性和效率,为复杂模型性能提升做出重要贡献。
1991 14
大语言模型中的归一化技术:LayerNorm与RMSNorm的深入研究
|
存储 弹性计算 安全
阿里云服务器ECS详解:云服务器是什么,云服务器优势和应用场景及价格参考
云服务器ECS是阿里云众多云产品中,最受用户关注的产品,阿里云服务器提供多样化的计算能力,支持x86、Arm架构,涵盖CPU、GPU等多种服务器类型,满足各种用户需求。本文为大家详细介绍阿里云服务器是什么?云服务器的优势和应用场景,以及最新价格情况,以供大家参考。
|
SQL Java 数据库连接
【Java笔记+踩坑】MyBatisPlus基础
MyBatisPlus简介、标准数据层开发CRUD、业务层继承IService、ServiceImpl、条件查询、LambdaQueryWrapper、id生成策略、逻辑删除、乐观锁@Version、代码生成器、ActiveRecord
【Java笔记+踩坑】MyBatisPlus基础
|
JSON 前端开发 Java
"《图书管理系统》利用SpringMvc$Spring$MyBatis (实操九)(一) "
"《图书管理系统》利用SpringMvc$Spring$MyBatis (实操九)(一) "
310 0
解决VSCode中Debug和运行路径不一致的
在VSCode调试时,如果程序运行路径不正确,可通过配置`launch.json`文件的`CWD`参数来解决。在`launch.json`中添加或修改`configurations`,例如设置`&quot;cwd&quot;: &quot;${fileDirname}&quot;`,确保调试和运行时路径一致。这样可以避免因路径问题影响调试。记得`&quot;name&quot;`、`&quot;type&quot;`、`&quot;request&quot;`等其他关键参数也要正确配置。我是木头左,希望对你有所帮助!
解决VSCode中Debug和运行路径不一致的
|
机器学习/深度学习 自然语言处理
一文搞懂Transformer的位置编码
一文搞懂Transformer的位置编码
4842 2