文本分析

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: 公司近期使用文本分析框架处理标书文件,主要采用无监督学习模型。当前版本展示堆积图与畸高排名,支持标书自助检测。未来将引入有监督学习,实现语义分析,并训练招投标领域的NLP模型,为产品化提供支持。

前段时间,公司用到文本分析框架,特此记录,希望跟大家沟通交流。
image.png

1:文本分析目前以无监督学习模型处理标书文件

2:版本①,展现堆积图与畸高排名,标书自助检测

3:下一版本逐步有监督学习,实现文本语义分析

4:训练招投标领域NLP模型,训练模型,为产品化做支撑

目录
相关文章
|
机器学习/深度学习 自然语言处理 数据挖掘
Python数据分析中文本分析的重要技术点,包括文本预处理、特征提取、情感分析
Python数据分析中文本分析的重要技术点,包括文本预处理、特征提取、情感分析
174 1
Python数据分析中文本分析的重要技术点,包括文本预处理、特征提取、情感分析
|
2月前
|
机器学习/深度学习 自然语言处理 知识图谱
GraphRAG在自然语言处理中的应用:从问答系统到文本生成
【10月更文挑战第28天】作为一名自然语言处理(NLP)和图神经网络(GNN)的研究者,我一直在探索如何将GraphRAG(Graph Retrieval-Augmented Generation)模型应用于各种NLP任务。GraphRAG结合了图检索和序列生成技术,能够有效地处理复杂的语言理解和生成任务。本文将从个人角度出发,探讨GraphRAG在构建问答系统、文本摘要、情感分析和自动文本生成等任务中的具体方法和案例研究。
84 5
|
5月前
|
自然语言处理 算法 数据可视化
NLP-基于bertopic工具的新闻文本分析与挖掘
这篇文章介绍了如何使用Bertopic工具进行新闻文本分析与挖掘,包括安装Bertopic库、加载和预处理数据集、建立并训练主题模型、评估模型性能、分类新闻标题、调优聚类结果的详细步骤和方法。
NLP-基于bertopic工具的新闻文本分析与挖掘
|
4月前
|
人工智能 自然语言处理 算法
自然语言处理与文本分析
自然语言处理(Natural Language Processing,NLP)是计算机科学和人工智能领域的一个分支,旨在让计算机理解、生成和处理人类自然语言。文本分析是自然语言处理的一个重要部分,旨在从文本数据中提取有用信息,如关键词、主题、情感等。
59 4
|
5月前
|
机器学习/深度学习 算法 搜索推荐
探索机器学习在文本分析中的应用
【8月更文挑战第23天】本文旨在探讨机器学习技术在文本分析领域的应用,并解释如何通过这些技术提取有价值的信息。我们将讨论从简单的词频统计到复杂的情感分析的各种方法。文章将不展示代码示例,而是以通俗易懂的语言解释核心概念和步骤,帮助读者理解机器学习如何改变我们处理文本数据的方式。
|
5月前
|
数据采集 自然语言处理 数据挖掘
【NLP-新闻文本分类】1 数据分析和探索
文章提供了新闻文本分类数据集的分析,包括数据预览、类型检查、缺失值分析、分布情况,指出了类别不均衡和句子长度差异等问题,并提出了预处理建议。
77 1
|
8月前
|
机器学习/深度学习 自然语言处理 算法
什么是自然语言处理的文本分析?
【4月更文挑战第8天】
161 9
|
8月前
|
机器学习/深度学习 数据采集 自然语言处理
使用R语言进行文本挖掘和自然语言处理
【4月更文挑战第26天】R语言在文本挖掘和自然语言处理(NLP)中扮演重要角色,得益于其强大的统计分析功能、灵活的数据处理和丰富的扩展包。活跃的社区开发了如"tm"、"SnowballC"、"text2vec"、"topicmodels"和"syuzhet"等包,支持数据预处理、向量化、主题建模和情感分析。
66 1
|
8月前
|
自然语言处理 数据可视化
R语言自然语言处理NLP:情感分析上市公司文本信息知识发现可视化
R语言自然语言处理NLP:情感分析上市公司文本信息知识发现可视化
|
8月前
|
机器学习/深度学习 数据采集 自然语言处理
利用Python实现基于自然语言处理的情感分析
本文将介绍如何利用Python编程语言,结合自然语言处理技术,实现情感分析。通过对文本数据进行情感分析,可以帮助我们了解用户对产品、服务或事件的情感倾向,为市场调研和舆情分析提供有力支持。文章将涵盖文本预处理、情感词典构建以及情感分析模型的搭建与应用等内容,旨在帮助读者深入理解情感分析的原理和实践应用。