IK分词器设置了停用词部分没有生效问题

简介: IK分词器设置了停用词部分没有生效问题

问题描述

新增停用词典的内容配置为:

一个男孩

一个女孩

通过热更新方式上传到了停用词库,实例重启后通过验证搜索,"一个女孩" 没有生效,如(图1),还是被检索到并分词返回了,另外一个停用词,"一个男孩" 就是生效的,如(图2)


问题原因

IK查询停用词召回的时候会先将查询词根据分词词库配置进行分词,比如"一个女孩"这个词会被分为"一个","女孩",之后会根据停用词库去看是否"一个","女孩"两个词再库内,如在库内就不会召回。

由于"一个女孩"这个词未在分词词库中配置,所以搜索的时候会分词为"一个","女孩"两个词,然后再使用停用词库去匹配就匹配不到。而"一个男孩"这个词再默认的主分词词库中就存在,所以不会进行分词,最后可以在停用词库匹配到"一个男孩"这个词,所以不会被召回。其过程是:先分词然后再根据分词的结果去匹配停用词库。


解决方案

不是配置的停用词没有生效,而是查询的过程中进行分词了分词的结果匹配不到停用词配置的"一个女孩"。解决办法是分词词库把"一个女孩"添加进入,后面搜索的时候就会发现该词不会被召回了。


适用范围

检索分析服务Elasticsearch版

相关文章
|
Java 开发工具 Docker
最全解决docker配置kibana报错 Kibana server is not ready yet
最全解决docker配置kibana报错 Kibana server is not ready yet
2196 0
|
Java
【极问系列】springBoot集成elasticsearch出现Unable to parse response body for Response
【极问系列】springBoot集成elasticsearch出现Unable to parse response body for Response
1557 2
|
SQL 关系型数据库 数据库
学习分布式事务Seata看这一篇就够了,建议收藏
学习分布式事务Seata看这一篇就够了,建议收藏
20441 2
|
自然语言处理 Java 网络架构
elasticsearch学习三:elasticsearch-ik分词器的自定义配置 分词内容
这篇文章是关于如何自定义Elasticsearch的ik分词器配置以满足特定的中文分词需求。
659 0
elasticsearch学习三:elasticsearch-ik分词器的自定义配置 分词内容
|
Linux 网络安全 Python
linux centos上安装python3.11.x详细完整教程
这篇文章提供了在CentOS系统上安装Python 3.11.x版本的详细步骤,包括下载、解压、安装依赖、编译配置、解决常见错误以及版本验证。
10483 3
linux centos上安装python3.11.x详细完整教程
|
8月前
|
人工智能 缓存 自然语言处理
保姆级Spring AI 注解式开发教程,你肯定想不到还能这么玩!
这是一份详尽的 Spring AI 注解式开发教程,涵盖从环境配置到高级功能的全流程。Spring AI 是 Spring 框架中的一个模块,支持 NLP、CV 等 AI 任务。通过注解(如自定义 `@AiPrompt`)与 AOP 切面技术,简化了 AI 服务集成,实现业务逻辑与 AI 基础设施解耦。教程包含创建项目、配置文件、流式响应处理、缓存优化及多任务并行执行等内容,助你快速构建高效、可维护的 AI 应用。
|
Kubernetes 应用服务中间件 nginx
史上最全干货!Kubernetes 原理+实战总结(全文6万字,90张图,100个知识点)(上)
史上最全干货!Kubernetes 原理+实战总结(全文6万字,90张图,100个知识点)
52693 30
|
自然语言处理 应用服务中间件 nginx
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
这篇文章是关于如何在Elasticsearch中安装和使用ik分词器的详细教程,包括版本匹配、安装步骤、分词测试、自定义词库配置以及创建使用ik分词器的索引的方法。
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
|
数据可视化 Docker 容器
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】
这篇文章提供了通过Docker安装Elasticsearch和Kibana的详细过程和图解,包括下载镜像、创建和启动容器、处理可能遇到的启动失败情况(如权限不足和配置文件错误)、测试Elasticsearch和Kibana的连接,以及解决空间不足的问题。文章还特别指出了配置文件中空格的重要性以及环境变量中字母大小写的问题。
一文教会你如何通过Docker安装elasticsearch和kibana 【详细过程+图解】