lucene4.0学习心得

简介: lucene4.0在项目中的使用,学习心得,全局搜索参考

项目中需要用到全局搜索的功能,因为服务器流程审核比较严格,所以选择了lucene。总体来讲,个人感觉lucene主要有几个重点,分词器(我们用的中文IK分词),索引文件,索引查询几块。这里主要截取代码稍微介绍。还有一个问题就是Lucene貌似没有做向下兼容的操作,每个版本的API都不一定相同。附上jar包,demo,ik分词器jar包,分词器操作手册等,仅供参考和新手共同了解学习进步。

如下代码片段,指定了索引文件生成的位置,使用的分词器,lucene版本,索引的生成模式等。
OpenMode.CREATE是重新生成
OpenMode.APPEND是增量更新
项目中主要用的着两种,API里面还有各种其它的方式。

    IndexWriter writer = null;
    try {
        directory = FSDirectory.open(new File("C:/lucene/testIndex"));
        Analyzer analyzer = new IKAnalyzer();
        IndexWriterConfig conf = new IndexWriterConfig(Version.LUCENE_40,
                analyzer);
        conf.setOpenMode(OpenMode.CREATE);
        conf.setMaxBufferedDocs(100);
        writer = new IndexWriter(directory, conf);

下面是生成索引的代码片段。
1主要有Document document = new Document();(新建一个doc对象,往里面添加索引用的)
2其中对分词有StringField,TextField,IntergerField等等,主要决定字段的类型,以及精细度,实际操作发现比如 “我爱北京”,String会分成“我|爱|我爱|北京”,Text直接就是“我爱北京“,当然具体如何分词跟选用的分词器也有关系。

String query = "。。。";
            ResultSet result = st.executeQuery(query);
            while (result.next()) {
                Document document = new Document();
                document.add(newStringField("id",result.getString("id"),Field.Store.YES));
                if(result.getString("theme") != null){
                    if("userInfo".equals(result.getString("type"))){
                        document.add(new StringField("theme", result.getString("theme"), Field.Store.YES));
                    }
                        document.add(new TextField("theme", result.getString("theme"), Field.Store.YES));
                }
                if(result.getString("content") !=null){
                    document.add(new TextField("content", result.getString("content"), Field.Store.YES));
                }
                document.add(new StringField("type", result.getString("type"), Field.Store.YES));
                System.out.println(document.getFields()+"--------------------");
                writer.addDocument(document);

索引生成完毕之后就是查询了,如下是查询的。获取查找reader的实例

public IndexSearcher getSearcher() throws IOException {
    IndexReader reader = DirectoryReader.open(directory);
    IndexSearcher searcher = new IndexSearcher(reader);
    return searcher;
}

单条件查询的代码块如下,传入需要查找的字段,num为支持数量筛选
WildcardQuery 模糊查找,TermQuery 精确查找

public void searchByTerm(String field, String name, int num) throws IOException {
    IndexSearcher searcher = getSearcher();
    // WildcardQuery 模糊查找
    // TermQuery 精确查找
    Query query = new WildcardQuery(new Term(field, name));
    TopDocs tds = searcher.search(query, num);
    System.out.println("count:" + tds.totalHits);
    for (ScoreDoc sd : tds.scoreDocs) {
        Document doc = searcher.doc(sd.doc);
        System.out.println("id:" + doc.get("id"));
        System.out.println("theme:" + doc.get("theme"));
        System.out.println("content:" + doc.get("content"));
        System.out.println("type:" + doc.get("type"));
    }
}

多条件需要用到布尔查询,布尔组合条件查询的时候
主要有Occur.SHOULD(相当于or),Occur.MUST(相当于and),Occur.MUST_NOT(相当于!)列如代码中,就是要查找主题和正文中包含人名为陈洁的内容,但是排除news(资讯)

public void booleanQuery() throws Exception {
    IndexSearcher searcher = getSearcher();
    
    Term term = new Term("theme", "陈洁");  
    WildcardQuery wildcardQuery = new WildcardQuery(term);  
    Term term3 = new Term("type", "news");  
    TermQuery termQuery2 = new TermQuery(term3);  
    Term term2 = new Term("content", "陈洁"); 
    WildcardQuery wildcardQuery2 = new WildcardQuery(term2);
    TermQuery termQuery = new TermQuery(term2);  
    BooleanQuery booleanQuery = new BooleanQuery();  
    booleanQuery.add(wildcardQuery, Occur.SHOULD);  
    booleanQuery.add(termQuery2, Occur.MUST_NOT);  
    booleanQuery.add(termQuery, Occur.SHOULD);
    TopDocs topDocs = searcher.search(booleanQuery,null, 10);
    
    System.out.println("共检索出 " + topDocs.totalHits + " 条记录");
    System.out.println();
    
    ScoreDoc[] scoreDocs = topDocs.scoreDocs;
    for (ScoreDoc scDoc : scoreDocs) {
        Document doc = searcher.doc(scDoc.doc);
        System.out.println("id:" + doc.get("id"));
        System.out.println("theme:" + doc.get("theme"));
        System.out.println("content:" + doc.get("content"));
        System.out.println("type:" + doc.get("type"));
    }
    
}
相关文章
|
2天前
|
数据采集 人工智能 安全
|
11天前
|
云安全 监控 安全
|
3天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1020 151
|
3天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1714 9
|
8天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
658 152
|
10天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
620 12
|
10天前
|
人工智能 自然语言处理 API
Next AI Draw.io:当AI遇见Draw.io图表绘制
Next AI Draw.io 是一款融合AI与图表绘制的开源工具,基于Next.js实现,支持自然语言生成架构图、流程图等专业图表。集成多款主流大模型,提供智能绘图、图像识别优化、版本管理等功能,部署简单,安全可控,助力技术文档与系统设计高效创作。
692 151