学习目标

1. 能够说出什么是倒排索引
2. 能够说出我们用的中文分词器是什么
3. 能够说出IK分词器如何扩展词典
4. 能够使用Java Client向索引增删改查文档
5. 能够使用Java Client向索引批量导入文档
6. 能够使用Java Client进行Term查询
7. 能够使用Java Client进行全文检索
8. 能够使用Java Client实现排序和分页
9. 能够使用Java Client实现布尔查询

1 Elasticsearch快速入门

1.1. 认识Elasticsearch

1.1.1 搜索需求

黑马商城作为一个电商项目，商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的，存在很多问题。

查询效率较低

由于数据库模糊查询不走索引，在数据量较大的时候，查询性能很差。

此时全表扫描，时间复杂度：O(n)

黑马商城的商品表中仅仅有不到9万条数据，基于数据库查询时，搜索接口的表现如图：

改为基于搜索引擎后，查询表现如下：

需要注意的是，数据库模糊查询随着表数据量的增多，查询性能的下降会非常明显，而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显，如果数据量达到百万、千万、甚至上亿级别，这个性能差距会非常夸张。

功能单一

数据库的模糊搜索功能单一，匹配条件非常苛刻，必须恰好包含用户搜索的关键字。而在搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。

综上，在面临海量数据的搜索，或者有一些复杂搜索需求的时候，推荐使用全文搜索技术来实现搜索功能。

AI:开源全文搜索引擎，按使用用户量降序排序

根据社区支持、知名度和普遍的应用情况，我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎，按照它们的流行度和使用广泛程度进行排序：

1. Elasticsearch

1. 概述：Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎，基于 Lucene 构建。
2. 使用情况：被广泛用于日志分析、全文搜索、实时分析等领域，是 Elastic Stack 的核心组件之一。
3. 社区支持：拥有庞大的社区和丰富的文档，以及大量的第三方插件和工具。
4. 官网：https://www.elastic.co/elasticsearch

2. Apache Solr

1. 概述：Solr 是一个高性能的企业级搜索平台，同样基于 Lucene 构建。
2. 使用情况：广泛应用于电子商务、新闻媒体、社交网络等多个领域。
3. 社区支持：拥有成熟的社区和文档，支持多种语言和框架。
4. 官网：https://solr.apache.org/

3. Apache Lucene

1. 概述：Lucene 是一个高性能的全文检索库，是许多搜索引擎的基础。
2. 使用情况：由于其高度可定制性，Lucene 被广泛应用于构建定制化的搜索解决方案。
3. 社区支持：拥有庞大的 Java 开发者社区，支持多种编程语言。
4. 官网：http://lucene.apache.org/

4. MeiliSearch

1. 概述：MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
2. 使用情况：适用于需要快速部署的项目，特别是在开发阶段。
3. 社区支持：拥有活跃的社区和良好的文档。
4. 官网：https://meilisearch.com/

5. Zinc

1. 概述：Zinc 是一个轻量级的全文搜索引擎，用 Go 语言编写，旨在作为 ES 的轻量级替代方案。
2. 使用情况：适用于资源有限的环境，如嵌入式系统或小型项目。
3. 社区支持：相对较小的社区，但持续增长。
4. 官网：https://github.com/justwatchcom/zinc

6. CloriSearch

1. 概述：CloriSearch 是一个轻量级的全文搜索引擎，用 Rust 语言编写。
2. 使用情况：适用于需要高性能和稳定性的项目。
3. 社区支持：社区正在成长中，但提供了一个简洁且强大的接口。
4. 官网：https://gitcode.net/shpilu/cloriSearch

排名第一的就是我们今天要学习的Elasticsearch.

Elasticsearch是一款非常强大的开源搜索引擎，支持的功能非常多，例如：

此处为语雀图册卡片，点击链接查看：https://www.yuque.com/yzxb/index/xaadfrsn7hwdmky1#HH0No

代码搜索                                                   商品搜索

此处为语雀图册卡片，点击链接查看：https://www.yuque.com/yzxb/index/xaadfrsn7hwdmky1#E2xaD

解决方案搜索 地图搜索

1.1.2 倒排索引

Elasticsearch之所以有如此高性能的搜索表现，正是得益于底层的倒排索引技术。那么什么是倒排索引呢？

倒排索引的概念是基于正向索引而言的。

1.1.2.1 正向索引

我们先来回顾一下正向索引。例如有一张名为tb_goods的表：

其中的id字段已经创建了索引，由于索引底层采用了B+树结构，因此我们根据id搜索的速度会非常快。但是其他字段例如title，只在叶子节点上存在。

因此要根据title搜索的时候只能遍历树中的每一个叶子节点，判断title数据是否符合要求。

比如用户的SQL语句为：

select * from tb_goods where title like '%手机%';

那搜索的大概流程如图：

说明：

• 1）检查到搜索条件为like '%手机%'，需要找到title中包含手机的数据
• 2）逐条遍历每行数据（每个叶子节点），比如第1次拿到id为1的数据
• 3）判断数据中的title字段值是否符合条件
• 4）如果符合则放入结果集，不符合则丢弃
• 5）回到步骤1

综上，根据id精确匹配时，可以走索引，查询效率较高。而当搜索条件为模糊匹配时，由于索引无法生效，导致从索引查询退化为全表扫描，效率很差。

因此，正向索引适合于根据索引字段的精确搜索，不适合基于部分词条的模糊匹配。

而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。

1.1.2.2 倒排索引

倒排索引中有两个非常重要的概念：

• 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
• 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理和应用，流程如下：

• 将每一个文档的数据利用分词算法根据语义拆分，得到一个个词条
• 倒排索引记录每个词条对应的文档id

此时形成的这张以词条为索引的表，就是倒排索引表，两者对比如下：

正向索引

倒排索引

倒排索引的搜索流程如下（以搜索"华为手机"为例），如图：

流程描述：

1）用户输入条件"华为手机"进行搜索。

2）对用户输入条件分词，得到词条：华为、手机。

3）拿着词条在倒排索引中查找（由于词条有索引，查询效率很高），即可得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档即可（由于id也有索引，查询效率也很高）。

固定两步：根据词条得文档id集合、id精准查找，所以时间复杂度：O(1)，但不代表所有都是[可AI一下]

• 单次查询：时间复杂度为 O(log N)。
• 多词查询：时间复杂度为 O(M * log N + L)。
• 短语查询：时间复杂度为 O(M * log N + L * K)。
• 前缀查询：时间复杂度为 O(P + log N + L)。
• 模糊查询：时间复杂度为 O(F + log N + L)。

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

1.1.2.3 面试题

说下倒排索引？为什么叫倒排索引？

项目为什么要用Elasticsearch？数据很多吗？