AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

spring data elasticsearch：复杂查询指南

2022-11-17 414
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： 因为es非关系型数据库的特性，我们常常需要在实际业务中实现复杂查询，从而来查询到我们想要的数据。很多同学刚接触java client不知道如何实现各类复杂查询操作。今天我们就来讲讲一些常见的复杂查询如何实现

0. 引言

因为es非关系型数据库的特性，我们常常需要在实际业务中实现复杂查询，从而来查询到我们想要的数据。

很多同学刚接触java client不知道如何实现各类复杂查询操作。今天我们就来讲讲一些常见的复杂查询如何实现

1. 运行环境

下文演示基于如下环境

spring-data-elasticsearch 4.2.10
elasticsearch 7.13.0
java 1.8
spring-boot 2.3.7.RELEASE

开始讲解之前，先声明我们的索引结构，方便大家后续理解我们的案例

# 订单索引，一个订单下有多个商品
PUT order_test
{
  "mappings": {
    "properties": {
      // 订单状态 0未付款 1未发货 2运输中 3待签收 4已签收 
      "status": {
        "type": "integer"
      },
      // 订单编号
      "no": {
        "type": "keyword"
      },
      // 下单时间
      "create_time": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss"
      },
      // 订单金额
      "amount": {
        "type": "double"
      },
      // 创建人
      "creator":{
        "type": "keyword"
      },
      // 地址
      "address":{
        "type": "text",
        "analyzer": "ik_max_word"
      },
      // 地址坐标
      "point":{
        "type": "geo_point"
      },
      // 商品信息
      "product":{
        "type": "nested",
        "properties": {
          // 商品ID
          "id": {
            "type": "keyword"
          },
          // 商品名称
          "name":{
            "type": "keyword"
          },
          // 商品价格
          "price": {
            "type": "double"
          },
          // 商品数量
          "quantity": {
            "type": "integer"
          }
        }
      }
    }
  }
}

测试数据，供大家跟练

POST order_test/_bulk
{"index":{}}
{"status":0,"no":"DD202205280001","create_time":"2022-05-01 12:00:00","amount":100.0,"creator":"张三","address":"北京市上海路11号","point":{"lon":116.23128,"lat":40.22077},"product":[{"id":"1","name":"苹果","price":20.0,"quantity":5}]}
{"index":{}}
{"status":0,"no":"DD202205280002","create_time":"2022-05-01 12:00:00","amount":100.0,"creator":"李四","address":"北京市市源路5号","point":{"lon":116.23128,"lat":40.22077},"product":[{"id":"2","name":"香蕉","price":20.0,"quantity":5}]}
{"index":{}}
{"status":1,"no":"DD202205280003","create_time":"2022-05-02 12:00:00","amount":100.0,"creator":"张三","address":"贵阳市北京路1号","point":{"lon":106.62298,"lat":26.67865},"product":[{"id":"2","name":"香蕉","price":20.0,"quantity":5}]}
{"index":{}}
{"status":2,"no":"DD202205280004","create_time":"2022-05-01 12:00:00","amount":150.0,"creator":"王二","address":"贵阳市太平街1号","point":{"lon":106.62298,"lat":26.67865},"product":[{"id":"1","name":"苹果","price":30.0,"quantity":5}]}
{"index":{}}
{"status":2,"no":"DD202205280005","create_time":"2022-05-03 12:00:00","amount":100.0,"creator":"55555","address":"贵阳市北京路12号","point":{"lon":106.62298,"lat":26.67865},"product":[{"id":"2","name":"香蕉","price":20.0,"quantity":5}]}
{"index":{}}
{"status":3,"no":"DD202205280006","create_time":"2022-05-04 12:00:00","amount":150.0,"creator":"李四","address":"上海市宝山路1号","point":{"lon":121.48941,"lat":31.40527},"product":[{"id":"3","name":"榴莲","price":150.0,"quantity":1}]}
{"index":{}}
{"status":4,"no":"DD202205280007","create_time":"2022-05-04 12:00:00","amount":100.0,"creator":"张三","address":"贵阳市观山湖区12号","point":{"lon":106.62298,"lat":26.67865},"product":[{"id":"2","name":"香蕉","price":20.0,"quantity":5}]}
{"index":{}}
{"status":3,"no":"DD202205280008","create_time":"2022-05-01 12:00:00","amount":200.0,"creator":"王二","address":"上海市宝山路11号","point":{"lon":121.48941,"lat":31.40527},"product":[{"id":"1","name":"苹果","price":40.0,"quantity":5}]}
{"index":{}}
{"status":4,"no":"DD202205280009","create_time":"2022-05-03 12:00:00","amount":100.0,"creator":"55555","address":"贵阳市北京路21号","point":{"lon":106.62298,"lat":26.67865},"product":[{"id":"2","name":"香蕉","price":20.0,"quantity":5}]}

如果不知道springboot如何整合spring-data-elasticsearch的，可以参考我之前的文章

从零搭建springboot+spring data elasticsearch4.2.x环境

实体类

@Data
@Document(indexName = "order_test")
@Setting(replicas = 0)
public class Order {

    @Id
    private String id;

    // 订单状态 0未付款 1未发货 2运输中 3待签收 4已签收
    @Field(type = FieldType.Integer, name = "status")
    private Integer status;

    @Field(type = FieldType.Keyword, name = "no")
    private String no;

    @Field(type = FieldType.Date, name = "create_time", pattern = "yyyy-MM-dd HH:mm:ss")
    private Date createTime;

    @Field(type = FieldType.Double, name = "amount")
    private Double amount;

    @Field(type = FieldType.Keyword, name = "creator")
    private String creator;

    @GeoPointField
    @Field(name = "point")
    private GeoPoint point;

    @Field(type = FieldType.Text, name = "address", analyzer = "ik_max_word")
    private String address;
    
    @Field(type = FieldType.Nested, name = "creator")
    private List<Product> product;

}

@Data
public class Product implements Serializable {

    @Field(type = FieldType.Long, name = "id")
    private Long id;

    @Field(type = FieldType.Keyword, name = "name")
    private String name;

    @Field(type = FieldType.Double, name = "price")
    private Double price;

    @Field(type = FieldType.Integer, name = "quantity")
    private Double quantity;

}

2. 查询指南

2.1 精确查询 Term

案例:

查询编号为DD202205280003的订单

DSL:

GET order_test/_search
{
  "query": {
    "term": {
      "no": {
        "value": "DD202205280003"
      }
    }
  }
}

java:

    @GetMapping("getByNo")
    public Order getByNo(String no){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.termsQuery("no",no));
        SearchHit<Order> searchRes = restTemplate.searchOne(queryBuilder.build(), Order.class);
        return searchRes == null ? null : searchRes.getContent();
    }

在这里插入图片描述

2.2 多值查询 Terms

案例：

查询未付款、未发货的订单

DSL:

GET order_test/_search
{
  "query": {
    "terms": {
      "status": [
        0,
        1
      ]
    }
  }
}

java:

@GetMapping("pageByStatus")
    public PageResult<Order> pageByStatus(int page,int size,int ...status){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.termsQuery("status",status)).withPageable(PageRequest.of(page, size));
        SearchHits<Order> search = restTemplate.search(queryBuilder.build(), Order.class);
        List<Order> collect = search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
        return PageResult.data(collect,search.getTotalHits());
    }

@Data
@AllArgsConstructor
@NoArgsConstructor
public class PageResult<T> implements Serializable {

    private List<T> data;

    private long total;

    public static <T> PageResult<T> data(List<T> data,long count){
      return new PageResult<>(data,count);
    }

}

在这里插入图片描述

2.3 范围查询 Range

案例：

查询金额大于100的订单

DSL:

GET order_test/_search
{
  "query": {
    "range": {
      "amount": {
        "gt": 100
      }
    }
  }
}

java:

@GetMapping("listGreaterThanAmount")
    public List<Order> listGreaterThanAmount(int page,int size,Double amount){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.rangeQuery("amount").gt(amount)).withPageable(PageRequest.of(page, size));
        SearchHits<Order> search = restTemplate.search(queryBuilder.build(), Order.class);
        return search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
    }

在这里插入图片描述

2.4 模糊查询 Match

案例：

插叙地址中包含‘北京‘的订单

DSL:

GET order_test/_search
{
  "query": {
    "match": {
      "address": "北京"
    }
  }
}

java:

@GetMapping("listMatchAddress")
    public List<Order> listMatchAddress(int page,int size,String address){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.matchQuery("address",address)).withPageable(PageRequest.of(page, size));
        SearchHits<Order> search = restTemplate.search(queryBuilder.build(), Order.class);
        return search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
    }

在这里插入图片描述

2.5 嵌套查询 Boolean

案例：

查询5月份下单的待签收的订单

DSL:

GET order_test/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "status": {
              "value": 3
            }
          }
        },
        {
          "range": {
            "create_time": {
              "gte": "2022-05-01 00:00:00",
              "lt": "2022-06-01 00:00:00"
            }
          }
        }
      ]
    }
  }
}

java:

@GetMapping("listRangeTimeAndStatus")
    public List<Order> listRangeTimeAndStatus(int page, int size, Date startTime,Date endTime, Integer status){
        BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();
        boolQueryBuilder.must(QueryBuilders.termsQuery("status",status))
                .must(QueryBuilders.rangeQuery("create_time").gte(startTime).gt(endTime));
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(boolQueryBuilder).withPageable(PageRequest.of(page, size));
        SearchHits<Order> search = restTemplate.search(queryBuilder.build(), Order.class);
        return search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
    }

在这里插入图片描述

如果这里出现日期类型转换报错，需要添加转换类

@Component
public class DateConverter implements Converter<String, Date> {

    @Override
    public Date convert(@NonNull String source) {
        try {
            return new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse(source);
        } catch (ParseException e) {
            try {
                return new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss'+08:00'").parse(source);
            } catch (ParseException ex) {
                try {
                    return new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss").parse(source);
                } catch (ParseException ex2) {
                    ex2.printStackTrace();
                }
            }
        }
        return null;
    }
}

2.6 json数组查询 Nested

案例：

查询购买了香蕉的订单

DSL:

GET order_test/_search
{
  "query": {
    "nested": {
      "path": "product",
      "query": {
        "term": {
          "product.name": {
            "value": "香蕉"
          }
        }
      }
    }
  }
}

java:

@GetMapping("listByProductName")
    public List<Order> listByProductName(int page,int size,String name){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.nestedQuery("product",
                QueryBuilders.termQuery("product.name",name),ScoreMode.Max))
                .withPageable(PageRequest.of(page, size));
        SearchHits<Order> search = restTemplate.search(queryBuilder.build(), Order.class);
        return search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
    }

在这里插入图片描述

2.7 坐标查询 Geo

案例：

查询地址在北京20km范围内的订单

DSL:

GET order_test/_search
{
  "query": {
    "geo_distance":{
      "distance": "20km",
      "point":{
        "lon": 116.23128,
        "lat": 40.22077
      }
    }
  }
}

java:

 @GetMapping("listByPointAndDistance")
    public List<Order> listByPointAndDistance(int page, int size, Double lat,Double lon, String distance){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        GeoDistanceQueryBuilder distanceQueryBuilder = new GeoDistanceQueryBuilder("point");
        distanceQueryBuilder.point(new GeoPoint(lat,lon)).distance(distance);
        queryBuilder.withQuery(distanceQueryBuilder).withPageable(PageRequest.of(page, size));
        SearchHits<Order> search = restTemplate.search(queryBuilder.build(), Order.class);
        return search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
    }

在这里插入图片描述

3. spring-data-elasticsearch3.x版本实现

我们上述的演示都是在4.2.x版本完成的，但很多公司还在使用3.x版本，两者之间实现略有区别。

两个版本之间构建queryBuilder是相同的，只是ElasticsearchRestTemplate的调用接口不一样。

在3.x版本下要执行查询需要调用queryXXX方法，可以看到支持多种，根据方法名我们可以知道有支持分页的、别名查询的、ID查询的、集合查询的。可以根据具体的业务选择不同的方法

在这里插入图片描述

比如我们上述的案例：

查询购买了香蕉的订单

3.2.12.RELEASE版本的实现如下：

@GetMapping("listByProductName")
    public List<Order> listByProductName(int page, int size, String name){
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        queryBuilder.withQuery(QueryBuilders.nestedQuery("product",
                        QueryBuilders.termQuery("product.name",name), ScoreMode.Max))
                .withPageable(PageRequest.of(page, size));
        AggregatedPage<Order> orders = restTemplate.queryForPage(queryBuilder.build(), Order.class);
        return orders.getContent();
    }

针对复杂查询的介绍就到此为止了，只是列举了其中比较常用的，如果有你不知道怎么实现的，可以留言讨论

关注公众号Elasticsearch之家，回复 ‘复杂查询源码’ 获取文中项目源码

在这里插入图片描述

文章标签：
检索分析服务 Elasticsearch版
Java
关系型数据库
索引
Spring
数据格式
JSON
关键词：
检索分析服务 Elasticsearch版查询
Spring Data
Spring查询
Spring elasticsearch
spring检索分析服务 Elasticsearch版
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
wu@55555
目录
相关文章
何雨晨
|
30天前
|
存储 Java API
如何使用 Java 记录简化 Spring Data 中的数据实体
如何使用 Java 记录简化 Spring Data 中的数据实体
何雨晨
34 9
武子康
|
29天前
|
存储 JSON 监控
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
武子康
48 4
武子康
|
1月前
|
自然语言处理 搜索推荐 Java
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(一)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图
武子康
47 0
武子康
|
1月前
|
存储 自然语言处理 搜索推荐
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
SpringBoot 搜索引擎 海量数据 Elasticsearch-7 es上手指南 毫秒级查询 包括 版本选型、操作内容、结果截图(二)
武子康
31 0
程序员小海绵
|
2月前
|
JSON 自然语言处理 算法
ElasticSearch基础2——DSL查询文档,黑马旅游项目查询功能
DSL查询文档、RestClient查询文档、全文检索查询、精准查询、复合查询、地理坐标查询、分页、排序、高亮、黑马旅游案例
程序员小海绵
59 0
ElasticSearch基础2——DSL查询文档,黑马旅游项目查询功能
程序员小海绵
|
2月前
|
Java 数据库连接 API
【Java笔记+踩坑】Spring Data JPA
从常用注解、实体类和各层编写方法入手，详细介绍JPA框架在增删改查等方面的基本用法，以及填充用户名日期、分页查询等高级用法。
程序员小海绵
117 0
【Java笔记+踩坑】Spring Data JPA
VipSoft
|
3月前
|
自然语言处理 Java 关系型数据库
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
ElasticSearch 实现分词全文检索 - 聚合查询 cardinality
VipSoft
91 1
土木林森
|
3月前
|
Java Spring 数据库
怎样动动手指就能实现数据操作？Spring Data JPA背后的魔法揭秘
【8月更文挑战第31天】在Java开发中，数据库交互至关重要。传统的JDBC操作繁琐且难维护，而Spring Data JPA作为集成JPA的数据访问层解决方案，提供了CRUD等通用操作接口，显著减少代码量。通过继承`JpaRepository`，开发者能轻松实现数据的增删改查，甚至复杂查询和分页也不再困难。本文将通过示例详细介绍如何利用Spring Data JPA简化数据访问层的开发，提升代码质量和可维护性。
土木林森
41 0
wljslmz
|
3月前
|
存储 Java 数据库
区分 Spring Data JPA 中的 findById() 和 getOne()
【8月更文挑战第21天】
wljslmz
71 0
wljslmz
|
3月前
|
存储 Java API
如何在 Spring data JPA 中创建自定义存储库？
【8月更文挑战第21天】
wljslmz
66 0

热门文章

最新文章

  • 1
    Spring-boot+Dubbo应用启停源码分析
  • 2
    Spring Cloud系列之微服务介绍
  • 3
    spring源码分析（五）依赖注入
  • 4
    spring 定时任务
  • 5
    spring的AOP组件
  • 6
    5种SpringBoot热部署方式，你用哪种？
  • 7
    配置springmvc在其他类中（spring容器外）获取注入bean
  • 8
    Spring中注入基本类型
  • 9
    SpringCloud - Circular placeholder reference ‘xxx‘ in property definitions
  • 10
    Spring Cloud实战小贴士：Zuul统一异常处理（一）
  • 1
    深入理解Elasticsearch倒排索引原理与优化策略
    592
  • 2
    Elasticsearch FSCrawler 一个bug及解决方案
    92
  • 3
    Elasticsearch 配置文件 path.data 中可以配置多个数据目录的路径吗？
    147
  • 4
    Elasticsearch 8.X 向量检索和普通检索能否实现组合检索？如何实现？
    150
  • 5
    一张图30个知识点，全方位认知 Elasticsearch 技术发展
    89
  • 6
    干货 | 2024 年 Elasticsearch 常见面试题集锦
    342
  • 7
    Elasticsearch 悬挂索引解析与管理指南
    88
  • 8
    用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践
    199
  • 9
    Elasticsearch 通过索引阻塞实现数据保护深入解析
    70
  • 10
    重磅 | Elasticsearch 智能知识问答上线了
    80

    • 相关课程

    更多
  • 精通Spring Cloud Alibaba
  • ElasticSearch 入门精讲
  • 微服务框架 Spring Cloud 快速入门
  • Java Web开发系列课程 - Spring框架入门
  • Spring Boot 2.5.x开发实战
  • Spring Cloud微服务架构设计与开发实战

    • 相关电子书

    更多
  • 云栖社区特邀专家徐雷Java Spring Boot开发实战系列课程（第20讲）：经典面试题与阿里等名企内部招聘求职面试技巧
  • 微服务架构模式与原理Spring Cloud开发实战
  • 阿里特邀专家徐雷Java Spring Boot开发实战系列课程（第18讲）：制作Java Docker镜像与推送到DockerHub和阿里云Docker仓库

    • 相关实验场景

    更多
  • 使用阿里云Elasticsearch体验信息检索加速
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • Spring-cloud-stream-binder-rocketmq入门与实践
  • 利用Elasticsearch实现地理位置查询
    • 下一篇
    DataWorks智能数据建模全面公测开始啦！