批量操作介绍 | 学习笔记

简介: 快速学习批量操作介绍

开发者学堂课程【ElasticSearch 入门精讲批量操作介绍学习笔记,与课程紧密连接,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/631/detail/9991


批量操作介绍


ES JavaAPI 批量操作介绍

Elasticsearch 的Bulk API 允许批量提交 index 和 delete 请求,

有如下两种用法:

用法1 :

BulkRequestBuilder requestBuilder = client.prepareBulk();

for(Person person : personList){

(String obj = getIndexDataFromHotspotData(person);

if(obj != null){

requestBuilder.add(client.prepareIndex("test-index' , ex,String.valueOf(person.getId()))setRefresh(true).setSource(obj));

用法2 :

BulkProcessor bulkProcessor = BulkProcessor.builder(client, new BulkProcessor.Listener(){

@Override

public void beforeBulk(long l, BulkRequest bulkRequest) {

}

@Override

public void afterBulk(long l, BulkRequest bulkRequest, BulkResponse bulkResponse) {

}

@Override

public void afterBulk(long l, BulkRequest bulkRequest, Throwable throwable) {

}

)).setBulkActions(10000).setBulkSize(new ByteSizeValue(1, ByteSizeUnit.GB)).setFlushInterval(TimeValue.timeValueSeconds(5)).build();

for(Person person : personList){

String obj = getIndexDataFromHotspotData(person);

if(obj != null){

bulkProcessor.add(new 

IndexRequest(“test-index” ," test",String.valueOf(person.getId())).source(obj));

beforeBulk 会在批量提交之前执行,可以从 BulkRequest 中获取请求信息request.requests()或者请求数量

request.numberOfActions()

第一个 afterBulk 会在批量成功后执行,可以跟 beforeBulk 配合计算批量所需时间

第二个 afterBulk 会在批量失败后执行

在例子中,当请求超过10000个( default= 1000 )或者总大小超过1GB ( default=5MB )时,触发批量提交动作

相关文章
|
3天前
|
数据采集 人工智能 安全
|
12天前
|
云安全 监控 安全
|
4天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1043 151
|
4天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1731 9
|
9天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
680 152
|
11天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
644 13
|
6天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
406 4