|
存储 机器学习/深度学习 运维
|

Elasticsearch集群模式知多少?

Elasticsearch经过多年发展,集群模式已经非常成熟,涵盖的技术点非常多,对于使用者来说,掌握并熟练运用至关重要。那么Elasticsearch有多少种集群模式呢?当前适合哪种集群模式?

8223 0
|
固态存储 架构师 测试技术
|

【资源分享】esrally:Elasticsearch 官方压测工具测试数据共享(国内)

自从上篇发布的关于“【最佳实践】esrally:Elasticsearch 官方压测工具及运用详解”后,不停有同学询问使用中遇到的问题,尤其是测试数据存储在国外 aws 上,导致下载极慢的情况出现。为了让大家快速上手使用 esrally,我 build 了一个可用的 docker 镜像,将 13GB 的测试数据拉取到国内的存储上,通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操作就可以顺畅地使用 esrally 来进行相关测试了。

3838 0
|
消息中间件 存储 缓存
|

从MongoDB迁移到Elasticsearch后,我们减少了80%的服务器

本文介绍“为什么要从MongoDB迁移到Elasticsearch?”以及“如何从MongoDB迁移到Elasticsearch?”。

18808 0
|
存储 关系型数据库 Java
|

【最佳实践】阿里云Logstash JDBC实现Elasticsearch与关系型数据库保持数据同步

为了充分利用阿里云 Elasticsearch 提供的强大搜索功能,很多公司都会在关系型数据库的基础上,部署 Elasticsearch。这种情况下,则需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步。 在本篇博文中,我会演示如何使用 Logstash 高效复制数据,将关系型数据库阿里云 RDS 中的数据更新同步到 Elasticsearch 中。

2984 0
|
存储 SQL 分布式计算
|

Delta Lake,让你从复杂的Lambda架构中解放出来

Linux 基金会的 Delta Lake(Delta.io)是一个给数据湖提供可靠性的开源存储层软件。在 QCon 全球软件开发大会(上海站)2019 的演讲中,Databricks 公司的 Engineering Manager 李潇带我们了解了 Delta Lake 在实际生产中的应用与实践以及未来项目规划,本文便整理自此次演讲。

5156 0
|
SQL 分布式计算 数据管理
|

性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成

随着 Flink 在流式计算的应用场景逐渐成熟和流行,如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具,所以 Flink 针对于批计算也以 SQL 为主要接口。

3721 0
来自: 实时计算 Flink  版块
|
SQL API Apache
|

速度收藏!看完这份知识图谱,才算搞懂 Flink!

社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

67520 0
来自: 实时计算 Flink  版块
|
SQL 分布式计算 Java
|

MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写

MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。

2516 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 Spark Java
|

Spark Codegen浅析

Codegen是Spark Runtime优化性能的关键技术,核心在于动态生成java代码、即时compile和加载,把解释执行转化为编译执行。Spark Codegen分为Expression级别和WholeStage级别,分别针对表达式计算和全Stage计算做代码生成,都取得了数量级的性能提升。本文浅析Spark Codegen技术原理。

3104 0
|
资源调度 算法 应用服务中间件
|

阿里巴巴搜索无状态服务的秒级弹性调度

目前阿里巴巴搜索的分布式服务一般都是基于Hippo+Carbon来调度的,包括部署、扩缩容、名字服务注册。如下图: ![carbon-hippo.png](https://private-alipayobjects.

6370 0
来自: 智能搜索推荐  版块
|
监控 安全 大数据
|

【入门指南】使用阿里云Elasticsearch搭建ELK日志系统

本文介绍了基于阿里云Elasticsearch搭建ELK日志系统的基本步骤,并对kibana和ES的日志检索和分析做简要介绍,可作为新手入门指导。

15906 0

Flink SQL 功能解密系列 —— 数据去重的技巧和思考

去重逻辑在业务处理中使用广泛,大致可以分两类:DISTINCT去重和FIRST_VALUE主键去重,两者的区别是DISTINCT去重是对整行数据进行去重,比如tt里面数据可能会有重复,我们要去掉重复的数据;FIRST_VALUE是根据主键进行去重,可以看成是一种业务层面的去重,但是真实的业务场景使用也很普遍,比如一个用户有多次点击,业务上只需要取第一条。

11427 0
来自: 实时计算 Flink  版块
|
SQL 分布式计算 Java
|

MaxCompute - ODPS重装上阵 第二弹 - 新的基本数据类型与内建函数

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

7384 0
来自: 大数据计算 MaxCompute  版块
|
数据采集 分布式计算 监控
|

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

  数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。   本次分享嘉宾是来自阿里云大数据的技术专家祎休   背景与总体思路   数据仓库是一个面向主题的、集成的、非易失的、反映历史变化的数据集合用于支持管理决策。

10388 1
来自: 大数据计算 MaxCompute  版块
|
8小时前
|
消息中间件 分布式计算 测试技术
|

数据管道别裸奔!聊聊单元、集成、端到端测试的“三层护体”玩法

数据管道别裸奔!聊聊单元、集成、端到端测试的“三层护体”玩法

16 0
|
17天前
|
存储 SQL 大数据
|

分布式存储三国杀:对象存储 vs HDFS vs 列式存储,到底该怎么选?

分布式存储三国杀:对象存储 vs HDFS vs 列式存储,到底该怎么选?

104 2
|
22天前
|
缓存 关系型数据库 MySQL
|

网站源码二次开发基础:环境搭建与简单修改步骤

本文围绕 PageAdmin(PA)开源 CMS 展开,聚焦新手二次开发核心:先明确 PHP、MySQL 等环境需求,以 PHPStudy 为例详解安装配置、源码部署、数据库创建及系统安装步骤;再阐述后台登录、基础信息修改、栏目与内容管理、简单模板调整及缓存清理等实操流程,为新手提供清晰易懂的入门指南。

191 11
来自: 人工智能平台PAI  版块
|
24天前
|
SQL 人工智能 自然语言处理
|

AI 数据分析如何保障准确性?构建可信数据基础成为关键

NoETL 指标语义层的引入,将智能问数从“概率游戏”拉回到“工程科学”

130 1
|
25天前
|
JavaScript 数据挖掘 关系型数据库
|

基于python的外卖配送及数据分析系统

本研究基于Python构建外卖配送及数据分析系统,结合Django、Vue和MySQL技术,实现配送路径优化、时效预测与用户行为分析,提升配送效率与服务质量,为平台科学决策提供支持。

134 9
|
1月前
|
人工智能 小程序 定位技术
|

别让客人“刷”不到你:本地生活GEO布局的4个土办法

别让客人“刷”不到你!本地生活商家必须掌握的GEO四步土办法:画清3公里人群圈、结构化信息让AI秒懂、用顾客原话做内容、每月删旧更新。精准触达AI推荐,把客流引到店门口。(238字)

96 0
来自: 智能搜索推荐  版块
|
1月前
|
机器学习/深度学习 搜索推荐 算法
|

用数据给婚恋 App 把把脉:让匹配更靠谱、聊天更顺畅、留存更健康

用数据给婚恋 App 把把脉:让匹配更靠谱、聊天更顺畅、留存更健康

102 8
|
1月前
|
监控 数据挖掘 API
|

淘宝天猫商品详情API全攻略

淘宝天猫商品详情API是淘宝开放平台的核心接口,支持通过商品ID获取标题、价格、库存、SKU等全维度信息,采用RESTful设计,实时高效,适用于比价系统、库存监控、智能选品等电商应用开发与数据分析场景。

158 0
|
1月前
|
边缘计算 自然语言处理 算法
|

实时交互数字人端到端延迟压至0.8秒:关键技术节点与商业价值解析

0.8秒是实时数字人体验的关键阈值,端到端延迟低于此值可实现自然流畅交互。本文解析其技术链路、核心支撑与商业价值,揭示为何这一指标成为数字人从“可用”到“好用”的分水岭。

197 4
来自: 人工智能平台PAI  版块
|
1月前
|
自然语言处理 JavaScript Java
|

TKM帮您管理编程开发过程中多语言、多版本的切换烦恼

TakMll(特客猫)是一款多语言环境管理工具,支持PHP、Java、Python等多版本快速切换。通过“tkm”命令实现环境添加、查询、切换与删除,简化开发环境配置流程,提升效率。官网:[https://tkm.youqiong.net/](https://tkm.youqiong.net/)

344 15
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
|

当情绪也能被“量化”:数据如何悄悄改变心理健康分析与治疗

当情绪也能被“量化”:数据如何悄悄改变心理健康分析与治疗

186 14
|
1月前
|
搜索推荐 JavaScript 关系型数据库
|

基于用户评论分析挖掘的旅游景点推荐系统

本研究基于用户评论分析,构建个性化旅游景点推荐系统。融合自然语言处理与情感分析技术,挖掘游客真实偏好,结合Django、Vue.js与MySQL等技术实现系统开发,提升旅游决策效率与体验质量,推动旅游产业智能化发展。

156 6
|
1月前
|
存储 数据采集 人工智能
|

当数据湖遇上数据仓库:不是对立,而是走向“湖仓一体”的未来

当数据湖遇上数据仓库:不是对立,而是走向“湖仓一体”的未来

232 11
|
1月前
|
机器学习/深度学习 数据可视化 算法
|

基于大数据的信贷风险评估的数据可视化分析与预测系统

本系统基于Java、Vue和Spring Boot技术,构建信贷风险评估的可视化分析与预测平台。融合机器学习模型与数据可视化,实现信贷数据的高效处理、风险精准预测与直观展示,提升金融机构风控能力与决策效率。

169 7
|
1月前
|
存储 缓存 Cloud Native
|

EMR StarRocks Stella 内核正式发布,登顶 TPC 榜单全球第一

EMR Serverless StarRocks 重磅发布全新企业级版本内核 Stella (StarRocks Efficient and Lightening-fast Lakehouse),完全兼容开源 StarRocks,为用户提供企业级的产品功能、卓越的性能及稳定性保障。

166 1
|
2月前
|
人工智能 运维 监控
|

Flink 智能调优:从人工运维到自动化的实践之路

本文由阿里云Flink产品专家黄睿撰写,基于平台实践经验,深入解析流计算作业资源调优难题。针对人工调优效率低、业务波动影响大等挑战,介绍Flink自动调优架构设计,涵盖监控、定时、智能三种模式,并融合混合计费实现成本优化。展望未来AI化方向,推动运维智能化升级。

605 7
来自: 实时计算 Flink  版块
|
2月前
|
数据采集 监控 NoSQL
|

优化分布式采集的数据同步:一致性、去重与冲突解决的那些坑与招

本文讲述了作者在房地产数据采集项目中遇到的分布式数据同步问题,通过实施一致性、去重和冲突解决的“三板斧”策略,成功解决了数据重复和同步延迟问题,提高了系统稳定性。核心在于时间戳哈希保证一致性,URL归一化和布隆过滤器确保去重,分布式锁解决写入冲突。

179 2
|
2月前
|
机器学习/深度学习 算法 物联网
|

Google开源Tunix:JAX生态的LLM微调方案来了

Tunix是Google推出的基于JAX的LLM后训练库,支持微调、强化学习与知识蒸馏,集成Flax NNX,主打TPU优化与模块化设计,支持QLoRA等高效训练方法,适用于高性能分布式训练场景。

325 13
|
3月前
|
数据采集 存储 缓存
|

LLM + 抓取:让学术文献检索更聪明

结合爬虫与大模型,打造懂语义的学术检索助手:自动抓取最新NLP+爬虫论文,经清洗、向量化与RAG增强,由LLM提炼贡献,告别关键词匹配,实现精准智能问答。

323 0
|
3月前
|
存储 搜索推荐 Java
|

基于springboot的教育资源共享管理系统

本研究聚焦教育资源共享管理系统,旨在通过Java、Spring Boot、MySQL与Vue技术构建高效平台,促进教育公平,提升教学质量,优化资源配置,推动教育信息化发展。

275 2
|
3月前
|
存储 JavaScript Java
|

2025版基于springboot的企业考勤管理系统

本系统基于Spring Boot、Vue与MySQL,实现企业考勤自动化管理,集成生物识别与GPS定位,支持多端操作与数据可视化,提升考勤准确性与管理效率,助力企业数字化转型。(239字)

228 0
|
3月前
|
存储 分布式计算 资源调度
|

【赵渝强老师】阿里云大数据MaxCompute的体系架构

阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。

337 1
来自: 大数据计算 MaxCompute  版块
|
4月前
|
存储 缓存 Apache
|

StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询

A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。

553 1
|
4月前
|
Oracle Java 关系型数据库
|

Java 17 采用率增长 430%

1995年,Sun Microsystems发布Java语言,推动现代多媒体应用发展。凭借“一次编写,到处运行”的优势,Java迅速成为主流编程语言。New Relic最新发布的《2023年Java生态系统现状》报告显示,Java 11以超56%的使用率稳居榜首,Java 8仍占近33%。尽管Oracle每半年更新一次Java版本,但开发者更倾向使用长期支持(LTS)版本。Java 17的采用率在过去一年增长430%,潜力巨大。此外,Amazon已成为最受欢迎的JDK供应商,市场份额达31%。容器化应用也已成为主流,70%的Java应用来自容器。

363 0
|
4月前
|
SQL 人工智能 数据挖掘
|

Apache Flink:从实时数据分析到实时AI

Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。

597 9
来自: 实时计算 Flink  版块
|
4月前
|
Web App开发 Rust 前端开发
|

WebAssembly 与 Java 结合实操指南 基于最新工具链的跨语言开发实践教程

WebAssembly与Java集成实操指南 本文基于2024年最新工具链(GraalVM、TeaVM、Wasmtime),提供两种Java与Wasm结合的实践方案: Java调用Wasm模块:通过Rust编写高性能加密算法并编译为Wasm,在Java中利用Wasmtime运行时进行调用,实现6.7倍的性能提升。重点演示了Wasm内存模型操作和指针传递机制。 Java编译为Wasm:使用TeaVM将Java科学计算代码编译为Wasm模块,供浏览器前端直接调用。包含完整的Maven配置和前端调用示例,特别适合

424 0
|
5月前
|
人工智能 数据库 开发工具
|

通过阿里云 Milvus 和 Dify 平台构建RAG系统

本文介绍了如何结合阿里云 Milvus 向量数据库与低代码 AI 平台 Dify,快速构建企业级检索增强生成(RAG)应用。通过该方案,可有效解决大语言模型的知识局限与“幻觉”问题,提升 AI 应用的回答准确性与可靠性。

424 2
|
5月前
|
人工智能 自然语言处理 搜索推荐
|

AI 搜索 MCP 最佳实践

本文介绍了如何通过 MCP 协议,快速调用阿里云 OpenSearch 、ElasticSearch 等工具,帮助企业快速集成工具链、降低开发复杂度、提升业务效率。

655 29
|
6月前
|
人工智能 自然语言处理 Kubernetes
|

导演、编剧、特效师都要失业?生成式AI正在悄悄重塑影视工业

导演、编剧、特效师都要失业?生成式AI正在悄悄重塑影视工业

196 0
|
6月前
|
前端开发 Java 数据库连接
|

一个完整 Java 项目常包含的各层次详解与全面解析

本内容介绍了Java项目的典型分层架构,涵盖开放接口层、终端显示层、Web层、Service层、Manager层、Mapper层及常用辅助层次,如实体层、DTO层、VO层等。通过合理划分各层职责,结合Spring Boot等框架,实现系统的高内聚、低耦合,提升可维护性与扩展性,适用于微服务与MVC架构设计。

686 0
|
6月前
|
存储 运维 监控
|

OpenFeature 实战:统一特征开关在风控模型的落地与灰度发布方案

在金融风控场景中,模型迭代速度与线上稳定性之间的平衡是一大挑战。传统硬编码方式存在耦合度高、控制粒度粗、缺乏审计等问题,导致误拦截损失显著。本文介绍了基于 OpenFeature 的解决方案,通过动态配置、细粒度控制和多语言支持实现高效特征管理,并结合灰度发布、熔断机制和安全审计提升系统稳定性与发布安全性。实战数据显示,该方案显著缩短上线周期、降低故障率并提升模型覆盖率,具备高可用性和可扩展性,适用于复杂风控环境下的策略迭代需求。

300 0
|
6月前
|
机器学习/深度学习 存储 算法
|

SMOTE-XGBoost实战:金融风控中欺诈检测的样本不平衡解决方案

本文深入探讨金融支付风控领域中的欺诈检测问题,针对样本不平衡的核心痛点,提出一种基于动态密度SMOTE算法的改进方案,并结合优化后的XGBoost模型实现高性能检测。相比传统方法,本文方案在IEEE-CIS数据集上显著提升Recall(达0.85)和AUC-PR(达0.72),同时控制推理时延在合理范围。文章还详细解析特征工程体系、在线推理优化及动态阈值调整机制,并展望联邦学习与图神经网络等未来方向,为实际业务应用提供全面指导。

380 1
|
6月前
|
XML JSON 监控
|

1688商品列表API接口全解析:从关键词搜索到分页处理方案

1688商品列表数据接口用于获取1688平台商品信息,支持关键词、价格区间、销量范围及类目等条件筛选,返回标题、价格、销量等基本信息。接口采用HTTP/GET或POST请求,响应格式为JSON或XML。主要功能包括商品信息获取、筛选与排序、分页查询及店铺商品获取。调用时需构造参数(如app_key、sign等),并处理返回数据。常用参数有搜索关键词(q)、页码(page)、每页数量(pageSize)、价格区间(priceStart/priceEnd)和类目ID(categoryId)。适用于商家数据分析与运营优化。

287 0
|
6月前
|
存储 运维 Java
|

官宣 | Fluss 0.7 发布公告:稳定性与架构升级

Fluss 0.7 版本正式发布!历经 3 个月开发,完成 250+ 次代码提交,聚焦稳定性、架构升级、性能优化与安全性。新增湖流一体弹性无状态服务、流式分区裁剪功能,大幅提升系统可靠性和查询效率。同时推出 Fluss Java Client 和 DataStream Connector,支持企业级安全认证与鉴权机制。未来将在 Apache 孵化器中继续迭代,探索多模态数据场景,欢迎开发者加入共建!

721 8
来自: 实时计算 Flink  版块
|
6月前
|
JSON 数据格式 开发者
|

淘宝天猫图片搜索商品接口(附代码示例)

拍立淘图片搜索接口支持开发者通过上传图片或提供图片URL,在淘宝、天猫平台搜索相似商品,适用于商品识别、比价等场景。接口采用POST(上传图片)或GET(图片URL)请求方式,返回JSON格式数据,包含商品ID、标题、价格、卖家信息、销量及图片URL等详情,参数可指定搜索关键词、类目、结果数量等,默认返回20条。

276 3
|
6月前
|
并行计算 PyTorch 算法框架/工具
|

OpenFold2.0 基于NPU的推理适配与测试

本教程详细介绍了 OpenFold 的环境搭建、代码部署、依赖安装、数据集准备及推理测试全流程。首先通过 Anaconda 创建 Python3.9 环境并配置相关库,接着克隆 OpenFold 代码仓库并安装必要依赖(如 PyTorch、dllogger、hhsuite 等)。随后准备 PDB 数据集与模型参数,调整脚本路径以适配运行环境。最后执行推理脚本完成测试,并针对常见报错提供了解决方案,例如更新 NumPy、SciPy 或调整 GPU 配置等,确保流程顺利运行。

437 8

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67713
内容
128
活动
439500
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务