|
API 索引
|

es实战-分片分配失败解决方案

分片无法分配情况的一些解决办法

2912 0
|
SQL 分布式计算 大数据
|

SparkSQL DatasourceV2 之 Multiple Catalog

SparkSQL DatasourceV2作为Spark2.3引入的特性,在Spark 3.0 preview(2019/12/23)版本中又有了新的改进以更好的支持各类数据源。本文将从catalog角度,介绍新的数据源如何和Spark DatasourceV2进行集成。

5730 0
|
SQL 存储 人工智能
|

bilibili 实时平台的架构与实践

本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。

6335 0
来自: 实时计算 Flink  版块
|
关系型数据库 Java Apache
|

Apache Flink 漫谈系列(09) - JOIN 算子

聊什么 在《Apache Flink 漫谈系列 - SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式,介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的,那么再深思一下传统数据库为啥需要有JOIN算子呢?在实现原理上面Apache Flink内部实现和传统.

12290 0
来自: 实时计算 Flink  版块
|
分布式计算 监控 大数据
|

利用MaxCompute内建函数及UDTF转换json格式日志数据

本文介绍了如何使用MaxCompute UDF对JSON格式的日志进行信息提取和转换。

17583 0
来自: 大数据计算 MaxCompute  版块
|
8天前
|
SQL 数据管理 大数据
|

为什么企业离不开元数据管理?——因为数据混乱,比加班更可怕!

为什么企业离不开元数据管理?——因为数据混乱,比加班更可怕!

62 5
|
9天前
|
SQL 人工智能 分布式计算
|

【MaxCompute SQL AI 实操教程】0元体验使用大模型提效数据分析

【MaxCompute SQL AI 实操教程】0元体验使用大模型提效数据分析

89 1
|
16天前
|
JSON 搜索推荐 数据挖掘
|

闲鱼商品列表API完整指南

闲鱼商品列表API(goodfish.item_search)支持通过关键词、分类、价格等条件搜索商品,返回JSON格式数据,适用于比价工具、数据分析、推荐系统等场景。

88 2
|
1月前
|
人工智能 架构师 开发者
|

破局2025:定义AI数字艺术新生态的十大关键人物

当AI艺术迈入生态竞争时代,十位创作者正重塑未来。他们超越技术炫技,以生态构建、商业创新与跨界影响力开辟新疆域。从乾元AIGC的多维赋能,到林响的数字乡建,再到织梦人的互动叙事,他们定义规则,连接技术与人文,成为AI艺术时代的建筑师与引路人。

201 12
|
2月前
|
机器学习/深度学习 算法 API
|

淘宝API图片搜索 | 天猫商品图片识别 | 一键上传找相似商品

淘宝图片搜索API(拍立淘)基于图像识别与深度学习技术,支持通过图片查找相似商品,适用于比价、找同款等场景。提供精准匹配、多参数调节,助力开发者打造智能购物应用,提升搜索效率与用户体验。

338 2
|
2月前
|
API 开发者 数据采集
|

高效获取淘宝商品详情:API 开发实现链接解析的完整技术方案

2025反向海淘新机遇:依托代购系统,聚焦小众垂直品类,结合Pandabay数据选品,降本增效。系统实现智能翻译、支付风控、物流优化,助力中式养生茶等品类利润翻倍,新手也能快速入局全球市场。

557 2
|
2月前
|
机器学习/深度学习 传感器 算法
|

基于yolo8的深度学习室内火灾监测识别系统

本研究基于YOLO8算法构建室内火灾监测系统,利用计算机视觉技术实现火焰与烟雾的实时识别。相比传统传感器,该系统响应更快、精度更高,可有效提升火灾初期预警能力,保障生命财产安全,具有重要的应用价值与推广前景。

367 10
|
3月前
|
存储 人工智能 自然语言处理
|

从零搭建RAG应用:跳过LangChain,掌握文本分块、向量检索、指代消解等核心技术实现

本文详解如何从零搭建RAG(检索增强生成)应用,跳过LangChain等框架,深入掌握文本解析、分块、向量检索、对话记忆、指代消解等核心技术,提升系统可控性与优化能力。

416 0
|
3月前
|
机器学习/深度学习 负载均衡 网络架构
|

Mixture of Experts架构的简要解析

Mixture of Experts(MoE)架构起源于1991年,其核心思想是通过多个专门化的“专家”网络处理输入的不同部分,并由门控网络动态组合输出。这种架构实现了稀疏激活,仅激活部分专家,从而在模型规模与计算成本之间取得平衡。MoE的关键在于门控机制的设计,如线性门控、噪声Top-K门控等,确保模型能根据输入特征自适应选择专家。

455 8
|
4月前
|
Java 测试技术 API
|

2025 年 Java 开发者必知的最新技术实操指南全览

本指南涵盖Java 21+核心实操,详解虚拟线程、Spring Boot 3.3+GraalVM、Jakarta EE 10+MicroProfile 6微服务开发,并提供现代Java开发最佳实践,助力开发者高效构建高性能应用。

761 4
|
5月前
|
SQL 分布式计算 DataWorks
|

我与阿里云ODPS的故事:从挑战到掌控

本文讲述了作者在使用阿里云ODPS过程中的亲身经历,从最初面对大数据处理的困境,到通过ODPS及其核心组件MaxCompute、DataWorks实现数据处理与开发效率的大幅提升。不仅展现了技术带来的变革,也体现了个人从挑战到掌控的成长历程。

203 10
来自: 大数据计算 MaxCompute  版块
|
5月前
|
SQL DataWorks 监控
|

免费玩转阿里云DataWorks!智能Copilot+用户画像实战,开发效率翻倍攻略

DataWorks是阿里云推出的一站式大数据开发与治理平台,具备数据集成、开发、管理、安全及智能监控等功能,支持多行业数据中台建设。其可视化界面与强大调度能力,助力企业高效完成数据处理与分析。

864 0
|
5月前
|
机器学习/深度学习 算法 Java
|

Java 大视界 -- Java 大数据机器学习模型在舆情分析中的情感倾向判断与话题追踪(185)

本篇文章深入探讨了Java大数据与机器学习在舆情分析中的应用,重点介绍了情感倾向判断与话题追踪的技术实现。通过实际案例,展示了如何利用Java生态工具如Hadoop、Hive、Weka和Deeplearning4j进行舆情数据处理、情感分类与趋势预测,揭示了其在企业品牌管理与政府决策中的重要价值。文章还展望了多模态融合、实时性提升及个性化服务等未来发展方向。

178 0
|
6月前
|
机器学习/深度学习 存储 NoSQL
|

基于 Flink + Redis 的实时特征工程实战:电商场景动态分桶计数实现

本文介绍了基于 Flink 与 Redis 构建的电商场景下实时特征工程解决方案,重点实现动态分桶计数等复杂特征计算。通过流处理引擎 Flink 实时加工用户行为数据,结合 Redis 高性能存储,满足推荐系统毫秒级特征更新需求。技术架构涵盖状态管理、窗口计算、Redis 数据模型设计及特征服务集成,有效提升模型预测效果与系统吞吐能力。

651 2
|
6月前
|
传感器 数据采集 人工智能
|

AI是如何收集体育数据的?从摄像头到算法,揭秘赛场背后的“数字间谍网“!

⚽ 你是否好奇:AI如何知道哈兰德每秒跑多快?教练的平板为何比裁判还清楚谁偷懒?本文揭秘AI收集体育数据的“黑科技”:视觉追踪、传感器网络、数据清洗与高阶分析。从高速摄像机捕捉梅西肌肉抖动,到GPS背心记录姆巴佩冲刺速度;从表情识别判断装伤,到量子计算模拟战术可能,AI正让体育更透明、精准。未来已来,2030年世界杯或将实现AI替代球探、裁判甚至教练!你认为AI数据收集算侵犯隐私吗?最想统计哪些奇葩指标?留言互动吧!

340 0
|
6月前
|
机器学习/深度学习 自然语言处理 并行计算
|

提升长序列建模效率:Mamba+交叉注意力架构完整指南

本文探讨了Mamba架构中交叉注意力机制的集成方法,Mamba是一种基于选择性状态空间模型的新型序列建模架构,擅长处理长序列。通过引入交叉注意力,Mamba增强了多模态信息融合和条件生成能力。文章从理论基础、技术实现、性能分析及应用场景等方面,详细阐述了该混合架构的特点与前景,同时分析了其在计算效率、训练稳定性等方面的挑战,并展望了未来优化方向,如动态路由机制和多模态扩展,为高效序列建模提供了新思路。

498 1
|
7月前
|
机器学习/深度学习 PyTorch 编译器
|

深入解析torch.compile:提升PyTorch模型性能、高效解决常见问题

PyTorch 2.0推出的`torch.compile`功能为深度学习模型带来了显著的性能优化能力。本文从实用角度出发,详细介绍了`torch.compile`的核心技巧与应用场景,涵盖模型复杂度评估、可编译组件分析、系统化调试策略及性能优化高级技巧等内容。通过解决图断裂、重编译频繁等问题,并结合分布式训练和NCCL通信优化,开发者可以有效提升日常开发效率与模型性能。文章为PyTorch用户提供了全面的指导,助力充分挖掘`torch.compile`的潜力。

849 17
|
8月前
|
人工智能 自然语言处理 搜索推荐
|

AI 搜索开放平台重磅发布:Qwen3 模型上线啦

阿里云AI搜索开放平台重磅发布最新Qwen3模型,为企业和开发者提供全栈智能搜索解决方案。Qwen3作为最新一代大模型,在推理、多语言支持和Agent能力上表现卓越。用户可通过三步快速体验Qwen3服务,助力业务在AI时代抢占先机。

1014 13
来自: 智能搜索推荐  版块
|
8月前
|
存储 人工智能 监控
|

通过阿里云Milvus与通义千问VL大模型,快速实现多模态搜索

阿里云向量检索服务Milvus版是一款全托管向量检索引擎,并确保与开源Milvus的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus云服务成为多样化AI应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作,进一步促进应用的快速开发和部署。

719 2
|
8月前
|
存储 数据采集 机器学习/深度学习
|

LIDC-IDRI肺结节数据集分割策略

本文介绍了使用LIDC-IDRI开源数据集进行肺癌检测项目的完整流程,包括数据预处理、训练分割模型和分类模型三个主要步骤。首先,下载包含患者DICOM文件的数据集;其次,克隆预处理代码并配置Pylidc库以生成肺部遮罩图像;最后,通过脚本准备数据集并创建元数据文件。文章还提供了相关GitHub资源链接,帮助读者更好地理解和实现项目。

1057 11
|
9月前
|
并行计算 PyTorch 算法框架/工具
|

融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践

本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。

808 3
|
9月前
|
存储 运维 监控
|

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践

本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享,围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化,以及基于Paimon的湖仓方案优势。通过分层设计与技术优化,实现业务交付周期缩短30%以上,资源开销降低40%,并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动,助力企业探索实时计算与湖仓一体化解决方案。

1038 3
来自: 实时计算 Flink  版块
|
9月前
|
机器学习/深度学习 算法 API
|

淘宝图片搜索商品列表API接口全攻略

淘宝图片搜索API(拍立淘)通过上传图片快速检索淘宝/天猫相似商品,支持标题、价格、销量等信息返回。核心功能包括以图搜图、商品筛选和分页查询,具备高效性、准确性和多语言支持。开发者需注册账号、创建应用并申请权限后调用接口,适用于电商平台、比价工具等场景。

434 0
|
10月前
|
存储 供应链 安全
|

区块链在物流管理中的应用:让货物管理变得更智能

区块链在物流管理中的应用:让货物管理变得更智能

1111 15
|
10月前
|
数据采集 Web App开发 iOS开发
|

使用 User-Agent 模拟浏览器行为的技巧

使用 User-Agent 模拟浏览器行为的技巧

1310 4
|
11月前
|
SQL 大数据 数据处理
|

Flink SQL 详解:流批一体处理的强大工具

Flink SQL 是为应对传统数据处理框架中流批分离的问题而诞生的,它融合了SQL的简洁性和Flink的强大流批处理能力,降低了大数据处理门槛。其核心工作原理包括生成逻辑执行计划、查询优化和构建算子树,确保高效执行。Flink SQL 支持过滤、投影、聚合、连接和窗口等常用算子,实现了流批一体处理,极大提高了开发效率和代码复用性。通过统一的API和语法,Flink SQL 能够灵活应对实时和离线数据分析场景,为企业提供强大的数据处理能力。

1995 27
来自: 实时计算 Flink  版块
|
11月前
|
机器学习/深度学习 人工智能 算法
|

阿里云人工智能平台图像视频特征提取

本文介绍了图像与视频特征提取技术在人工智能和计算机视觉中的应用,涵盖图像质量评分、人脸属性分析、年龄分析、图像多标签打标、图文视频动态分类打标、视频质量评分及视频分类打标。通过深度学习模型如CNN和RNN,这些技术能从海量数据中挖掘有价值信息,为图像分类、目标检测、视频推荐等场景提供支持,提升分析精度与效率。

757 9
来自: 人工智能平台PAI  版块
|
11月前
|
数据采集 SQL 数据挖掘
|

电商数据分析的方法

电商数据分析涵盖从业务需求理解到数据呈现的全流程。初学者应循序渐进,掌握数据清洗、转换等技能,Python是重要工具。社交媒体营销分析关注用户参与度和KOL影响。实战教程如《2019电商数据分析师实战项目》提供Excel、SQL及Tableau应用案例,帮助巩固理论知识。代码示例展示了如何使用Pandas和SQLAlchemy进行销售数据分析,计算转化率。 (注:联系方式和感谢语已省略以符合要求)

744 0
来自: 大数据计算 MaxCompute  版块
|
12月前
|
搜索推荐 数据安全/隐私保护 UED
|

产品经理-B 端与C端

B端与C端是IT互联网产品经理的类型划分,分别面向企业和个人消费者。C端产品如微信、淘宝,注重用户体验和快速迭代;B端产品如CRM系统、ERP软件,强调功能复杂性和定制化服务。此外,还有G端产品,主要服务于政府机构,注重数据安全和合规性。产品经理起源于20世纪20年代末的美国宝洁公司,随着互联网的发展,该角色在IT领域变得愈加重要。

1531 12
|
12月前
|
运维 监控 安全
|

代理IP故障排查技巧汇总及实战经验分享

在信息化时代,互联网不可或缺。使用HTTP动态代理IP时,快速排查故障至关重要。主要步骤包括:1. 检查代理IP有效性(Ping测试、HTTP请求测试);2. 监控连接速度(延迟和带宽测试);3. 分析错误信息(HTTP状态码、日志);4. 检查代理设置(配置文件、协议支持);5. 使用调试工具(Wireshark、浏览器开发者工具);6. 咨询服务提供商;7. 检查网络环境(防火墙、ISP限制);8. 逐步排查并记录变化。这些技巧能有效找出并解决问题。

881 10
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 JSON API
|

淘宝图片搜索接口(Taobao.item_search_img)

淘宝图片搜索接口(Taobao.item_search_img)允许开发者通过上传商品图片或提供图片地址,获取相似的淘宝商品列表。该接口基于深度学习和计算机视觉技术,支持注册账号、申请权限、构造请求参数、调用接口、解析响应数据等步骤。适用于电商平台购物体验提升、商家商品优化与推广、商品推荐系统和图片版权保护等场景。

1336 4
|
机器学习/深度学习 计算机视觉
|

一文详解残差网络

残差网络(ResNet)源于2016年的论文《Deep Residual Learning for Image Recognition》,旨在解决深层网络中的梯度消失和爆炸问题。通过引入残差块,即在网络中添加跳跃连接,使得信息可以直接跨过多层传递,从而有效解决了网络加深导致的训练困难。ResNet不仅显著提高了模型性能,还促进了深度学习领域的发展。

2013 3
|
人工智能
|

歌词结构的艺术:写歌词的技巧和方法深度剖析,妙笔生词AI智能写歌词软件

歌词是音乐的灵魂伴侣,其结构蕴含独特艺术魅力。掌握歌词结构技巧是创作者成功的关键。开头需迅速吸引听众,主体部分通过叙事、抒情或对话形式展开,结尾则点睛收尾。创作时可借助《妙笔生词智能写歌词软件》,利用 AI 功能优化歌词,提供丰富模板和案例,助力灵感涌现,轻松掌握歌词结构艺术。

1595 7
|
测试技术
|

软件复杂度量化:McCabe度量法及其环路复杂度的计算方法

McCabe度量法(McCabe's Cyclomatic Complexity)是一种经典的方法,用于度量软件程序的复杂度。通过计算程序中独立路径的数量,帮助开发人员评估代码的维护难度和测试覆盖率。本文详细介绍了McCabe度量法的原理、计算方法及其在实际应用中的作用。

2575 0
|
Java 索引
|

Java“ArrayIndexOutOfBoundsException”解决

Java中的“ArrayIndexOutOfBoundsException”异常通常发生在尝试访问数组的无效索引时。解决方法包括:检查数组边界,确保索引值在有效范围内;使用循环时注意终止条件;对用户输入进行验证。通过这些措施可以有效避免该异常。

2724 2
|
机器学习/深度学习 存储 自然语言处理
|

基础与构建:GraphRAG架构解析及其在知识图谱中的应用

【10月更文挑战第11天】随着数据的不断增长和复杂化,传统的信息检索和生成方法面临着越来越多的挑战。特别是在处理结构化和半结构化数据时,如何高效地提取、理解和生成内容变得尤为重要。近年来,一种名为Graph Retrieval-Augmented Generation (GraphRAG) 的新架构被提出,它结合了图神经网络(GNNs)和预训练语言模型,以提高多模态数据的理解和生成能力。本文将深入探讨GraphRAG的基础原理、架构设计,并通过实际代码示例展示其在知识图谱中的应用。

1697 0
|
Oracle 关系型数据库 MySQL
|

OceanBase 与传统数据库的对比

【8月更文第31天】随着云计算和大数据技术的发展,分布式数据库因其高扩展性、高可用性和高性能而逐渐成为企业和开发者关注的焦点。在众多分布式数据库解决方案中,OceanBase作为一个由阿里巴巴集团自主研发的分布式数据库系统,以其独特的架构设计和卓越的性能表现脱颖而出。本文将深入探讨OceanBase与其他常见关系型数据库管理系统(如MySQL、Oracle)之间的关键差异,并通过具体的代码示例来展示这些差异。

1439 1
|
机器学习/深度学习 人工智能 语音技术
|

情感识别与表达:FunAudioLLM的情感智能技术

【8月更文第28天】随着人工智能的发展,语音交互系统越来越普遍。其中,情感智能技术成为提高用户体验的关键因素之一。本文将探讨 FunAudioLLM 如何利用情感识别和表达技术来增强语音交互的真实感,并提供具体的代码示例。

1372 0
|
敏捷开发 数据可视化 持续交付
|

敏捷开发方法:理论与实践

【8月更文第22天】随着信息技术的发展,软件项目的复杂度不断提高,传统的瀑布式开发模式越来越难以适应快速变化的市场需求。为了解决这些问题,敏捷开发方法应运而生。本文将探讨敏捷开发的核心理念、敏捷宣言与原则、Scrum框架、Kanban方法以及相关的敏捷实践与工具。

1669 2
|
自然语言处理 监控 机器人
|

自然语言处理中的语义理解和生成技术

【8月更文第18天】自然语言处理(NLP)是计算机科学的一个重要分支,其目标是使计算机能够理解、解析和生成人类语言。近年来,基于Transformer架构的预训练模型(如BERT、GPT系列)已经极大地推动了NLP的发展。本文将探讨这些模型在对话系统、文本生成、情感分析等领域的应用,并讨论相关技术挑战。

844 1
|
编解码 数据可视化 定位技术
|

60行代码就可以训练/微调 Segment Anything 2 (SAM 2)

本文演示了如何在仅60行代码内(不包括标注和导入)对SAM2进行微调。

1113 1
|
人工智能 自然语言处理 搜索推荐
|

国内可用的 Web Search API,可以平替Bing Search API

近期人们发现,AI对搜索引擎的需求远远超过人类。这个团队专为AI打造搜索引擎,上线仅60天就已被调用超30万次。

3987 1
|
机器学习/深度学习 人工智能 自动驾驶
|

实战案例分析:AI在特定行业的深度应用

【7月更文第20天】随着人工智能技术的飞速发展,其在各行各业的应用日益广泛且深入,不仅推动了产业创新,也极大地提升了服务效率与质量。本文将聚焦于金融、教育、和交通三大领域,通过具体案例与技术解析,展现AI如何在这三个行业中发挥着革命性的作用。

2264 0
|
存储 SQL 搜索推荐
|

一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01

一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01

130648 19
来自: 实时数仓 Hologres  版块
|
存储 人工智能 安全
|

大环境下AI发展迅速,如何保证AI的安全问题?

保障AI安全的关键措施包括:数据隐私保护(加密、访问控制、脱敏、共享协议)、模型安全(验证、鲁棒性、监测、更新)、用户信息保护(透明收集、匿名化、保密协议)、网络安全(实时监测、防护措施)和合规伦理(遵守法规、融入设计)。此外,安全培训和意识提升也是重要一环。多角度策略确保AI技术的安全、健康和可持续发展。

2585 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67708
内容
128
活动
439498
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务