|
5月前
|
人工智能 大数据 数据挖掘
|

当电竞遇上大数据:原来高手是“算”出来的

当电竞遇上大数据:原来高手是“算”出来的

293 9
|
5月前
|
中间件 应用服务中间件 Linux
|

liunx环境安装PageAdmin Cms系统

Linux 环境安装 PageAdmin CMS,需按步骤配置环境,依托其兼顾模板与定制的优势,低技术门槛,助力企业高效搭建适配需求的网站。

191 1
|
5月前
|
搜索推荐 数据可视化 数据挖掘
|

别再“同款服务”了——数据怎么帮银行做到真正的个性化?

别再“同款服务”了——数据怎么帮银行做到真正的个性化?

204 4
|
5月前
|
大数据 BI 定位技术
|

当年轻人不再去KTV,我们该如何用数据读懂文化消费?

当年轻人不再去KTV,我们该如何用数据读懂文化消费?

170 5
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
|

多模态AI的脑回路:机器是怎么做到“看、听、说、想”的?

多模态AI的脑回路:机器是怎么做到“看、听、说、想”的?

525 13
|
6月前
|
机器学习/深度学习 大数据 关系型数据库
|

基于python大数据的台风灾害分析及预测系统

针对台风灾害预警滞后、精度不足等问题,本研究基于Python与大数据技术,构建多源数据融合的台风预测系统。利用机器学习提升路径与强度预测准确率,结合Django框架实现动态可视化与实时预警,为防灾决策提供科学支持,显著提高应急响应效率,具有重要社会经济价值。

537 4
|
6月前
|
数据采集 JSON API
|

微店API使用指南:高效获取商品列表数据

本文介绍如何使用Python爬虫调用微店item_search接口,根据关键词搜索商品并获取商品列表数据,涵盖请求方式、JSON数据解析、分页参数设置及筛选排序功能,适用于电商数据分析与竞品研究。

258 0
|
6月前
|
存储 分布式计算 Hadoop
|

七、Sqoop Job:简化与自动化数据迁移任务及免密执行

平时用 Sqoop 导入导出时,命令一长就容易出错,特别是增量任务还得记 last-value,很麻烦。其实 Sqoop 有 Job 功能,能把命令“存档”,以后直接 --exec 执行,配合调度工具特别省心。本文手把手讲 Job 创建、管理、免密执行技巧(密码文件、Credential Provider),还带实战例子,搞完你就能写出稳稳当当的自动化 Sqoop 作业了!

272 0
|
6月前
|
JSON 缓存 API
|

淘宝天猫商品详情API秘籍!轻松获取SKU属性数据

淘宝商品详情API(taobao.item.get)可获取商品标题、价格、SKU、库存等全量信息,支持RESTful调用,返回JSON数据,适用于电商导购与竞品分析。需企业实名认证,申请权限后通过签名加密请求。Python示例展示如何调用接口,配合fields参数可优化性能,应对频率限制与数据延迟建议轮询+缓存策略。

495 7
|
6月前
|
缓存 前端开发 JavaScript
|

React Hooks深度解析与最佳实践:提升函数组件能力的终极指南

🌟蒋星熠Jaxonic,前端探索者。专注React Hooks深度实践,从原理到实战,分享状态管理、性能优化与自定义Hook精髓。助力开发者掌握函数组件的无限可能,共赴技术星辰大海!

392 2
|
7月前
|
SQL 关系型数据库 MySQL
|

五、Sqoop 增量导入:精通 Append 与 Lastmodified 模式

在实际业务场景中,数据是不断变化的,怎么用 Sqoop 实现“只拉新增或变化部分”而不是每次全量导入?这一篇就详细讲清楚 Sqoop 增量导入的两种模式(append 和 lastmodified),重点解释 lastmodified 模式下 merge-key 怎么用,配套实战例子和常见坑,讲完你就能搞明白增量同步该怎么配置了。

437 0
|
7月前
|
分布式计算 关系型数据库 Hadoop
|

一、Sqoop历史发展及原理

在大数据系统中,Sqoop 就像是一位干练的“数据搬运工”,帮助我们把 MySQL、Oracle 等数据库里的数据快速、安全地导入到 Hadoop、Hive 或 HDFS 中,反之亦然。这个专栏从基础原理讲起,配合实战案例、参数详解和踩坑提醒,让你逐步掌握 Sqoop 的使用技巧。不管你是初学者,还是正在构建数据管道的工程师,都能在这里找到实用的经验和灵感。

303 6
|
7月前
|
机器学习/深度学习 人工智能 搜索推荐
|

当AI遇上癌症:聊聊个性化治疗的新可能

当AI遇上癌症:聊聊个性化治疗的新可能

231 15
|
7月前
|
传感器 人工智能 监控
|

数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效

数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效

235 14
|
7月前
|
机器学习/深度学习 自然语言处理 PyTorch
|

Transformer自回归关键技术:掩码注意力原理与PyTorch完整实现

掩码注意力是生成模型的核心,通过上三角掩码限制模型仅关注当前及之前token,确保自回归因果性。相比BERT的双向注意力,它实现单向生成,是GPT等模型逐词预测的关键机制,核心仅需一步`masked_fill_`操作。

559 0
|
7月前
|
网络协议 网络架构 RDMA
|

UPN512技术架构白皮书

随着AI算力超节点的演进,xPU Scale up 系统遇到新的挑战,基于此,阿里云提出UPN(Ultra Performance Network)架构,旨在构建“大规模、高性能、高可靠、低成本、可扩展” 的 Scale up 网络系统,本文阐述UPN512系统的关键架构设计。

585
|
7月前
|
JavaScript Java 关系型数据库
|

基于springboot的家政服务预约系统

随着社会节奏加快与老龄化加剧,家政服务需求激增,但传统模式存在信息不对称、服务不规范等问题。基于Spring Boot、Vue、MySQL等技术构建的家政预约系统,实现服务线上化、标准化与智能化,提升用户体验与行业效率,推动家政服务向信息化、规范化发展。

401 3
|
7月前
|
安全 物联网 数据处理
|

去中心化不只是区块链:智能设备的“分布式大脑”

去中心化不只是区块链:智能设备的“分布式大脑”

544 2
|
7月前
|
存储 Java 关系型数据库
|

基于springboot的宠物领养饲养交流系统

宠物领养饲养交流管理平台基于Java与SSM框架,结合MySQL数据库,实现信息高效管理。系统支持实时查询、修改与互动,提升用户体验,满足现代宠物爱好者对便捷化、信息化服务的需求,助力宠物领养推广与管理智能化发展。

311 0
|
7月前
|
传感器 数据挖掘
|

为你的数据选择合适的分布:8个实用的概率分布应用场景和选择指南

面对真实数据不知该用哪种分布?本文精炼总结8个实战必备概率分布,涵盖使用场景、避坑指南与代码实现。从二元事件到计数、等待时间、概率建模,再到小样本处理,教你快速选择并验证合适分布,用对模型显著提升分析准确性。

575 10
|
7月前
|
JSON 监控 API
|

速卖通商品列表API秘籍!轻松获取商品列表数据

速卖通商品列表API支持关键词搜索、分类筛选、多语言返回及分页排序功能,适用于比价系统、库存监控、市场研究等场景。开发者可快速获取商品数据,构建自动化应用。

264 4
|
7月前
|
数据采集 JSON 监控
|

从 Prompt 到 Parser:一次知乎采集的曲折经历

本文探讨了使用大模型和Playwright技术在知乎进行数据采集时遇到的挑战及其优化策略。初始方案因页面异步加载、DOM结构变化和限制策略而失败。为了提高数据采集的稳定性和可靠性,提出了增强渲染层、适配器层和回退监控机制的改进方案。通过这些改进,可以有效应对页面异步加载和DOM变化带来的问题,同时规避限制策略的影响,从而实现更高效、稳定的数据采集。

270 0
|
7月前
|
机器学习/深度学习 算法 PyTorch
|

深度学习调参新思路:Hyperband早停机制提升搜索效率

Hyperband是一种高效的超参数调优算法,通过逐次减半策略在探索与利用间取得平衡。它先为大量配置分配少量资源,快速淘汰表现差的模型,将剩余资源集中用于有潜力的配置,从而加快优化过程。相比贝叶斯优化、随机搜索和遗传算法,Hyperband在处理大规模搜索空间时效率更高,尤其适合资源有限的场景。文章通过LSTM模型预测股价的实验展示了其工作机制与实际效果。

393 6
|
7月前
|
算法 API 数据安全/隐私保护
|

深度解析京东图片搜索API:从图像识别到商品匹配的算法实践

京东图片搜索API基于图像识别技术,支持通过上传图片或图片URL搜索相似商品,提供智能匹配、结果筛选、分页查询等功能。适用于比价、竞品分析、推荐系统等场景。支持Python等开发语言,提供详细请求示例与文档。

729 5
|
7月前
|
机器学习/深度学习 数据可视化 搜索推荐
|

基于python的汽车数据可视化、推荐及预测系统

本研究围绕汽车数据可视化、推荐及预测系统展开,结合大数据与人工智能技术,旨在提升用户体验与市场竞争力。内容涵盖研究背景、意义、相关技术如 Python、ECharts、协同过滤及随机森林回归等,探讨如何挖掘汽车数据价值,实现个性化推荐与智能预测,为汽车行业智能化发展提供支持。

253 8
|
7月前
|
监控 搜索推荐 算法
|

别光喊“用户至上”,电子商务体验要靠大数据来落地!

别光喊“用户至上”,电子商务体验要靠大数据来落地!

152 4
|
7月前
|
人工智能
|

AI推理方法演进:Chain-of-Thought、Tree-of-Thought与Graph-of-Thought技术对比分析

大语言模型推理能力不断提升,从早期的规模扩展转向方法创新。2022年Google提出Chain-of-Thought(CoT),通过展示推理过程显著提升模型表现。随后,Tree-of-Thought(ToT)和Graph-of-Thought(GoT)相继出现,推理结构由线性链条演进为树状分支,最终发展为支持多节点连接的图网络。CoT成本低但易错传,ToT支持多路径探索与回溯,GoT则实现非线性、多维推理,适合复杂任务。三者在计算成本与推理能力上形成递进关系,推动AI推理向更接近人类思维的方向发展。

465 4
|
7月前
|
数据采集 监控
|

那次为了快讯,我和秒级响应杠上了

本案例讲述了为实现新浪财经实时快讯监控而设计的爬虫方案。面对延迟高、频繁封禁、消息易丢失等问题,通过秒级轮询、多线程抓取与代理池策略,成功实现秒级响应。过程不仅涉及技术优化,更体现了对速度、稳定性与成本的权衡,揭示了技术应服务于业务本质的思考。

158 1
|
8月前
|
运维 算法 5G
|

天上的“WiFi”:低轨卫星互联网正在改变全球通信格局

天上的“WiFi”:低轨卫星互联网正在改变全球通信格局

389 5
|
8月前
|
数据采集 数据可视化 数据挖掘
|

从信息捕获到多维研判的链路解析

本案例构建了一套基于爬虫与数据分析的热点监测系统,通过代理IP与Python工具实现新闻内容抓取,结合时间、来源与关键词分析,打造“信息雷达”,助力舆情研判与趋势预测。

179 7
|
8月前
|
存储 分布式计算 大数据
|

MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!

MaxCompute全新推出了聚簇优化推荐功能。该功能基于 31 天历史运行数据,每日自动输出全局最优 Hash Cluster Key,对于10 GB以上的大型Shuffle场景,这一功能将直接带来显著的成本优化。

339 3
来自: 大数据计算 MaxCompute  版块
|
8月前
|
机器学习/深度学习 监控 算法
|

当手环懂你心事:未来的可穿戴情感分析设备

当手环懂你心事:未来的可穿戴情感分析设备

422 4
|
8月前
|
机器学习/深度学习 数据采集 搜索推荐
|

手表只会报步数?别闹了,用神经网络优化健康监测才是王道

手表只会报步数?别闹了,用神经网络优化健康监测才是王道

296 24
|
8月前
|
机器学习/深度学习 安全 Java
|

Java 大视界 -- Java 大数据在智能金融反洗钱监测与交易异常分析中的应用(224)

本文探讨 Java 大数据在智能金融反洗钱监测与交易异常分析中的应用,介绍其在数据处理、机器学习建模、实战案例及安全隐私等方面的技术方案与挑战,展现 Java 在金融风控中的强大能力。

290 0
|
8月前
|
机器学习/深度学习 监控 算法
|

[VLDB 2025]面向云计算平台的多模态慢查询根因排序

阿里云联合团队提出RCRank,用于云数据库慢查询根因分析。该方法通过多模态数据融合与神经网络模型,实现根因影响估计与排序,提升优化效率14%,被VLDB 2025接收。

309 0
|
8月前
|
JSON 监控 API
|

京东商品列表API秘籍!轻松获取商品列表数据

京东商品列表API是京东开放平台的核心接口,支持通过编程获取商品数据,适用于电商分析、价格监控等场景。提供关键词搜索、分类筛选、价格区间、排序及分页功能,采用HTTPS请求,返回JSON数据,具备高并发稳定性。附Python请求示例,便于快速集成调用。

281 0
|
8月前
|
机器学习/深度学习 传感器 算法
|

“机器人变聪明,得靠量子加速?”——聊聊量子计算在机器人学习里的玩法

“机器人变聪明,得靠量子加速?”——聊聊量子计算在机器人学习里的玩法

281 0
|
8月前
|
JSON 监控 供应链
|

京东SPU/SKU数据接口全解读:商品详情API文档

京东开放平台商品详情API提供标准化接口,支持获取SPU/SKU信息,适用于价格监控、库存管理等场景。支持HTTPS与JSON格式,具备高效性与扩展性。

373 0
|
8月前
|
人工智能 算法 计算机视觉
|

只需完成手画线稿,让AI算法帮你自动上色

本文介绍了如何利用图像处理技术生成手绘风格图像及自动上色的方法。内容涵盖图像灰度化、梯度调整、虚拟深度实现手绘效果,以及使用 Python 编程实现相关算法。此外,还介绍了 AI 工具 Style2Paints V4.5,其可为线稿自动上色并支持多种线稿类型,如插画和手绘铅笔稿,适用于艺术创作与图像处理领域。

610 0
|
9月前
|
机器学习/深度学习 分布式计算 Java
|

Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)

本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。

389 0
|
9月前
|
存储 搜索推荐 算法
|

Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)

本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。

367 0
|
9月前
|
测试技术 数据挖掘 弹性计算
|

阿里云性能测试机器规格是什么?

197 1
|
9月前
|
数据采集 监控 数据挖掘
|

“抓了个寂寞”:一次实时信息采集的意外和修复

本文讲述了一次因舆情监控系统采集频率不足导致的热点遗漏事件。原有系统每10分钟抓取一次微博热搜榜,类似于“定时拍照”,容易错过快速变化的热点。为解决这一问题,作者提出“滑动窗口”思路,即每次抓取时回看最近一段时间的数据,结合代理池和去重机制,提升热点捕捉的完整性与实时性,避免遗漏关键舆情节点。

161 0
|
9月前
|
存储 人工智能 监控
|

别再用U盘传CT片了!聊聊区块链+医疗记录共享的那些事儿

别再用U盘传CT片了!聊聊区块链+医疗记录共享的那些事儿

202 3
|
9月前
|
分布式计算 监控 大数据
|

大数据之路:阿里巴巴大数据实践——离线数据开发

该平台提供一站式大数据开发与治理服务,涵盖数据存储计算、任务调度、质量监控及安全管控。基于MaxCompute实现海量数据处理,结合D2与DataWorks进行任务开发与运维,通过SQLSCAN与DQC保障代码质量与数据准确性。任务调度系统支持定时、周期、手动运行等多种模式,确保高效稳定的数据生产流程。

395 0
|
9月前
|
机器学习/深度学习 搜索推荐 大数据
|

“用户没说,我却知道他想买啥?”——大数据+营销自动化到底有多狠?

“用户没说,我却知道他想买啥?”——大数据+营销自动化到底有多狠?

171 2
|
9月前
|
JSON 监控 API
|

天猫商品详情API接口技术解析与Python实现

天猫商品详情API(tmall.item_get)是天猫开放平台的核心接口,通过商品ID可获取标题、价格、库存、图片、SKU及评价等完整信息。支持HTTP请求与JSON返回格式,适用于电商数据分析、竞品监控与价格策略优化等场景。本文提供Python调用示例,包含签名生成与异常处理,便于快速集成与应用。

258 0
|
9月前
|
安全 Java API
|

Java 17 及以上版本核心特性在现代开发实践中的深度应用与高效实践方法 Java 开发实践

本项目以“学生成绩管理系统”为例,深入实践Java 17+核心特性与现代开发技术。采用Spring Boot 3.1、WebFlux、R2DBC等构建响应式应用,结合Record类、模式匹配、Stream优化等新特性提升代码质量。涵盖容器化部署(Docker)、自动化测试、性能优化及安全加固,全面展示Java最新技术在实际项目中的应用,助力开发者掌握现代化Java开发方法。

379 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69327
内容
128
活动
439808
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务