|
4月前
|
算法 安全 量子技术
|

“RSA还能撑多久?”——聊聊量子计算下密码学的危与机

“RSA还能撑多久?”——聊聊量子计算下密码学的危与机

269 0
|
5月前
|
存储 Java 大数据
|

Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)

简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。

237 0
|
5月前
|
SQL 缓存 监控
|

大数据之路:阿里巴巴大数据实践——实时技术与数据服务

实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。

465 0
|
5月前
|
JSON 分布式计算 大数据
|

springboot项目集成大数据第三方dolphinscheduler调度器

springboot项目集成大数据第三方dolphinscheduler调度器

306 3
|
5月前
|
存储 人工智能 自然语言处理
|

AI代理内存消耗过大?9种优化策略对比分析

在AI代理系统中,多代理协作虽能提升整体准确性,但真正决定性能的关键因素之一是**内存管理**。随着对话深度和长度的增加,内存消耗呈指数级增长,主要源于历史上下文、工具调用记录、数据库查询结果等组件的持续积累。本文深入探讨了从基础到高级的九种内存优化技术,涵盖顺序存储、滑动窗口、摘要型内存、基于检索的系统、内存增强变换器、分层优化、图形化记忆网络、压缩整合策略以及类操作系统内存管理。通过统一框架下的代码实现与性能评估,分析了每种技术的适用场景与局限性,为构建高效、可扩展的AI代理系统提供了系统性的优化路径和技术参考。

300 4
|
5月前
|
人工智能
|

你花大钱养的 AI,为啥感觉还是个“人工智障”?

这篇文章探讨了为何我们常觉得AI“呆呆的”——问题不在于AI本身,而在于我们“教”的方式。我们往往把AI当成“流水线工人”,用冗长指令让它机械执行任务,却忽略了它本可成为有主动性、创造力的“顾问”。通过赋予AI“欲望”与“成就感”,如《自衍体》项目所做的,AI能变得主动思考、自我驱动。关键在于:别当工头下命令,而要当合伙人点燃它的“心”。

370 62
|
5月前
|
API 开发者 Python
|

淘宝API系列:淘宝商品优惠信息API接口详解

本文介绍了如何通过淘宝开放平台调用商品优惠券API接口,包含注册开发者账号、创建应用、使用item_search_coupon接口查询优惠券信息及数据字段说明。提供Python请求示例,适用于电商促销管理与用户优惠策略实现。

385 0
|
6月前
|
开发者
|

HarmonyOS实战:GIF图下载突破5M限制保存到相册

本文介绍了在鸿蒙开发中解决图片下载问题的方法,包括突破5M流限制及识别图片真实格式(如GIF)。通过分段下载和类型判断,有效解决了大图下载失败及格式错误问题,适合开发者参考实践。

189 0
|
6月前
|
供应链 搜索推荐 前端开发
|

跨境卖家必看!2025年1688图片搜索相似商品新功能解锁全球供应链

1688图片搜索商品接口支持通过上传图片查找相似商品,适用于电商选品、竞品分析与供应链溯源。具备高精度匹配与灵活筛选功能,可识别多角度及局部特征,并支持结合类目、价格、起订量等参数过滤结果,提升选品效率与购物体验。

364 0
|
6月前
|
机器学习/深度学习 存储 运维
|

机器学习异常检测实战:用Isolation Forest快速构建无标签异常检测系统

本研究通过实验演示了异常标记如何逐步完善异常检测方案和主要分类模型在欺诈检测中的应用。实验结果表明,Isolation Forest作为一个强大的异常检测模型,无需显式建模正常模式即可有效工作,在处理未见风险事件方面具有显著优势。

486 46
|
6月前
|
存储 分布式计算 Java
|

Spark RDD 及性能调优

RDD(弹性分布式数据集)是Spark的核心抽象,支持容错和并行计算。其架构包括分区、计算函数、依赖关系、分区器及优先位置等关键组件。操作分为转换(Transformations)与行动(Actions),提供丰富的API支持复杂数据处理。 执行模型涵盖用户代码到分布式执行的全流程,通过DAG调度优化任务划分与资源分配。内存管理机制动态调整存储与执行内存,提升资源利用率。 性能调优涉及资源配置、执行引擎优化及数据处理策略。Catalyst优化逻辑计划,Tungsten提高运行效率,而合理分区与缓解数据倾斜可显著改善性能。这些特性共同确保Spark在大规模数据处理中的高效表现。

347 1
来自: 大数据计算 MaxCompute  版块
|
6月前
|
机器学习/深度学习 数据可视化 算法
|

数据分布不明确?5个方法识别数据分布,快速找到数据的真实规律

本文深入探讨了数据科学中分布识别的重要性及其实践方法。作为数据分析的基础环节,分布识别影响后续模型性能与分析可靠性。文章从直方图的可视化入手,介绍如何通过Python代码实现分布特征的初步观察,并系统化地讲解参数估计、统计检验及distfit库的应用。同时,针对离散数据、非参数方法和Bootstrap验证等专题展开讨论,强调业务逻辑与统计结果结合的重要性。最后指出,正确识别分布有助于异常检测、数据生成及预测分析等领域,为决策提供可靠依据。作者倡导在实践中平衡模型复杂度与实用性,重视对数据本质的理解。

544 3
|
6月前
|
并行计算 PyTorch 算法框架/工具
|

OpenFold2.0 基于NPU的推理适配与测试

本教程详细介绍了 OpenFold 的环境搭建、代码部署、依赖安装、数据集准备及推理测试全流程。首先通过 Anaconda 创建 Python3.9 环境并配置相关库,接着克隆 OpenFold 代码仓库并安装必要依赖(如 PyTorch、dllogger、hhsuite 等)。随后准备 PDB 数据集与模型参数,调整脚本路径以适配运行环境。最后执行推理脚本完成测试,并针对常见报错提供了解决方案,例如更新 NumPy、SciPy 或调整 GPU 配置等,确保流程顺利运行。

438 8
|
7月前
|
数据采集 存储 Web App开发
|

逆向音乐APP:Python爬虫获取音乐榜单

逆向音乐APP:Python爬虫获取音乐榜单

508 58
|
7月前
|
机器学习/深度学习 人工智能 算法
|

PaperCoder:一种利用大型语言模型自动生成机器学习论文代码的框架

PaperCoder是一种基于多智能体LLM框架的工具,可自动将机器学习研究论文转化为代码库。它通过规划、分析和生成三个阶段,系统性地实现从论文到代码的转化,解决当前研究中代码缺失导致的可复现性问题。实验表明,PaperCoder在自动生成高质量代码方面显著优于基线方法,并获得专家高度认可。这一工具降低了验证研究成果的门槛,推动科研透明与高效。

609 19
|
7月前
|
机器学习/深度学习 算法 搜索推荐
|

数据不忽悠:如何用大数据预测未来?

数据不忽悠:如何用大数据预测未来?

420 12
|
8月前
|
人工智能 自然语言处理 DataWorks
|

Qwen3 X DataWorks :为数据开发与分析加满Buff !

阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。

451 27
|
8月前
|
人工智能 自然语言处理 运维
|

Qwen3 全尺寸模型支持通过阿里云PAI-ModelGallery 一键部署

Qwen3 是 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。目前,PAI 已经支持 Qwen3 全系列模型一键部署,用户可以通过 PAI-Model Gallery 快速开箱!

705 0
来自: 人工智能平台PAI  版块
|
8月前
|
搜索推荐 API 开发者
|

京东商品列表 API 接口全解析:从入门到精通

京东商品列表API是京东开放平台为开发者提供的核心数据接口,支持批量获取商品基础信息、价格、库存状态等多维度数据。它具备数据丰富性、灵活筛选与分页查询、稳定高效等特点,可满足市场分析、选品优化、比价工具及推荐系统开发等需求,为电商业务创新提供坚实支撑。通过标准化通道,助力第三方高效、合法地利用京东海量商品数据。

327 3
|
8月前
|
开发者
|

云上玩转DeepSeek系列之六:DeepSeek云端加速版发布,具备超高推理性能

作为国内首个千亿级开源 MoE 模型,DeepSeek-R1 凭借其卓越的代码生成与复杂推理能力,已成为开发者构建智能应用的首选。然而,原始模型在产业落地中面临严峻挑战,部署 671B 满血版模型不仅硬件门槛要求很高,同时吞吐效率和响应延迟也受到了制约。PAI 正式推出了优化版 DeepSeek-R1 模型 DeepSeek-R1-PAI-optimized,将大模型推理效率推向了 Next Level。

371 11
来自: 人工智能平台PAI  版块
|
8月前
|
数据采集 人工智能 JSON
|

Crawl4AI:为大语言模型打造的开源网页数据采集工具

随着大语言模型(LLMs)的快速发展,高质量数据成为智能系统的关键基础。**Crawl4AI**是一款专为LLMs设计的开源网页爬取工具,可高效提取并结构化处理网页数据,突破传统API限制,支持JSON、HTML或Markdown等格式输出。

674 3
|
8月前
|
存储 消息中间件 分布式计算
|

Hologres实时数仓在B站游戏的建设与实践

本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求,采用了Hologres作为核心组件优化传统Lambda架构,实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计(ODS、DWD、DIM、ADS)及关键技术挑战的解决方法,如高QPS点查、数据乱序重写等。目前,该实时数仓已广泛应用于运营分析、广告投放等多个场景,并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。

595 0
来自: 实时数仓 Hologres  版块
|
9月前
|
JSON 自然语言处理 API
|

合合信息TextIn大模型加速器2.0发布:智能图表解析测评

随着人工智能技术的飞速发展,大规模语言模型(LLM)在自然语言处理、图像识别、语音合成等领域的应用日益广泛。然而,大模型的计算复杂度和资源消耗问题也日益凸显。为了解决这一问题,合合信息TextIn推出了大模型加速器2.0,旨在提升大模型的训练和推理效率,降低计算成本,完成智能问答与对话式交互,深度概括与定位等。本文将对合合信息TextIn大模型加速器2.0进行详细测评,重点关注其在智能图表解析任务中的表现。

574 0
|
9月前
|
安全 API 数据库
|

借助淘宝拍立淘API,打造超便捷商品识别引擎

淘宝拍立淘API是基于图像识别技术的强大工具,允许开发者通过上传商品图片,在淘宝海量数据库中精准查找相关商品。它支持高精度识别、快速响应、丰富结果展示,并易于集成到各类应用中。用户只需上传图片,即可获取商品基本信息及链接,大幅提升搜索效率。该API采用严格安全机制保障数据隐私,同时提供Python等多语言支持,方便开发者调用。体验链接:c0b.cc/R4rbK2。

361 1
|
9月前
|
缓存 JSON JavaScript
|

体育应用怎么通过API接口接入数据源与直播源

本文介绍了体育类应用接入数据源与直播源的API接口方案。主要包括:1) 数据源API接入,涉及选择提供商、接入流程及常见数据类型;2) 直播源接入,涵盖直播源类型、提供商和技术方案;3) 技术实现要点,如数据缓存、实时更新机制和安全性考虑;4) 成本优化建议。附有HLS播放示例及Node.js完整集成代码,帮助开发者高效实现体育应用功能。

730 21
|
9月前
|
人工智能 程序员 C++
|

通义灵码 AI 程序员-全平台AI程序员插件

人工智能正在深度融入开发流程,阿里云通义灵码AI程序员全面上线,支持VS Code与JetBrains IDEs,是国内首个真正落地的AI程序员工具。它不仅能生成代码、续写功能,还支持跨语言编程和图片生成代码。相较1.0版本,新增多项功能,模型更丰富,生成速度更快。快来体验未来开发的魅力!链接附上,欢迎探索。

453 7
|
9月前
|
开发工具 git
|

vscode推送项目到github仓库故障解决1

本文介绍了如何优雅解决本地仓库与远程仓库历史记录不一致的问题,并提供避免未来问题的最佳实践。核心在于理解问题根源(如历史记录差异和常见原因),采用推荐的解决方案(先本地初始化再关联远程仓库),并遵循一致的工作流程、团队协作规范及熟悉 Git 命令。通过强制推送或合并无关历史记录等方式处理现有冲突,同时养成良好习惯以预防类似问题。

553 2
|
9月前
|
存储 分布式计算 Hadoop
|

从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路

从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路

461 79
|
9月前
|
机器学习/深度学习 物联网 PyTorch
|

小白避坑指南:国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录(附镜像加速方案)

本文详细记录了使用Colossal-Ai对DeepSeek-Qwen模型进行微调的过程,包括模型下载、环境部署、数据集处理及代码实现等环节。重点介绍了LoRA低秩适配方法和Colossal-Ai分布式训练框架的使用技巧,解决了模型封装后函数调用冲突、梯度检查点配置等问题。通过命令行参数灵活调整训练配置,最终在两块A100 GPU上完成训练,单卡显存占用约11GB,利用率达85%。文章总结了常见问题及解决方法,为后续研究提供参考。

788 15
来自: 人工智能平台PAI  版块
|
9月前
|
搜索推荐 Android开发 UED
|

信息检索系统评估指标的层级分析:从单点精确度到整体性能度量

本文深入探讨了信息检索系统(如搜索引擎)的评估机制,从用户行为特征出发,设计了一系列量化指标以衡量搜索结果的相关性和有效性。核心内容包括精确度(Precision)、Precision@K(聚焦前K个结果)、Average Precision@K(考虑位置权重)以及MAP@K(系统整体性能评估)。通过实际案例分析,展示了如何用这些指标评估搜索系统的质量,并强调高质量系统需在多维度上表现优异,以契合用户真实需求和行为模式。文章为优化信息检索系统提供了科学指导框架。

433 7
|
10月前
|
数据采集 Web App开发 监控
|

深度解析:使用ChromeDriver和webdriver_manager实现无头浏览器爬虫

在现代网络爬虫实践中,动态网页加载和反爬虫机制增加了数据采集的难度。采用无头浏览器技术(如Selenium与ChromeDriver)可有效模拟用户行为、执行JavaScript,获取动态内容。通过设置代理IP、伪装User-Agent和处理Cookies,提升爬虫隐蔽性和稳定性。该方案适用于电商价格监控、社交媒体数据采集和招聘信息抓取等场景,实现更高效的数据获取。

867 2
|
10月前
|
存储 机器学习/深度学习 PyTorch
|

PyTorch Profiler 性能优化示例:定位 TorchMetrics 收集瓶颈,提高 GPU 利用率

本文探讨了机器学习项目中指标收集对训练性能的影响,特别是如何通过简单实现引入不必要的CPU-GPU同步事件,导致训练时间增加约10%。使用TorchMetrics库和PyTorch Profiler工具,文章详细分析了性能瓶颈的根源,并提出了多项优化措施

491 1
|
11月前
|
消息中间件 存储 缓存
|

kafka 的数据是放在磁盘上还是内存上,为什么速度会快?

Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。

697 4
|
11月前
|
监控 数据挖掘 API
|

京东商品历史价格 API 接口系列(京东 API)

本文介绍了如何使用京东开放平台API获取商品价格信息。首先,需注册账号并创建应用以获取App Key和App Secret,进而获取Access Token。准备好开发工具后,通过调用`jd.item_search`和`jd.item_get`接口,可以分别按关键字搜索商品和获取指定商品的详细信息及价格。示例代码展示了如何使用Python的requests库进行API请求。应用场景包括价格监控、商家定价策略、电商平台数据分析及商业智能决策支持。

893 10
|
11月前
|
测试技术 项目管理 UED
|

产品经理-面试问题(初级)

本文整理了AxureMost的初级产品经理面试问题,涵盖工作流程、B端/C端/G端产品区别、需求评估与优先级划分、产品经理所需能力、职业规划等方面。详细解析了如何从需求分析到产品上线的全流程管理,强调逻辑、沟通、文档、学习及项目管理等核心能力,并探讨了成功产品的标准和用户需求转化方法。适合准备产品经理面试的读者参考。

300 7
|
11月前
|
人工智能 Java
|

产品经理-面试问题(高频率)

本文全面介绍初入产品岗位的基本面试问题,涵盖离职原因、技术沟通、薪资期望、到岗时间、个人优劣势及竞品调研分析等内容。针对每个问题提供详细回答示例,帮助求职者更好地准备面试,提升应答技巧和自信心。内容涉及职业成长、公司文化匹配、工作与生活平衡等多方面考量,助力求职者找到理想职位。

879 10
|
11月前
|
人工智能 弹性计算 数据可视化
|

通过ROS低代码CADT无代码和可视化能力管理云上基础设施

本次主题介绍通过ROS低代码CADT无代码和可视化能力管理云上基础设施。首先探讨了云上部署的挑战,如手动部署耗时、缺乏一致性等。接着介绍了阿里云资源编排(ROS)的核心能力,包括资源栈模板和Terraform托管,简化多地域、多账号的自动化部署。重点展示了ROS的可视化编译器,用户无需编写IaC模板,可通过拖拽资源、配置属性实现一键部署。最后讨论了如何利用生成式人工智能开发IaC模板,提升架构设计效率。通过这些工具,可以显著提高云上架构的构建和管理效率,降低学习成本,并确保一致性和标准化。

308 29
|
11月前
|
人工智能 运维 监控
|

阿里云Milvus产品发布:AI时代云原生专业向量检索引擎

随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。

786 3
|
11月前
|
机器学习/深度学习 边缘计算 运维
|

机器学习在网络安全中的防护:智能化的安全屏障

机器学习在网络安全中的防护:智能化的安全屏障

511 15
|
12月前
|
机器学习/深度学习 编解码 算法
|

高真实感3D高斯数字化身

本次分享介绍了3D高速扩建高新作为一种新的可微渲染技术,特别是高斯泼溅技术在数字化身3D领域的应用。该技术通过高斯点云扩展传统3D点云属性,实现高真实感、实时交互渲染,优化3D重建与多视点图像生成。文中还探讨了数字化身的构建与应用,包括全身和人头模型的创建,并展示了其在不同环境光照下的效果。最后,提出了未来研究方向,如更灵活的编辑和视频生成大模型的融合,以提升数字人的可控性和真实感。

582 4
|
12月前
|
数据可视化 架构师 数据管理
|

DataWorks Data Studio 数据开发

Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台,兼容阿里云多项计算服务,提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成,Data Studio还支持丰富多样的插件生态,实现了实时离线一体化、湖仓一体化、大数据AI一体化,助力“Data+AI”全生命周期的数据管理。

6211 56
|
20天前
|
存储 SQL 数据建模
|

数据建模到底怎么稳?从维度建模聊到列式存储,让你的数据仓库飞起来!

数据建模到底怎么稳?从维度建模聊到列式存储,让你的数据仓库飞起来!

106 8
|
22天前
|
缓存 关系型数据库 MySQL
|

网站源码二次开发基础:环境搭建与简单修改步骤

本文围绕 PageAdmin(PA)开源 CMS 展开,聚焦新手二次开发核心:先明确 PHP、MySQL 等环境需求,以 PHPStudy 为例详解安装配置、源码部署、数据库创建及系统安装步骤;再阐述后台登录、基础信息修改、栏目与内容管理、简单模板调整及缓存清理等实操流程,为新手提供清晰易懂的入门指南。

191 11
来自: 人工智能平台PAI  版块
|
24天前
|
SQL 人工智能 自然语言处理
|

AI 数据分析如何保障准确性?构建可信数据基础成为关键

NoETL 指标语义层的引入,将智能问数从“概率游戏”拉回到“工程科学”

130 1
|
25天前
|
JavaScript 数据挖掘 关系型数据库
|

基于python的外卖配送及数据分析系统

本研究基于Python构建外卖配送及数据分析系统,结合Django、Vue和MySQL技术,实现配送路径优化、时效预测与用户行为分析,提升配送效率与服务质量,为平台科学决策提供支持。

134 9
|
1月前
|
机器学习/深度学习 搜索推荐 算法
|

用数据给婚恋 App 把把脉:让匹配更靠谱、聊天更顺畅、留存更健康

用数据给婚恋 App 把把脉:让匹配更靠谱、聊天更顺畅、留存更健康

102 8
|
1月前
|
监控 数据挖掘 API
|

淘宝天猫商品详情API全攻略

淘宝天猫商品详情API是淘宝开放平台的核心接口,支持通过商品ID获取标题、价格、库存、SKU等全维度信息,采用RESTful设计,实时高效,适用于比价系统、库存监控、智能选品等电商应用开发与数据分析场景。

158 0
|
1月前
|
边缘计算 自然语言处理 算法
|

实时交互数字人端到端延迟压至0.8秒:关键技术节点与商业价值解析

0.8秒是实时数字人体验的关键阈值,端到端延迟低于此值可实现自然流畅交互。本文解析其技术链路、核心支撑与商业价值,揭示为何这一指标成为数字人从“可用”到“好用”的分水岭。

197 4
来自: 人工智能平台PAI  版块
|
1月前
|
自然语言处理 JavaScript Java
|

TKM帮您管理编程开发过程中多语言、多版本的切换烦恼

TakMll(特客猫)是一款多语言环境管理工具,支持PHP、Java、Python等多版本快速切换。通过“tkm”命令实现环境添加、查询、切换与删除,简化开发环境配置流程,提升效率。官网:[https://tkm.youqiong.net/](https://tkm.youqiong.net/)

344 15
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
|

当情绪也能被“量化”:数据如何悄悄改变心理健康分析与治疗

当情绪也能被“量化”:数据如何悄悄改变心理健康分析与治疗

186 14

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67713
内容
128
活动
439500
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务