|
9月前
|
数据采集 缓存 NoSQL
|

分布式新闻数据采集系统的同步效率优化实战

本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。

363 1
|
9月前
|

鱼泡- ODPS十五周年实践分享

本视频介绍了鱼泡使用阿里云ODPS系列产品解决业务问题的最佳实践和业务收获。

196 0
|
9月前
|
机器学习/深度学习 人工智能 算法
|

Wi-Fi老是卡?不如试试让“深度学习”来当网络管家!

Wi-Fi老是卡?不如试试让“深度学习”来当网络管家!

374 68
|
9月前
|
SQL 分布式计算 大数据
|

别再迷信“上大数据就能飞”了!大数据项目成败的5个真相

别再迷信“上大数据就能飞”了!大数据项目成败的5个真相

194 6
|
9月前
|
人工智能 Kubernetes 数据可视化
|

Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化

本文回顾了一次关键词监测任务在容器集群中失效的全过程,分析了中转IP复用、调度节奏和异常处理等隐性风险,并提出通过解耦架构、动态IP分发和行为模拟优化采集策略,最终实现稳定高效的数据抓取与分析。

160 2
|
10月前
|
Android开发
|

HarmonyOS实战:打造极简HEventBus事件通知

本文介绍了在鸿蒙开发中实现类似EventBus的HEventBus工具,支持事件注册、反注册及多处接收等功能,适用于页面间通信。内容包含单例模式实现、事件管理与消息发送机制,适合日常开发使用。

157 1
|
10月前
|
开发者
|

HarmonyOS实战:GIF图下载突破5M限制保存到相册

本文介绍了在鸿蒙开发中解决图片下载问题的方法,包括突破5M流限制及识别图片真实格式(如GIF)。通过分段下载和类型判断,有效解决了大图下载失败及格式错误问题,适合开发者参考实践。

265 0
|
10月前
|
存储 人工智能 算法
|

数据不是“油”,是“命”:聊聊数据伦理这件小事

数据不是“油”,是“命”:聊聊数据伦理这件小事

237 0
|
10月前
|
算法
|

基于BigBangBigCrunch优化(BBBC)的目标函数求解算法matlab仿真

本程序基于BigBang-BigCrunch优化算法(BBBC)实现目标函数求解的MATLAB仿真,具备良好的全局搜索与局部收敛能力。程序输出适应度收敛曲线及多变量变化曲线,展示算法迭代过程中的优化趋势。使用MATLAB 2022A运行,通过图形界面直观呈现“大爆炸”与“大坍缩”阶段在解空间中的演化过程,适用于启发式优化问题研究与教学演示。

229 12
|
10月前
|
供应链 搜索推荐 前端开发
|

跨境卖家必看!2025年1688图片搜索相似商品新功能解锁全球供应链

1688图片搜索商品接口支持通过上传图片查找相似商品,适用于电商选品、竞品分析与供应链溯源。具备高精度匹配与灵活筛选功能,可识别多角度及局部特征,并支持结合类目、价格、起订量等参数过滤结果,提升选品效率与购物体验。

481 0
|
10月前
|
人工智能 自然语言处理 运维
|

AI“抢饭碗”还是“开外挂”?——内容生成技术对创意行业的真实影响

AI“抢饭碗”还是“开外挂”?——内容生成技术对创意行业的真实影响

248 0
|
10月前
|
机器学习/深度学习 运维 监控
|

医疗诊断中的异常检测实战——基于AutoEncoder与One-Class SVM的少样本学习

本文系统性阐述了医疗异常检测的技术革新与工程实现,涵盖从数据处理到模型部署的全流程。针对传统方法标注依赖强、维度灾难及类别不平衡等问题,提出双阶段架构:无监督特征学习结合单分类决策,显著提升早期肺癌检出率37%。文中详细解析了3D Residual AutoEncoder设计、损失函数优化及核函数选择等关键技术,并通过脑卒中检测案例验证性能优势。最终探讨生产环境下的高性能推理与持续学习机制,为多模态融合和可解释性增强提供前沿展望。该方案在少样本场景下表现出色,AUC提升12.5%,假阳性率降低38%,端到端推理速度达800ms/例以下。

246 4
|
10月前
|
消息中间件 机器学习/深度学习 Java
|

java 最新技术驱动的智能教育在线实验室设备管理与实验资源优化实操指南

这是一份基于最新技术的智能教育在线实验室设备管理与实验资源优化的实操指南,涵盖系统搭建、核心功能实现及优化策略。采用Flink实时处理、Kafka消息队列、Elasticsearch搜索分析和Redis缓存等技术栈,结合强化学习动态优化资源调度。指南详细描述了开发环境准备、基础组件部署、数据采集与处理、模型训练、API服务集成及性能调优步骤,支持高并发设备接入与低延迟处理,满足教育机构数字化转型需求。代码已提供下载链接,助力快速构建智能化实验室管理系统。

249 44
|
10月前
|
数据可视化 API vr&ar
|

AR不是玄学,是“搬来”的智能家居说明书!——增强现实在智慧家居里的那些玩法

AR不是玄学,是“搬来”的智能家居说明书!——增强现实在智慧家居里的那些玩法

243 3
|
10月前
|
缓存 人工智能 负载均衡
|

PAI 重磅发布模型权重服务,大幅降低模型推理冷启动与扩容时长

阿里云人工智能平台PAI 平台推出模型权重服务,通过分布式缓存架构、RDMA高速传输、智能分片等技术,显著提升大语言模型部署效率,解决模型加载耗时过长的业界难题。实测显示,Qwen3-32B冷启动时间从953秒降至82秒(降幅91.4%),扩容时间缩短98.2%。

630 1
来自: 人工智能平台PAI  版块
|
10月前
|
JSON 数据格式 开发者
|

淘宝天猫图片搜索商品接口(附代码示例)

拍立淘图片搜索接口支持开发者通过上传图片或提供图片URL,在淘宝、天猫平台搜索相似商品,适用于商品识别、比价等场景。接口采用POST(上传图片)或GET(图片URL)请求方式,返回JSON格式数据,包含商品ID、标题、价格、卖家信息、销量及图片URL等详情,参数可指定搜索关键词、类目、结果数量等,默认返回20条。

370 3
|
10月前
|
API UED 开发者
|

深入研究:淘宝天猫商品评论接口详解

淘宝天猫商品评论接口是用于获取商品用户评价信息的RESTful API,支持电商数据分析、竞品调研等需求。通过HTTP请求返回JSONP格式数据,包含评论内容、评分、时间及用户信息等字段。数据结构中,`rateDetail.rateList`为评论列表,`paginator`提供分页信息如每页数量、总评论数和最后一页页码,适用于情感分析与市场研究等多个领域。

185 1
|
10月前
|
人工智能 vr&ar 开发工具
|

“别只拿VR打游戏”:虚拟现实的市场前景,远比你想象得大

“别只拿VR打游戏”:虚拟现实的市场前景,远比你想象得大

151 4
|
10月前
|
机器学习/深度学习 PyTorch API
|

昇腾AI4S图机器学习:DGL图构建接口的PyG替换

本文探讨了在图神经网络中将DGL接口替换为PyG实现的方法,重点以RFdiffusion蛋白质设计模型中的SE3Transformer为例。SE3Transformer通过SE(3)等变性提取三维几何特征,其图构建部分依赖DGL接口。文章详细介绍了两个关键函数的替换:`make_full_graph` 和 `make_topk_graph`。前者构建完全连接图,后者生成k近邻图。通过PyG的高效实现(如`knn_graph`),我们简化了图结构创建过程,并调整边特征处理逻辑以兼容不同框架,从而更好地支持昇腾NPU等硬件环境。此方法为跨库迁移提供了实用参考。

338 3
|
10月前
|
JSON 监控 API
|

深入研究:shopee商品详情API接口Python攻略

Shopee 商品详情 API 是用于获取 Shopee 平台商品详细信息的接口,支持开发者提取商品标题、价格、库存、描述和图片等多维度数据。该接口适用于电商数据分析、比价工具开发及商品监控等场景。请求方式为 GET,需提供 itemid(商品 ID)和 shopid(店铺 ID),返回格式为 JSON。部分功能可能需要 API 密钥或访问令牌认证。以马来西亚站点为例,URL 为 shopee.com.myapi/v4/item/get,不同国家站点域名可能有所不同。

312 5
|
10月前
|
机器学习/深度学习 监控 Android开发
|

AppTrace技术全景:开发者视角下的工具链与实践经验

本文全面介绍了AppTrace技术,涵盖其核心价值、实现方案及实战经验。通过性能剖析、行为分析、异常诊断和优化验证等功能,开发者可深入了解应用行为并解决性能问题。文章详细解析了iOS与Android平台的原生工具(如Signpost API、Android Profiler)以及跨平台解决方案(如Firebase Performance Monitoring)。同时分享了列表滚动卡顿优化和内存泄漏排查等实战案例,并探讨商业级APM工具与开源工具的应用场景。最后展望了AI驱动异常检测、端侧机器学习分析等未来趋势,强调在追踪深度与用户隐私间寻求平衡的重要性。

161 2
|
10月前
|
Java 关系型数据库 MySQL
|

2025 年互联网公司校招 Java 面试题总结及答案实操示例解析

本项目基于Spring Boot 3与Java 17技术栈,围绕校园招聘常见面试题,提供核心知识点的实操示例。涵盖多线程、RESTful API设计、数据库操作(Spring Data JPA)、事务管理及异常处理等。通过完整代码实现与运行步骤,帮助理解用户管理、线程池配置等实际应用场景。资源包含项目结构、关键代码示例(如User实体类、UserService服务层、ThreadService多线程实现)及数据库迁移脚本,适合深入学习与实践。环境要求:JDK 17+、Maven 3.8+、MySQL 8.0+。

339 3
|
10月前
|
Java API 开发工具
|

1688寻原通API接口攻略

1688寻原通API接口攻略涵盖注册申请、开发准备、系统对接、测试调试及上线维护等步骤。开发前需阅读API文档,明确请求参数与响应格式,并选择合适语言(如Python、Java)和工具。对接系统时,注重调用方式与数据格式,确保稳定可靠。其核心功能包括商品采集上传、订单处理及数据同步,助力卖家高效管理跨境电商店铺,实现与1688平台的无缝连接。

181 0
|
10月前
|
API 数据安全/隐私保护 开发者
|

获取1688商品评论接口的实践指南

本文介绍如何通过1688开放平台的商品评论接口获取评论数据。1688作为B2B电商,其接口支持按商品ID提取评论内容、评分等信息,适用于情感分析与市场调研。调用流程包括注册认证、构建请求参数(如method、item_id)、生成MD5签名及发送HTTP请求,确保高效、安全地获取数据,助力商家优化产品与服务。

241 10
|
11月前
|
算法 数据安全/隐私保护
|

光学涡旋Talbot阵列照明器的matlab模拟与仿真

本程序基于MATLAB 2022a版本,模拟了光学涡旋Talbot阵列照明器的功能。该技术结合了光学涡旋与Talbot效应,广泛应用于激光材料加工、光镊技术和显微成像等领域。通过核心算法实现光学涡旋(具有螺旋相位分布的光束)和Talbot效应(周期性结构自像重现)的模拟。程序运行结果无水印,展示了光学涡旋的拓扑荷特性及近场/远场Talbot效应的原理,为设计同轴或不同轴排列的光学涡旋阵列提供了理论支持。

209 1
|
11月前
|
存储 数据采集 安全
|

数据治理:别让你的数据成为“垃圾堆”!

数据治理:别让你的数据成为“垃圾堆”!

262 3
|
11月前
|

HarmonyOS实战:Tab顶部滑动悬停功能实现

在鸿蒙开发中,实现Scroll嵌套List列表滑动时顶部悬停的效果是一个常见需求。本文详细介绍了如何通过布局和事件处理来实现这一功能。首先,使用Scroll嵌套List和Tab布局来构建基础页面。然后,通过设置nestedScroll属性为NestedScrollMode.PARENT_FIRST,确保外层Scroll优先滑动。接着,通过监听List和Scroll的滑动事件,处理滑动冲突,确保在特定条件下Scroll停止滑动,将滑动事件交给List处理。最终,实现了在上下滑动时优先让Scroll滑动的效果,并提供了扩展思路,如优先让List滑动等。

459 10
|
11月前
|
前端开发 开发者
|

HarmonyOS实战:自定义时间选择器

在鸿蒙开发中,官方提供的默认时间选择器可能无法满足特定需求。本文分享了自定义时间选择器的实现过程:通过 TextPicker 控件实现年月日及时分的选择,支持默认选中当前时间、精确到时分,并注意闰年计算与日期格式处理。代码中使用 Promise 处理耗时的日期计算,确保显示和逻辑正确。总结指出,尽管看似简单,但需关注时间计算、格式化等细节。快动手试试吧!

419 1
|
11月前
|
文字识别 Python
|

python做ocr卡证识别很简单

本示例展示了如何使用 `potencent` 库调用腾讯云 OCR 服务识别银行卡和身份证信息。代码中分别通过本地图片路径 (`img_path`) 和配置文件 (`potencent-config.toml`) 实现了银行卡和身份证的 OCR 识别,并输出结果。测试图片及结果显示了识别效果,需提前配置腾讯云的 `SECRET_ID` 和 `SECRET_KEY`。

489 8
|
11月前
|
算法 搜索推荐 vr&ar
|

试衣间OUT!增强现实让购物更丝滑

试衣间OUT!增强现实让购物更丝滑

375 14
|
11月前
|
JSON 监控 API
|

深度解析淘宝天猫店铺所有商品API接口,一文带你吃透

本文介绍如何通过淘宝开放平台的API获取店铺所有商品信息,适用于电商数据分析、竞品监控等场景。核心接口为`tb.items.onsale.get`(出售中商品)和`tb.items.inventory.get`(库存商品列表)。接口采用HTTP POST请求,返回JSON格式数据,包含商品总数、列表及各商品的ID、标题、价格、图片URL等关键信息,并提供Python实现示例,助力开发者高效获取与处理数据。

408 3
|
11月前
|
SQL 安全 大数据
|

大数据时代的安全挑战——数据泄露如何悄然发生?

大数据时代的安全挑战——数据泄露如何悄然发生?

450 18
|
11月前
|
数据采集 Web App开发 前端开发
|

Python爬虫中time.sleep()与动态加载的配合使用

Python爬虫中time.sleep()与动态加载的配合使用

279 8
|
11月前
|
人工智能 监控 安全
|

5G技术在安全监控中的应用:从“慢半拍”到“秒响应”

5G技术在安全监控中的应用:从“慢半拍”到“秒响应”

422 13
|
11月前
|
数据采集 运维 数据可视化
|

别再靠拍脑袋了!搞懂数据治理框架,企业才有未来

别再靠拍脑袋了!搞懂数据治理框架,企业才有未来

354 11
|
11月前
|
分布式计算 运维 大数据
|

5G+大数据:这不是“快上加快”,而是“聪明加聪明”

5G+大数据:这不是“快上加快”,而是“聪明加聪明”

220 13
|
11月前
|
机器学习/深度学习 算法 PyTorch
|

Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南

深度学习近年来在多个领域取得了显著进展,但其核心组件——人工神经元和反向传播算法自提出以来鲜有根本性突破。穿孔反向传播(Perforated Backpropagation)技术通过引入“树突”机制,模仿生物神经元的计算能力,实现了对传统神经元的增强。该技术利用基于协方差的损失函数训练树突节点,使其能够识别神经元分类中的异常模式,从而提升整体网络性能。实验表明,该方法不仅可提高模型精度(如BERT模型准确率提升3%-17%),还能实现高效模型压缩(参数减少44%而无性能损失)。这一革新为深度学习的基础构建模块带来了新的可能性,尤其适用于边缘设备和大规模模型优化场景。

435 16
|
12月前
|
安全 JavaScript 前端开发
|

引流器即服务(Drainer-as-a-Service)的兴起 | 了解引流器即服务(DaaS)

近期,X(原推特)平台遭遇一波账号接管攻击,多个知名账户被入侵以传播窃取加密货币的恶意内容。这些攻击主要依赖“加密货币引流器”及“引流器即服务”(DaaS)平台实施。DaaS提供现成脚本、智能合约等工具,帮助攻击者从受害者钱包中转移资产。2021年起,此类威胁逐渐兴起,但未引起足够关注。文章深入分析了DaaS运作模式及其影响,并以CLINKSINK恶意软件为例剖析具体攻击手法。为防范此类威胁,建议启用多因素认证(MFA),警惕社会工程学手段,使用硬件钱包提升安全性。DaaS因低门槛、高回报特点,可能吸引更多恶意参与者,需持续关注其演变趋势。

212 0
|
12月前
|
运维 5G vr&ar
|

5G+增强现实:科技交汇的未来之光

5G+增强现实:科技交汇的未来之光

317 10
|
12月前
|
数据采集 Web App开发 iOS开发
|

Python 爬虫如何伪装 Referer?从随机生成到动态匹配

Python 爬虫如何伪装 Referer?从随机生成到动态匹配

699 2
|
12月前
|
算法 搜索推荐 大数据
|

数据驱动增长:大数据与营销自动化的结合之道

数据驱动增长:大数据与营销自动化的结合之道

265 3
|
12月前
|
关系型数据库 MySQL 大数据
|

大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)

本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。

353 5
|
12月前
|
SQL 关系型数据库 MySQL
|

大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)

本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。

400 11
|
12月前
|
存储 分布式计算 大数据
|

数据湖——大数据存储的新思维,如何打破传统束缚?

数据湖——大数据存储的新思维,如何打破传统束缚?

432 16
|
12月前
|
监控 小程序 搜索推荐
|

体育比分小程序怎么提示日活

本内容探讨了如何通过多方面策略提升体育比分小程序的日活跃用户(DAU)。首先优化核心功能,如实时推送、个性化订阅与比赛提醒;其次建立用户激励体系,包括签到奖励、预测小游戏和等级系统;再者增强社交功能,例如球迷社区讨论和好友对战;同时利用数据分析优化用户体验,并结合营销推广扩大影响力。代码片段展示了部分数据处理逻辑,确保功能实现的精准性。建议根据数据表现逐步完善功能,优先解决关键问题以提高留存和活跃度。

267 7
|
12月前
|
弹性计算 资源调度 算法
|

阿里云 Elasticsearch Serverless 检索增强型8.17 版免费邀测!

阿里云Elasticsearch Serverless检索增强型8.17版现已开放邀测

548 59

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69316
内容
128
活动
439802
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务