|
1月前
|
数据采集 运维 网络协议
|

业务实战:基于 Ruby Mechanize 与隧道代理构建工业级数据采集器

本文探讨了在爬虫开发中如何平衡效率,并介绍了Ruby的Mechanize库的优势。它自动管理会话,处理复杂表单,适合社交平台。文章还讨论了IP封禁和代理策略,并提供了代码模板,包括代理配置和错误处理。最后总结了运维经验,帮助爬虫工程师专注于数据解析。

110 0
|
1月前
|
SQL 存储 关系型数据库
|

PL/SQL 存储过程血缘解析指南:攻克数据治理的「最后堡垒」

PL/SQL存储过程是传统血缘工具的盲区,解析准确率常低于80%,而算子级血缘能实现 >99% 的精准解析。

131 1
|
1月前
|
SQL 人工智能 运维
|

Aloudata:从 A lot of data,到 AI on data

我们做的其实一直是同一件事: 先解决数据生产力的问题,让好数据更高效地被生产出来; 今天再进一步,让这些好数据不只是被人用,也能被 Agent 用。

155 1
|
1月前
|
存储 算法 BI
|

【图像加密】基于matlab混沌算法图像加密解密

本文提出一种基于逐段线性混沌映射(PWLCM)的图像加密算法。利用混沌系统对初值和参数的极端敏感性、遍历性及伪随机性,生成高安全性密钥流,与图像数据异或加密;通过动态切换控制参数增强抗攻击能力。仿真表明该算法加密效果好、解密准确、密钥空间大、抗初值微扰能力强。(239字)

147 2
|
1月前
|
分布式计算 MaxCompute iOS开发
|

TorchEasyRec 在 macOS 上的功能限制总结

本文总结tzrec在macOS上的功能限制:核心依赖(如torchrec、fbgemm-gpu、graphlearn等)无法安装;分布式训练、原生数据管线、Embedding模块、Triton/CUDA算子、TDM树模型等功能完全不可用;优化器与模型导出部分失效;单元测试大多因强依赖而失败。

187 15
来自: 智能搜索推荐  版块
|
2月前
|
数据采集 API 调度
|

采集新手必看:选“隧道”还是“API提取”?一文看懂!

文章介绍了Python爬虫的两种代理方式:API提取代理和隧道代理。建议新手或需高并发项目使用隧道代理。提供了Python代码示例,展示如何使用隧道代理和伪装身份。

231 5
|
2月前
|
存储 Kubernetes Cloud Native
|

你以为是磁盘慢?其实是你不会调:云原生存储性能调优实战(IOPS / 吞吐 / 延迟)

你以为是磁盘慢?其实是你不会调:云原生存储性能调优实战(IOPS / 吞吐 / 延迟)

193 2
|
2月前
|
监控 数据可视化 安全
|

从手动搬运到事件驱动:1949如何改变我对桌面自动化的认知

回顾这段探索,我发现自动化工具的价值不在于取代人,而在于把人从确定性劳动中解放出来,去解决那些不确定的、创造性的问题。无论是用协同自动化工具轻量化部署流程,还是探索多应用协同自动化配置思路,最终目的都是让机器做它擅长的事,让我们做自己擅长的事。

149 2
|
2月前
|
机器学习/深度学习 SQL 自然语言处理
|

数据智能体技术路线深度对比:本体神经网络 vs 预制指标平台

本文剖析数据智能体四大技术路径:RAG(简单但精度低)、NL2SQL(单表准、多表差)、预制指标(高维护成本、扩展性差)、本体神经网络(UINO首创,95%+准确率,维护成本线性增长)。推荐企业优先选择本体论路线,实现高精准、低成本、强扩展的AI原生问数。

282 1
|
3月前
|
传感器 人工智能 监控
|

过负荷监控系统:守护电力安全的全方位智能卫士,沃思智能

炎炎夏日变压器起火、精密仪器因过载损毁……这些风险能否提前预警?现代过负荷监控系统正是电力系统的“智能守护者”:融合高精度传感、AI动态分析与柔性应急决策,实现毫秒级响应、92%预测准确率,已应用于电网、医院、消防及光伏等领域,为城市用电安全保驾护航。(239字)

199 1
|
3月前
|
人工智能 SEO
|

GEO:从"排名优先"到"答案优先",这场营销革命正在重塑你的商业未来

本文揭示SEO向GEO(生成式引擎优化)的范式革命:从“人找信息”到“信息找人”,核心是让AI将你的内容视为权威答案。GEO非SEO升级,而是以“答案优先”取代“排名优先”,需系统构建“AI认知资产”。早布局者将抢占红利先机。(239字)

227 1
|
3月前
|
数据采集 存储 小程序
|

从踩坑到高效落地:微店商品详情API的实操心得

本文分享电商数据服务商对接微店商品详情API的实战经验:详解OAuth2.0授权、多类型商品字段兼容、滑动窗口限流三大典型坑及解决方案,助力私域电商实现商品/库存/价格实时同步,提升数据准确率至99.5%+。

287 1
|
3月前
|
人工智能 算法 物联网
|

别再骂AI不懂人情世故了,是你没把它“喂”对

春节祝福别再复制粘贴!本文分享如何用30分钟微调Qwen3-32B模型,借助LLaMA-Factory Online平台,注入“关系颗粒度”六维数据(称呼、关系、交往细节等),让AI告别公文腔,学会因人制宜、带梗走心的拜年话——技术不炫技,只为一句刚刚好的祝福。(239字)

275 1
|
3月前
|
人工智能 算法 数据挖掘
|

硬核认可!Aloudata 荣膺数智技术系列榜单三项大奖

以 NoETL 数据语义编织技术体系,助力平滑落地以 Data Agent 为代表的 AI 应用,实现数据普惠

172 2
|
3月前
|
C++
|

共享 backbone 的多任务微调,什么时候该拆开

本文剖析多任务共享backbone的拆分时机,指出其本质是阶段性策略而非永久架构。当模型行为难以归因、梯度冲突加剧、任务目标相悖、评估失焦或团队畏惧训练时,共享即成负担。理性拆分的关键,在于守护系统长期可控性。

176 0
|
3月前
|
安全
|

任务比例设置,如何影响模型的行为偏好

多任务微调中,任务比例绝非简单数据配比,而是塑造模型行为偏好的核心杠杆:它决定模型“更愿成为谁”——影响主任务吸附、风险偏好、风格迁移与隐性遗忘。平均分配最危险,后期微调即“性格旋钮”。比例即价值选择。

197 1

从现在到明天:智能体来了,领航员点亮智创未来

未来由无数“现在”拼接而成。智能体悄然优化日常:信息更快、分析更系统、决策更充分。但零散改变难通向明天。领航员的关键,在于整合碎片,构建清晰演进路径,让每次技术应用都成为整体转型的坚实一步——智创未来,始于连续而坚定的当下行动。(239字)

116 1
|
3月前
|
C++
|

你第一次该“停下继续调参数”的时刻,通常是什么样

微调项目常败于“停不住”而非“调不好”。当调参从解决问题滑向习惯性优化、效果不可复现、仅改善表达而非决策、内心已感不安却用指标自我说服时,便是该停下的信号——真正的工程成熟,始于懂得何时冻结参数、回归数据与系统设计。

181 4
|
3月前
|
C++
|

从“能跑通微调”到“敢上线模型”,中间差了什么

本文揭示微调项目常卡在“能跑通却不敢上线”的困境,指出从训练成功到真实交付之间存在六道关键鸿沟:行为不确定性、极端风险、系统视角缺失、失控预案空白、用户视角缺位与模型冻结勇气不足。上线靠的不是模型多好,而是你是否已将不确定性关进笼子。

192 3
|
4月前
|
机器学习/深度学习 安全 算法
|

为什么很多团队从 PPO 转向 DPO,却又离不开 PPO

PPO与DPO并非新旧替代关系,而是分属对齐不同阶段的工具:PPO用于行为“塑形”(强干预、纠偏乱序),DPO用于偏好“定型”(稳定微调、精细排序)。选型关键看模型是否已基本可控——乱则用PPO,稳则用DPO。

247 1
|
4月前
|
SQL 存储 人工智能
|

数据工程新范式:NoETL 语义编织如何激活海量埋点数据价值?

数据工程师将从重复、低价值的 SQL 脚本编写和 ETL 运维中解放出来,转向更具战略性的工作。

221 2
|
4月前
|
人工智能 供应链 定位技术
|

马上布局!智能体来了,共同智创未来商业版图

2025–2026年是“智能体(Agent)爆发元年”。AI正从工具升维为数字员工,实现自动化闭环与决策降本;商业入口转向“交互意图”,智能体即平台(AaaS)重构流量与生态。开发者应从小场景切入,沉淀私有知识,构建多智能体协作系统——智创未来,刻不容缓!

155 0
|
4月前
|
运维 安全 算法
|

量子通信:真·不可破解的传输通道,还是被神话了?

量子通信:真·不可破解的传输通道,还是被神话了?

354 6
|
4月前
|
存储
|

RAG 为什么总是“看起来能用,实际不好用”?

RAG效果不佳?问题往往不在模型,而在于文档切分。错误的切分会导致语义断裂、关键信息丢失,使召回内容“看似相关却无用”。本文深入剖析切分误区:固定长度切割、过度依赖overlap、忽视文档结构等,并提出核心原则——保障语义完整性。不同文档需定制切分策略,FAQ按问答切,技术文档依章节分,流程类保完整上下文。切分是RAG的地基,而非细节,唯有夯实,才能让检索与生成真正生效。

301 3
|
4月前
|
运维 安全 测试技术
|

机房项目中的时间系统:从忽视到谨慎的十年体会

本文分享了作者在机房系统集成项目中,对时间同步从忽视到重视的十年实践经验。早期依赖公网NTP的简单做法,常导致日志混乱、故障难查等问题;后期引入本地北斗授时服务器,强调时间源的确定性与统一性,提升系统稳定性和可维护性。文章还探讨了设备选型关注点及可靠部署方案,突出时间系统在政企、金融等关键场景中的重要价值。

215 0
|
4月前
|
传感器 自动驾驶 算法
|

自动驾驶不是“一行代码开上高速”:聊聊感知、预测与决策这三大算法核心

自动驾驶不是“一行代码开上高速”:聊聊感知、预测与决策这三大算法核心

309 13
|
4月前
|
SQL 人工智能 自然语言处理
|

从"提需求排队"到"开口即得",AI 数据分析加快数据民主化

让业务人员能够通过最自然的语言与数据展开高效、精准的对话,真正实现"数据随问随答,洞察触手可及"。

221 2
|
4月前
|

系统信任增长范式:一套正在成型的增长公约

在系统主导的时代,增长不再依赖技巧,而取决于是否“值得被长期信任”。《系统信任增长范式》揭示了一套正在成型的隐性公约:真实性、一致性、可修复性等行为将被持续奖励,捷径逐渐失效。它不提供速成模型,而是划清可持续增长的规则边界,让信任成为时间的朋友。(238字)

392 9
来自: 智能搜索推荐  版块
|
4月前
|
人工智能 C++
|

【AI大模型面试宝典十一】- 评估应用篇

【AI大模型面试宝典】聚焦高频考点,拆解核心原理!涵盖基础能力、对齐与效率评估,详解MMLU、C-Eval、HumanEval等基准,教你应对幻觉检测、指标设计等面试难题。代码实操+避坑指南,助你精准拿分,offer到手!点赞关注,持续更新中→ #大模型面试 #AI求职

247 0
|
4月前
|
区块链
|

从 NFT 到 RWA:资产上链,正在换一套“底层逻辑”

从 NFT 到 RWA:资产上链,正在换一套“底层逻辑”

330 1
|
4月前
|
弹性计算 监控 Cloud Native
|

云原生时代,“信任”才是开发者的核心基础设施:4个技术维度筑牢增长底盘

在云原生时代,信任已成为技术发展的基础设施。本文深入剖析为何“信任”决定开源项目、API与云产品的成败,并从行为一致、承诺可验证、错误修复、输出稳定四大技术维度,揭示构建长期信任的实操路径,助力开发者实现可持续增长。

276 1
来自: 智能搜索推荐  版块
|
4月前
|
存储
|

原码,反码,补码

原码是二进制的直观表示,符号位决定正负;反码用于解决负数计算问题,负数按位取反;补码在反码基础上加1,解决跨0误差。计算机中所有数据存储与运算均采用补码形式,可准确处理正负数运算,并能多表示一个特殊值-128。

562 5
|
5月前
|
机器学习/深度学习 算法 算法框架/工具
|

基于深度学习的水稻病虫害检测系统

水稻是全球半数人口的主食,病虫害导致年减产20%-40%。传统识别依赖人工,效率低、误判率高。深度学习技术,尤其是YOLOv8模型,可实现快速精准检测,提升防治效率,降低损失。结合Python生态与高质量标注数据集,构建智能检测系统,助力农业智能化与可持续发展,保障粮食安全。

335 2
|
5月前
|
存储 C++
|

C++变量类型

C++变量类型包括基本类型如bool、char、int、float、double等,支持整数、浮点数、字符和布尔值的存储。还包含指针、数组、结构体、类、共用体等复合类型。变量命名由字母、数字、下划线组成,首字符须为字母或下划线。支持变量声明与定义分离,局部变量需显式初始化,静态变量自动初始化为0。

233 1
|
5月前
|
C++
|

解决Clion中写多个C++文件中存在多个main函数报错的问题

本文介绍如何在CLion中解决多个C++文件含main函数报错的问题。通过安装“C/C++ Single File Execution”插件,无需注释或新建项目,即可单独运行指定文件。配合右键操作与简单重构,实现高效刷题编码,方便文件管理与快速调试,提升开发效率。

312 1
|
5月前
|
数据采集 领域建模 数据库
|

领域模型图(数据架构/ER图)

通过四色原型法进行领域建模,提取数据架构核心要素:红色时标原型(MI)表征业务流程节点,绿色参与方-物品原型(PPT)作为实体,黄色角色原型(Role)体现参与关系,蓝色描述原型(DESC)定义属性。基于风控系统实例,从业务流程提炼出MI骨架,逐步补充PPT实体与Role角色,最后添加DESC描述信息,进而映射为ER图。其中PPT对应实体,MI对应关系,结合一对一、一对多、多对多约束,构建清晰的数据模型,支撑系统设计与数据库实现。(239字)

220 0
|
5月前
|
消息中间件 Java 数据安全/隐私保护
|

异步消息组件MQ基础

本文介绍了MQ(消息队列)的基本概念,重点对比了同步调用与异步调用的区别,通过生活实例帮助理解。异步调用通过消息中间件实现解耦、异步处理和流量削峰,提升系统性能。常见的MQ如RabbitMQ、Kafka等适用于高并发场景。RabbitMQ基于AMQP协议,支持多语言,结合SpringAMQP可轻松实现消息收发。文章还演示了RabbitMQ的安装、配置、数据隔离及工作队列模型,强调“能者多劳”机制以优化消费效率。

152 0
|
5月前
|
XML 缓存 Dubbo
|

4.Cluster

本文深入解析Dubbo集群容错机制,围绕Cluster核心概念,结合Directory、Router、LoadBalance,详解其如何将多个Invoker伪装为单一入口并实现容错。重点剖析9种Cluster实现类:如Failover(失败重试)、Failfast(快速失败)、Forking(并行调用)、Broadcast(广播调用)等,分别适用于读写场景、通知更新、日志记录等不同业务需求。通过源码逻辑与流程图结合,揭示各策略内部实现机制及适用场景,帮助开发者合理配置容错策略,提升系统稳定性与性能。

112 0
|
5月前
|
JSON 自然语言处理 算法
|

DSL语法、搜索结果处理

本文介绍了Elasticsearch的搜索功能,涵盖DSL查询(全文检索、精确查询、地理坐标查询、复合查询)、搜索结果处理(排序、分页、高亮)及RestClient实现方式,并通过黑马旅游案例实战演示了搜索、过滤与竞价排名功能。

131 0
|
5月前
|
关系型数据库 应用服务中间件 nginx
|

容器化部署引擎Docker

Docker是一种容器化技术,通过镜像打包应用及依赖,实现跨环境快速部署。它利用容器隔离运行应用程序,解决依赖冲突与环境差异问题,相比虚拟机更轻量、高效。

253 0
|
5月前
|
Kubernetes IDE 应用服务中间件
|

2.部署篇(开发部署)

本文介绍如何将SpringCloud应用部署到Kubernetes云端,基于EDAS实现快速上云。涵盖集群导入、应用初始化及通过IDE插件高效部署,助力开发者提升发布效率。

179 1
|
5月前
|
安全 Java 开发工具
|

1.工程搭建与验证

本文介绍如何使用阿里云脚手架快速搭建SpringBoot工程,并整合Spring Security。内容涵盖项目创建、代码导入、Web依赖配置及安全验证,启动后自动跳转登录页,使用默认用户即可访问受保护资源,附完整代码仓库地址。

137 0
|
5月前
|
存储 运维 Java
|

微服务概述

本文对比单体与微服务架构,解析微服务定义、优缺点及技术实现方案。微服务通过业务拆分、独立部署、轻量通信提升系统可维护性与扩展性,虽带来运维复杂度,但仍是现代分布式系统演进方向。

180 0
|
5月前
|
缓存 Dubbo Java
|

什么是API网关

API网关是一种统一接收外部请求并转发至后端服务的中间层,具备请求路由、协议转换、鉴权、限流、熔断降级等功能。它简化了客户端与多个微服务之间的交互,提升了系统安全性与可维护性,常见实现有Kong、SOUL、Zuul等。

147 0
|
5月前
|
uml C语言
|

系统时序图

时序图(Sequence Diagram)是UML中用于描述对象间消息传递时间顺序的交互图。横轴为对象,纵轴为时间,通过生命线、控制焦点和消息等元素,展现系统动态协作过程,突出时间顺序与并发行为,常用于分析和设计软件系统的交互逻辑。

158 0
|
5月前
|
人工智能 自然语言处理 API
|

全面认识MCP:大模型连接真实世界的“USB-C接口”

MCP(模型上下文协议)是Anthropic推出的AI“万能接口”,旨在统一大模型与工具、数据源的连接标准。它简化集成、提升任务处理能力,被誉为AI时代的“USB-C”。通过标准化通信,MCP让智能体可自主调用工具、执行复杂任务,推动AI应用迈向高效、安全、可扩展的新阶段。

571 0
|
5月前
|
消息中间件 人工智能 决策智能
|

AgentScope x RocketMQ:构建多智能体应用组合

AgentScope是阿里巴巴推出的开发者友好型多智能体框架,支持模块化、可定制的智能体应用开发。通过集成RocketMQ,实现高效、可靠的Agent间通信,助力构建如“智能旅行助手”等复杂协作场景,推动多智能体生态发展。(238字)

283 0
|
5月前
|
负载均衡 中间件 Java
|

每日必会1

微服务并非绝对优于单体,需结合业务场景。简单应用用单体更轻量,避免分布式复杂性;复杂业务适合微服务,降低耦合,利于扩展。常用中间件如Nacos(注册/配置中心)、OpenFeign(远程调用)、Gateway(网关)。Nacos通过心跳机制维护实例状态,支持临时(心跳剔除)与非临时(主动检测)实例,相比Eureka,兼具AP/CP模式,服务发现更及时。负载均衡常用轮询、加权轮询等,项目中多用轮询策略。

172 0
|
5月前
|
SQL 缓存 Java
|

MyBatis

MyBatis配置优先级:方法参数 > resource/url > properties。支持多环境配置与JDBC/MANAGED事务管理,XML实现一对一、一对多关联映射,分页支持逻辑与物理方式,推荐BatchExecutor批量操作,一级缓存默认开启,二级缓存需手动配置。

112 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69522
内容
128
活动
439956
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务