|
10月前
|
机器学习/深度学习 人工智能 搜索推荐
|

用大数据重塑客户关系管理:聪明企业的秘密武器

用大数据重塑客户关系管理:聪明企业的秘密武器

239 9
|
10月前
|
机器学习/深度学习 人工智能 JSON
|

【解决方案】DistilQwen2.5-R1蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对DistilQwen2.5-R1模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过 PAI-ModelGallery 轻松实现 Qwen2.5 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2.5-R1 蒸馏模型的全链路最佳实践。

535 63
来自: 人工智能平台PAI  版块
|
10月前
|
人工智能 数据可视化 前端开发
|

自学软硬件工程师776天精简版github项目同步推送步骤

注意 这篇文章不是水内容的,虽然我之前也写过 github推送同步的内容。

234 0
|
10月前
|
数据采集 存储 消息中间件
|

数据应用:从采集到分析 —— 构建端到端数据管道

本文分享了一个针对亚洲航空官网的爬虫项目实践,从需求提出到最终优化,详细记录了故障解决与架构改进的过程。初期因频繁访问被限制后,通过引入代理IP、伪装User-Agent和Cookie等技术突破反爬机制。随后采用分布式爬虫架构、智能代理切换及容错重试机制提升系统稳定性。示例代码展示了如何配置代理并解析航班信息,为类似项目提供了完整的技术参考与经验总结。

237 9
|
10月前
|
数据采集 机器学习/深度学习 数据挖掘
|

Python爬虫生成CSV文件的完整流程

Python爬虫生成CSV文件的完整流程

318 4
|
10月前
|
机器学习/深度学习 并行计算 PyTorch
|

【pytorch】【202504】关于torch.nn.Linear

小白从开始这段代码展示了`nn.Linear`的使用及其背后的原理。 此外,小白还深入研究了PyTorch的核心类`torch.nn.Module`以及其子类`torch.nn.Linear`的源码。`grad_fn`作为张量的一个属性,用于指导反向传播 进一步地,小白探讨了`requires_grad`与叶子节点(leaf tensor)的关系。叶子节点是指在计算图中没有前驱操作的张量,只有设置了`requires_grad=True`的叶子节点才会在反向传播时保存梯度。 最后,小白学习了PyTorch中的三种梯度模式 通过以上学习小白对PyTorch的自动求导机制有了更深刻的理解。

440 6
|
10月前
|
数据采集 存储 网络协议
|

Java HttpClient 多线程爬虫优化方案

Java HttpClient 多线程爬虫优化方案

522 0
|
11月前
|
SQL 算法 调度
|

Flink批处理自适应执行计划优化

本文整理自阿里集团高级开发工程师孙夏在Flink Forward Asia 2024的分享,聚焦Flink自适应逻辑执行计划与Join算子优化。内容涵盖自适应批处理调度器、动态逻辑执行计划、自适应Broadcast Hash Join及Join倾斜优化等技术细节,并展望未来改进方向,如支持更多场景和智能优化策略。文章还介绍了Flink UI调整及性能优化措施,为批处理任务提供更高效、灵活的解决方案。

513 0
来自: 实时计算 Flink  版块
|
11月前
|
SQL 数据可视化 大数据
|

QuickBI产品和服务的双重绝杀

作为一名大数据开发工程师,我从2020年开始接触阿里云服务,最初简单尝试了QuickBI的可视化功能。2022年,因公司需求深入使用QuickBI进行数据可视化,对比多款工具后选定QuickBI,因其模板丰富、生态完善和技术售后出色。使用过程中,QuickBI的技术支持帮助我解决了诸多难题,如图表配置、复杂需求调试和SQL问题排查。其API接口功能给我留下深刻印象,能有效解决用户权限控制问题。如今再次选择QuickBI用于实时数仓的数据可视化建设,希望它能继续保持优质服务,助力更多开发者成为数据报表大师。

321 9
|
11月前
|
机器学习/深度学习 人工智能 算法
|

SWEET-RL:基于训练时信息的多轮LLM代理强化学习框架

SWEET-RL是一种基于训练时信息的逐步评估算法,显著提升了多轮大型语言模型(LLM)代理在强化学习中的成功率。相比现有方法,SWEET-RL将成功率提高6%,使小型开源模型如Llama-3.1-8B达到甚至超越GPT-4O等大型专有模型性能。通过非对称Actor-Critic结构、创新优势函数参数化及两阶段训练流程,SWEET-RL优化了信用分配机制与泛化能力,降低了计算成本。ColBench基准测试显示,SWEET-RL在后端编程和前端设计任务中表现卓越,为AI代理训练技术带来突破性进展。

436 2
|
11月前
|
数据采集 Web App开发 调度
|

Headless Chrome 优化:减少内存占用与提速技巧

在数据驱动的时代,爬虫技术至关重要。本文聚焦 Headless Chrome 优化方案,解决传统爬虫内存占用高、效率低等问题。通过无界面模式、代理 IP等配置,显著降低资源消耗并提升速度。实际案例中,该方案用于采集汽车点评数据,性能提升明显:内存占用降低 30%-50%,页面加载提速 40%-60%。结合技术架构图与演化树,全面解析爬虫技术演进,助力高效数据采集。

681 0
|
11月前
|
SQL 分布式计算 数据挖掘
|

《智能数据建设与治理 Dataphin》的最佳实践

本文介绍了使用Dataphin进行离线数仓搭建的实操教程,涵盖从创建数据板块到数据分析的完整流程。内容包括登录控制台、配置计算源、创建离线管道、生成SQL语句、运行任务及验证数据等步骤。通过详细的操作指南和截图,帮助用户快速上手Dataphin,体验其强大的数据治理能力。总结中提到教程存在部分陈旧问题,建议加深对产品逻辑的理解以更好地掌握工具使用。

546 1
|
11月前
|
开发工具 git
|

vscode推送项目到github仓库故障解决1

本文介绍了如何优雅解决本地仓库与远程仓库历史记录不一致的问题,并提供避免未来问题的最佳实践。核心在于理解问题根源(如历史记录差异和常见原因),采用推荐的解决方案(先本地初始化再关联远程仓库),并遵循一致的工作流程、团队协作规范及熟悉 Git 命令。通过强制推送或合并无关历史记录等方式处理现有冲突,同时养成良好习惯以预防类似问题。

740 2
|
11月前
|
人工智能 物联网 数据库
|

GoT:基于思维链的语义-空间推理框架为视觉生成注入思维能力

本文探讨GoT框架如何通过语义-空间思维链方法提升图像生成的精确性与一致性。GoT(Generative Thoughts of Thinking)是一种创新架构,将显式推理机制引入图像生成与编辑领域。它通过语义推理分解文本提示,空间推理分配精确坐标,实现类人的场景构思过程。结合大型语言模型和扩散模型,GoT在复杂场景生成中表现出色,克服传统模型局限。其专用数据集包含900万样本,支持深度推理训练。技术架构融合语义-空间指导模块,确保生成图像高质量。GoT为图像生成与编辑带来技术革新,广泛应用于内容创作与教育工具开发等领域。

256 4
|
11月前
|
算法 调度 云计算
|

云计算任务调度优化matlab仿真,对比蚁群优化和蛙跳优化

本程序针对云计算任务调度优化问题,旨在减少任务消耗时间、提升经济效益并降低设备功耗。通过对比蚁群优化算法(ACO)与蛙跳优化算法(SFLA),分别模拟蚂蚁信息素路径选择及青蛙跳跃行为,在MATLAB2022A环境下运行测试。核心代码实现任务分配方案的动态调整与目标函数优化,结合任务集合T与服务器集合S,综合考量处理时间与能耗等约束条件,最终输出优化结果。两种算法各具优势,为云计算任务调度提供有效解决方案。

335 17
|
11月前
|
机器学习/深度学习 C++
|

强化学习:实践理解Markov决策过程(MDP)(干中学系列)——手把手教你入门强化学习(三)

本博客以实践为主,带领读者巩固上期关于“Markov决策过程”的核心概念。通过构建学生马尔可夫奖励模型、计算收获值与状态价值,进一步验证贝尔曼方程。详细介绍了转移概率、奖励值及策略概率的设置,并实现了均匀随机策略下的状态价值计算与最优策略的价值评估。结合代码实例,帮助读者深入理解强化学习理论。适合初学者实践与进阶学习。

483 63
来自: 人工智能平台PAI  版块
|
11月前
|
机器学习/深度学习 算法 安全
|

从量子芯片到纠错的漫长征途:量子计算硬件的进步与困境

从量子芯片到纠错的漫长征途:量子计算硬件的进步与困境

575 86
|
11月前
|
机器学习/深度学习 人工智能 搜索推荐
|

技术革新下的培训新趋势:案例解析

从最初的“试试看”,到如今的“非做不可”,企业培训已经成为央国企和上市公司不可或缺的战略环节。无论是AI与大模型的赋能,DeepSeek,还是具身智能、智算技术和数据科学的实战应用,这些课程都在为企业打开新的可能性。

553 2
|
11月前
|
数据采集 机器学习/深度学习 数据挖掘
|

数据分析入门:从数据探索到洞察真相

数据分析入门:从数据探索到洞察真相

314 19
|
11月前
|
存储 传感器 供应链
|

大数据与区块链——天作之合的技术搭档

大数据与区块链——天作之合的技术搭档

270 17
|
11月前
|
机器学习/深度学习 人工智能 边缘计算
|

DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践

DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路,DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。

539 3
来自: 人工智能平台PAI  版块
|
11月前
|
量子技术 Python
|

探索绝对零度的极限:量子计算机的冷却技术

探索绝对零度的极限:量子计算机的冷却技术

486 9
|
11月前
|
存储 监控 数据挖掘
|

淘宝店铺所有商品数据接口全攻略

淘宝开放平台提供`taobao.items.onsale.get`接口,可批量获取店铺在售商品列表,包括商品ID、标题、价格等信息,适用于商品管理、竞品监控等场景。调用流程:注册账号、创建应用、申请权限。核心参数有nick、page_no、page_size等。Python示例代码展示如何通过API获取商品数据,并处理分页和异常。注意事项包括权限申请、频率限制及数据安全。扩展应用如结合商品详情接口进行数据分析。

818 3
|
11月前
|
SQL 存储 消息中间件
|

vivo基于Paimon的湖仓一体落地实践

本文整理自vivo互联网大数据专家徐昱在Flink Forward Asia 2024的分享,基于实际案例探讨了构建现代化数据湖仓的关键决策和技术实践。内容涵盖组件选型、架构设计、离线加速、流批链路统一、消息组件替代、样本拼接、查询提速、元数据监控、数据迁移及未来展望等方面。通过这些探索,展示了如何优化性能、降低成本并提升数据处理效率,为相关领域提供了宝贵的经验和参考。

1203 3
来自: 实时计算 Flink  版块
|
11月前
|
数据采集 机器学习/深度学习 数据可视化
|

探索大数据分析的无限可能:R语言的应用与实践

探索大数据分析的无限可能:R语言的应用与实践

435 9
|
11月前
|
缓存 安全 数据处理
|

Objective-C开发:从HTTP请求到文件存储的实战

Objective-C开发:从HTTP请求到文件存储的实战

265 2
|
11月前
|
JSON API 开发者
|

淘宝商品详情API接口全攻略

淘宝商品详情API接口为开发者提供了获取淘宝平台上商品详细信息的桥梁,涵盖商品基础信息、价格、图片、描述、评价、物流及店铺信息等。通过输入商品ID,返回JSON格式数据,便于解析处理。该接口支持电商导购、竞品分析、智能选品等业务需求,确保数据准确详尽。示例代码展示了如何用Python调用此API并处理响应数据。

287 0
|
11月前
|
JSON API 开发者
|

1688 快递费用 API 接口的技术剖析与应用

1688快递费用API接口为企业和开发者提供自动化、高效化的快递费用查询服务,打破人工查询的繁琐局面。通过输入寄件与收件地址、商品重量、体积及选择快递公司等信息,接口精准计算费用并返回结果,支持中通、圆通等主流快递。输出内容包括快递费用、预估时效及附加费说明,助力电商精细化运营。Python示例代码展示了如何使用requests库发起POST请求并解析响应数据,实现费用查询自动化。

531 10
|
11月前
|
算法 API 开发者
|

1688拍立淘接口搜索相似商品的实现方法

1688推出的拍立淘图片搜索功能,允许用户通过上传图片快速找到相似商品,极大提升购物体验。该API接口支持开发者集成图像搜索功能,提供商品管理、竞品分析等服务。接口采用HTTP POST请求,上传图片并返回相似商品列表,包括名称、价格、销量等信息。Python示例代码展示了如何使用该接口进行图片搜索。供稿者:Taobaoapi2014。

312 0
|
11月前
|
机器学习/深度学习 搜索推荐 算法
|

大数据:医疗保健的未来之钥

大数据:医疗保健的未来之钥

315 85
|
11月前
|
机器学习/深度学习 存储 算法
|

量子算法的设计与优化:迈向量子计算的未来

量子算法的设计与优化:迈向量子计算的未来

373 3
|
11月前
|
Java Linux 网络安全
|

基于云服务器的数仓搭建-服务器配置

本文介绍了购置并配置三台云服务器的详细步骤。使用FinalShell连接服务器,并安装了必要的工具如epel-release、net-tools和vim。关闭防火墙后,在/opt目录下创建module和software文件夹,卸载默认JDK并修改主机名。添加环境变量路径/home/alpfree/bin,编写集群分发脚本xsync实现文件同步,配置无密登录,安装并分发JDK。参考资料来自海波老师的电商数仓课程。

247 1
|
12月前
|
数据采集 Java 调度
|

使用Kotlin实现动态代理池的多线程爬虫

使用Kotlin实现动态代理池的多线程爬虫

227 0
|
12月前
|
搜索推荐 数据挖掘
|

优质网络舆情监测系统大盘点

一款出色的网络舆情监测系统,不仅能够助力相关主体迅速捕捉舆情信息,有效应对危机,还能够助力其更好地把握舆论动态,维护自身形象。那么,市场上有哪些比较好的网络舆情监测系统呢?这里,本文有为各位整理了一些好用的舆情检测系统,以供各位参考!

529 0
|
12月前
|
算法
|

MATLAB在风险管理中的应用:从VaR计算到压力测试

本文介绍如何使用MATLAB进行风险管理,涵盖风险度量(如VaR)、压力测试和风险分解。通过历史模拟法、参数法和蒙特卡洛模拟法计算VaR,评估投资组合在极端市场条件下的表现,并通过边际VaR和成分VaR识别风险来源。结合具体案例和代码实现,帮助读者掌握MATLAB在风险管理中的应用,确保投资组合的稳健性。

831 2
|
12月前
|
关系型数据库 应用服务中间件 Linux
|

Linux云服务器如何搭建LNMP环境

LNMP环境是Linux系统中常用的Web服务架构,由Linux、Nginx、MySQL/MariaDB和PHP组成,适用于高效托管动态网站。本文以CentOS 7为例,详细介绍了LNMP环境的搭建步骤,包括Nginx、MariaDB和PHP的安装与配置,以及最终通过创建`index.php`文件验证环境是否成功部署。具体操作涵盖配置YUM仓库、安装服务、编辑配置文件、启动服务等关键步骤,确保用户能够顺利搭建并运行LNMP环境。

298 1
|
12月前
|
算法 图形学 数据安全/隐私保护
|

基于NURBS曲线的数据拟合算法matlab仿真

本程序基于NURBS曲线实现数据拟合,适用于计算机图形学、CAD/CAM等领域。通过控制顶点和权重,精确表示复杂形状,特别适合真实对象建模和数据点光滑拟合。程序在MATLAB2022A上运行,展示了T1至T7的测试结果,无水印输出。核心算法采用梯度下降等优化技术调整参数,最小化误差函数E,确保迭代收敛,提供高质量的拟合效果。

459 6
|
12月前
|
JSON 数据挖掘 数据格式
|

国外跨境商家疯狂追捧,国内却鲜有人知的 VVIC 搜款网商品详情接口

VVIC搜款网是国外跨境商家青睐的服装资源平台,但国内知晓度较低。其商品详情接口对开发者极具价值,能获取商品全方位信息,支持电商整合与数据分析。该接口采用HTTP GET请求,关键参数为商品ID,返回JSON格式数据。示例代码展示了如何使用Python的requests库调用此接口,获取并处理商品详情。

262 0
|
12月前
|
数据采集 存储 关系型数据库
|

数据采集:从何开始?

数据采集:从何开始?

599 65
|
12月前
|
算法 数据安全/隐私保护
|

基于ACO蚁群优化的城市最佳出行路径规划matlab仿真

本程序基于蚁群优化(ACO)算法,使用MATLAB2022A进行城市最佳出行路径规划仿真。用户可调整城市数量,输出路径规划结果及ACO收敛曲线。核心代码实现最短路径更新、信息素强化与全局最优路径绘制。ACO模拟蚂蚁行为,通过信息素机制迭代优化路径,适用于不同规模的城市节点,展示从局部探索到全局最优的智能搜索过程。程序运行结果展示了点数较少、中等和较多时的路径规划效果,无水印。

282 4
|
12月前
|
消息中间件 Kafka
|

【赵渝强老师】Kafka生产者的消息发送方式

Kafka生产者支持三种消息发送方式:1. **fire-and-forget**:发送后不关心结果,适用于允许消息丢失的场景;2. **同步发送**:通过Future对象确保消息成功送达,适用于高可靠性需求场景;3. **异步发送**:使用回调函数处理结果,吞吐量较高但牺牲部分可靠性。视频和代码示例详细讲解了这三种方式的具体实现。

397 5
|
12月前
|
数据挖掘
|

探寻静态代理 IP 对地区优化有何价值?

随着互联网的发展,静态代理IP在多个领域发挥重要作用。它帮助电商和价格比较企业稳定连接、管理市场;为流媒体提供顺畅体验,提升用户满意度;助力数据爬取与分析,精准获取信息;并提高远程办公效率,确保工作连续性。这些优势使其在地区优化中不可或缺。

199 5
来自: 大数据计算 MaxCompute  版块
|
12月前
|
Web App开发 数据采集 数据安全/隐私保护
|

Selenium库详解:Python实现模拟登录与反爬限制的进阶指南

Selenium库详解:Python实现模拟登录与反爬限制的进阶指南

547 0
|
12月前
|
存储 算法 数据可视化
|

Weevil-Optimizer象鼻虫优化算法的matlab仿真实现

本项目实现了Weevil-Optimizer(象鼻虫优化算法)的MATLAB仿真,展示算法在不同适应度函数下的优化收敛曲线。程序通过智能搜索策略模拟象鼻虫觅食行为,在解空间中寻找最优解。核心代码包括排序、选择、更新操作,并绘制结果图示。测试环境为MATLAB 2022A,支持Ackley、Beale、Booth、Rastrigin和Rosenbrock函数的对比分析。 虽然Weevil-Optimizer是一个虚构的概念,但其设计思路展示了如何基于自然界生物行为模式开发优化算法。完整程序运行后无水印,提供清晰的可视化结果。

148 4
|
12月前
|
机器学习/深度学习 JSON 数据可视化
|

电商API接口数据与市场趋势分析的深度融合

电商API接口数据与市场趋势分析的深度融合

213 0
|
12月前
|
自然语言处理 安全 API
|

反向海淘Superbuy代购集运系统搭建攻略详解

Superbuy代购模式是跨境淘宝代购集运系统,提供一站式购物及物流解决方案。它整合了淘宝、天猫、京东等平台的商品资源,涵盖服装、电子产品等多品类,满足海外用户多样化需求。系统支持多语言和货币切换,提供代买、待收、代运等全程服务,并通过API接口实现实时数据同步。用户可享受集运、质检、仓储及高效国际物流服务,确保购物体验便捷、安全且经济。

271 0
|
12月前
|
存储 缓存 分布式计算
|

【赵渝强老师】Spark RDD的缓存机制

Spark RDD通过`persist`或`cache`方法可将计算结果缓存,但并非立即生效,而是在触发action时才缓存到内存中供重用。`cache`方法实际调用了`persist(StorageLevel.MEMORY_ONLY)`。RDD缓存可能因内存不足被删除,建议结合检查点机制保证容错。示例中,读取大文件并多次调用`count`,使用缓存后执行效率显著提升,最后一次计算仅耗时98ms。

355 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69094
内容
128
活动
439688
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务