|
10月前
|
算法
|

基于遗传优化算法的风力机位置布局matlab仿真

本项目基于遗传优化算法(GA)进行风力机位置布局的MATLAB仿真,旨在最大化风场发电效率。使用MATLAB2022A版本运行,核心代码通过迭代选择、交叉、变异等操作优化风力机布局。输出包括优化收敛曲线和最佳布局图。遗传算法模拟生物进化机制,通过初始化、选择、交叉、变异和精英保留等步骤,在复杂约束条件下找到最优布局方案,提升风场整体能源产出效率。

197 28
|
10月前
|
数据采集 JSON Java
|

Java爬虫获取微店快递费用item_fee API接口数据实现

本文介绍如何使用Java开发爬虫程序,通过微店API接口获取商品快递费用(item_fee)数据。主要内容包括:微店API接口的使用方法、Java爬虫技术背景、需求分析和技术选型。具体实现步骤为:发送HTTP请求获取数据、解析JSON格式的响应并提取快递费用信息,最后将结果存储到本地文件中。文中还提供了完整的代码示例,并提醒开发者注意授权令牌、接口频率限制及数据合法性等问题。

256 14
|
10月前
|
人工智能 大数据
|

ai时代的到来……脚本也更容易翻到合适自己的……那究竟是照脚本好?还是?

随着DeepSeek的流行,个人和小团体在大数据面前显得脆弱。AI让工作简化,但也会导致失业风险。会使用新技术的人忙碌,其他人可能闲着或落后。未来充满不确定性,信息真假难辨,人们仿佛在演戏,真情实感被掩盖。在AI时代,如何保持真实与秩序成为重要问题。

119 6
|
10月前
|
机器学习/深度学习 人工智能 数据挖掘
|

AI4Science之分子材料成像调研洞察

分子成像在材料科学中意义重大,通过位形空间、频率空间和光谱学等成像方法,揭示材料微观结构与动态变化。结合AI技术,可深入理解材料特性,解决能源、环境等问题。然而,该领域数据复杂,尚无统一的数据集和Benchmark,模型也处于初期阶段。本文从成像方法、任务类型、机器学习模型、数据集与Benchmark、Python工具包及通用模型等多个维度进行了调研,探讨了多模态数据利用、大规模数据集构建等关键问题,并列举了相关参考论文。

247 5
|
10月前
|
数据采集 存储 Docker
|

深入理解Docker:为你的爬虫项目提供隔离环境

本教程介绍如何使用Docker构建隔离环境,运行Python爬虫项目,采集小红书视频页面的简介和评论。主要内容包括: 1. **Docker隔离环境**:通过Docker容器化爬虫,确保环境独立、易于部署。 2. **代理IP技术**:利用亿牛云爬虫代理突破反爬限制。 3. **Cookie与User-Agent设置**:伪装请求头,模拟真实用户访问。 4. **多线程采集**:提高数据采集效率。 前置知识要求:Python基础、Docker基本操作及HTML解析(可选)。教程还涵盖常见错误解决方法和延伸练习,帮助你优化爬虫代码并避免陷阱。

285 7
|
10月前
|
监控 UED
|

产品经理-设计生命周期 - AxureMost

设计生命周期涵盖从概念构思到产品退役的全过程,分为概念与规划、设计与开发、测试与验证、市场推出、维护与优化及衰退与退役六个阶段。每个阶段有特定目标和挑战,确保产品始终围绕用户需求和市场动态调整,保持竞争力。设计团队需灵活应对各阶段任务,以实现产品的成功。

226 17
|
11月前
|
机器学习/深度学习 PyTorch 测试技术
|

LossVal:一种集成于损失函数的高效数据价值评估方法

LossVal是一种创新的机器学习方法,通过在损失函数中引入实例级权重,直接在训练过程中评估数据点的重要性,避免了传统方法中反复重训练模型的高计算成本。该方法适用于回归和分类任务,利用最优传输距离优化权重,确保模型更多地从高质量数据中学习。实验表明,LossVal在噪声样本检测和高价值数据点移除等任务上表现优异,具有更低的时间复杂度和更稳定的性能。论文及代码已开源,为数据价值评估提供了高效的新途径。

251 13
|
11月前
|

阿里云产品十二月刊

通义千问VL图片理解大模型部分规格降价,PAI 灵骏智算资源配额支持多个VSW,对象存储 OSS 资源池 QoS 发布,多款产品能力新升级,详情请点击阿里云产品十二月刊

169
|
11月前
|
机器学习/深度学习 数据可视化 数据挖掘
|

使用Python实现基于矩阵分解的长期事件(MFLEs)时间序列分析

在现代数据分析中,高维时间序列数据的处理和预测极具挑战性。基于矩阵分解的长期事件(MFLEs)分析技术应运而生,通过降维和时间序列特性结合,有效应对大规模数据。MFLE利用矩阵分解提取潜在特征,降低计算复杂度,过滤噪声,并发现主要模式。相比传统方法如ARIMA和深度学习模型如LSTM,MFLE在多变量处理、计算效率和可解释性上更具优势。通过合理应用MFLE,可在物联网、金融等领域获得良好分析效果。

365 0
|
11月前
|
机器学习/深度学习 人工智能 分布式计算
|

我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅

我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅

329 35
|
11月前
|
数据采集 XML API
|

深入解析BeautifulSoup:从sohu.com视频页面提取关键信息的实战技巧

深入解析BeautifulSoup:从sohu.com视频页面提取关键信息的实战技巧

281 7
|
11月前
|
分布式计算 数据处理 MaxCompute
|

云产品评测|分布式Python计算服务MaxFrame

云产品评测|分布式Python计算服务MaxFrame

224 2
|
11月前
|
数据采集 存储 数据挖掘
|

构建电商数据采集系统初定位

构建电商数据采集系统需经历需求分析、技术选型、系统设计、开发实现、测试优化及部署维护六大步骤。过程中要明确目标与数据范围,选择合适的工具和数据库,并设计合理的架构与采集策略。还需考虑合法合规、分布式采集、数据质量控制及动态调整等策略,确保系统高效、稳定运行,适应电商环境变化。

343 8
|
11月前
|
存储 监控 关系型数据库
|

深入解析 Hologres Table Group 与 Shard Count

Hologres 是一款强大的实时数仓,支持海量数据的高效存储与快速查询。Table Group 和 Shard Count 是其核心概念,前者管理数据分片,后者指定分片数量。合理配置二者可显著提升性能。Table Group 实现资源共享与协同管理,Shard Count 根据数据量和读写模式优化分片,确保高效处理。结合业务需求进行动态调整,可充分发挥 Hologres 的潜力,助力企业数字化转型。

404 60
来自: 实时数仓 Hologres  版块
|
11月前
|
人工智能 安全 大数据
|

PAI年度发布:GenAI时代AI基础设施的演进

本文介绍了AI平台在大语言模型时代的新能力和发展趋势。面对推理请求异构化、持续训练需求及安全可信挑战,平台推出了一系列优化措施,包括LLM智能路由、多模态内容生成服务、serverless部署模式等,以提高资源利用效率和降低使用门槛。同时,发布了训推一体调度引擎、竞价任务等功能,助力企业更灵活地进行训练与推理任务管理。此外,PAI开发平台提供了丰富的工具链和最佳实践,支持从数据处理到模型部署的全流程开发,确保企业和开发者能高效、安全地构建AI应用,享受AI带来的红利。

354 1
来自: 人工智能平台PAI  版块
|
12月前
|
数据采集 数据挖掘 数据安全/隐私保护
|

4步教你用rvest抓取网页并保存为CSV文件

本文介绍如何使用R语言的`rvest`包抓取网页数据并保存为CSV文件,以界面新闻网站为例。通过设置代理IP(如亿牛云)、User-Agent和Cookie,增强访问稳定性和安全性。代码涵盖环境配置、数据抓取、解析及保存步骤,确保高效、稳定地获取网页数据。适用于数据分析和统计分析场景。

273 8
|
12月前
|
人工智能 数据可视化 数据挖掘
|

【产品】G 端产品经理

G端产品经理在政府数字化转型中扮演着关键角色,连接政府需求与技术实现。他们负责挖掘需求、规划方案、推动跨部门协作,并监督项目进展。具体职责包括需求调研、产品规划与设计、原型制作、文档撰写及交互与视觉设计等。面对复杂多变的需求、快速更新的技术和严格的项目验收,G端产品经理需不断提升专业技能,以适应挑战并推动政府治理体系现代化。

314 10
|
12月前
|
人工智能 分布式计算 大数据
|

MaxFrame在工作、生活中的应用

MaxFrame作为阿里云自研的Python分布式计算框架,专为连接大数据与AI而设计,能够在我所在的公司、工作以及学习中发挥显著作用。

172 1
来自: 大数据计算 MaxCompute  版块
|
12月前
|

DataWorks 数据资产治理

DataWorks 数据资产治理(原数据治理中心)可根据预先配置的治理计划,自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题,并通过健康分量化评估,从全局、工作空间、个人等多个视角,以治理报告及排行榜呈现治理成果,帮助您高效达成治理目标。同时,还提供业务资产管理、资产分析、任务资源消耗明细、费用预估等功能,帮助您有效掌握各类资源的使用详情。

404 58
|
12月前
|
SQL 架构师 数据管理
|

DataWorks 数据集成

DataWorks 数据集成是一个稳定高效、弹性伸缩的数据同步平台,致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。

278 0
|
12月前
|
存储 数据采集 数据挖掘
|

CSV vs 数据库:数据存储的最佳选择是什么

本文介绍了爬虫数据存储中CSV和数据库的优缺点,分析了两者在不同场景下的适用性。CSV简单易用、资源消耗低,适合小量数据;数据库则在处理大量数据和复杂查询时表现出色,支持并发操作。通过Python代码示例,展示了如何使用多线程和爬虫代理IP技术将百度搜索数据存储到MySQL数据库中,适用于大型项目和复杂数据分析需求。

729 2
|
12月前
|
数据采集 存储 供应链
|

数据合并:cbind函数在网页爬取中的实用技巧

本文介绍了如何通过代理IP和多线程技术提高网页爬取效率,并使用`cbind`函数合并数据。以财经网新闻为例,展示了从指定网站下载、解析内容,到数据获取、合并及分析的完整流程。通过亿牛云爬虫代理和Python代码实现,确保高效无痕访问,最终将结果保存为CSV文件。此方法适用于大量分散数据的爬取与处理,助力经济趋势分析。

373 47
|
12月前
|
机器学习/深度学习 人工智能 运维
|

阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot

阿里云技术公开课预告:Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。

575 2
|
12月前
|
网络安全 数据安全/隐私保护 UED
|

HTTP代理稳定性大作战长效和短效的实力较量

随着数字化时代的发展,网络安全和隐私保护成为核心需求。本文对比了长效和短效HTTP代理在连接稳定性、服务可用性、出错率及网络延迟稳定性方面的表现,帮助用户更好地选择适合的代理类型。

278 9
来自: 大数据计算 MaxCompute  版块
|
12月前
|
存储 人工智能 API
|

(Elasticsearch)使用阿里云 infererence API 及 semantic text 进行向量搜索

本文我们展示了如何在Elasticsearch上使用阿里云 infererence API 及 semantic text 进行向量搜索。

229 10
|
12月前
|
机器学习/深度学习 数据可视化 TensorFlow
|

使用Python实现深度学习模型的分布式训练

使用Python实现深度学习模型的分布式训练

486 73
|
2月前
|
人工智能 自然语言处理 前端开发
|

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

AI Agents 崛起:让 AI 自己“干活”的时代,终于来了!

177 11
|
3月前
|
算法 安全 大数据
|

大数据时代,法律该咋护住咱的隐私?

大数据时代,法律该咋护住咱的隐私?

105 3
|
3月前
|
Java
|

java入门代码示例

本文介绍Java入门基础,包含Hello World、变量类型、条件判断、循环及方法定义等核心语法示例,帮助初学者快速掌握Java编程基本结构与逻辑。

419 0
|
3月前
|
机器学习/深度学习 人工智能 算法
|

数据是新药研发的“秘密武器”?聊聊背后的那些门道

数据是新药研发的“秘密武器”?聊聊背后的那些门道

100 2
|
3月前
|
机器学习/深度学习 自然语言处理 算法
|

推荐算法怎么变聪明?用数据分析“调教”才是王道!

推荐算法怎么变聪明?用数据分析“调教”才是王道!

120 4
|
4月前
|
搜索推荐 定位技术 API
|

智能家居真智能了吗?数据才是背后的“灵魂玩家”

智能家居真智能了吗?数据才是背后的“灵魂玩家”

110 4
|
4月前
|
传感器 边缘计算 机器人
|

5G加持下的工厂:智能制造的“加速器”

5G加持下的工厂:智能制造的“加速器”

126 5
|
4月前
|
机器学习/深度学习 自然语言处理 监控
|

保险行业的“算命术”?——数据驱动的风险评估真相

保险行业的“算命术”?——数据驱动的风险评估真相

124 6
|
4月前
|
JSON 数据挖掘 API
|

1688商品列表API秘籍!轻松获取商品列表数据

1688商品列表API(alibaba.product.list.get)可批量获取商品信息,支持分页、筛选与排序,适用于商品管理与数据分析。本文提供Python调用示例,助您快速接入接口,实现商品数据高效处理。

160 0
|
4月前
|
算法 程序员 API
|

电商程序猿开发实录:淘宝商品python(2)

本文分享了开发者在对接淘宝商品详情API过程中的真实经历,涵盖权限申请、签名验证、限流控制、数据解析及消息订阅等关键环节,提供了实用的Python代码示例,帮助开发者高效调用API,提升系统稳定性与数据处理能力。

149 0
|
4月前
|
JSON 算法 API
|

小红书商品详情签名算法Python

本文分享了作者在对接小红书商品详情API过程中的实战经验,涵盖权限申请、签名算法、限流控制、数据解析及Webhook接入等关键技术环节,并附有实用Python代码示例。

170 0
|
4月前
|
存储 数据挖掘 调度
|

像架构拼乐高一样构建采集系统

本教程教你如何构建一个模块化、可扩展的某博热搜采集系统,涵盖代理配置、多线程加速与数据提取,助你高效掌握网络舆情分析技巧。

123 0
|
4月前
|
运维 算法 量子技术
|

【堵车不香吗?】我试了下用量子计算搞交通优化,真有点东西!

【堵车不香吗?】我试了下用量子计算搞交通优化,真有点东西!

135 0
|
5月前
|
机器学习/深度学习 人工智能 PyTorch
|

当量子力学遇上人工智能:科幻照进现实了吗?

当量子力学遇上人工智能:科幻照进现实了吗?

200 0
|
5月前
|
JSON 自然语言处理 API
|

闲鱼商品详情API响应数据python解析

闲鱼商品详情API(goodfish.item_get)通过商品ID获取标题、价格、描述、图片等信息,支持Python等多语言调用。本文提供Python请求示例,包含请求构造与数据处理方法。

249 0
|
5月前
|
安全 算法 量子技术
|

量子来了,DeFi慌了吗?——聊聊量子安全加密对去中心化金融的“革命冲击”

量子来了,DeFi慌了吗?——聊聊量子安全加密对去中心化金融的“革命冲击”

113 0
|
5月前
|
监控 API 数据处理
|

淘宝商品详情API响应数据解析的详细说明

本内容介绍了淘宝商品详情API的调用与数据解析方法,涵盖商品基础信息、价格、库存、规格、促销、物流等关键数据的获取方式。提供了核心接口如taobao.item.get、taobao.itemprops.get、taobao.item.sku.get的功能说明及Python请求示例,适用于跨平台数据整合、价格监控、自动化运营等场景,并提示了字段兼容性、错误处理及数据更新等注意事项。

237 0
|
5月前
|
存储 人工智能 监控
|

别再用U盘传CT片了!聊聊区块链+医疗记录共享的那些事儿

别再用U盘传CT片了!聊聊区块链+医疗记录共享的那些事儿

122 3
|
5月前
|
存储 算法 API
|

还社交一个自由的未来:去中心化社交网络,会是下一个“推特”吗?

还社交一个自由的未来:去中心化社交网络,会是下一个“推特”吗?

127 5
|
5月前
|
机器学习/深度学习 存储 分布式计算
|

ODPS驱动电商仓储革命:动态需求预测系统的落地实践

本方案基于ODPS构建“预测-仿真-决策”闭环系统,解决传统仓储中滞销积压与爆款缺货问题。通过动态特征工程、时空融合模型与库存仿真引擎,实现库存周转天数下降42%,缺货率下降65%,年损减少5000万以上,显著提升运营效率与GMV。

643 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

3
今日
67669
内容
128
活动
439485
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务