|
自然语言处理 搜索推荐 算法
|

阿里云OpenSearch重磅推出LLM问答式搜索产品,助力企业高效构建对话式搜索服务

OpenSearch推出LLM智能问答版,面向行业搜索场景,提供企业专属问答搜索服务,基于内置的LLM大模型提供问答能力,一站式快速搭建问答搜索系统。

12016 7
来自: 智能搜索推荐  版块
|
6天前
|
监控 PyTorch 数据处理
|

通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析

在 PyTorch 中,`pin_memory` 是一个重要的设置,可以显著提高 CPU 与 GPU 之间的数据传输速度。当 `pin_memory=True` 时,数据会被固定在 CPU 的 RAM 中,从而加快传输到 GPU 的速度。这对于处理大规模数据集、实时推理和多 GPU 训练等任务尤为重要。本文详细探讨了 `pin_memory` 的作用、工作原理及最佳实践,帮助你优化数据加载和传输,提升模型性能。

33 4
|
18天前
|
SQL 存储 缓存
|

降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本

阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本,该版本不仅基于开源 StarRocks 进行了全面优化,实现了存储与计算解耦架构,还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。

235 6
|
1月前
|
人工智能 数据可视化 前端开发
|

DB-GPT v0.6.0 版本更新,发布六大核心新特性!

DB-GPT v0.6.0 版本已发布,这是一个开源的AI原生数据应用开发框架,带来了多项新特性,包括AWEL协议升级至2.0,支持复杂编排;改进的数据应用创建与生命周期管理,支持多模式构建;GraphRAG增强图社区摘要与混合检索,图索引成本降低50%;丰富的Agent Memory类型;支持Text2NLU与Text2GQL微调;GPT-Vis前端可视化升级。这些更新助力企业快速构建智能数据应用,推动数字化转型。

99 3
|
2月前
|
机器学习/深度学习 编解码 测试技术
|

TimeMOE: 使用稀疏模型实现更大更好的时间序列预测

TimeMOE是一种新型的时间序列预测基础模型,通过稀疏混合专家(MOE)设计,在提高模型能力的同时降低了计算成本。它可以在多种时间尺度上进行预测,并且经过大规模预训练,具备出色的泛化能力。TimeMOE不仅在准确性上超越了现有模型,还在计算效率和灵活性方面表现出色,适用于各种预测任务。该模型已扩展至数十亿参数,展现了时间序列领域的缩放定律。研究结果显示,TimeMOE在多个基准测试中显著优于其他模型,特别是在零样本学习场景下。

400 64
|
2月前
|
存储 数据采集 OLAP
|

饿了么基于Flink+Paimon+StarRocks的实时湖仓探索

饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。

301 7
来自: 实时计算 Flink  版块
|
3月前
|
机器学习/深度学习 分布式计算 PyTorch
|

大规模数据集管理:DataLoader在分布式环境中的应用

【8月更文第29天】随着大数据时代的到来,如何高效地处理和利用大规模数据集成为了许多领域面临的关键挑战之一。本文将探讨如何在分布式环境中使用`DataLoader`来优化大规模数据集的管理与加载过程,并通过具体的代码示例展示其实现方法。

162 1
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
|

大语言模型的Scaling Law:如何随着模型大小、训练数据和计算资源的增加而扩展

在这篇文章中,我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成的法则:模型大小、训练数据和计算能力。通过理解这些因素如何相互作用和规模化,我们将获得关于人工智能语言模型过去、现在和未来的宝贵见解。

553 7
|
4月前
|
监控 数据挖掘 数据安全/隐私保护
|

ERP系统中的培训与发展管理

【7月更文挑战第25天】 ERP系统中的培训与发展管理

379 2
|
4月前
|
供应链 监控 调度
|

ERP系统中的销售订单管理与订单跟踪解析

【7月更文挑战第25天】 ERP系统中的销售订单管理与订单跟踪解析

300 2
|
4月前
|
监控 数据安全/隐私保护 Python
|

ERP系统中的资产管理模块详解

【7月更文挑战第25天】 ERP系统中的资产管理模块详解

353 4
|
4月前
|
机器学习/深度学习 人工智能 自动驾驶
|

实战案例分析:AI在特定行业的深度应用

【7月更文第20天】随着人工智能技术的飞速发展,其在各行各业的应用日益广泛且深入,不仅推动了产业创新,也极大地提升了服务效率与质量。本文将聚焦于金融、教育、和交通三大领域,通过具体案例与技术解析,展现AI如何在这三个行业中发挥着革命性的作用。

689 0
|
5月前
|
人工智能 物联网 文件存储
|

基于EasyAnimate模型的视频生成最佳实践

EasyAnimate是阿里云PAI平台自主研发的DiT的视频生成框架,它提供了完整的高清长视频生成解决方案,包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。本文为您介绍如何在PAI平台集成EasyAnimate并一键完成模型推理、微调及部署的实践流程。

16524 30
来自: 人工智能平台PAI  版块
|
5月前
|
数据采集 数据可视化 数据挖掘
|

数据挖掘实战:使用Python进行数据分析与可视化

在大数据时代,Python因其强大库支持和易学性成为数据挖掘的首选语言。本文通过一个电商销售数据案例,演示如何使用Python进行数据预处理(如处理缺失值)、分析(如销售额时间趋势)和可视化(如商品类别销售条形图),揭示数据背后的模式。安装`pandas`, `numpy`, `matplotlib`, `seaborn`后,可以按照提供的代码步骤,从读取CSV到数据探索,体验Python在数据分析中的威力。这只是数据科学的入门,更多高级技术等待发掘。【6月更文挑战第14天】

451 11
|
5月前
|
JSON Java API
|

Java一分钟之-JPA实体关系:一对一, 一对多, 多对多

【6月更文挑战第14天】Java Persistence API (JPA) 的 ORM 规范简化了数据库操作,重点是实体关系映射。本文讨论了三种主要关系:一对一、一对多和多对多。对于每种关系,都指出了常见问题(如循环引用、懒加载异常)和避免策略(使用注解解决循环引用,明确级联操作边界等)。同时,提供了示例代码以展示如何在实践中设置这些关系。理解并妥善处理这些问题能提升开发效率和数据准确性。

209 1
|
5月前
|
消息中间件 存储 网络协议
|

即时通讯需要用到哪些技术手段?

该文探讨了即时通讯技术,涉及网络协议(TCP/IP、UDP、HTTP/HTTPS)在IM中的应用,数据传输与同步(消息队列、长轮询、WebSocket、数据同步)技术,安全性保障(加密、认证授权、防止攻击)措施,以及多媒体处理(音频、视频处理和实时传输)和用户界面交互设计的重要性。文章旨在帮助读者理解并应用相关技术。

384 1
|
6月前
|
机器学习/深度学习 搜索推荐 数据可视化
|

大数据用户画像之基本概念

大数据用户画像利用大数据技术分析用户基本信息、消费行为、兴趣、社交及地理数据,创建详细用户模型,助力企业精准营销。涉及技术包括数据挖掘、大数据处理(Hadoop、Spark)、数据可视化、机器学习和数据库管理。通过用户画像,企业可实现市场定位、个性化推荐、精准广告、产品优化和风险控制。学习该领域需掌握多个技术栈,包括相关算法、工具及业务理解。

743 4
|
6月前
|
PHP
|

Trying to access array offset on value of type null

你就可以避免在null值上尝试访问数组偏移量的错误。 总的来说,当你遇到这个错误时,你应该回顾你的代码,确保在尝试访问数组偏移量之前,相关的变量已经被正确地初始化为一个数组,并且不是null。

1649 4
|
6月前
|
监控 BI
|

财务智慧:全面解析ERP系统的财务管理模块

财务智慧:全面解析ERP系统的财务管理模块

1014 0
|
6月前
|
存储 5G API
|

来了,永久免费的图床服务

Markdown爱好者推荐PicGo软件搭配免费图床服务SMMS,解决在Markdown中插入图片的困扰。PicGo支持多种图床,如腾讯云、阿里云和免费的SMMS,提供拖拽上传、压缩图片功能。通过VSCode或Typora配合PicGo插件,能实现图片自动上传并转换为Markdown格式。SMMS提供5GB免费存储,足够个人博客使用。

1030 0
|
6月前
|
人工智能 JSON 运维
|

AI大模型运维开发探索第三篇:深入浅出运维智能体

大模型出现伊始,我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例,非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。

2082 3
来自: 大数据运维SREWorks  版块
|
6月前
|
程序员 开发者 Python
|

Python新手常见问题五:如何避免模块导入错误?

在Python编程中,模块的导入是每个开发者必须掌握的基础技能之一。模块化设计让代码更加有序、可复用和易于维护。然而,在实际操作过程中,新手程序员常常会遇到一些关于模块导入的问题,导致程序无法正常运行。本文将探讨几种常见的模块导入场景及容易犯错的操作,并提供相应的解决方案。

763 4
|
6月前
|
机器学习/深度学习 算法 数据处理
|

探索XGBoost:多分类与不平衡数据处理

探索XGBoost:多分类与不平衡数据处理

617 6
|
6月前
|
人工智能 机器人 测试技术
|

使用LM Studio在本地运行LLM完整教程

GPT-4被普遍认为是最好的生成式AI聊天机器人,但开源模型一直在变得越来越好,并且通过微调在某些特定领域是可以超过GPT4的。

2700 1
|
6月前
|
编译器 数据处理 Python
|

Python的xlrd模块在Anaconda中的安装

本文介绍在Anaconda环境下,安装Python读取.xls格式表格文件的库xlrd的方法~

405 1
|
6月前
|
算法
|

【MATLAB】WOA鲸鱼算法优化的VMD信号分解算法

【MATLAB】WOA鲸鱼算法优化的VMD信号分解算法

772 0
|
存储 关系型数据库 MySQL
|

技术原理,Hologres Binlog技术原理揭秘

详细介绍Hologres Binlog技术原理以及最佳实践。

2126 2
来自: 实时数仓 Hologres  版块
|
SQL 存储 大数据
|

10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新

10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新

5159 2
来自: 实时数仓 Hologres  版块
|
SQL 消息中间件 缓存
|

Flink SQL 实战:双流 join 场景应用

大家都知道在使用 SQL 进行数据分析的过程中,join 是经常要使用的操作。在离线场景中,join 的数据集是有边界的,可以缓存数据有边界的数据集进行查询,有Nested Loop/Hash Join/Sort Merge Join 等多表 join;而在实时场景中,join 两侧的数据都是无边界的数据流,所以缓存数据集对长时间 job 来说,存储和查询压力很大。如何从容应对各种流式场景?

9958 1
来自: 实时计算 Flink  版块
|
16天前
|
机器学习/深度学习 弹性计算 人工智能
|

大模型进阶微调篇(三):微调GPT2大模型实战

本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。

129 6
来自: 人工智能平台PAI  版块
|
1月前
|
数据可视化 IDE 数据挖掘
|

Python助您洞察先机:2024年A股市场数据抓取与分析实战

【10月更文挑战第1天】随着2024年中国股市的强劲表现,投资者们对于如何高效获取并分析相关金融数据的需求日益增长。本文旨在介绍如何利用Python这一强大的编程语言来抓取最新的A股交易数据,并通过数据分析技术为个人投资决策提供支持。

215 1
|
3月前
|
缓存 应用服务中间件 nginx
|

Web服务器的缓存机制与内容分发网络(CDN)

【8月更文第28天】随着互联网应用的发展,用户对网站响应速度的要求越来越高。为了提升用户体验,Web服务器通常会采用多种技术手段来优化页面加载速度,其中最重要的两种技术就是缓存机制和内容分发网络(CDN)。本文将深入探讨这两种技术的工作原理及其实现方法,并通过具体的代码示例加以说明。

301 1
|
3月前
|

黑神话:悟空中的音效设计与音乐制作

【8月更文第26天】在《黑神话:悟空》这款游戏中,音效和背景音乐是构建沉浸式游戏体验的重要组成部分。本文将探讨游戏音效和背景音乐的创作过程,以及它们如何增强游戏氛围。

352 0
|
3月前
|
监控 项目管理
|

软件项目管理:从计划到成功的实践

【8月更文第20天】在快速变化的IT行业中,高效的软件项目管理是确保项目成功的关键。本文将探讨软件项目管理中的几个核心领域:项目计划与估算、风险管理、人员配置与团队建设以及进度控制与成本管理,并通过具体案例加以说明。

513 2
|
3月前
|
消息中间件 资源调度 Kafka
|

实时计算 Flink版操作报错合集之提交任务后,如何解决报错:UnavailableDispatcherOperationException

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

92 1
来自: 实时计算 Flink  版块
|
3月前
|
机器学习/深度学习 人工智能 安全
|

AI时代:程序员如何重塑核心竞争力

【8月更文第5天】近年来,人工智能(AI)和生成式预训练模型(AIGC)的飞速发展对软件开发行业产生了深远的影响。ChatGPT、Midjourney、Claude 等大语言模型的出现,不仅极大地提高了编程效率,还改变了程序员的工作方式。随着AI辅助编程工具的日益普及,程序员们面临着前所未有的机遇与挑战。本文旨在探讨在AI时代,程序员应如何调整自己的职业路径和发展策略,以保持和提升自身的竞争力。

515 0
|
5月前
|
存储 Prometheus 运维
|

Prometheus监控系统中常见技术问题处理指南

本文档是Prometheus使用指南,主要针对用户在使用过程中可能遇到的技术问题提供解决方案。

480 2
|
5月前
|
存储 人工智能 安全
|

大环境下AI发展迅速,如何保证AI的安全问题?

保障AI安全的关键措施包括:数据隐私保护(加密、访问控制、脱敏、共享协议)、模型安全(验证、鲁棒性、监测、更新)、用户信息保护(透明收集、匿名化、保密协议)、网络安全(实时监测、防护措施)和合规伦理(遵守法规、融入设计)。此外,安全培训和意识提升也是重要一环。多角度策略确保AI技术的安全、健康和可持续发展。

624 0
|
6月前
|
索引
|

Elasticsearch exception [type=illegal_argument_exception, reason=index [.1] is the write index for data stream [slowlog] and cannot be deleted]

在 Elasticsearch 中,你尝试删除的索引是一个数据流(data stream)的一部分,而且是数据流的写入索引(write index),因此无法直接删除它。为了解决这个问题,你可以按照以下步骤进行操作:

314 0
|
6月前
|
存储 监控 安全
|

保护企业财产:ERP系统的安全与数据保护策略

保护企业财产:ERP系统的安全与数据保护策略

415 0
|
6月前
|
监控
|

险境中的智慧航行:ERP系统的风险管理与应对策略

险境中的智慧航行:ERP系统的风险管理与应对策略

727 5
|
6月前
|
算法
|

MATLAB | 插值算法 | 二维interp2插值法 | 附数据和出图代码 | 直接上手

MATLAB | 插值算法 | 二维interp2插值法 | 附数据和出图代码 | 直接上手

363 0
|
6月前
|
机器学习/深度学习 人工智能 算法
|

AI+组合优化 |机器学习顶会ICLR/ICML/NeurIPS'23最新进展-MIP求解篇(附原文源码)

本文梳理了ICLR 2023、ICML 2023、NeurIPS 2023有关机器学习+混合整数规划问题求解加速求解加速的研究成果,总共包含8篇文章。

722 0
|
6月前
|
算法 计算机视觉
|

【MATLAB】 ICEEMDAN信号分解+FFT傅里叶频谱变换组合算法

【MATLAB】 ICEEMDAN信号分解+FFT傅里叶频谱变换组合算法

354 0
|
6月前
|
JSON 自然语言处理 对象存储
|

通义千问开源模型在PAI灵骏的最佳实践

本文将展示如何基于阿里云PAI灵骏智算服务,在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。

62513 7
来自: 人工智能平台PAI  版块
|
PyTorch 算法框架/工具 Python
|

【Pycharm配置】在Pycharm中配置Jupyter环境

在Pycharm中使用Jupyter,并配置自定义的Conda环境

1417 0
|
SQL 存储 关系型数据库
|

深入分析 Flink SQL 工作机制

本文首先会介绍推动这些优化背后的思考,展示统一的架构如何更好地处理流式和批式查询,其次将深入剖析 Flink SQL 的编译及优化过程。

7163 1
来自: 实时计算 Flink  版块
|
前端开发 数据可视化 大数据
|

DataV地图组件全新发布,带你玩转地理大数据

DataV平面地图组件全新升级,无级缩放、支持下钻的行政区域热力图、高性能渲染、多合一散点图、线热力图、数据优先渲染...,带你抢先看!

31451 1
来自: 数据可视化DataV  版块
|
1月前
|
JSON 前端开发 测试技术
|

API接口 |产品经理一定要懂的10%技术知识

作为产品经理,掌握约10%的技术知识对处理API相关工作至关重要。这包括理解API的基本概念及其作为数据交换的桥梁作用;熟悉JSON和XML两种主要数据格式及其特点;了解常见HTTP请求方法(GET、POST、PUT、DELETE)及响应状态码;关注API安全性,如认证授权和数据加密;掌握API版本管理和错误处理技巧;重视性能优化,以提升用户体验;参与API联调测试,确保稳定可靠;并与前后端团队紧密协作,选择合适的第三方API服务,推动产品高效开发。

79 1
|
3月前
|
机器学习/深度学习 并行计算 PyTorch
|

优化技巧与策略:提高 PyTorch 模型训练效率

【8月更文第29天】在深度学习领域中,PyTorch 是一个非常流行的框架,被广泛应用于各种机器学习任务中。然而,随着模型复杂度的增加以及数据集规模的增长,如何有效地训练这些模型成为了一个重要的问题。本文将介绍一系列优化技巧和策略,帮助提高 PyTorch 模型训练的效率。

289 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

7
今日
64618
内容
110
活动
438177
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务