|
存储 安全 算法
|

三种常见的加密算法:MD5、对称加密与非对称加密的比较与应用

网络安全聚焦加密算法:MD5用于数据完整性校验,易受碰撞攻击;对称加密如AES快速高效,密钥管理关键;非对称加密如RSA提供身份验证,速度慢但安全。三种算法各有所长,适用场景各异,安全与效率需权衡。【6月更文挑战第17天】

3059 2
|
缓存 安全 生物认证
|

什么是代理ip?代理ip的工作原理?代理ip有哪些类型?

当您在互联网上浏览或访问网站时,您的IP地址是您的设备在网络上的唯一标识。通过IP地址,网站和其他在线服务可以追踪您的位置、活动和访问历史。但是,使用IP代理可以帮助您代理本地IP地址,从而增加您的在线隐私和安全。

2083 0
|
1天前
|
SQL Java 关系型数据库
|

二、Hive安装部署详细过程

手把手教你完成 Hive 的安装、配置和可视化连接,适合初学者快速搭建自己的大数据分析平台。内容涵盖从环境准备、Metastore配置,到 DataGrip 连接的全流程,并附带实用的排错指南,助你轻松迈出 Hive 入门第一步。

52 14
|
25天前
|
机器学习/深度学习 人工智能 API
|

从外贸数据孤岛到智能引擎:信风AI多Agent架构深度解析

传统外贸获客面临数据孤岛、决策固化、工具割裂三大困境。信风TradeWind AI通过多Agent协同架构,构建“数据-决策-执行”闭环,实现从单点工具到智能协同系统的跃迁,打造可扩展、可定制、可进化的AI获客引擎。

169 9
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
|

AI 十大论文精讲(三):RLHF 范式奠基 ——InstructGPT 如何让大模型 “听懂人话”

本文解读AI十大核心论文之二——《Training Language Models to Follow Instructions with Human Feedback》。该论文提出RLHF框架,通过“监督微调-奖励建模-强化学习”三步法,首次实现大模型与人类意图的有效对齐,推动GPT-3进化为更安全、可信的InstructGPT,奠定ChatGPT等后续模型的技术基石,开启大模型“从博学到好用”的新时代。

432 152
|
8月前
|
机器学习/深度学习 存储 缓存
|

加速LLM大模型推理,KV缓存技术详解与PyTorch实现

大型语言模型(LLM)的推理效率是AI领域的重要挑战。本文聚焦KV缓存技术,通过存储复用注意力机制中的Key和Value张量,减少冗余计算,显著提升推理效率。文章从理论到实践,详细解析KV缓存原理、实现与性能优势,并提供PyTorch代码示例。实验表明,该技术在长序列生成中可将推理时间降低近60%,为大模型优化提供了有效方案。

1596 15
|
缓存 监控 Java
|

如何运用JAVA开发API接口?

本文详细介绍了如何使用Java开发API接口,涵盖创建、实现、测试和部署接口的关键步骤。同时,讨论了接口的安全性设计和设计原则,帮助开发者构建高效、安全、易于维护的API接口。

1171 4
|
数据采集 API 开发者
|

拼多多API接口怎么申请

拼多多API接口申请步骤简述:首先访问拼多多开放平台并注册账号,选择开发者类型并填写资料,审核通过后创建应用并申请API接口权限,等待审核结果,获取API密钥等信息。完成后,即可使用拼多多API接口进行开发,注意遵守相关规定。

3223 0
|
数据采集 人工智能 监控
|

赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源

Label-LLM 是一款专为大模型训练设计的多模态文本对话标注工具,支持团队协作,让标注工作变得简单高效。它不仅涵盖丰富的任务类型,如回答采集、偏好收集和内容评估等,还支持多模态数据标注,包括图像、视频和音频。Label-LLM具备预标注载入功能,能大幅提升工作效率,并提供全方位的任务管理与可视化分析,确保标注质量。快来体验这款强大的标注平台吧![部署文档](https://github.com/opendatalab/LabelLLM)

2911 0
|
机器学习/深度学习 人工智能 算法
|

深入了解AI算法及其实现过程

人工智能(AI)已经成为现代技术发展的前沿,广泛应用于多个领域,如图像识别、自然语言处理、智能推荐系统等。本文将深入探讨AI算法的基础知识,并通过一个具体的实现过程来展示如何将AI算法应用于实际问题。

1682 0
|
人工智能 运维 DataWorks
|

语雀+通义千问+DataWorks,让AI定期推送每周总结

DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这篇文章简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。

1542 7
|
数据采集 SQL 监控
|

大数据清洗的艺术:有效处理缺失值、异常值与重复数据

【4月更文挑战第8天】本文探讨了大数据清洗的三个关键环节:缺失值处理、异常值识别与处理、重复数据消除。在处理缺失值时,涉及识别、理解原因、选择删除、填充或保留策略,并进行结果验证。异常值识别包括统计方法、业务规则和可视化检查,处理策略包括删除、修正和标记。重复数据的识别基于主键和关键属性,处理策略有删除、合并和哈希,处理后需持续监控。数据清洗是一门艺术,需要结合统计学、编程技能和业务理解。

3776 2
|
存储 并行计算 Java
|

Python读取.nc文件的方法与技术详解

本文介绍了Python中读取.nc(NetCDF)文件的两种方法:使用netCDF4和xarray库。netCDF4库通过`Dataset`函数打开文件,`variables`属性获取变量,再通过字典键读取数据。xarray库利用`open_dataset`打开文件,直接通过变量名访问数据。文中还涉及性能优化,如分块读取、使用Dask进行并行计算以及仅加载所需变量。注意文件路径、变量命名和数据类型,读取后记得关闭文件(netCDF4需显式关闭)。随着科学数据的增长,掌握高效处理.nc文件的技能至关重要。

2770 0
|
机器学习/深度学习 编解码 PyTorch
|

CVPR 2023 | 主干网络FasterNet 核心解读 代码分析

本文分享来自CVPR 2023的论文,提出了一种快速的主干网络,名为FasterNet。核心算子是PConv,partial convolution,部分卷积,通过减少冗余计算和内存访问来更有效地提取空间特征。

10347 58
|
传感器 机器人 C++
|

机器人操作系统ROS 编程开发--详细总结

最近工作涉及到自动驾驶的,需要学习ROS,学习中总结了一些知识点,分享给大家。 机器人操作系统ROS,是一种分布式处理框架(又名Nodes),ROS常用C++和python编程语言开发;(这里项目开发采用C++ 11版本)。ROS的点对点设计以及服务和节点管理器等机制,可以分散由计算机视觉和语音识别等功能带来的实时计算压力,能够适应多机器人遇到的挑战。ROS免费并且开源。

3155 0
|
机器学习/深度学习 运维 算法
|

梯度&散度&旋度&峰度&偏度你分得清楚吗?驻点&鞍点你分得清楚吗?曲率&斜率你分得清楚吗?

本文介绍了四种常见的物理量:加速度,速度,位移和力学功。详细介绍了它们的定义、计算以及在物理学和工程学领域中的应用。此外,本文还介绍了四种与物理量相关的概念:向量、标量、质量和密度。 数学,物理,机器学习领域常见概念区分

3032 0
|
存储 SQL 缓存
|

Hologres揭秘:深度解析高效率分布式查询引擎

从阿里集团诞生到云上商业化,随着业务的发展和技术的演进,Hologres也在持续不断优化核心技术竞争力,为了让大家更加了解Hologres,我们计划持续推出Hologers底层技术原理揭秘系列,从高性能存储引擎到高效率查询引擎,高吞吐写入到高QPS查询等,全方位解读Hologers,请大家持续关注!

12761 4
来自: 实时数仓 Hologres  版块
|
SQL 存储 关系型数据库
|

【最佳实践】使用 Elasticsearch SQL 实现数据查询

如何使用 Elasticsearch SQL 来对我们的数据进行查询。

6392 0
|
2天前
|
人工智能 JSON 自然语言处理
|

面向多模态AI平台的品牌内容曝光:从“被动收录”到“主动引用”的GEO工程化实践

作为资深数字营销工程师与AI开发者,我近期深耕生成式引擎优化(GEO)领域,推动品牌从“流量竞争”转向“认知竞争”。依托结构化数据、多平台适配与双引擎协同(GEO特工队AI+内容特工队AI),构建AI友好型内容生态,实现品牌在豆包、千问等主流平台的高效曝光与权威引用,打造可持续的GEO长跑战略。

51 0
来自: 智能搜索推荐  版块
|
2天前
|
Kubernetes 负载均衡 Java
|

混沌工程:让系统在“自我破坏”中,慢慢长出免疫力

混沌工程:让系统在“自我破坏”中,慢慢长出免疫力

51 9
|
13天前
|
存储 传感器 人工智能
|

AI 十大论文精讲(八):知识蒸馏如何让大模型 “瘦身不减能”

本篇解读DistilBERT,一篇解决大模型落地难题的里程碑论文。面对BERT等大模型参数多、耗能高、部署难的问题,DistilBERT提出预训练阶段知识蒸馏,结合三重损失与轻量化设计,在保留97%性能的同时,模型缩小40%,推理提速60%,推动NLP迈向高效、绿色、边缘化应用。

154 8
|
3月前
|
存储 机器学习/深度学习 人工智能
|

RAG系统嵌入模型怎么选?选型策略和踩坑指南

嵌入是RAG系统的核心,直接影响检索质量。本文详解嵌入原理,解析稠密/稀疏、长上下文、多向量等类型,梳理选型关键:领域匹配、上下文长度、维度与成本,并结合MTEB基准给出实用建议,助你为业务挑选高效稳健的嵌入方案。

553 2
|
5月前
|
传感器 算法 数据挖掘
|

Python时间序列平滑技术完全指南:6种主流方法原理与实战应用

时间序列数据分析中,噪声干扰普遍存在,影响趋势提取。本文系统解析六种常用平滑技术——移动平均、EMA、Savitzky-Golay滤波器、LOESS回归、高斯滤波与卡尔曼滤波,从原理、参数配置、适用场景及优缺点多角度对比,并引入RPR指标量化平滑效果,助力方法选择与优化。

1115 0
|
6月前
|
存储 编解码 Prometheus
|

大模型推理加速实战:vLLM 部署 Llama3 的量化与批处理优化指南

本文详解如何通过量化与批处理优化,在vLLM中高效部署Llama3大模型。涵盖内存管理、推理加速及混合策略,提升吞吐量并降低延迟,适用于大规模语言模型部署实践。

1614 2
|
7月前
|
机器学习/深度学习 PyTorch API
|

PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践

本文深入探讨神经网络模型量化技术,重点讲解训练后量化(PTQ)与量化感知训练(QAT)两种主流方法。PTQ通过校准数据集确定量化参数,快速实现模型压缩,但精度损失较大;QAT在训练中引入伪量化操作,使模型适应低精度环境,显著提升量化后性能。文章结合PyTorch实现细节,介绍Eager模式、FX图模式及PyTorch 2导出量化等工具,并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略,包括逐通道量化、混合精度设置及目标硬件适配,助力高效部署深度学习模型。

1181 21
|
8月前
|
数据采集 存储 Web App开发
|

如何避免爬虫因Cookie过期导致登录失效

如何避免爬虫因Cookie过期导致登录失效

798 7
|
机器学习/深度学习 Serverless 定位技术
|

深入理解多重共线性:基本原理、影响、检验与修正策略

本文将深入探讨多重共线性的本质,阐述其重要性,并提供有效处理多重共线性的方法,同时避免数据科学家常犯的陷阱。

849 3
|
机器学习/深度学习 算法 数据挖掘
|

深度学习中常用损失函数介绍

选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数,并附有易于理解的解释、用法和示例

1197 0
|
存储 分布式计算 Apache
|

官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!

Apache Paimon 在构建实时数据湖与流批处理技术领域取得了重大突破,数据湖步入实时新篇章!

4232 6
来自: 实时计算 Flink  版块
|
Java 应用服务中间件 Maven
|

解决“Unable to start embedded Tomcat“错误的完整指南

通过逐步检查以上问题,你应该能够解决 "Unable to start embedded Tomcat" 错误,并使Tomcat成功启动。

4538 1
|
存储 算法 搜索推荐
|

时间复杂度:一步步理解算法效率

时间复杂度:一步步理解算法效率,更多文章可关注我的微信公众号:Python学习杂记

1355 0
|
5天前
|
机器学习/深度学习 数据采集 运维
|

宕机不是突然的,是你没提前看见 —— 聊聊 IT 事件预测,机器学习如何把事故掐死在摇篮里

宕机不是突然的,是你没提前看见 —— 聊聊 IT 事件预测,机器学习如何把事故掐死在摇篮里

50 3
|
2月前
|
存储 数据采集 搜索推荐
|

Python+淘宝API:3步爬取10万条商品评论(附反爬破解技巧)

本文介绍淘宝商品评论爬取技术,涵盖环境配置、接口分析、反爬破解及数据存储。使用Python模拟请求,动态代理与签名绕过风控,结合Flask中转降低封禁风险,实现高效合规的数据采集,适用于竞品分析与用户画像构建。(238字)

406 1
|
9月前
|
安全 小程序 Java
|

weixin027校园二手平台的设计与实现+ssm(文档+源码)_kaic

本项目基于微信小程序开发校园二手交易平台,旨在解决大学生闲置物品交易问题。系统采用Java语言和MySQL数据库设计,支持用户浏览、收藏、评价商品及发布闲置物品。管理员可审核商品和用户信息,确保交易安全。系统具备在线搜索功能,方便用户查找商品,并提供实时沟通渠道,增强平台透明度和用户体验。该平台简化了二手交易流程,满足了大学生对便捷、高效交易的需求,具有重要的实际应用价值。

871 25
|
SQL 机器学习/深度学习 自然语言处理
|

Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析

本文介绍了Text-to-SQL的技术演进,并对OpenSearch-SQL方法进行剖析。

1954 8
来自: 智能搜索推荐  版块
|
Ubuntu 网络安全 数据安全/隐私保护
|

使用WinSCP工具,将windows文件传输到虚拟机Ubuntu系统

使用WinSCP工具,将windows文件传输到虚拟机Ubuntu系统

2698 4
|
存储 机器学习/深度学习 人工智能
|

基于Megatron-Core的稀疏大模型训练工具:阿里云MoE大模型最佳实践

随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE(多专家混合)大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度,模型效果甚至超过同规模稠密模型。阿里云PAI和NVIDIA团队深入合作,基于Megatron-Core MoE框架,解决了MoE大模型训练落地时会遇到的可拓展性、易用性、功能性以及收敛精度等核心问题,在下游任务上取得了很好的模型效果。

86725 9
来自: 人工智能平台PAI  版块
|
数据安全/隐私保护 iOS开发
|

Apple Music中的DRM保护

苹果音乐(Apple Music)是一种流媒体音乐服务,为用户提供了广泛的音乐内容。然而,为了保护音乐版权,Apple Music使用数字版权管理(DRM)技术对其音乐进行保护。DRM保护是一种加密技术,旨在防止用户未经授权地复制、传播或修改受版权保护的音乐。

1963 1
|
机器学习/深度学习 API Python
|

阿里云DSW实例wandb使用示例

wandb是一个免费的,用于记录实验数据的工具。wandb相比于tensorboard之类的工具,有更加丰富的用户管理,团队管理功能,更加方便团队协作。本文主要演示如何在阿里云DSW实例中使用wandb。

1837 1
来自: 人工智能平台PAI  版块
|
5月前
|
机器学习/深度学习 人工智能 API
|

AI 发展 && MCP

AI发展——计算机视觉、ChatGPT、Sora、DeepSeek、生成式AI。什么是MCP,Prompt、LLM、Function Call、Agent、MCP是什么,各自区别;MCP如何工作,MCP架构、MCP Server工作原理,Cursor如何使用MCP,自定义MCP Server

893 46
|
9月前
|
机器学习/深度学习 人工智能 算法
|

强化学习:Gym的库的实践——小车上山(包含强化学习基础概念,环境配置国内镜像加速)——手把手教你入门强化学习(一)

本文开启“手把手教你入门强化学习”专栏,介绍强化学习基础概念及实践。强化学习通过智能体与环境交互,学习最优策略以最大化累积奖励,适用于复杂动态决策问题。文章讲解智能体、环境等核心概念,并使用Gym库进行案例实操,如CartPole和MountainCar环境的代码实现。最后预告下期将深入马尔科夫决策过程(MDP)。适合初学者系统了解强化学习并动手实践。创作不易,欢迎关注、点赞与收藏!

1228 4
来自: 人工智能平台PAI  版块
|
10月前
|
人工智能 自然语言处理 小程序
|

让小程序拥有“视觉之眼“:DeepSeek图像识别实战指南

本文介绍如何通过DeepSeek计算机视觉技术,赋予小程序“看懂世界”的能力。从构建视觉感知系统、训练专属视觉词典到创造会思考的界面,详细讲解了实现智能相册、植物识别器和老旧照片修复等功能的步骤。最后探讨性能优化与安全合规要点,展望未来视觉智能应用的无限可能。

1911 2
|
10月前
|
SQL 存储 HIVE
|

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。

1252 1
来自: 实时计算 Flink  版块
|
10月前
|
存储 数据采集 数据库
|

Python爬虫实战:股票分时数据抓取与存储

Python爬虫实战:股票分时数据抓取与存储

1248 5
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
|

很火的DeepSeek到底是什么

DeepSeek,全称杭州深度求索人工智能基础技术研究有限公司,成立于2023年。因推出开源 AI 模型 DeepSeek-R1 而引起了广泛关注。与ChatGPT相比,大幅降低了推理模型的成本。

3790 36
|
机器学习/深度学习 数据可视化 测试技术
|

YOLO11实战:新颖的多尺度卷积注意力(MSCA)加在网络不同位置的涨点情况 | 创新点如何在自己数据集上高效涨点,解决不涨点掉点等问题

本文探讨了创新点在自定义数据集上表现不稳定的问题,分析了不同数据集和网络位置对创新效果的影响。通过在YOLO11的不同位置引入MSCAAttention模块,展示了三种不同的改进方案及其效果。实验结果显示,改进方案在mAP50指标上分别提升了至0.788、0.792和0.775。建议多尝试不同配置,找到最适合特定数据集的解决方案。

3262 0
|
数据采集 人工智能 监控
|

阿里云百炼模型训练实战流程:从入门到实战应用

【7月更文第2天】阿里云百炼是AI大模型开发平台,提供一站式服务,涵盖模型训练到部署。用户从注册登录、创建应用开始,选择模型框架,配置资源。接着,进行数据准备、预处理,上传至阿里云OSS。模型训练涉及设置参数、启动训练及调优。训练后,模型导出并部署为API,集成到应用中。平台提供监控工具确保服务性能。通过百炼,开发者能高效地进行大模型实战,开启AI创新。

4645 2
|
数据可视化 算法 大数据
|

深入解析高斯过程:数学理论、重要概念和直观可视化全解

这篇文章探讨了高斯过程作为解决小数据问题的工具,介绍了多元高斯分布的基础和其边缘及条件分布的性质。文章通过线性回归与维度诅咒的问题引出高斯过程,展示如何使用高斯过程克服参数爆炸的问题。作者通过数学公式和可视化解释了高斯过程的理论,并使用Python的GPy库展示了在一维和多维数据上的高斯过程回归应用。高斯过程在数据稀疏时提供了一种有效的方法,但计算成本限制了其在大数据集上的应用。

1137 1
|
存储 算法 数据可视化
|

使用Python代码识别股票价格图表模式

在股票市场交易的动态环境中,技术和金融的融合催生了分析市场趋势和预测未来价格走势的先进方法。本文将使用Python进行股票模式识别。

801 0
|
1天前
|
数据采集 算法 机器人
|

具身智能:零基础入门睿尔曼机械臂(五)—— 手眼标定核心原理与数学求解

本文系统讲解手眼标定技术,涵盖Eye-in-Hand与Eye-to-Hand两种架构,深入推导AX=XB方程的数学原理与求解方法,结合实际应用场景和操作步骤,为机器人视觉开发者提供从理论到实践的完整指南。

48 9

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

3
今日
67711
内容
128
活动
439500
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务