四张图片道清AI大模型的发展史(1943-2023)
现在最火的莫过于GPT了,也就是大规模语言模型(LLM)。“LLM” 是 “Large Language Model”(大语言模型)的简称,通常用来指代具有巨大规模参数和复杂架构的自然语言处理模型,例如像 GPT-3(Generative Pre-trained Transformer 3)这样的模型。这些模型在处理文本和语言任务方面表现出色,但其庞大的参数量和计算需求使得它们被称为大模型。当然也有一些自动生成图片的模型,但是影响力就不如GPT这么大了。
基于 Flink SQL 和 Paimon 构建流式湖仓新方案
阿里云智能开源表存储负责人,Founder of Paimon,Flink PMC 成员李劲松在云栖大会开源大数据专场的分享。
大语言模型量化方法对比:GPTQ、GGUF、AWQ
在过去的一年里,大型语言模型(llm)有了飞速的发展,在本文中,我们将探讨几种(量化)的方式,除此以外,还会介绍分片及不同的保存和压缩策略。
3D目标检测数据集 DAIR-V2X-V
本文分享国内场景3D目标检测,公开数据集 DAIR-V2X-V(也称为DAIR-V2X车端)。DAIR-V2X车端3D检测数据集是一个大规模车端多模态数据集,包括: 22325帧 图像数据 22325帧 点云数据 2D&3D标注 基于该数据集,可以进行车端3D目标检测任务研究,例如单目3D检测、点云3D检测和多模态3D检测。
Cityscapes数据集(智能驾驶场景的语义分割)
面向智能驾驶(辅助驾驶、自动驾驶)场景下的语义分割任务,由于非结构化场景的复杂性,是一个非常具有挑战性的任务,所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。本文主要介绍Cityscapes数据集。
Python的reshape的用法:reshape(1,-1)、reshape(-1,1)
Python的reshape的用法:reshape(1,-1)、reshape(-1,1)
「4K Ultra HD蓝光」与普通蓝光有何区别?
本文将介绍 4K Ultra HD蓝光的特征并总结它与普通蓝光的区别,如果您对蓝光光盘的知识有兴趣,或者计划购买新的蓝光播放机,那么可以参考本文。
向量数据库简介和5个常用的开源项目介绍
在人工智能领域,有大量的数据需要有效的处理。随着我们对人工智能应用,如图像识别、语音搜索或推荐引擎的深入研究,数据的性质变得更加复杂。这就是向量数据库发挥作用的地方。与存储标量值的传统数据库不同,向量数据库专门设计用于处理多维数据点(通常称为向量)。这些向量表示多个维度的数据,可以被认为是指向空间中特定方向和大小的箭头。
区间预测 | MATLAB实现QRBiLSTM双向长短期记忆神经网络分位数回归时间序列区间预测
区间预测 | MATLAB实现QRBiLSTM双向长短期记忆神经网络分位数回归时间序列区间预测
【Deep Learning A情感文本分类实战】2023 Pytorch+Bert、Roberta+TextCNN、BiLstm、Lstm等实现IMDB情感文本分类完整项目(项目已开源)
亮点:代码开源+结构清晰+准确率高+保姆级解析 🍊本项目使用Pytorch框架,使用上游语言模型+下游网络模型的结构实现IMDB情感分析 🍊语言模型可选择Bert、Roberta 🍊神经网络模型可选择BiLstm、LSTM、TextCNN、Rnn、Gru、Fnn共6种 🍊语言模型和网络模型扩展性较好,方便读者自己对模型进行修改
阿里云DSW实例wandb使用示例
wandb是一个免费的,用于记录实验数据的工具。wandb相比于tensorboard之类的工具,有更加丰富的用户管理,团队管理功能,更加方便团队协作。本文主要演示如何在阿里云DSW实例中使用wandb。
Flink CDC 2.3 发布,持续优化性能,更多连接器支持增量快照,新增 Db2 支持
Flink CDC 2.3 发布,新增 Db2 数据源,MongoDB CDC 和 Oracle CDC支持增量快照,MySQL CDC 性能大幅提升
阿里云云原生一体化数仓 — 数据治理新能力解读
本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展,包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读,以及围绕降本增效的成本治理最佳实践。
【USENIX ATC】支持异构GPU集群的超大规模模型的高效的分布式训练框架Whale
高效大模型训练框架Whale(EPL)入选USENIX ATC
亿滋中国X阿里云,释放新零售的数字化力量
亿滋中国基于阿里云DataWorks与MaxCompute搭建新零售数据中台系统,通过强大的技术平台和数据分析能力,亿滋中国可以提早预知市场动向,制定市场,销售和供应链战略, 更高效地触及消费者锁定消费人群,优化成本模型提升投资回报率,提高销售预测的准确性,实现供应链的柔性生产。
基于实时深度学习的推荐系统架构设计和技术演进
整理自 5 月 29 日 阿里云开发者大会,秦江杰和刘童璇的分享,内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现,以及关于深度学习的细节介绍
Flink RocksDB 状态后端参数调优实践
RocksDB 的配置也是极为复杂的,可调整的参数多达百个,没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存储这一方面,我们仍然可以总结出一些相对普适的优化思路。本文先介绍一些基础知识,再列举方法。
【行业应用】阿里云实时计算 Flink 版 IoT 行业解决方案
物联网拉近分散的资讯,统整物与物的数位信息,主要应用领域包括以下方面:运输和物流领域、健康医疗领域、智慧环境(家庭、办公、工厂)领域、个人和社会领域等,具有十分广阔的市场应用前景。物联网将智能感知、识别技术、网络通信与普适计算等技术融合起来,被认为是继计算机、互联网、智能手机之后世界信息产业发展的下一个风口。
Demo 示例:如何原生的在 K8s 上运行 Flink?
Kubernetes 相信大家都比较熟悉,近两年大家都在讨论云原生的话题,讨论 Kubernetes。本文由阿里巴巴技术专家王阳(亦祺)分享,社区志愿者翟玥整理主要介绍如何原生的在 Kubernetes 上运行 Flink。
深入分析 Flink SQL 工作机制
本文首先会介绍推动这些优化背后的思考,展示统一的架构如何更好地处理流式和批式查询,其次将深入剖析 Flink SQL 的编译及优化过程。
基于实时计算(Flink)与高斯模型构建实时异常检测系统
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 1. 概述 异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。
Flink入坑指南 第四章:SQL中的经典操作Group By+Agg
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作,agg的全称是aggregation(聚合操作),是一类SQL算子的统称,Flink中最常用的Agg操作有COUNT/SUM/AVG等,详情参见Flink支持的聚合操作列表。
离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
完成数据的打通-豌豆荚被阿里巴巴收购后的168天
曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期,估值曾高达10亿美元。然而,最后被收购时金额大跳水。据传当时的收购价为2亿美元,不过这一数额并未得到阿里巴巴和豌豆荚的确认。
洞察电商数据:京东商品详情API 数据模型
该JD商品数据接口提供jd.item_get(基础)与jd.item_get_pro(全量)两大核心服务,支持POST/GET调用,返回JSON格式。无需申请密钥,传入item_id/sku_id及timestamp即可一键获取含图文、价格、库存、规格、销量、售后等7大模块的标准化商品数据,适配批量查询与中小卖家需求。(239字)
三年前写脚本折腾一宿的活,现在用1949ai操作十分钟就配完了
本文介绍一款开源桌面自动化工具,如何用拖拽式可视化编程替代传统Python脚本:无需写代码,通过连接“监控→解析→判断→操作”节点,轻松实现照片归档、网页抓取等任务;支持跨平台路径变量、轮询调优、本地离线运行,让逻辑思维取代编程语法。(239字)
浏览器自动化能干嘛?三个零门槛实操案例
本文介绍零代码浏览器自动化工具如何解放重复劳动:教培老师作业归档、个人账单统计、打印店接单等场景,仅需拖拽配置即可实现全自动操作。无需编程,识别按钮、提取数据、处理文件、自动回复一气呵成,每天轻松省下数小时。(239字)
基于自学习小AI的大模型算力集群智能优化方案
本方案基于原创轻量自学习小AI架构,专为大模型研发设计:通过GPU池化+小AI智能调度,无需新增高端GPU,即可将集群算力利用率从30%提升至80%以上,年省千万级成本。小AI自主学习、抗遗忘、守规则,零硬件投入、高技术壁垒、强场景适配。(239字)
函数计算异步任务在高并发Agent场景下的幂等性与去重实践(附真实踩坑案例)
本文分享大厂AI应用在函数计算(FC)高并发场景下,应对异步任务重复执行的**四层幂等去重实战方案**:从全链路requestId透传、Redis+Lua轻量锁(拦截85%+重复)、Handler内指纹校验,到DB唯一索引兜底。附可落地代码与真实数据——重复率由11.7%降至0.08%,LLM调用与FC账单显著下降。
从“通才”到“专才”:揭秘AI大模型预训练与微调的核心魔法
本文通俗解析AI“预训练+微调”范式:预训练如AI的“基础教育”,让模型从海量数据中自学语言与视觉规律;微调则是定向“专业培训”,用少量业务数据将通用大模型转化为解决具体问题的“专属专家”。全程兼顾原理、步骤与实践,助力零基础用户轻松上手。(239字)
为什么 TopK 越大,模型反而越爱胡说
本文揭示RAG中TopK参数的致命误区:增大TopK并非提升召回,而是扩大模型决策空间,导致证据冲突加剧、关键信息稀释、模型被迫“自圆其说”。实证表明,TopK=3–5才是稳定安全区间;盲目调大只会用不确定性换表面流畅,本质是为切分、检索等深层问题背锅。
向量数据库实战:从“看起来能用”到“真的能用”,中间隔着一堆坑
本文揭示向量数据库实战的七大关键陷阱:选型前需明确业务本质(模糊匹配 or 精确查询?);embedding 比数据库本身更重要,决定语义“世界观”;文档切分是核心工程,非辅助步骤;建库成功≠可用,TopK 准确率会随数据演进失效;“相似但不可用”是常态,必须引入 rerank;需建立可追溯的bad case排查路径;向量库是长期系统,非一次性组件。核心结论:难在“用对”,不在“用上”。
想打造专属AI?微调大模型前,你必须搞懂这13个关键概念
本文系统解析大模型微调的13个核心概念,涵盖硬件基石(GPU/显存/精度)、训练目标(SFT/RLHF等)、关键设置(Batch Size/Epoch)及模型结构(层数/隐藏维度/显存开销),并提供LoRA实战路径与效果评估方法,助力个人与企业低成本打造专属AI。(239字)
从 0 到跑通一次微调:别急着追效果,先让它“真的动起来”
微调最难的不是算法,而是“跑通全流程”。首次微调应聚焦简单目标:让模型回答更规范、语气更一致。避免复杂数据与环境折腾。loss下降不等于成功,关键看输出是否按预期改变。跑通一次,复盘流程,才是真正入门。
基于深度学习的暴力行为识别系统
随着城市化进程加快,传统安防难以应对暴力事件。基于深度学习的暴力行为识别系统,融合YOLOv8、Python与多模态数据,实现高精度、实时检测,提升公共安全响应效率,助力智慧城市建设。
【AI大模型面试宝典二】— 基础架构篇
【AI大模型面试宝典】聚焦分词器核心考点!详解BPE、WordPiece、SentencePiece原理与实战,覆盖中文分词最佳实践、词汇表构建、特殊标记处理,助你轻松应对高频面试题,精准提升offer竞争力!
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。