Delta-CoMe：清华联合OpenBMB等高校开源的新型增量压缩算法
Delta-CoMe是由清华大学NLP实验室联合OpenBMB开源社区、北京大学和上海财经大学提出的新型增量压缩算法。该算法通过结合低秩分解和低比特量化技术，显著减少了大型语言模型的存储和内存需求，同时保持了模型性能几乎无损。Delta-CoMe特别适用于处理数学、代码和多模态等复杂任务，并在推理速度上有所提升。
Transformer模型变长序列优化：解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略，旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战，特别是填充方法导致的资源浪费。随后，提出了多种优化技术，包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式，显著提升了模型的性能。实验结果显示，使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒，相比未优化版本提升了约2.5倍。
【AI系统】图算 IR
本文全面介绍了计算图的概念及其在AI框架中的应用，涵盖计算图的基本构成、与自动微分的关系、静态图与动态图的生成及特点，以及计算图对AI编译器的重要作用。文章详细解析了计算图的结构，包括张量和算子的角色，探讨了AI框架如何通过计算图实现自动微分，同时对比了静态图和动态图的优缺点，指出了计算图在优化AI编译器性能方面的关键作用。
【大模型入门系列2】本地win11部署通义千问大模型做RAG验证
本文介绍了如何在本地环境中部署并使用大模型，特别是阿里巴巴云的Qwen1.5-0.5B-Chat模型。首先分析了本地化部署的重要性，包括数据安全、网络稳定性、定制化需求等方面。接着详细描述了环境准备过程，包括更新显卡驱动、安装CUDA、配置Python环境等。随后，文章展示了如何使用ModelScope Library加载模型，并通过Python脚本实现基本的对话功能。最后，探讨了私有化部署大模型的优势，如数据安全、定制化、效率提升等，为未来的探索指明方向。
模型训练的通用性
模型训练的通用性指模型在不同任务、领域或数据集上的适应能力。通过预训练模型、迁移学习、多任务学习、任务无关特征提取、灵活的模型架构、正则化、数据增强、超参数调优等方法，可以提升模型的通用性和泛化能力，使其在新任务上表现更佳。
ViewExtrapolator：南洋理工联合UCAS团队推出的新型视图合成方法
南洋理工大学与UCAS团队联合推出了一种新型视图合成方法——ViewExtrapolator。该方法基于稳定视频扩散（SVD）技术，能够在不进行微调的情况下，高效生成超出训练视图范围的新视角图像，显著减少伪影，提升视觉质量。ViewExtrapolator具有广泛的应用前景，尤其在虚拟现实、3D内容创建、电影制作等领域。
AutoVFX：自然语言驱动的视频特效编辑框架
AutoVFX是一个先进的自然语言驱动的视频特效编辑框架，由伊利诺伊大学香槟分校的研究团队开发。该框架能够根据自然语言指令自动创建真实感和动态的视觉特效（VFX）视频，集成了神经场景建模、基于大型语言模型（LLM）的代码生成和物理模拟技术。本文详细介绍了AutoVFX的主要功能、技术原理以及如何运行该框架。
【AI系统】AI 系统与程序代码关系
本文探讨了AI系统与程序代码之间的关系，通过PyTorch实现LeNet5神经网络模型为例，详细介绍了AI训练流程原理、网络模型构建方法、算子实现的系统问题以及AI系统执行的具体计算过程。文章不仅解释了神经网络的前向传播和反向传播机制，还深入分析了算子在AI框架中的作用及其底层实现，包括卷积层的具体计算和优化问题。此外，文章对比了使用PyTorch与直接使用cuDNN+CUDA编程实现神经网络模型的差异，强调了AI框架在提高开发效率、自动化内存管理和实现自动微分等方面的重要性。
【AI系统】AI系统概述与设计目标
本文介绍了AI系统的全栈架构，涵盖设计目标、组成和生态。AI系统旨在连接硬件与应用，提供高效的模型服务和开发支持。文中探讨了高效编程语言、开发框架、工具链的重要性，以及AI任务系统级支持、自动编译优化和云原生自动分布式化等关键设计目标。此外，还详细讨论了AI训练与推理框架、AI编译与计算架构、AI硬件与体系结构等组成部分，以及AI算法和框架、更广泛的生态系统等。
大规模语言模型与生成模型：技术原理、架构与应用
本文深入探讨了大规模语言模型（LLMs）和生成模型的技术原理、经典架构及应用。介绍了LLMs的关键特点，如海量数据训练、深层架构和自监督学习，以及常见模型如GPT、BERT和T5。同时，文章详细解析了生成模型的工作原理，包括自回归模型、自编码器和GANs，并讨论了这些模型在自然语言生成、机器翻译、对话系统和数据增强等领域的应用。最后，文章展望了未来的发展趋势，如模型压缩、跨模态生成和多语言多任务学习。