Ascend上的FlashAttention实现
FlashAttention是优化Transformer模型计算效率和内存使用的技术，通过减少存储访问开销提升性能。它采用Tiling、Recomputation、分块SoftMax等策略，减少HBM访问，加速计算，并在昇腾AI处理器上实现了显著的性能提升。
智源研究院发布中文高质量数据集CCI3.0-HQ技术报告
智源研究院发布了CCI3.0-HQ中文预训练数据集，采用先进的混合质量过滤方法，显著提升数据完整性和性能。该数据集在多项实验中表现优异，超越了其他主流中文语料库。同时，智源还推出了CCI3-HQ分类器，大幅改进了大语言模型训练中的数据选择流程。
用 OpenVINO™ 部署 GLM-Edge 全家桶
11月29日，智谱发布了GLM-Edge系列模型，包括GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B、GLM-Edge-V-5B，适用于手机、车机及PC平台。文章介绍了如何使用OpenVINO™工具套件在本地部署这些模型，实现高效的AI任务处理，如聊天与图像理解。提供了详细的环境配置、模型转换与量化、以及具体的应用示例。
什么是CANN和Ascend C
CANN（Compute Architecture for Neural Networks）是华为推出的AI异构计算架构，支持多种AI框架如MindSpore、PyTorch等，适用于AI处理器与编程，旨在提升昇腾AI处理器的计算效率。CANN提供强大的图引擎、算子开发语言Ascend C、算子加速库AOL、集合通信库HCCL、毕昇编译器及Runtime运行时，支持快速构建AI应用，涵盖推理应用开发、模型训练和算子开发等关键功能。
设计行业远程连接DoLink解决方案分享
DoLink企业远控团队为3D素材网站提供了高效远程办公解决方案，解决了设计行业因高性能显卡需求高、设备携带不便等问题，通过集成远程连接功能，确保了素材版权安全与使用便捷，实现了稳定、低延迟、高色彩还原的远程操作体验，满足了设计工作的专业需求。
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题，涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势，随后详细介绍了静态与动态内存的概念及其实现方式，最后重点讨论了几种节省内存的算法，如空间换内存、计算换内存、模型压缩和内存复用等，旨在提高内存使用效率，减少碎片化，提升模型训练和推理的性能。
【AI系统】布局转换原理与算法
数据布局转换技术通过优化内存中数据的排布，提升程序执行效率，特别是对于缓存性能的影响显著。本文介绍了数据在内存中的排布方式，包括内存对齐、大小端存储等概念，并详细探讨了张量数据在内存中的排布，如行优先与列优先排布，以及在深度学习中常见的NCHW与NHWC两种数据布局方式。这些布局方式的选择直接影响到程序的性能，尤其是在GPU和CPU上的表现。此外，还讨论了连续与非连续张量的概念及其对性能的影响。
分布式机器学习系统：设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战，重点分析了数据并行、模型并行等核心训练范式，以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性，旨在提供一套全面的技术解决方案，以应对超大规模模型训练中的计算、存储及通信挑战。