全面解析 | 大模型时代如何利用弹性计算服务应对大算力挑战
2023年6月20日，阿里云弹性计算团队与智东西公开课联合出品的系列课程「阿里云弹性计算技术公开课」正式播出，阿里云弹性计算产品专家张新涛作为该系列课程首位主讲人，带来了主题为《大模型时代如何应对大算力挑战》的课程分享，本次课程也在阿里云官网、钉钉视频号、阿里云官方视频号、阿里云开发者视频号、阿里云创新中心直播间&视频号等多平台同步播出。
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
昇腾集群PFC现象分析
负责集群运维的同学可能都遇到过PFC现象，那么PFC到底是啥？产生原因是什么？这篇文章提供了一些分析。
DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
深度学习（Deep Learning, DL）或阶层学习（hierarchical learning）是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络（Artifitial Neural Networks, ANNs），在计算系统中实现人工智能 。由于阶层ANN能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习（representation learning）能力 ，可以实现端到端的监督学习和非监督学习 。此外，深度学习也可参与构建强化学习（reinforcement learning）系统，形成深度强化学习 。
CoAtNet：将卷积和注意力结合到所有数据大小上
变形金刚在计算机视觉领域吸引了越来越多的兴趣，但它们仍然落后于最先进的卷积网络。在这项工作中，我们表明，虽然变形金刚往往具有更大的模型容量，但由于缺乏正确的归纳偏置，其泛化能力可能比卷积网络差。为了有效地结合两种体系结构的优势，我们提出了CoAtNets，这是一个基于两个关键观点构建的混合模型家族：
（1）深度卷积和自我注意可以通过简单的相对注意自然地统一起来；
（2） 以一种有原则的方式垂直堆叠卷积层和注意层在提高泛化、容量和效率方面出人意料地有效。
阿里云GPU服务器价格(优惠价/学生价/按小时收费)
阿里云GPU服务器价格(优惠价/学生价/按小时收费)阿里云GPU服务器租用价格表包括包年包月价格、一个小时收费以及学生GPU服务器租用费用，阿里云GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡，GPU云服务器gn6i可享受3折优惠，阿里云百科分享阿里云GPU服务器租用价格表、GPU一个小时多少钱以及学生GPU服务器收费价格表
