本文主要介绍了解析云原生 AI 所遇到的技术挑战和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。
本篇主要简单介绍了在AI时代由‘大参数、大数据、大算力’需求下，对GPU算力管理和分配带来的挑战。以及面对这些挑战，GPU算力需要从单卡算力管理、单机多卡算力管理、多机多卡算力管理等多个方面发展出来的业界通用的技术。
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
幻兽帕鲁最近非常火。有些小伙伴可能不喜欢跟陌生人一起玩，那么你可以搭建一个专有服务器和朋友一起联机游戏。自己搭建服务器不仅更私密，还能自定义游戏里的一些选项，比如调整工作速度倍率、经验获取倍率等。 这篇教程将引导你在几分钟内快速完成幻兽帕鲁服务器的搭建。
本文从一个通用的客户问题出发，描述了一个问题如何从前置排查到使用AI Profiling进行详细的排查，最后到问题定位与解决、业务执行过程的分析，从而展现一个从黑箱到透明的精细化的剖析过程。
AI技术迎来了“百花齐放”的春天，这既是我们的挑战也是机会。而AI+千行百业创造了无限可能，也为独立开发者提供了大量的资源、支持以及学习经验的机会。本文分享一篇摘录自Hexmos 期刊的AI 时代的 GPU 生存工具包。
这篇摘要主要介绍了美团外卖在搜索推荐业务中如何利用图技术解决挑战，包括外卖广告搜索推荐业务的介绍、异构大图的演进、大规模图引擎的建设，以及系统的总结和展望。
