类目筛选
2024-05-15
1980
高并发架构设计三大利器：缓存、限流和降级
软件系统有三个追求：高性能、高并发、高可用，俗称三高。本篇讨论高并发，从高并发是什么到高并发应对的策略、缓存、限流、降级等。
1,980
2024-05-15
113707
函数计算部署AI艺术字应用，生成新春文字头像
基于 Stable Diffusion Serverless API 解决方案搭建 AI 文字生成应用，支持并发出图。
113,707
2024-05-15
112165
20行代码，Serverless架构下用Python轻松搞定图像分类和预测
本文将AI项目与Serverless架构进行结合，在Serverless架构下用20行Python代码搞定图像分类和预测。
112,165
2024-05-15
139325
用软硬协同设计下的飞天盘古降低存储系统开销
历经 15 载，如今的飞天盘古系统已迭代至第三代，数千万行代码和 1,000 余项专利，从大规模、到高性能、到高效能的分布式存储系统的演进，更高效地让数据中心成为一台计算机。
139,325
2024-05-15
101770
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
101,770
2024-05-15
104752
SLS 大模型可观测&安全推理审计标准解决方案
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
104,752