2024-05-15
92776

阿里云云原生弹性方案,用弹性解决集群资源利用率难题

本文主要介绍了通过弹性,实现成本优化,解决集群资源利用率难题。

92,776
2024-05-15
101720

大语言模型推理提速,TensorRT-LLM 高性能推理实践

大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

101,720
2024-05-15
104688

SLS 大模型可观测&安全推理审计标准解决方案

本文介绍大模型可观测&安全推理审计解决方案和Demo演示,SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能,自定义仪表盘;SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据,建设完整统一的大模型可观测方案,为用户的大模型安全推理审计提供全面合规支持。

104,688
2024-05-15
1066

从方法论到最佳实践,深度解析企业云原生 DevSecOps 体系构建

本文主要介绍了云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战以及相对成熟的一部分安全体系方法论,深度解析企业云原生 DevSecOps 体系构建。

1,066
2024-05-15
112641

线程操纵术之更优雅的并行策略

本文详细介绍了并行编程以及一些并行问题案例中的真实业务场景。

112,641
2023-12-01
1040

Koordinator 助力云原生应用性能提升,小红书混部技术实践

本文基于 2023 云栖大会上关于 Koordinator 分享的实录,介绍小红书通过规模化落地混部技术来大幅提升集群资源效能,降低业务资源成本。

1,040
2023-09-26
138371

云原生场景下高可用架构的最佳实践

云原生场景下高可用架构的最佳实践

138,371
2023-09-19
900

全网最细,深度解析 Istio Ambient Mesh 流量路径

本文旨在对 Istio Ambient Mesh 的流量路径进行详细解读,力求尽可能清晰地呈现细节,以帮助读者完全理解 Istio Ambient Mesh 中最为关键的部分。

900
2023-07-18
130688

手把手教你使用OSS-HDFS服务平替自建HDFS

本文主要介绍了OSS-HDFS服务以及使用OSS-HDFS服务平替自建HDFS。

130,688
1
...
6
7
8
9
10
到第
1
2
3
4
5
6
7
8
9
10
9/10