2024-05-15
560

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

2024-06-03
73534

基于阿里云服务网格流量泳道的全链路流量管理(三):无侵入式的宽松模式泳道

本文简要讨论了使用流量泳道来实现全链路流量灰度管理的场景与方案,并回顾了阿里云服务网格 ASM 提供的严格与宽松两种模式的流量泳道、以及这两种模式各自的优势与挑战。接下来介绍了一种基于 OpenTelemetry 社区提出的 baggage 透传能力实现的无侵入式的宽松模式泳道,这种类型的流量泳道同时具有对业务代码侵入性低、同时保持宽松模式的灵活特性的特点。同时,我们还介绍了新的基于权重的流量引流策略,这种策略可以基于统一的流量匹配规则,将匹配到的流量以设定好的比例分发到不同的流量泳道。

73,534
2024-08-06
7299

通义灵码代码搜索功能的前沿性研究论文被软件工程国际顶会 FSE 录用

阿里云通义灵码团队与重庆大学合作的研究论文被 FSE Industry 2024 (CCF A) 录用,该论文通过对阿里云开发的智能编码插件进行实证调查,主要探讨了在智能编码助手中的代码搜索问题,点击本文查看论文详解。

7,299
2024-08-12
175

5 大场景上手通义灵码企业知识库 RAG

大家好,我是通义灵码,你的智能编程助手!今天就跟大家分享下企业知识库能帮开发者做些什么。

2024-08-21
759

用好通义灵码,让这款 AI 编码助手帮你做更多工作

通义灵码提供了一系列快捷键和配置选项以增强开发体验。

2024-09-06
97

MacTalk 测评通义灵码,实现“微信表情”小功能

墨问西东创始人池建强分享了团队使用通义灵码的经验。

2024-05-15
1186

企业级DMZ上云场景方案

随着企业业务云化进程逐渐进入深水区,简单地使用云上资源出入公网已经无法满足业务的诉求,安全、成本、权限、监控等诉求的迭代,需要企业有系统性地视角来考虑如何做好公网出入口(DMZ)的规划设计。

1,186
2024-05-15
899

智能客服对话系统解决方案

针对问题咨询场景中出现大量相关领域的问题,PAI提供了智能客服对话系统解决方案,以降低客户等待时间和人工客服成本。本文以汽车售前咨询业务领域为例,介绍如何基于人工智能算法,快速构建智能客服对话系统。

899
2024-05-15
841

如何使用SASE快速构建零信任架构

企业构建零信任架构已经成为近年热门的话题之一。本质都是保护企业核心数据安全,防止未经合法授权的数据的访问行为。阿里云SASE依托于阿里云的网络组网优势,为用户提供一个稳定、高效的SD-WAN组网及接入能力,与此同时叠加安全能力。

841
1
...
10
11
12
13
14
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
12/14