Hawa Code 多模型负载均衡

简介: Hawa Code 支持多模型智能路由与负载均衡,可配置 OpenAI、Kimi、Qwen 等多来源模型,按权重自动调度;内置协议转换、上下文压缩与连接复用,兼顾性能、灵活性与稳定性。(239字)

在使用 Coding Agent 时,同时接入多个模型来源已经非常常见。不同模型厂商通常提供不同的套餐和按量付费方式;实际使用中,也可能会接入第三方中转站或自建中转站,并在中转站中配置多个模型厂商账号,用于统一管理和负载分发。

如果只有单一模型配置,当需要在不同模型之间切换时就会比较繁琐。针对这种场景,Hawa Code 提供了多模型负载能力:用户可以配置多个模型来源,由 Hawa Code 根据路由规则自动选择并访问不同的模型。

配置

  • sources 用于配置模型来源信息,包括访问地址、API Key 和协议类型。
  • routing 用于配置 Hawa Code 实际使用的模型。每种模型类型都可以配置多个候选模型,并为它们设置不同权重,Hawa Code 会根据权重进行负载均衡访问。
{
  "sources": {
    "openai": {
      "base_url": "https://api.openai.com/v1",
      "auth_token": "{apikey}",
      "api_type": "openai",
      "models": ["gpt-5.5", "gpt-5.4-mini"]
    },
    "kimi": {
      "base_url": "https://api.kimi.com/coding",
      "auth_token": "{apikey}",
      "api_type": "anthropic",
      "models": ["K2.5", "K2.6"]
    },
    "qwen-coding": {
      "base_url": "https://coding.dashscope.aliyuncs.com/apps/anthropic",
      "auth_token": "{apikey}",
      "api_type": "anthropic",
      "models": ["qwen3-coder-plus"]
    }
  },
  "routing": {
    "MODEL": [
      { "source": "kimi", "model": "K2.6", "weight": 60 },
      { "source": "openai", "model": "gpt-5.5", "weight": 40 }
    ],
    "SMALL_FAST_MODEL": [
      { "source": "qwen-coding", "model": "qwen3-coder-plus", "weight": 50 },
      { "source": "kimi", "model": "K2.5", "weight": 50 }
    ]
  }
}

也可以直接在 CLI 终端中使用 /model 斜杠命令设置当前模型。

压缩

Hawa Code 会为每种模型设置默认的最大 Token 数量。当当前上下文的 Token 占比超过阈值后,Hawa Code 会自动压缩上下文。

如果配置了多个模型,Hawa Code 会以这些模型最大 Token 数量中的最小值作为压缩参考。因此,当多个模型的上下文窗口差距较大时,需要特别注意压缩触发时机,避免因为某个模型窗口较小而过早触发压缩。

缓存

对于每种模型类型,Hawa Code 只会创建一个客户端实例,并复用该实例发起请求,避免频繁创建客户端带来的额外开销。

协议转换层 (Protocol Adapter)

自动适配 OpenAI 或 Anthropic 等不同厂商的 API 协议格式,实现无感切换。


欢迎使用 Hawa Code https://www.hawacode.com/

目录
相关文章
|
5天前
|
人工智能 安全 测试技术
|
7天前
|
云安全 人工智能 安全
阿里云 Agentic SOC 位居 IDC MarketScape安全运营智能体2026领导者类别
以 Agentic AI 重构安全运营闭环,阿里云云安全在产品能力与市场份额
1197 3
|
7天前
|
缓存 UED 开发者
Codex109天重置23次,明天还要再送一次
Codex近109天完成23次额度重置,7月14日将迎来第24次。Tibo高频响应用户反馈:优化GPT-5.6高消耗问题、补发失效福利、调整重置时间——形成“反馈→回应→修复→补偿”正向闭环,彰显以用户为中心的产品哲学。(239字)
755 12
|
1天前
|
人工智能 运维 数据挖掘
最新版通义千问(Qwen3.8-Max-Preview)功能介绍
2026年7月,阿里云通义千问正式对外开放**Qwen3.8-Max-Preview旗舰预览模型**,作为目前千问系列规格最高、综合性能最强的新一代万亿级AI模型,该模型搭载2.4T超大参数架构,是阿里云首款突破万亿参数的原生多模态旗舰模型,全面覆盖文本、图像、视频、文档多维度处理能力。相较于前代热门Qwen3.7-Max版本,本次预览版实现全方位跨越式升级,在真实工程开发、多智能体长周期任务、全链路办公自动化、海量数据分析等高阶场景中,综合能力已达到全球顶尖模型水准。现阶段该模型已正式开放抢先体验通道,依托阿里云百炼Token Plan、Qoder编码平台、QoderWork办公终端三大专属
1358 0
|
6天前
|
数据采集 机器学习/深度学习 人工智能
田间杂草定位与检测4200张YOLO智慧农业数据集分享
本数据集含4200张真实农田图像,YOLO格式,单类别(杂草)高质量标注,覆盖多作物、多光照、多生长阶段等复杂场景,专为智慧农业杂草检测与智能除草设备研发设计,支持YOLOv5/v8/v10等主流模型训练。
375 94
|
11天前
|
存储 人工智能 JSON
Qwen 本地部署搭配 ComfyUI 生成 AI 漫剧完整实操指南(小白零基础可落地,零成本无限生成+角色一致性天花板)
2026全网最优本地漫剧流水线:零成本、离线运行、角色统一、低配(8G显卡)可跑。融合Qwen本地大模型+ComfyUI双引擎,实现剧本生成→分镜绘图→动态成片全自动,隐私安全、无审核限流,新手30分钟上手,日更无忧。(239字)
|
2天前
|
人工智能
Qwen3.8抢先体验!正式版即将发布并开源!
千问Qwen3.8即将开源,参数达2.4T,进化速度以“天”计,实力媲美Fable 5。预览版Qwen3.8-Max已上线阿里Token Plan等平台,限时优惠:日间Credits低至1折,夜间更优,个人/团队版月付仅35元起!
388 15
|
5天前
|
Web App开发 数据采集 人工智能
|
6天前
|
人工智能 自然语言处理 云计算
2026阿里云大使招募:抢占AI先机,轻松赚取最高30%返佣,享官方全程陪跑支持!
阿里云2026云大使计划全新升级!无门槛加入,覆盖个人与企业。推广400+款产品(含热门MAAS产品,如秒悟、百炼等),享高额返佣+长周期收益。官方提供培训、方案落地、客户陪跑全链路支持,助你成为AI时代超级连接者。会分享,就能赚!