开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

MGeo模型推理速度怎么提升?

基于Mgeo训练了分类模型:
基础模型:mgeo_backbone_chinese_base
分类数量:27W
模型训练完成后的大小:1.2G左右
GPU:A800
推理性能:单个请求响应在238ms左右

诉求:希望支持能够转换mgeo模型为onnx,或者有没有其他方式提升模型推理速度

展开
收起
ht896632 2024-06-20 16:33:51 89 0
0 条回答
写回答
取消 提交回答

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载