目前由于工作需要,可能需要将modelscope的pipeline迁移到arm架构的边缘设备上进行服务部署。但是为实现在边缘模型调用相应的硬件加速推理,需要将原始的pytorch或tensorflow模型转成边端设备适配格式的模型。同时,还要实现pipeline加载这种格式的模型,来实现对模型的正常调用的推理(仍旧利用pipeline中的数据前后处理,而只是把模型加载和推理的操作进行替换重载)。。
看了modelscope的文档,貌似都没有看到相关的内容。。不知道这种情况下,是否可以实现? 如可以,要怎么实现? 是否有相应的示例代码呢?
另外,还有一个问题,我测试modelscope上的图片质量检测demo,其使用的是cv_resnet_image-quality-assessment-mos_youtubeUGC,这个模型下载下来后,使用常规的modelscope转换onnx模型的方法,貌似不能正常使用。。这种情况下,要怎么进行模型转换呢?
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352