AI 助理
备案控制台
开发者社区 ModelScope模型即服务 正文

modelscope里用vllm调用千问1.5-7b流式输出，没输出完就结束了，有限制输出多少字吗?

modelscope里用vllm调用千问1.5-7b，流式输出，文字多了，没输出完就finish了，是什么参数有限制输出多少字吗？

展开
收起
防火防爆 2024-08-16 16:31:00 122 分享 版权
1 条回答
写回答
取消 提交回答
  • 李丽虹

    您用1.5-7b-chat试试。此回答整理自钉钉群“魔搭ModelScope开发者联盟群 ①”

    2024-08-28 11:27:15
    赞同 展开评论
相关问答
modelscope-funasr的paraformer-streaming微调代码是咋实现流式？
99
0
0
想请问下ModelScope里Vllm部署了qwen1.5-32B之后，它无限输出日志 怎么解决？
217
0
0
modelscope-funasr的online流式实时听写，没有标点符号，需要如何设置？
142
0
0
用Python加gradio参考示例代码制作了调用千问的应用在modelscope上应该怎样运行呢？
66
1
0
请问modelscope上的语音合成模型可以流式输出吗？
74
1
0
.ModelScope从modelhub直接下载的模型需要通过vllm部署的时候需要在什么地方设置？
528
1
0
modelscope-funasr的流式和非流式的区别在哪看？
96
1
0
在modelscope-funasr为什么流式和非流式要分成两个模型呢？
70
0
0
modelscope-funasr流式识别会出现单词连到一块的情况，为什么？
54
0
0
modelscope-funasr的MFCCA这个模型能流式处理语音吗？
39
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

热门讨论

热门文章

  • modelscope-funasr==1.0.5依赖的torch版本是多少？
  • ModelScope中，模型下载默认路径在哪个路径？
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • 关于wan2.1显存占用的问题
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 无法导入 modelscope，已经pip install了
  • ModelScope下载速度慢怎么解决？
  • llama factory微调报错CUDA未被检测！
    • 展开全部
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • 还在蹲Manus的邀请码？别等了！开源版Manus为你快速创建AI工位，给AI一台电脑，然后你就玩去吧！
  • 本地部署DeepSeek模型
  • OWL：告别繁琐任务！开源多智能体系统实现自动化协作，效率提升10倍
  • Trae 接入 Claude 3.7：AI 编程工具界的“卷王”，完全免费使用！
  • WhisperChain：开源 AI 实时语音转文字工具！自动消噪优化文本，效率翻倍
  • 阿里通义开源推理模型新王者！QwQ-32B：性能直逼671B的DeepSeek-R1
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • 深度评测 | 仅用3分钟，百炼调用满血版 Deepseek-r1 API，百万Token免费用，简直不要太爽。
  • Heygem：开源数字人克隆神器！1秒视频生成4K超高清AI形象，1080Ti显卡也能轻松跑
    • 展开全部
    还有其他疑问?
    咨询AI助理