开发者社区 > ModelScope模型即服务 > 正文

请问ModelScope如何在Api中调用呢?

"请问ModelScope如何在Api中调用呢? 我的代码是os.environ[""OPENAI_API_KEY""] = ""EMPTY""
os.environ[""OPENAI_BASE_URL""] = ""http://localhost:8000/v1""

from openai import OpenAI

client = OpenAI()

使用 OpenAI Python 客户端与 Qwen2 进行交互

client = openai.Client()

response = client.chat.completions.create(
model=""qwen/Qwen2-7B"",
messages=[
{""role"": ""system"", ""content"": ""You are a helpful assistant.""},
{""role"": ""user"", ""content"": ""Tell me something about large language models.""},
]
)

print(""Chat response:"", response['choices'][0]['message']['content'])
。除了将os.environ[""OPENAI_BASE_URL""] = ""http://localhost:8000/v1""
改成您说的网址之外,-H ""Content-Type: application/json"" \在哪添加呢?"

展开
收起
小小爱吃香菜 2024-07-17 08:15:34 29 0
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
ACE 区域技术发展峰会:Flink Python Table API入门及实践 立即下载
Java Spring Boot开发实战系列课程【第15讲】:Spring Boot 2.0 API与Spring REST Docs实战 立即下载
Spring Boot2.0实战Redis分布式缓存 立即下载