Janus-Pro：DeepSeek 开源的多模态模型，支持图像理解和生成

2025-01-29 40

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

图像搜索，7款服务类型 1个月

简介： Janus-Pro是DeepSeek推出的一款开源多模态AI模型，支持图像理解和生成，提供1B和7B两种规模，适配多元应用场景。通过改进的训练策略、扩展的数据集和更大规模的模型，显著提升了文本到图像的生成能力和指令跟随性能。

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

介绍：Janus-Pro 是 DeepSeek 推出的开源多模态模型，支持图像理解和生成，提供 1B 和 7B 两种规模。
主要功能：支持从文本生成图像、图像解析、指令跟随等多模态任务。
技术原理：采用解耦的视觉编码路径和统一的 Transformer 架构，提升多模态任务的灵活性和稳定性。

正文（附运行示例）

Janus-Pro是什么

autotrain-advanced

Janus-Pro 是由 DeepSeek 推出的开源多模态 AI 模型，旨在统一处理图像理解和图像生成任务。该模型提供了 1B 和 7B 两种规模，适用于多种应用场景。通过改进的训练策略、扩展的数据集和更大规模的模型，Janus-Pro 在文本到图像的生成能力和指令跟随性能方面有了显著提升。

Janus-Pro 采用了解耦的视觉编码路径，避免了视觉和语言信息处理中的冲突，提高了模型的灵活性和扩展性。这使得它能够更好地处理复杂的多模态任务，成为一个强大的统一多模态模型。

Janus-Pro的主要功能

多模态理解与生成：支持从文本生成图像（文本到图像），能理解和处理图像内容。根据文本描述生成符合要求的图像，对图像进行解析并生成相关的文本或标签。
开源与大规模模型：提供多个版本的模型（如 1B 和 7B），开发者和研究人员可以自由使用并进行二次开发。
改进的训练策略与数据集：通过改进的训练策略，Janus-Pro 在多模态任务中表现更加稳定和高效。采用了大规模的训练数据集，覆盖了更广泛的场景，提升了模型的理解能力和生成质量。
解耦视觉编码路径：通过将视觉信息和文本信息的编码路径解耦，避免了视觉和语言信息处理中的冲突，提高了模型的灵活性和扩展性，能更好地处理复杂的多模态任务。
图像到文本的指令跟随：能根据图像内容生成相关的文本描述，或者按照指令执行任务。例如，根据一张图像生成相应的文本描述，或根据指令对图像进行处理。
高效的图像生成能力：在文本到图像的生成任务中表现出色，根据输入的文本描述生成高质量的图像。生成的图像具有较高的真实性和细节，满足复杂的需求。

Janus-Pro的技术原理

视觉编码解耦：Janus-Pro 基于独立的路径分别处理多模态理解与生成任务，有效解决视觉编码器在两种任务中的功能冲突。
统一 Transformer 架构：使用单一的 Transformer 架构处理多模态任务，简化了模型设计，提升了扩展能力。
优化的训练策略：Janus-Pro 对训练策略进行了精细调整，包括延长 ImageNet 数据集训练、聚焦文本到图像数据训练和调整数据比例。
扩展的训练数据：Janus-Pro 扩展了训练数据规模和多样性，包括多模态理解数据和视觉生成数据。
视觉编码器的创新：Janus-Pro 基于 SigLIP-L 作为视觉编码器，支持高分辨率输入，捕捉图像细节。
生成模块的创新：使用 LlamaGen Tokenizer，下采样率为 16，生成更精细的图像。
基础架构的创新：基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 模型构建，提供了强大的多模态处理能力。

如何运行 Janus-Pro

1. 安装依赖

在 Python >= 3.8 环境下，安装必要的依赖：

pip install -e .

2. 多模态理解示例

import torch
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor
from janus.utils.io import load_pil_images

# 指定模型路径
model_path = "deepseek-ai/Janus-Pro-7B"
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(
    model_path, trust_remote_code=True
)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

conversation = [
    {
   
        "role": "<|User|>",
        "content": f"<image_placeholder>\n{question}",
        "images": [image],
    },
    {
   "role": "<|Assistant|>", "content": ""},
]

# 加载图像并准备输入
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation, images=pil_images, force_batchify=True
).to(vl_gpt.device)

# 运行图像编码器以获取图像嵌入
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# 运行模型以获取响应
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True,
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)

3. 文本到图像生成示例

import os
import PIL.Image
import torch
import numpy as np
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor

# 指定模型路径
model_path = "deepseek-ai/Janus-Pro-7B"
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(
    model_path, trust_remote_code=True
)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

conversation = [
    {
   
        "role": "<|User|>",
        "content": "A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair",
    },
    {
   "role": "<|Assistant|>", "content": ""},
]

sft_format = vl_chat_processor.apply_sft_template_for_multi_turn_prompts(
    conversations=conversation,
    sft_format=vl_chat_processor.sft_format,
    system_prompt="",
)
prompt = sft_format + vl_chat_processor.image_start_tag

@torch.inference_mode()
def generate(
    mmgpt: MultiModalityCausalLM,
    vl_chat_processor: VLChatProcessor,
    prompt: str,
    temperature: float = 1,
    parallel_size: int = 16,
    cfg_weight: float = 5,
    image_token_num_per_image: int = 576,
    img_size: int = 384,
    patch_size: int = 16,
):
    input_ids = vl_chat_processor.tokenizer.encode(prompt)
    input_ids = torch.LongTensor(input_ids)

    tokens = torch.zeros((parallel_size*2, len(input_ids)), dtype=torch.int).cuda()
    for i in range(parallel_size*2):
        tokens[i, :] = input_ids
        if i % 2 != 0:
            tokens[i, 1:-1] = vl_chat_processor.pad_id

    inputs_embeds = mmgpt.language_model.get_input_embeddings()(tokens)

    generated_tokens = torch.zeros((parallel_size, image_token_num_per_image), dtype=torch.int).cuda()

    for i in range(image_token_num_per_image):
        outputs = mmgpt.language_model.model(inputs_embeds=inputs_embeds, use_cache=True, past_key_values=outputs.past_key_values if i != 0 else None)
        hidden_states = outputs.last_hidden_state

        logits = mmgpt.gen_head(hidden_states[:, -1, :])
        logit_cond = logits[0::2, :]
        logit_uncond = logits[1::2, :]

        logits = logit_uncond + cfg_weight * (logit_cond-logit_uncond)
        probs = torch.softmax(logits / temperature, dim=-1)

        next_token = torch.multinomial(probs, num_samples=1)
        generated_tokens[:, i] = next_token.squeeze(dim=-1)

        next_token = torch.cat([next_token.unsqueeze(dim=1), next_token.unsqueeze(dim=1)], dim=1).view(-1)
        img_embeds = mmgpt.prepare_gen_img_embeds(next_token)
        inputs_embeds = img_embeds.unsqueeze(dim=1)


    dec = mmgpt.gen_vision_model.decode_code(generated_tokens.to(dtype=torch.int), shape=[parallel_size, 8, img_size//patch_size, img_size//patch_size])
    dec = dec.to(torch.float32).cpu().numpy().transpose(0, 2, 3, 1)

    dec = np.clip((dec + 1) / 2 * 255, 0, 255)

    visual_img = np.zeros((parallel_size, img_size, img_size, 3), dtype=np.uint8)
    visual_img[:, :, :] = dec

    os.makedirs('generated_samples', exist_ok=True)
    for i in range(parallel_size):
        save_path = os.path.join('generated_samples', "img_{}.jpg".format(i))
        PIL.Image.fromarray(visual_img[i]).save(save_path)

generate(
    vl_gpt,
    vl_chat_processor,
    prompt,
)

资源

GitHub 仓库：https://github.com/deepseek-ai/Janus
HuggingFace 仓库：https://huggingface.co/deepseek-ai/Janus-Pro-7B
HuggingFace 仓库：https://huggingface.co/deepseek-ai/Janus-Pro-1B
在线体验 Demo：https://huggingface.co/spaces/deepseek-ai/Janus-Pro-7B