当前位置： 首页 > article >正文

DeepSeek的多模态AI模型-Janus-pro,可生图，可读图

article 2026/5/3 10:48:43

简介

Janus-Pro 是由 DeepSeek 开发的一款多模态理解与生成模型，是 Janus 模型的升级版。它能够同时处理文本和图像，既能理解图像内容，又能根据文本描述生成高质量图像。Janus-Pro 的核心目标是通过解耦视觉编码路径，解决多模态理解与生成任务之间的冲突，从而提升模型的灵活性和性能。

在这里插入图片描述

Janus-Pro 提供了 1B 和 7B 两种参数规模的版本，支持开源和免费商用，适用于多种应用场景，如广告设计、游戏开发、教育等。

核心特点

Janus-Pro 的核心特点包括：

  • 解耦视觉编码：通过独立的路径分别处理多模态理解和生成任务，避免任务间的冲突。理解任务使用 SigLIP 编码器提取高维语义特征，生成任务使用 VQ Tokenizer 将图像转换为离散 ID。

  • 统一 Transformer 架构：采用单一的自回归 Transformer 架构处理多模态任务，简化模型设计并提高扩展性。

  • 优化的训练策略：包括延长训练时间、调整数据比例、增加高质量合成数据等，显著提升了模型的生成能力和稳定性。

  • 加粗样式**多任务支持：能够同时处理图像生成、图像理解、跨模态推理等多种任务，推理能力强大。
    在这里插入图片描述

模型架构

在这里插入图片描述

Janus-Pro 的架构设计基于以下关键组件：

  • 视觉编码器：

多模态理解任务使用 SigLIP 编码器提取高维语义特征，并将其映射到语言模型的输入空间。

图像生成任务使用 VQ Tokenizer 将图像转换为离散 ID，并通过生成适配器映射到输入空间。

  • 自回归 Transformer：将文本和图像特征序列整合为统一的多模态特征序列，输入到 DeepSeek-LLM 中进行处理。

训练阶段：

  • 第一阶段：训练适配器和图像头部，建立语言与视觉元素的联系。

  • 第二阶段：统一预训练，使用多模态语料库学习理解和生成任务。

  • 第三阶段：监督微调，优化模型在多模态理解和生成任务中的表现。
    在这里插入图片描述

性能对比

Janus-Pro 在多个基准测试中表现优异：

  • 多模态理解：在 MMBench 测试中，Janus-Pro-7B 得分为 79.2，超越了 TokenFlow-XL（68.9）和 MetaMorph（75.2）等模型。

  • 在这里插入图片描述

  • 图像生成：在 GenEval 测试中，Janus-Pro-7B 得分为 0.80，优于 DALL-E 3（0.67）和 Stable Diffusion 3 Medium（0.74）。
    在这里插入图片描述

  • 综合能力：Janus-Pro 在复杂场景的文本-图像对齐度和细节还原方面表现突出，生成的图像具有较高的真实性和细节。
    在这里插入图片描述
    在这里插入图片描述

应用场景与未来展望

Janus-Pro 在广告设计、游戏开发、教育等领域具有广泛的应用潜力。未来，DeepSeek 计划通过提高输入分辨率、改进训练数据等方式进一步提升模型性能。

相关文献参考

论文地址
modelscope模型地址
github地址
demo在线

相关文章：

DeepSeek的多模态AI模型-Janus-pro,可生图，可读图

简介 Janus-Pro 是由 DeepSeek 开发的一款多模态理解与生成模型，是 Janus 模型的升级版。它能够同时处理文本和图像，既能理解图像内容，又能根据文本描述生成高质量图像。Janus-Pro 的核心目标是通过解耦视觉编码路径，解决多模态理…...

编程日记 2026/5/3 10:48:43

Python爬虫实战：一键采集电商数据，掌握市场动态！

电商数据分析是个香饽饽，可市面上的数据采集工具要不贵得吓人，要不就是各种广告弹窗。干脆自己动手写个爬虫，想抓啥抓啥，还能学点技术。今天咱聊聊怎么用Python写个简单的电商数据爬虫。 打好基础：搞定请求头 别看爬虫…...

编程日记 2026/4/30 21:56:36

最短木板长度

最短木板长度 真题目录: 点击去查看 E 卷 100分题型 题目描述 小明有 n 块木板，第 i ( 1 ≤ i ≤ n ) 块木板长度为 ai。 小明买了一块长度为 m 的木料，这块木料可以切割成任意块，拼接到已有的木板上，用来加长木板。 小明想让最…...

编程日记 2026/2/25 12:00:39

【人工智能】掌握图像风格迁移：使用Python实现艺术风格的自动化迁移

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 图像风格迁移（Image Style Transfer）是一种基于深度学习的计算机视觉技术，通过将一张图像的内容与另一张图像的艺术风格结合，生成一幅具…...

编程日记 2026/2/24 8:27:51

git submodules

当代码仓库中包含 .gitmodules 文件时，这意味着该仓库使用了 Git 子模块（Git Submodules）。.gitmodules 文件记录了子模块的相关信息，如子模块的仓库地址、路径等。若要在下载代码时一并同步子模块，可以按照以下几种常…...

编程日记 2026/4/30 7:27:42

7 与mint库对象互转宏（macros.rs）

macros.rs代码定义了一个Rust宏mint_vec，它用于在启用mint特性时，为特定的向量类型实现与mint库中对应类型的相互转换。mint库是一个提供基本数学类型（如点、向量、矩阵等）的Rust库，旨在与多个图形和数学库兼容。这个宏…...

编程日记 2026/4/17 3:04:25

游戏引擎 Unity - Unity 下载与安装

Unity Unity 首次发布于 2005 年，属于 Unity Technologies Unity 使用的开发技术有：C# Unity 的适用平台：PC、主机、移动设备、VR / AR、Web 等 Unity 的适用领域：开发中等画质中小型项目 Unity 适合初学者或需要快速上手的开…...

编程日记 2026/4/28 21:55:33

[openwrt]openwrt slaac only模式下部分终端无法获取到IPv6 DNS

问题描述 OpenWrt 中，如果启用了 RA 单播（ra_unicast），但部分终端无法获取到 DNS 信息 问题分析 RA 单播的局限性 并非所有终端都完全支持通过单播接收 RA 消息。部分终端可能无法正确解析单播 RA 中的 RDNSS（Recursive DNS Server）选项，从而导致无法获取 DNS 信息。终…...

编程日记 2026/3/19 3:17:39

Java 面试真题

本题适合一到三年 Java 开发 ，以下问题都是按照原面试官提问记录 文章目录 我要进大厂系列面试题二面 我要进大厂系列面试题 全部真题，欢迎投稿你的面试经验。 本篇涉及基础较多，但要耐性看完。 JVM内存模型垃圾回收器用的哪个gc各个算法…...

编程日记 2026/4/14 2:34:02

验证工具：GVIM和VIM

一、定义与关系 gVim：gVim是Vim的图形界面版本，提供了更多的图形化功能，如菜单栏、工具栏和鼠标支持。它使得Vim的使用更加直观和方便，尤其对于不习惯命令行界面的用户来说。Vim：Vim是一个在命令行界面下运行的文本编…...

编程日记 2026/4/26 13:10:29

理解 C 与 C++ 中的 const 常量与数组大小的关系

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C语言 文章目录 💯前言💯数组大小的常量要求💯C 语言中的数组大小要求💯C 中的数组大小要求💯为什么 C 中 const 变量可以作为数组大小💯进一步的…...

编程日记 2026/4/26 11:58:42

孟加拉国_行政边界省市边界arcgis数据shp格式wgs84坐标

这篇内容将深入探讨孟加拉国的行政边界省市边界数据，该数据是以arcgis的shp格式提供的，并采用WGS84坐标系统。ArcGIS是一款广泛应用于地理信息系统（GIS）的专业软件，它允许用户处理、分析和展示地理空间数据。在GIS领域…...

编程日记 2026/4/26 11:58:42

安心即美的生活方式

如果你的心是安定的，那么，外界也就安静了。就像陶渊明说的：心远地自偏。不是走到偏远无人的边荒才能得到片刻清净，不需要使用洪荒之力去挣脱生活的枷锁，这是陶渊明式的中国知识分子的雅量。如果你自己是好的男人或女人…...

编程日记 2026/5/3 7:49:53

APT (Advanced Package Tool) 安装与使用-linux014

APT (Advanced Package Tool) APT (Advanced Package Tool) 是一个用于管理 Debian 和 Ubuntu 系列 Linux 发行版上的软件包的工具。它简化了软件的安装、升级、配置和删除过程。APT 为用户提供了一个统一的命令行接口，使得管理和安装软件变得更加简单。 APT 主要…...

编程日记 2026/4/30 4:59:02

深度学习篇---深度学习中的超参数张量转换模型训练

文章目录 前言第一部分：深度学习中的超参数1. 学习率（Learning Rate）定义重要性常见设置 2. 批处理大小（Batch Size）定义重要性常见设置 3. 迭代次数（Number of Epochs）定义重要性常见设置 4. 优…...

编程日记 2025/8/19 13:24:06

Java设计模式：行为型模式→状态模式

Java 状态模式详解 1. 定义 状态模式（State Pattern）是一种行为型设计模式，它允许对象在内部状态改变时改变其行为。状态模式通过将状态需要的行为封装在不同的状态类中，实现对象行为的动态改变。该模式的核心思想是分离不同状态…...

编程日记 2026/4/26 11:58:52

快速幂，错位排序笔记

​ 记一下刚学明白的快速幂和错位排序的原理和代码 快速幂 原理： a^b (a^（b/2）) ^ 2（b为偶数） a^b a*（a^（ (b-1)/2））^2（b为奇数） 指数为偶数时…...

编程日记 2026/4/26 11:58:43

机器人基础深度学习基础

参考： （1）【具身抓取课程-1】机器人基础 （2）【具身抓取课程-2】深度学习基础 1 机器人基础 从平面二连杆理解机器人学 正运动学：从关节角度到末端执行器位置的一个映射 逆运动学：已知末端位置…...

编程日记 2026/4/25 21:56:48

Java语法进阶

目录： Object类、常用APICollection、泛型List、Set、数据结构、CollectionsMap与斗地主案例异常、线程线程、同步等待与唤醒案例、线程池、Lambda表达式File类、递归字节流、字符流缓冲流、转换流、序列化流、Files网络编程 十二、函数式接口Stream流、方法引用 一…...

编程日记 2026/5/1 14:43:52

探索 paraphrase-MiniLM-L6-v2 模型在自然语言处理中的应用

在自然语言处理（NLP）领域，将文本数据转换为机器学习模型可以处理的格式是至关重要的。近年来，sentence-transformers 库因其在文本嵌入方面的卓越表现而受到广泛关注。本文将深入探讨 paraphrase-MiniLM-L6-v2 模型，这…...

编程日记 2026/5/3 16:16:32

《chatwise：DeepSeek的界面部署》

ChatWise：DeepSeek的界面部署 摘要 本文详细描述了DeepSeek公司针对其核心业务系统进行的界面部署工作。从需求分析到技术实现，再到测试与优化，全面阐述了整个部署过程中的关键步骤和解决方案。通过本文，读者可以深入了解DeepSee…...

编程日记 2026/4/26 20:26:46

论计算机网络技术专业如何？创新

计算机网络技术专业是顺应数字化时代发展的朝阳专业，前景十分广阔。它聚焦于计算机网络的规划、建设、维护与管理，从基础的网络布线、设备配置，到复杂的网络安全防护、云计算架构搭建，都在专业学习范畴内。该专业毕业生就业面广，可在互联网企业从事网络工程师岗位，负责搭…...

编程日记 2025/4/22 21:53:49

2. 【.NET 8 实战--孢子记账--从单体到微服务--转向微服务】--什么是微服务--微服务概述与演变

在软件架构不断演进的今天，微服务架构已成为许多企业构建现代化应用的首选方案。本文将深入探讨微服务的基本概念、演变历程及其出现的背景和推动因素，同时分析当前微服务在业界的应用现状和未来趋势，为读者提供一个全面的视角，理…...

编程日记 2026/3/6 6:47:21

单节锂电池外部供电自动切换的电路学习

文章目录 前言一、原理分析：①当VBUS处有外部电源输入时②当VBUS处无外部电源输入时 二、器件选择1、二极管2、MOS管3、其他 总结 前言 学习一种广泛应用的锂电池供电自动切换电路 电路存在外部电源时，优先使用外部电源供电，并为电池供电&…...

编程日记 2026/4/29 11:02:16

数据结构-堆和PriorityQueue

1.堆&#xff08;Heap&#xff09; 1.1堆的概念 堆是一种非常重要的数据结构&#xff0c;通常被实现为一种特殊的完全二叉树 如果有一个关键码的集合K{k0,k1,k2,...,kn-1}&#xff0c;把它所有的元素按照完全二叉树的顺序存储在一个一维数组中&#xff0c;如果满足ki<k2i…...

编程日记 2026/4/30 21:30:44

如何打造一个更友好的网站结构？

在SEO优化中&#xff0c;网站的结构往往被忽略&#xff0c;但它其实是决定谷歌爬虫抓取效率的关键因素之一。一个清晰、逻辑合理的网站结构&#xff0c;不仅能让用户更方便地找到他们需要的信息&#xff0c;还能提升搜索引擎的抓取效率 理想的网站结构应该像一棵树&#xff0c;…...

编程日记 2026/4/26 12:02:21

每日Attention学习20——Group Shuffle Attention

模块出处 [MICCAI 24] [link] LB-UNet: A Lightweight Boundary-Assisted UNet for Skin Lesion Segmentation 模块名称 Group Shuffle Attention (GSA) 模块作用 轻量特征学习 模块结构 模块特点 使用分组(Group)卷积降低计算量引入External Attention机制更好的学习特征S…...

编程日记 2026/5/2 17:03:51

VUE之组件通信（二）

1、v-model v-model的底层原理&#xff1a;是:value值和input事件的结合 $event到底是啥&#xff1f;啥时候能.target 对于原生事件&#xff0c;$event就是事件对象 &#xff0c;能.target对应自定义事件&#xff0c;$event就是触发事件时&#xff0c;所传递的数据&#xff…...

编程日记 2026/4/26 11:58:47

[x86 ubuntu22.04]进入S4失败

目录 1 问题描述 2 解决过程 2.1 查看内核日志 2.2 新建一个交换分区 2.3 指定交换分区的位置 1 问题描述 CPU&#xff1a;G6900E OS&#xff1a;ubuntu22.04 Kernel&#xff1a;6.8.0-49-generic 使用“echo disk > /sys/power/state”命令进入 S4&#xff0c;但是无法…...

编程日记 2026/4/26 11:58:49

idea隐藏无关文件

idea隐藏无关文件 如果你想隐藏某些特定类型的文件&#xff08;例如 .log 文件或 .tmp 文件&#xff09;&#xff0c;可以通过以下步骤设置&#xff1a; 打开设置 在菜单栏中选择 File > Settings&#xff08;Windows/Linux&#xff09;或 IntelliJ IDEA > Preference…...

编程日记 2026/4/26 11:58:47