Qwen3-VL-8B数据库课程设计：构建一个多模态商品智能检索系统

Qwen3-VL-8B数据库课程设计构建一个多模态商品智能检索系统最近有个学弟跑来问我说数据库课程设计不知道做什么好想做个有技术含量又能拿高分的项目。我给他提了个建议用现在很火的多模态大模型结合传统的数据库做一个能“以图搜图”和“以文搜图”的商品检索系统。他听完眼睛都亮了说这个想法太酷了既有数据库的增删改查又有AI的前沿技术还能做出一个看得见摸得着的Web应用。今天我就把这个项目思路完整地分享出来如果你也在为数据库课程设计发愁或者想做一个能写进简历的实战项目那这篇文章就是为你准备的。我们会用MySQL来管理商品信息用Qwen3-VL-8B这个多模态模型来理解图片和文字最后再用一个简单的Web界面把它们串起来实现智能搜索。1. 项目概述我们要做一个什么东西简单来说我们要做的就是一个“智能版”的商品搜索系统。想象一下你是一个电商平台的运营手里有成千上万的商品图片。传统的做法是给每张图片手动打上标签比如“红色连衣裙”、“休闲运动鞋”然后用户通过搜索这些标签来找到商品。这种方式费时费力而且标签不一定准确。我们的系统要做的就是让AI来干这个“理解”的活儿。你上传一张商品图片系统背后的Qwen3-VL-8B模型会自动“看懂”这张图片提取出它的视觉特征和语义描述。然后当用户想找商品时他既可以直接上传一张类似的图片也可以输入一段文字描述比如“带蝴蝶结的白色衬衫”系统就能从海量商品中快速找到最匹配的那些。这个项目的核心价值在于“跨模态检索”——也就是打通了图片和文字之间的壁垒。它不再是简单的关键词匹配而是真正理解了图片内容和文字含义之后的智能匹配。对于数据库课程设计来说它完美融合了几个关键知识点数据库设计E-R图、建表、索引、数据操作插入、查询、关联以及一个非常具体的应用场景。2. 核心架构系统是怎么工作的在动手写代码之前我们得先把系统的骨架搭好。整个系统可以分成三层像搭积木一样一层一层往上建。2.1 数据层MySQL数据库设计这一层是系统的基石所有商品信息、图片特征都存放在这里。我们设计三张核心表商品基本信息表 (products)这张表存放最传统的商品信息每个商品一条记录。CREATE TABLE products ( product_id INT AUTO_INCREMENT PRIMARY KEY, category VARCHAR(100) NOT NULL COMMENT 商品类别如服饰、电子产品, title VARCHAR(255) NOT NULL COMMENT 商品标题, description TEXT COMMENT 商品详细文本描述, image_path VARCHAR(500) NOT NULL COMMENT 商品主图在服务器上的存储路径, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;图片特征向量表 (image_features)这是AI能力的核心体现。Qwen3-VL-8B模型会为每一张商品图片生成一个高维度的特征向量比如1024维这个向量就像是图片的“数字指纹”浓缩了它的视觉信息。我们把它存起来。CREATE TABLE image_features ( feature_id INT AUTO_INCREMENT PRIMARY KEY, product_id INT NOT NULL, feature_vector BLOB NOT NULL COMMENT 存储Qwen3-VL提取的图片特征向量, FOREIGN KEY (product_id) REFERENCES products(product_id) ON DELETE CASCADE, INDEX idx_product_id (product_id) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;注意实际存储时我们需要将这个高维向量通常是NumPy数组序列化成二进制数据如使用pickle或直接存储为字节流再存入BLOB字段。文本描述嵌入表 (text_embeddings)同样商品的标题和描述文本也会通过模型的文本编码器转换成另一个特征向量文本嵌入。这样文字和图片就在同一个向量空间里有了可比性。CREATE TABLE text_embeddings ( embedding_id INT AUTO_INCREMENT PRIMARY KEY, product_id INT NOT NULL, text_embedding BLOB NOT NULL COMMENT 存储商品标题/描述文本的嵌入向量, FOREIGN KEY (product_id) REFERENCES products(product_id) ON DELETE CASCADE, INDEX idx_product_id (product_id) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;这三张表通过product_id关联起来构成了我们系统的数据核心。你可能会问为什么要把特征分开存主要是为了查询效率。当用户用图片搜索时我们只需要比对image_features表用文字搜索时只需要比对text_embeddings表。2.2 模型层Qwen3-VL-8B的能力调用这一层是系统的“大脑”负责处理所有的理解任务。Qwen3-VL-8B是一个多模态大语言模型它能同时理解图片和文字。在我们的系统里它主要承担两个任务特征提取离线处理在商品入库阶段我们调用模型传入商品图片让它输出两个东西一个是代表图片视觉内容的特征向量另一个是对图片内容的自然语言描述这个描述可以辅助我们生成或完善商品的文本信息。查询编码在线处理在用户搜索时如果用户上传的是图片我们就用同样的模型提取这张查询图片的特征向量如果用户输入的是文字我们就提取这段查询文字的文本嵌入向量。这里的关键在于模型为图片和文字生成的特征被映射到了同一个语义空间。也就是说一张“红色连衣裙”的图片特征向量和“红色连衣裙”这段文字的文本嵌入向量在这个空间里的位置是非常接近的。这样我们通过计算向量之间的“距离”比如余弦相似度就能衡量图片和文字之间的相似性了。2.3 应用层Web服务与检索逻辑这一层是用户直接接触到的部分一个简单的Web界面可以用Flask、Django或FastAPI快速搭建。它提供两个搜索入口一个图片上传框一个文本输入框。后端的检索逻辑是清晰的流水线接收查询获取用户上传的图片或输入的文本。编码查询调用模型层将查询内容转换为特征向量。数据库检索将查询向量与数据库中对应的特征表图片特征表或文本嵌入表里的所有向量进行相似度计算。排序返回按照相似度从高到低排序取出Top-K个最相似的商品ID。结果展示根据商品ID从products表中取出完整的商品信息标题、图片等渲染到网页上展示给用户。3. 分步实现指南理论讲完了我们来看看具体每一步怎么写代码。我会用Python和Flask来举例因为这样最直观。3.1 第一步环境搭建与模型准备首先确保你的开发环境有Python然后安装必要的库。pip install torch transformers pillow flask mysql-connector-python numpy接下来我们需要加载Qwen3-VL-8B模型。由于课程设计项目通常对计算资源要求不高我们可以使用模型量化版本或者在CPU上运行较小的变体。这里假设我们使用Qwen/Qwen2-VL-2B-Instruct这样的较小版本进行演示。from transformers import AutoModelForCausalLM, AutoTokenizer from PIL import Image model_name Qwen/Qwen2-VL-2B-Instruct # 或根据资源情况选择其他版本 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, device_mapauto, # 自动选择GPU或CPU trust_remote_codeTrue ) model.eval() # 设置为评估模式3.2 第二步构建特征提取管道我们需要编写两个函数分别处理图片和文本的特征提取。图片特征提取函数这个函数的目标是获取模型视觉编码器输出的特征。具体实现取决于模型的结构可能需要从模型的中间层提取特征。import torch import numpy as np def extract_image_feature(image_path): 提取图片的特征向量。 参数: image_path: 图片文件路径 返回: feature_vector: 归一化后的特征向量 (numpy数组) # 1. 加载和预处理图片 image Image.open(image_path).convert(RGB) # 这里需要根据Qwen-VL模型的具体要求进行图像预处理如resize, normalize # 假设我们有一个预处理函数 preprocess_image processed_image preprocess_image(image) # 2. 将图片转换为模型输入 # 注意Qwen-VL是多模态模型输入通常需要构造一个包含图片和文本提示的对话格式 # 为了单纯获取视觉特征我们可以使用一个简单的提示如“描述这张图片。” messages [ {role: user, content: [ {type: image, image: image_path}, # 或传入处理后的图像tensor {type: text, text: 描述这张图片。} ]} ] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) # 3. 前向传播获取视觉特征 # 关键我们需要获取模型编码器输出的视觉特征而非最终的文本生成结果。 # 这通常需要访问模型的某个特定层或输出。以下代码是概念性的具体实现需查阅模型文档。 with torch.no_grad(): outputs model(**model_inputs, output_hidden_statesTrue) # 假设视觉特征保存在 outputs.vision_hidden_states 的最后一层 # 实际情况请参考Qwen-VL的官方代码或文档 visual_features outputs.vision_hidden_states[-1][:, 0, :] # 取[CLS] token的特征 feature_np visual_features.cpu().numpy().squeeze() # 4. 归一化方便后续计算余弦相似度 norm np.linalg.norm(feature_np) if norm 0: feature_np feature_np / norm return feature_np def preprocess_image(image): 根据模型要求预处理图片例如resize到224x224归一化等 # 此处应替换为模型指定的预处理流程 from torchvision import transforms preprocess transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) return preprocess(image).unsqueeze(0) # 增加batch维度文本特征提取函数这个函数相对简单直接使用模型的文本编码器部分。def extract_text_embedding(text): 提取文本的嵌入向量。 参数: text: 输入文本字符串 返回: text_embedding: 归一化后的文本嵌入向量 (numpy数组) # 将文本转换为模型输入 inputs tokenizer(text, return_tensorspt, paddingTrue, truncationTrue).to(model.device) with torch.no_grad(): # 获取文本的隐藏状态。对于纯文本编码可能需要使用模型的text_encoder部分。 # 这里同样是概念性代码。对于Qwen-VL可能需要调用特定的文本编码方法。 text_outputs model.language_model(**inputs) # 假设language_model是文本编码器 # 取最后一层隐藏状态的[CLS] token或平均池化作为句子表示 last_hidden_state text_outputs.last_hidden_state sentence_embedding last_hidden_state[:, 0, :] # 取[CLS] embedding_np sentence_embedding.cpu().numpy().squeeze() # 归一化 norm np.linalg.norm(embedding_np) if norm 0: embedding_np embedding_np / norm return embedding_np重要提示上述特征提取代码是高度概念化的。实际实现必须严格参照Qwen3-VL模型的官方文档、示例代码或Hugging Face模型卡上的说明来正确获取视觉和文本的特征表示。3.3 第三步数据库交互与商品入库有了特征提取能力我们就可以编写商品入库的脚本了。这个脚本通常离线运行用于初始化系统数据。import mysql.connector import pickle import os def insert_product_and_features(db_config, image_dir): 批量插入商品数据并提取特征。 参数: db_config: 数据库连接配置字典 image_dir: 存放商品图片的目录 conn mysql.connector.connect(**db_config) cursor conn.cursor() # 假设我们有一个商品信息列表或者从某个文件读取 # product_list [{category: 服饰, title: ..., description:..., image_file:1.jpg}, ...] product_list [...] # 你的商品数据 for product in product_list: # 1. 插入商品基本信息 image_path os.path.join(image_dir, product[image_file]) sql_product INSERT INTO products (category, title, description, image_path) VALUES (%s, %s, %s, %s) cursor.execute(sql_product, (product[category], product[title], product[description], image_path)) product_id cursor.lastrowid # 2. 提取并插入图片特征 try: img_feature extract_image_feature(image_path) # 将numpy数组序列化为二进制 img_feature_blob pickle.dumps(img_feature) sql_img_feat INSERT INTO image_features (product_id, feature_vector) VALUES (%s, %s) cursor.execute(sql_img_feat, (product_id, img_feature_blob)) except Exception as e: print(f处理图片 {image_path} 时出错: {e}) continue # 跳过此商品或做其他处理 # 3. 提取并插入文本嵌入 # 文本来源可以是标题描述 combined_text f{product[title]} {product[description]} try: text_embedding extract_text_embedding(combined_text) text_embedding_blob pickle.dumps(text_embedding) sql_text_emb INSERT INTO text_embeddings (product_id, text_embedding) VALUES (%s, %s) cursor.execute(sql_text_emb, (product_id, text_embedding_blob)) except Exception as e: print(f处理文本 {combined_text} 时出错: {e}) continue conn.commit() cursor.close() conn.close() print(商品数据及特征入库完成)3.4 第四步实现Web检索后端现在我们使用Flask创建一个简单的Web应用提供搜索接口。from flask import Flask, request, jsonify, render_template import numpy as np import pickle app Flask(__name__) # 数据库配置 db_config { host: localhost, user: your_username, password: your_password, database: product_search_db } app.route(/) def index(): 渲染搜索首页 return render_template(index.html) # 需要创建对应的HTML模板 app.route(/search_by_image, methods[POST]) def search_by_image(): 以图搜图接口 if image not in request.files: return jsonify({error: No image file provided}), 400 file request.files[image] # 保存临时文件 temp_path f/tmp/{file.filename} file.save(temp_path) try: # 1. 提取查询图片特征 query_feature extract_image_feature(temp_path) query_feature_blob pickle.dumps(query_feature) # 2. 连接数据库计算相似度 conn mysql.connector.connect(**db_config) cursor conn.cursor() # 获取数据库中所有图片特征 cursor.execute(SELECT product_id, feature_vector FROM image_features) rows cursor.fetchall() similarities [] for product_id, feature_blob in rows: db_feature pickle.loads(feature_blob) # 计算余弦相似度 sim np.dot(query_feature, db_feature) / (np.linalg.norm(query_feature) * np.linalg.norm(db_feature)) similarities.append((product_id, sim)) # 3. 按相似度排序取前N个 similarities.sort(keylambda x: x[1], reverseTrue) top_k 10 top_product_ids [pid for pid, sim in similarities[:top_k]] # 4. 获取商品详细信息 placeholders , .join([%s] * len(top_product_ids)) sql fSELECT product_id, title, image_path FROM products WHERE product_id IN ({placeholders}) cursor.execute(sql, top_product_ids) product_details cursor.fetchall() cursor.close() conn.close() # 5. 格式化结果返回 results [] for pid, title, img_path in product_details: # 找到对应的相似度 sim_score next((sim for p, sim in similarities if p pid), 0) results.append({ product_id: pid, title: title, image_url: f/static/{os.path.basename(img_path)}, # 假设图片已部署在静态目录 similarity: float(sim_score) }) return jsonify({results: results}) except Exception as e: return jsonify({error: str(e)}), 500 finally: # 清理临时文件 if os.path.exists(temp_path): os.remove(temp_path) app.route(/search_by_text, methods[POST]) def search_by_text(): 以文搜图接口 data request.json if not data or query_text not in data: return jsonify({error: No query text provided}), 400 query_text data[query_text] # 实现逻辑与search_by_image类似但比对的是text_embeddings表 # ... # 提取查询文本嵌入 - 与数据库文本嵌入计算相似度 - 返回商品信息 # ... return jsonify({results: []}) # 请参照上图实现完整逻辑3.5 第五步前端界面与交互前端页面很简单主要是一个表单包含文件上传和文本输入两个区域以及一个展示结果的区域。这里给出一个极简的HTML示例 (templates/index.html)!DOCTYPE html html head title多模态商品智能检索系统/title style .container { max-width: 800px; margin: auto; padding: 20px; } .search-box { margin-bottom: 30px; padding: 20px; border: 1px solid #ccc; } .results { display: grid; grid-template-columns: repeat(auto-fill, minmax(150px, 1fr)); gap: 15px; } .product-card { border: 1px solid #eee; padding: 10px; text-align: center; } .product-card img { max-width: 100%; height: auto; } /style /head body div classcontainer h1 多模态商品智能检索系统/h1 div classsearch-box h3以图搜图/h3 input typefile idimageInput acceptimage/* button onclicksearchByImage()搜索/button /div div classsearch-box h3以文搜图/h3 input typetext idtextInput placeholder输入商品描述如红色连衣裙 button onclicksearchByText()搜索/button /div div idresultsContainer h3搜索结果/h3 div classresults idresults !-- 搜索结果将通过JS动态插入到这里 -- /div /div /div script function searchByImage() { const fileInput document.getElementById(imageInput); if (!fileInput.files[0]) { alert(请选择一张图片); return; } const formData new FormData(); formData.append(image, fileInput.files[0]); fetch(/search_by_image, { method: POST, body: formData }) .then(res res.json()) .then(data displayResults(data.results)) .catch(err console.error(Error:, err)); } function searchByText() { const text document.getElementById(textInput).value.trim(); if (!text) { alert(请输入搜索文字); return; } fetch(/search_by_text, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ query_text: text }) }) .then(res res.json()) .then(data displayResults(data.results)) .catch(err console.error(Error:, err)); } function displayResults(products) { const container document.getElementById(results); container.innerHTML ; if (!products || products.length 0) { container.innerHTML p未找到相关商品。/p; return; } products.forEach(p { const card document.createElement(div); card.className product-card; card.innerHTML img src${p.image_url} alt${p.title} pstrong${p.title}/strong/p p相似度: ${(p.similarity * 100).toFixed(1)}%/p ; container.appendChild(card); }); } /script /body /html4. 项目亮点与扩展思考做到这里一个基础的多模态商品检索系统就完成了。对于数据库课程设计来说这个项目已经足够丰富。但如果你想更进一步拿更高的分数或者让项目更出彩可以考虑下面这些扩展方向性能优化当商品数量达到万级甚至更多时全表扫描计算相似度会非常慢。这是引入向量数据库如Milvus, Pinecone, pgvector的绝佳理由。你可以在课程设计报告中对比传统关系型数据库存储向量和专用向量数据库的性能差异这会是很大的加分项。功能增强让搜索变得更聪明。比如实现“混合搜索”用户同时上传图片和输入文字系统将两者的特征融合后进行检索。或者加入“属性过滤”在相似度检索的结果基础上再用SQL进行类别、价格等条件的筛选。系统完善增加一个后台管理界面方便上传新商品、查看检索日志、监控系统状态。这能很好地展示你对一个完整应用系统的理解。技术报告在课程设计报告里不要只贴代码。重点阐述你的数据库设计思路为什么这样设计表结构索引加在哪里、AI模型集成的考量为什么选Qwen3-VL特征向量维度的选择以及遇到的挑战和解决方案比如特征向量如何高效存储和检索。把这些思考过程写清楚比代码本身更重要。5. 写在最后回过头看这个项目其实巧妙地用一条线把几个重要的技术点串了起来数据库、AI模型、Web开发。它不只是一个课程设计更像是一个微型的工业级应用原型。我学弟后来按照这个思路做完了他的设计听说答辩时老师很感兴趣问了不少关于向量相似度计算和模型选型的问题。因为他每一步都自己动手实现和思考了所以回答得很流畅最后成绩自然不错。如果你打算尝试我的建议是先确保基础版本能跑通看到图片上传后能返回搜索结果的那个瞬间你会很有成就感。然后再去琢磨那些扩展功能。过程中肯定会遇到坑比如模型加载慢、特征提取不对、相似度计算不准这都是学习的一部分。多查文档多调试问题总能解决。这个项目做下来收获的不仅仅是一个分数更是一套解决实际问题的完整方法论。从需求分析、技术选型、架构设计到编码实现、测试优化这套流程在以后做任何项目时都用得上。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。