EmbeddingGemma-300m与MySQL结合：大规模向量存储方案

EmbeddingGemma-300m与MySQL结合大规模向量存储方案1. 引言想象一下这样的场景你的电商平台每天新增数万条商品描述需要快速实现语义搜索功能或者你的内容平台有百万篇文章想要根据用户兴趣智能推荐相关内容。传统的关键词匹配已经无法满足需求而语义相似度搜索成为了新的解决方案。这就是EmbeddingGemma-300m与MySQL结合能够解决的问题。EmbeddingGemma-300m是Google推出的轻量级文本嵌入模型能够将文本转换为768维的向量表示。而MySQL作为最流行的关系型数据库提供了稳定可靠的数据存储能力。将两者结合你就能构建一个既强大又经济的大规模向量存储系统。这种方案特别适合中小型企业和初创公司既不需要投入专门的向量数据库成本又能享受到语义搜索的智能化体验。接下来我将带你一步步实现这个方案。2. 理解EmbeddingGemma-300m的核心能力EmbeddingGemma-300m虽然参数量只有3亿但在文本嵌入任务上表现相当出色。它能够处理100多种语言生成的向量维度为768这意味着每个文本都会被转换成一个包含768个数值的向量。这些向量有一个很神奇的特性语义相似的文本它们的向量在数学空间中的距离也很近。比如智能手机和移动电话的向量距离会很近而智能手机和水果的向量距离就会很远。在实际使用中你可以通过Ollama轻松调用这个模型import ollama # 生成文本嵌入向量 response ollama.embed( modelembeddinggemma:300m, input这是一段需要转换为向量的文本 ) embeddings response.embeddings print(f生成的向量维度: {len(embeddings)})这段代码会返回一个包含768个浮点数的列表这就是你的文本的数学表示。3. MySQL向量存储的数据库设计在设计数据库时我们需要考虑如何高效存储和查询这些向量。MySQL虽然不像专门的向量数据库那样内置了向量索引但通过合理的设计同样能够处理大规模向量数据。3.1 表结构设计CREATE TABLE document_embeddings ( id INT AUTO_INCREMENT PRIMARY KEY, document_id INT NOT NULL, content TEXT NOT NULL, embedding_vector BLOB NOT NULL, embedding_dim INT NOT NULL DEFAULT 768, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, INDEX idx_document_id (document_id), INDEX idx_created_at (created_at) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;3.2 向量存储策略由于每个向量包含768个浮点数如果直接存储为JSON或文本会占用大量空间。更高效的方式是使用BLOB类型存储序列化的向量数据import pickle import numpy as np import mysql.connector # 将向量序列化为二进制数据 def serialize_vector(vector): return pickle.dumps(np.array(vector, dtypenp.float32)) # 建立数据库连接 def get_db_connection(): return mysql.connector.connect( hostlocalhost, useryour_username, passwordyour_password, databasevector_db )4. 批量操作与性能优化当需要处理大量文本时批量操作是提升性能的关键。以下是一些实用的优化技巧4.1 批量生成嵌入向量def batch_generate_embeddings(texts, batch_size32): 批量生成文本嵌入向量 all_embeddings [] for i in range(0, len(texts), batch_size): batch_texts texts[i:ibatch_size] try: response ollama.embed( modelembeddinggemma:300m, inputbatch_texts ) all_embeddings.extend(response.embeddings) except Exception as e: print(f批量处理失败: {e}) # 失败后尝试单条处理 for text in batch_texts: try: response ollama.embed( modelembeddinggemma:300m, inputtext ) all_embeddings.append(response.embeddings[0]) except Exception as e2: print(f单条处理也失败: {e2}) all_embeddings.append(None) return all_embeddings4.2 批量数据库写入def batch_insert_embeddings(documents, embeddings): 批量插入嵌入向量到数据库 connection get_db_connection() cursor connection.cursor() insert_query INSERT INTO document_embeddings (document_id, content, embedding_vector, embedding_dim) VALUES (%s, %s, %s, %s) batch_data [] for doc_id, (content, embedding) in enumerate(zip(documents, embeddings)): if embedding is not None: serialized_vector serialize_vector(embedding) batch_data.append((doc_id, content, serialized_vector, 768)) # 分批提交避免单次事务过大 batch_size 1000 for i in range(0, len(batch_data), batch_size): batch batch_data[i:ibatch_size] cursor.executemany(insert_query, batch) connection.commit() print(f已插入 {i len(batch)} 条记录) cursor.close() connection.close()5. 向量相似度搜索实现虽然MySQL没有内置的向量索引但我们仍然可以实现基本的相似度搜索功能5.1 余弦相似度计算def cosine_similarity(vec1, vec2): 计算两个向量的余弦相似度 dot_product np.dot(vec1, vec2) norm1 np.linalg.norm(vec1) norm2 np.linalg.norm(vec2) return dot_product / (norm1 * norm2) def search_similar_documents(query_text, top_k10): 搜索相似文档 # 生成查询向量的嵌入 response ollama.embed( modelembeddinggemma:300m, inputquery_text ) query_vector response.embeddings[0] connection get_db_connection() cursor connection.cursor() # 获取所有文档向量在实际应用中应该分页或使用近似搜索 cursor.execute(SELECT id, content, embedding_vector FROM document_embeddings) results cursor.fetchall() similarities [] for doc_id, content, embedding_blob in results: stored_vector pickle.loads(embedding_blob) similarity cosine_similarity(query_vector, stored_vector) similarities.append((doc_id, content, similarity)) # 按相似度排序并返回前top_k个结果 similarities.sort(keylambda x: x[2], reverseTrue) return similarities[:top_k]5.2 分页查询优化对于大规模数据全表扫描显然不现实。我们可以通过预过滤和分页来优化def efficient_search(query_vector, categoryNone, min_dateNone, max_dateNone, limit100): 带过滤条件的高效搜索 connection get_db_connection() cursor connection.cursor() # 构建基础查询 query SELECT id, content, embedding_vector FROM document_embeddings WHERE 11 params [] # 添加过滤条件 if category: query AND category %s params.append(category) if min_date: query AND created_at %s params.append(min_date) if max_date: query AND created_at %s params.append(max_date) cursor.execute(query, params) results cursor.fetchmany(limit) # 只获取限定数量的记录进行比较 # 计算相似度并排序 similarities [] for doc_id, content, embedding_blob in results: stored_vector pickle.loads(embedding_blob) similarity cosine_similarity(query_vector, stored_vector) similarities.append((doc_id, content, similarity)) similarities.sort(keylambda x: x[2], reverseTrue) return similarities6. 实战应用场景6.1 电商商品搜索假设你有一个电商平台想要实现更智能的商品搜索def enhance_product_search(user_query, product_categoryNone): 增强的商品搜索功能 # 生成查询向量 response ollama.embed( modelembeddinggemma:300m, inputuser_query ) query_vector response.embeddings[0] # 在特定类别中搜索相似商品 similar_products efficient_search( query_vector, categoryproduct_category, limit50 ) return similar_products6.2 内容推荐系统def content_recommendation(user_interests, viewed_content_ids): 基于用户兴趣的内容推荐 # 将用户兴趣转换为向量 interest_vectors [] for interest in user_interests: response ollama.embed( modelembeddinggemma:300m, inputinterest ) interest_vectors.append(response.embeddings[0]) # 计算平均兴趣向量 avg_interest_vector np.mean(interest_vectors, axis0) # 排除已经看过的内容 exclude_ids tuple(viewed_content_ids) if viewed_content_ids else None exclude_clause AND id NOT IN %s if exclude_ids else # 搜索相似内容 connection get_db_connection() cursor connection.cursor() query f SELECT id, content, embedding_vector FROM document_embeddings WHERE 11 {exclude_clause} LIMIT 200 params [exclude_ids] if exclude_ids else [] cursor.execute(query, params) results cursor.fetchall() # 计算相似度并返回推荐结果 recommendations [] for doc_id, content, embedding_blob in results: stored_vector pickle.loads(embedding_blob) similarity cosine_similarity(avg_interest_vector, stored_vector) recommendations.append((doc_id, content, similarity)) recommendations.sort(keylambda x: x[2], reverseTrue) return recommendations[:10]7. 性能监控与维护7.1 数据库性能监控def monitor_database_performance(): 监控数据库性能 connection get_db_connection() cursor connection.cursor() # 检查表大小 cursor.execute( SELECT table_name AS Table, ROUND(((data_length index_length) / 1024 / 1024), 2) AS Size (MB) FROM information_schema.TABLES WHERE table_schema vector_db AND table_name document_embeddings ) table_size cursor.fetchone() print(f文档嵌入表大小: {table_size[1]} MB) # 检查索引状态 cursor.execute(SHOW INDEX FROM document_embeddings) indexes cursor.fetchall() print(f索引数量: {len(indexes)}) cursor.close() connection.close()7.2 定期优化策略def maintain_database(): 数据库维护任务 connection get_db_connection() cursor connection.cursor() # 优化表 print(开始优化表...) cursor.execute(OPTIMIZE TABLE document_embeddings) # 分析表状态 cursor.execute(ANALYZE TABLE document_embeddings) # 清理旧数据保留最近3个月 cursor.execute( DELETE FROM document_embeddings WHERE created_at DATE_SUB(NOW(), INTERVAL 3 MONTH) ) deleted_count cursor.rowcount print(f清理了 {deleted_count} 条旧记录) connection.commit() cursor.close() connection.close()8. 总结将EmbeddingGemma-300m与MySQL结合为中小规模的应用提供了一个经济实惠且功能强大的向量存储解决方案。虽然这种方案在处理超大规模数据时可能不如专业的向量数据库但对于大多数实际应用场景来说已经完全够用。在实际使用中关键是要做好数据量的控制定期清理旧数据合理使用过滤条件来缩小搜索范围。同时根据具体业务需求你可能需要调整向量生成的批次大小和数据库的批量操作参数。这个方案的另一个优点是易于理解和维护。由于使用的是常见的MySQL数据库现有的运维团队很容易上手不需要学习新的数据库技术栈。如果你已经在使用MySQL那么引入向量搜索功能的学习成本相对较低。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。