通过eino-ext如何正常indexer RAG？

通过eino-ext如何正常indexer RAG整体架构文档文本 ──→ ARK Embedder向量化──→ DocumentConverter格式转换──→ Milvus Indexer写入 ↑ ↑ doubao-embedding-vision BinaryVector HAMMING安装配置安装 向量数据库 - Milvusservices:etcd:container_name:milvus-etcdimage:quay.io/coreos/etcd:v3.5.18environment:-ETCD_AUTO_COMPACTION_MODErevision-ETCD_AUTO_COMPACTION_RETENTION1000-ETCD_QUOTA_BACKEND_BYTES4294967296-ETCD_SNAPSHOT_COUNT50000volumes:-${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcdcommand:etcd-advertise-client-urlshttp://etcd:2379-listen-client-urls http://0.0.0.0:2379--data-dir /etcdhealthcheck:test:[CMD,etcdctl,endpoint,health]interval:30stimeout:20sretries:3minio:container_name:milvus-minioimage:minio/minio:RELEASE.2023-03-20T20-16-18Zenvironment:MINIO_ACCESS_KEY:minioadminMINIO_SECRET_KEY:minioadminports:-9001:9001-9000:9000volumes:-${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_datacommand:minio server /minio_data--console-address :9001healthcheck:test:[CMD,curl,-f,http://localhost:9000/minio/health/live]interval:30stimeout:20sretries:3standalone:container_name:milvus-standaloneimage:milvusdb/milvus:v2.5.10command:[milvus,run,standalone]security_opt:-seccomp:unconfinedenvironment:ETCD_ENDPOINTS:etcd:2379MINIO_ADDRESS:minio:9000volumes:-${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvushealthcheck:test:[CMD,curl,-f,http://localhost:9091/healthz]interval:30sstart_period:90stimeout:20sretries:3ports:-19530:19530-9091:9091depends_on:-etcd-minio# 这是新增的 Attu 服务哦attu:container_name:milvus-attuimage:zilliz/attu:v2.5ports:-8000:3000# 把本地的 8000 端口映射到容器的 3000 端口 (Attu 默认端口)environment:# MILVUS_URL 指向 Docker 网络里的 Milvus standalone 服务MILVUS_URL:standalone:19530depends_on:-standalone# 确保 Milvus 启动后再启动 Attunetworks:default:name:milvusdockercompose up-d这会启动 4 个服务etcdMilvus 的元数据存储MinIO对象存储用于持久化向量数据Milvus standalone向量数据库本身端口19530Attu可选Milvus 可视化管理界面端口8000访问 localhost:8000 可进入Attu 这是Milvus是可视化操作页面配置相关文件方舟控制台来购买向量模型 (主要目前只有多模态向量模型)# 用于访问ARK服务的API密钥 ARK_API_KEY # 指定使用的向量模型 EMBEDDERdoubao-embedding-vision-251215 # 坑爹模型代码介绍Milvus 客户端初始化varMilvusCli cli.Clientfuncinit(){ctx:context.Background()client,err:cli.NewClient(ctx,cli.Config{Address:localhost:19530,// Milvus 默认端口})iferr!nil{log.Fatalf(Failed to create client: %v,err)}MilvusCliclient}使用init()函数在包加载时自动建立连接。连接地址与 docker-compose 中映射的端口一致。定义 Collection Schemavarfields[]*entity.Field{{Name:id,DataType:entity.FieldTypeVarChar,TypeParams:map[string]string{max_length:255},PrimaryKey:true,},{Name:vector,DataType:entity.FieldTypeBinaryVector,// 二进制向量不是 FloatVectorTypeParams:map[string]string{dim:16384,// ⚠️ 单位是比特(bit)不是字节},},{Name:content,DataType:entity.FieldTypeVarChar,TypeParams:map[string]string{max_length:8192},},{Name:metadata,DataType:entity.FieldTypeJSON,},}踩坑记录FloatVector vs BinaryVector:ARK 的doubao-embedding-vision-*模型输出的是[]uint8二进制向量值域 0~255而不是常见的[]float32浮点向量。如果用entity.FieldTypeFloatVector运行时会报类型不匹配错误invalid type, expected[]float32, got[]uint8dim 的单位是比特:MilvusBinaryVector的dim参数单位是比特bit不是字节byte。项目值模型输出维度2048 个值每个 0~255字节数2048 bytes比特数2048 × 8 16384 bitsSchema dim 应填16384如果错误地填了2048以为是字节数Milvus 会认为每条数据的向量只有 2048 bit 256 byte但实际传入 2048 byte导致报错the num_rows(8)of field(vector)is not equal to passed num_rows(1)这里的8 2048 ÷ 256即 Milvus 把 1 条数据的 2048 byte 当成了 8 条 256-byte 的数据。初始化嵌入器Embeddertimeout:30*time.Second apiType:ark.APITypeMultiModal// ⚠️ 多模态模型必须指定embedder,err:ark.NewEmbedder(ctx,ark.EmbeddingConfig{APIKey:os.Getenv(ARK_API_KEY),Model:os.Getenv(EMBEDDER),// doubao-embedding-vision-251215APIType:apiType,Timeout:timeout,})ARK 的嵌入 API 有两个不同的 HTTP 端点APITypeText APITypetext_api#/api/v3/embeddings|纯文本嵌入模型 APITypeMultiModal APITypemulti_modal_api#/api/v3/embeddings/multimodal|多模态嵌入模型doubao-embedding-vision-*模型只部署在 multimodal 端点上。如果不设置APITypeSDK 会默认走 text 端点导致doubao-embedding-vision-251215 does not support this api (status code: 400)判断方法看模型名字是否包含vision包含就必须用APITypeMultiModal。自定义 DocumentConverter查看 eino-ext 源码中默认 Converter 的实现utils.gotypes.go发现它用的是带milvus:tag 的结构体指针typebinaryRowstruct{IDstringjson:id milvus:name:idContentstringjson:content milvus:name:contentVector[]bytejson:vector milvus:name:vector// BinaryVector 标量Metadata[]bytejson:metadata milvus:name:metadata// JSON 序列化后的字节}funcbinaryDocumentConverter(_context.Context,docs[]*schema.Document,vectors[][]float64)([]interface{},error){rows:make([]interface{},0,len(docs))fori,doc:rangedocs{metadata,_:json.Marshal(doc.MetaData)// 元数据需序列化为 []bytebyteVec:make([]byte,len(vectors[i]))forj,v:rangevectors[i]{byteVec[j]byte(v)}rowsappend(rows,binaryRow{// ⚠️ 必须返回 struct 指针ID:doc.ID,Content:doc.Content,Vector:byteVec,Metadata:metadata,})}returnrows,nil}struct 必须带milvus:name:xxxtag告诉 SDK 每个字段对应哪个列名Vector 字段类型是[]byte对应 BinaryVector返回值必须是 struct 指针binaryRow{...}不能是值或 map组装 Indexerindexer,err:milvus.NewIndexer(ctx,milvus.IndexerConfig{Client:MilvusCli,Collection:collection,// 集合名: AwesomeEinoFields:fields,// 上文定义的 SchemaEmbedding:embedder,// ARK 嵌入器MetricType:milvus.MetricType(entity.HAMMING),// 二进制向量用汉明距离DocumentConverter:binaryDocumentConverter,// 自定义转换器})写入时逐条存入也可以批量for_,doc:rangedocs{storeDoc:[]*schema.Document{{ID:doc.ID,Content:doc.Content,MetaData:doc.MetaData}}ids,err:indexer.Store(ctx,storeDoc)iferr!nil{log.Fatalf(Failed to store documents: %v,err)}println(Stored document ID:,ids[0])}入口文件与文档定义funcmain(){godotenv.Load(.env)// 加载环境变量docs:[]*schema.Document{{ID:doc1,Content:Eino 是一个开源的 AI 应用开发框架...,MetaData:map[string]interface{}{source:eino-docs}},{ID:doc2,Content:Milvus 是一个高性能向量数据库...,MetaData:map[string]interface{}{source:milvus-docs}},}stage4.IndexerRAG(docs)}