docker-compose Install reranker(fastgpt支持) GPU模式

前言BGE-重新排名器

与 embedding 模型不同，reranker 或 cross-encoder 使用 question 和 document 作为输入，直接输出相似性而不是 embedding。 为了平衡准确性和时间成本，cross-encoder 被广泛用于对其他简单模型检索到的前 k 个文档进行重新排序。 例如，使用 bge 嵌入模型首先检索前 100 个相关文档，然后使用 bge reranker 对前 100 个文档进行重新排序，以获得最终的前 3 个结果。

前提要求 

• Linux安装 docker docker-compose 参考
• Windows 10 ,11 2022 docker docker-compose 参考
• deepseek(ollama) 安装参考 Linux，Windows，Docker

bge-reranker 重排模型

• reranker安装 参考 官网参考
• reranker 目录 /opt/reranker、
• reranker 端口6006
• reranker api http://you_ip:6006/v1/rerank
• TOKEN reranker
• reranker 百度网盘离线docker images 下载

echo "创建目录"
mkdir -p /opt/rerankerecho "编排文件"
cat <<'EOF'>>/opt/reranker/docker-compose.yml
version: "3"
services:reranker:image: registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1container_name: rerankerrestart: alwaysdeploy:resources:reservations:devices:- driver: nvidiacount: allcapabilities: [gpu]ports:- 6006:6006environment:- ACCESS_TOKEN=reranker
EOFecho "start reranker"
cd /opt/reranker
docker-compose up -d

fastgpt 配置连接bge-reranker 重排模型

•  FastGPT 模型配置>新增一个重排模型
• <模型ID bge-rerank-base:v0.1
• <模型提供商 智源
• <别名bge-rerank-base
• <自定义请求地址http://you_ip:6006/v1/rerank
• <自定义请求 Key reranker

测试连接bge-reranker 重排模型

创建一个知识库测试

创建一个目录

创建文本数据集

上次文件

数据处理配置

确认上传

训练模式查看

创建一个工作台

名称，创建空白应用

打开工作台

选择知识库

参数设置

• 结果重排

文件上传开启

语言输入开启

猜你想问开启，设置预设内容即可

输入引导开启

提出后ai 执行的