本地部署firecrawl的两种方式，自托管和源码部署

网上资料很多

AI爬虫黑科技 firecrawl本地部署-CSDN博客

源码部署

前提条件本地安装py，node.js环境,嫌弃麻烦直接使用第二种

使用git或下载压缩包
git clone https://github.com/mendableai/firecrawl.git

设置环境参数
cd /firecrawl/apps/api

复制环境参数
copy  .env.example .env

修改配置

redis本地需要安装7.0以上的版本，不然最新函数不支持

下载地址

Release Redis 7.0.8 for Windows · redis-windows/redis-windows · GitHub

先启动工作进程
pnpm run workers

后启动主进程

pnpm run start

写了一建启动的脚本

写了两个启动bat，

@echo off
setlocal enabledelayedexpansion

:: 正确传递环境变量到子进程
cmd /c "set HOST=0.0.0.0&&set USE_DB_AUTHENTICATION=false&&powershell -NoExit -Command ^& { [Console]::OutputEncoding = [System.Text.Encoding]::UTF8; Set-Location 'F:\Firecrawl\firecrawl\apps\api'; Write-Host 'HOST=' $env:HOST; pnpm run workers }"

@echo off
setlocal enabledelayedexpansion

:: 正确传递环境变量到子进程
cmd /c "set HOST=0.0.0.0&&set USE_DB_AUTHENTICATION=false&&powershell -NoExit -Command ^& { [Console]::OutputEncoding = [System.Text.Encoding]::UTF8; Set-Location 'F:\Firecrawl\firecrawl\apps\api'; Write-Host 'HOST=' $env:HOST; Write-Host 'USE_DB_AUTHENTICATION=' $env:USE_DB_AUTHENTICATION; pnpm run start }"

访问本地ip或者localhost/127.0.0.1都可以。我接入dify，就用ip，不然接入不了

http://192.168.15.23:3002/

访问本地部署的dify接入firecrawl

输入之前的key和firecrawl的访问路径接入成功

测试爬链接

本地源码部署有个问题，链接不是每次都成功，会报SUPABASE客户端没有初始化，使用第二种方式安装就没问题

解决办法，修改对应的这个文件，修改不去加载SUPABASE服务类，这样就不会报错了， const lastUrls: string[] = (
        (
          await supabase_service.rpc("diff_get_last_crawl_urls", {
            i_team_id: job.data.team_id,
            i_url: sc.originUrl!,
          })
        ).data ?? []
      ).map((x) => x.url);

改成  const lastUrls: string[] = [];，就可以100%抓取了

可以使用 cmd本地试试

    curl -X POST http://localhost:3002/v1/scrape     -H 'Content-Type: application/json'  -d '{      "url": "https://36kr.com/information/contact/"   }'

可以使用postmain测试

目前我爬取公司内网的地址不行，说是需要顶级域名

第二种自托管

全部交由docker管理，这种就不截图了，网址资料很多，注意自托盘要占用c盘10多个G的存储，另外下载相关依赖包需要时间很长，有个代理的包，需要修改docker的地址，安装教程来就是