5款可用于LLMs的爬虫工具/方案
5款可用于LLMs的爬虫工具/方案
- Crawl4AI
功能: 提取语义标记的数据块为JSON格式，提供干净的HTML和Markdown文件。
用途: 适用于RAG（检索增强生成）、微调以及AI聊天机器人的开发。
特点: 高效数据提取，支持LLM格式，多URL支持，易于集成和Docker容器化。
GitHub: https://github.com/unclecode/crawl4ai - FireCrawl
功能: 抓取网站的所有可访问子页面，并转换内容为干净的Markdown格式。
特点: 适用于JavaScript动态生成的内容网站，提供易用的API。
GitHub: https://github.com/mendableai/firecrawl - Scrapegraph-ai
功能: 使用LLM和直接图形逻辑创建网站和本地文档的抓取流程。
特点: 自动执行数据抓取任务，用户只需指定信息类型。
GitHub: https://github.com/VinciGit00/Scrapegraph-ai - Markdowner
功能: 将网站快速转换为Markdown数据。
特点: 支持自动爬虫、详细模式、JavaScript网站等，易于扩展和自托管。
GitHub: https://github.com/dhravya/markdowner - Jina Reader
功能：将任何URL转化为LLM所需的Markdown格式
特点：可以针对这些内容集成不同的模型，支持API
GitHub：https://github.com/jina-ai/reader
相关文章：
5款可用于LLMs的爬虫工具/方案
5款可用于LLMs的爬虫工具/方案 Crawl4AI 功能: 提取语义标记的数据块为JSON格式，提供干净的HTML和Markdown文件。 用途: 适用于RAG（检索增强生成）、微调以及AI聊天机器人的开发。 特点: 高效数据提取，支持LLM格式，多U…...
投影、选择转SQL语言
使用以下两个表进行举例，第一个表为R表，第二个表为S表 R.AR.BR.C123456789 S.AS.BS.C101112131415161718 1、投影转SQL语言： 兀 A,B,C (R) 等价于select A,B,C from R 解释： 兀：相当于select (R):相当于from R…...
系统加固-自用
一、windows 1、概述 (1)、权限最高：system(系统账户)，权限比administrator权限还高 (2)、常见操作系统安全漏洞类型 缓冲区溢出漏洞TCP/IP协议漏洞web应用安全漏洞开放端口的安全漏洞 2、系统安全加固方法 (1)、系统不显示上次登录的用户名 进入…...
Java面试题：阐述Java中的自动装箱与拆箱机制，以及使用它们时可能遇到的性能问题
在Java中，自动装箱（Autoboxing）和拆箱（Unboxing）是Java 5引入的特性，它们允许基本数据类型和对应的包装类之间的自动转换。 自动装箱 自动装箱是指将基本数据类型（如int、double等）…...
初识sql注入--手工注入
目录 可能使用的sql函数 入侵网站方式 1、文件上传漏洞 2、rce 3、sql注入 SQL注入 什么是sql注入 进行SQL注入 实验环境 开始实验（使用information_shema数据库） 1、进入靶场 2、报列数 下面来解释一下为什么要照上面SQL语句写 url编码 单…...
OceanBase 缺少 dbms_obfuscation_toolkit.md5 包函数的解决方案
因为 dbms_obfuscation_toolkit.md5 是一个 Oracle 不推荐继续使用的函数，所以 OceanBase 没有对其兼容，取而代之的是兼容了 dbms_crypto.hash，其用法详见这篇 KB 但是，并不是所有业务都接受修改源码，因为复杂系统里&…...
Java---类和对象第一节
目录 1.面向对象初步认识 1.1什么是面向对象 1.2面向对象和面向过程的区别 2.类的定义和使用 2.1简单认识类 2.2类的定义格式 2.3类的实例化 2.4类和对象的说明 3.this关键字 3.1访问本类成员变量 3.2调用构造方法初始化成员变量 3.3this引用的特性 4.对象的构造以…...
Zeller公式的应用：给定日期，确定周几
开篇 本篇文章依然是对于日期相关函数的实现。 问题概要 给定一个日期，返回为周几 思路分析 这个问题的思路只是对于Zeller公式的直接引用，不存在其他逻辑。公式详情可参考Zeller公式百科 代码实现 #include <stdio.h>// 根据Zeller公式计算 int …...
程序链接和运行 - 笔记
1 linux下程序a连接b.so后，运行时如何找到调用的函数 在Linux下，当程序A连接了动态链接库B（.so文件）后，在运行时，程序A会使用动态链接器（dynamic linker）来解析并加载动态链接库B中的函数。动态链接器会在系统中搜索动态链接库，并将它们加载到程序的地址空间中。 当…...
pyqt 按钮常用格式Qss设置
pyqt 按钮常用格式Qss设置 QSS介绍按钮常用的QSS设置效果代码 QSS介绍 Qt Style Sheets (QSS) 是 Qt 框架中用于定制应用程序界面样式的一种语言。它类似于网页开发中的 CSS（Cascading Style Sheets），但专门为 Qt 应用程序设计。使用 QSS&am…...
websevere服务器从零搭建到上线（一）｜阻塞、非阻塞、同步、异步
文章目录 数据准备(阻塞和非阻塞)、数据读写(同步和异步)小总结（陈硕老师的总结） 知识拓展同步执行实例异步编程实例 八股 数据准备(阻塞和非阻塞)、数据读写(同步和异步) 无论是什么样的IO都包含两个阶段：数据准备和数据读写。 我们的网络IO…...
【C++】引用传递 常量引用
在C中，引用传递和常量引用是两个常用的概念，主要用于函数参数传递。它们提供了对变量或对象更有效率和更安全的访问方式。 引用传递（Pass by Reference） 引用传递意味着当你将变量作为参数传递给函数时，你实际上是传…...
Docker停止不了
报错信息 意思是，docker.socket可能也会把docker服务启动起来 解决 检查服务状态 systemctl status dockersystemctl is-enabled docker停止docker.socket systemctl stop docker.socket停止docker systemctl stop docker知识扩展 安装了docker后，…...
【网络】为什么TCP需要四次挥手？
在网络通信中，TCP（传输控制协议）是一种可靠的、面向连接的协议，它在数据传输过程中保证了数据的可靠性和顺序性。而TCP的连接建立过程只需要三次握手，但是TCP的挥手过程却需要四次挥手，这是为什么呢&#x…...
2024自动化测试市场分析
大家都说2024年软件测试讲会卷的更厉害,从原来的功能测试到现在自动化测试,那么2024年是否可以学习自动化冲一把,我们先看一下2023年自动化测试在测试行业中的分析: 1.市场需求增长： 随着技术的进步和企业对软件质量的要求日益提高，自动化测试在测试行…...
什么是机器视觉应用解决方案？
机器视觉应用解决方案通常指的是利用视觉系统自动检测、处理和分析图像的技术方案，以便执行各种工业或研究任务，如质量控制、自动检测、导航和识别等。在LabVIEW环境中，这些解决方案通常涉及到硬件和软件的紧密集成，以实现高效的数…...
使用 scrapyd 部署 scrapy
1.scrapyd 是什么？ Scrapyd 是一个用于部署和运行 Scrapy 爬虫项目的服务器应用程序。它使得你可以通过 HTTP 命令来部署、管理和执行多个 Scrapy 爬虫，非常适合持续集成和生产环境中的爬虫部署。 2.安装scrapyd 并使用 2.1 安装 scrapyd F:\scrapydTes…...
Python计算器程序代码
from tkinter import * import random class App: def __init__(self, master): self.master master self.initwidgets() #表达式的值 self.expr None def initwidgets(self): #定义一个输入组件 self.show Label(relief SUNKEN, font (Courier New, 24), width 25, bg …...
图像分割各种算子算法-可直接使用（Canny、Roberts、Sobel）
Canny算子： import numpy as np import cv2 as cv from matplotlib import pyplot as pltimg cv.imread("../test_1_1.png") edges cv.Canny(img, 100, 200)plt.subplot(121),plt.imshow(img,cmap gray) plt.title(Original Image), plt.xticks([]), …...
Spring Boot进阶 - 实现自动装配原理
Spring Boot的自动装配（Auto-Configuration）是其核心特性之一，它极大地简化了Spring应用的配置过程。自动装配的原理基于Spring框架的Configuration、ConditionalOnClass、ConditionalOnMissingBean等注解，以及Spring Boot提供的s…...
eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)
说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...
论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法（ISWC2024）
笔记整理：刘治强，浙江大学硕士生，研究方向为知识图谱表示学习，大语言模型 论文链接：http://arxiv.org/abs/2407.16127 发表会议：ISWC 2024 1. 动机 传统的知识图谱补全（KGC）模型通过…...
论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（一）
宇树机器人多姿态起立控制强化学习框架论文解析 论文解读：交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（一） 论文解读：交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化…...
有限自动机到正规文法转换器v1.0
1 项目简介 这是一个功能强大的有限自动机（Finite Automaton, FA）到正规文法（Regular Grammar）转换器，它配备了一个直观且完整的图形用户界面，使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...
均衡后的SNRSINR
本文主要摘自参考文献中的前两篇，相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程，其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线， n r n_r nr 根接收天线的 MIMO 系…...
群晖NAS如何在虚拟机创建飞牛NAS
套件中心下载安装Virtual Machine Manager 创建虚拟机 配置虚拟机 飞牛官网下载 https://iso.liveupdate.fnnas.com/x86_64/trim/fnos-0.9.2-863.iso 群晖NAS如何在虚拟机创建飞牛NAS - 个人信息分享...
6️⃣Go 语言中的哈希、加密与序列化：通往区块链世界的钥匙
Go 语言中的哈希、加密与序列化：通往区块链世界的钥匙 一、前言：离区块链还有多远？ 区块链听起来可能遥不可及，似乎是只有密码学专家和资深工程师才能涉足的领域。但事实上，构建一个区块链的核心并不复杂，尤其当你已经掌握了一门系统编程语言，比如 Go。 要真正理解区…...
在鸿蒙HarmonyOS 5中使用DevEco Studio实现指南针功能
指南针功能是许多位置服务应用的基础功能之一。下面我将详细介绍如何在HarmonyOS 5中使用DevEco Studio实现指南针功能。 1. 开发环境准备 确保已安装DevEco Studio 3.1或更高版本确保项目使用的是HarmonyOS 5.0 SDK在项目的module.json5中配置必要的权限 2. 权限配置 在mo…...
【免费数据】2005-2019年我国272个地级市的旅游竞争力多指标数据（33个指标）
旅游业是一个城市的重要产业构成。旅游竞争力是一个城市竞争力的重要构成部分。一个城市的旅游竞争力反映了其在旅游市场竞争中的比较优势。 今日我们分享的是2005-2019年我国272个地级市的旅游竞争力多指标数据！该数据集源自2025年4月发表于《地理学报》的论文成果…...
构建Docker镜像的Dockerfile文件详解
文章目录 前言Dockerfile 案例docker build1. 基本构建2. 指定 Dockerfile 路径3. 设置构建时变量4. 不使用缓存5. 删除中间容器6. 拉取最新基础镜像7. 静默输出完整示例 docker runDockerFile 入门syntax指定构造器FROM基础镜像RUN命令注释COPY复制ENV设置环境变量EXPOSE暴露端…...