当前位置： 首页 > news >正文

搜索引擎简介

news 文章来源：https://blog.csdn.net/junxinsiwo/article/details/142503156 2025/5/14 23:54:05

搜索引擎架构

整个搜索引擎分为三个系统

  1. 爬虫系统

  2. 索引系统

  3. 线上搜素服务

爬虫系统

爬虫分为两个阶段：

  1. 第一阶段：根据目标网站的列表页，爬对应的文档 URL

  2. 第二阶段：根据文档 URL，下载文档内容

触发器：

  • 定时任务触发

  • 消息触发

  • 管理后台手动触发某一个爬虫任务

文件服务器：

  • 存储图片和视频文件

索引系统

索引系统主要数据依赖：内容库和文件服务

依赖服务：

  1. 分词服务

  2. NLP 服务

    1. 同义词扩展

    2. 生成文档摘要

    3. 抽取文档标签

    4. 图片、文本、视频生成向量

    5. ....

  3. PageRank 服务

在线搜索服务

在线服务的主要模块：

  1. Query 理解

  2. 召回

  3. 排序

当欠召回时：

  1. 在线服务会将当前 Query 发送给离线索引系统的消息队列，让其为该 Query 完善索引数据。

  2. 索引系统收到消息后，会使用第三方搜索引擎进行检索，并且将检索的内容解析出 URL，发给爬虫系统，进行数据的补充。

  3. 如果第三方搜索引擎也没有检索到数据，可以通过 LLM 进行生成内容，将生成的内容写入 ES 索引

相关文章：

搜索引擎简介

搜索引擎架构 整个搜索引擎分为三个系统 爬虫系统 索引系统 线上搜素服务 爬虫系统 爬虫分为两个阶段： 第一阶段：根据目标网站的列表页，爬对应的文档 URL 第二阶段：根据文档 URL，下载文档内容 触发器&#xff1…...

编程日记 2024/9/25 10:44:42

每天认识几个maven依赖（aislib+A1TRMI+Andromda+Annogen）

十七、aislib 1、是什么？ aislib用于与人工智能（AI）相关的任务。这可能包括支持机器学习、数据分析或其他 AI 功能的工具。用于集成或扩展 AI 功能到 Java 项目中。 2、有什么用？ 机器学习： 提供各种机器学习算法和…...

编程日记 2024/9/25 10:43:41

每日算法1（快慢指针）

通过一道题来了解快慢指针 这是一道力扣的算法题，首先来读题，是删除链表的中间元素，先来分析一下题，链表一共有三种可能，第一种是空链表，第二种链表的个数是偶数，第三种是链表的个数是奇数&…...

编程日记 2024/9/25 10:41:39

基于RealSense D435相机简单实现手部姿态重定向

基于Intel RealSense D435 相机和 MediaPipe的手部姿态检测，进一步简单实现手部姿态与机器人末端的重定向。 假设已经按照【基于 RealSenseD435i相机实现手部姿态检测】配置好所需的库和环境，并且有一个可以控制的机器人接口。 一、手部姿态重定向介绍 …...

编程日记 2024/9/25 10:40:36

Linux下搭建iSCSI共享存储-Tgt

Linux下搭建iSCSI共享存储-Tgt 在Linux上使用tgt搭建iSCSI共享存储，可以实现多个客户端同时访问共享存储。 1. 安装iSCSI Target软件包 使用下面命令安装： # centos sudo yum install scsi-target-utils sudo systemctl status tgtd# ubuntu sudo ap…...

编程日记 2024/9/25 10:39:35

js中正则表达式中【exec】用法深度解读

exec() 是 JavaScript 正则表达式对象（RegExp）中的一个方法，用于匹配字符串中的特定模式，并返回匹配结果。它比 test() 和 match() 更强大，因为它不仅仅返回匹配成功与否，还返回匹配的具体内容及其相关信息…...

编程日记 2024/9/25 10:38:33

Dockerfile的详解与案例

《Dockerfile 详解与案例》 一、Dockerfile 简介 Dockerfile 是一个用来构建 Docker 镜像的文本文件，它包含了一系列指令，用于描述如何创建一个 Docker 镜像。通过 Dockerfile，你可以定义镜像的基础环境、安装软件包、设置环境变量等操作&a…...

编程日记 2024/9/25 10:37:32

[spring]用MyBatis XML操作数据库 其他查询操作 数据库连接池 mysql企业开发规范

文章目录 一. MyBatis XML配置文件1. 配置链接字符串和MyBatis2. 写持久层代码方法定义Interface方法实现xml测试 3. 增删改查增:删改查 二. 开发规范(mysql)三. 其他查询操作1. 多表查询2. #{} 和 ${}(面试题)使用区别 排序功能like查询 三. 数据库连接池 一. MyBatis XML配置…...

编程日记 2024/9/25 10:32:27

[产品管理-33]：实验室技术与商业化产品的距离，实验室技术在商业化过程中要越过多少道“坎”？

目录 一、实验室技术 1.1 实验室研究性技术 1.2 技术发展的S曲线 技术发展S曲线的主要阶段和特点 技术发展S曲线的意义和应用 二、实验室技术商业化的路径 2.1 实验室技术与商业化产品的距离 1、技术成熟度与稳定性 - 技术自身 2、市场需求与适应性 - 技术是满足需求 …...

编程日记 2024/9/25 10:30:19

【有啥问啥】 Self-Play技术：强化学习中的自我进化之道

Self-Play技术：强化学习中的自我进化之道 在人工智能的快速发展中，强化学习（Reinforcement Learning, RL）已成为推动智能体自主学习与优化的关键力量。Self-Play技术，作为强化学习领域的一项前沿创新，通过…...

编程日记 2024/9/25 10:28:17

LCR 008. 长度最小的子数组

文章目录 1.题目2.思路3.代码 1.题目 LCR 008. 长度最小的子数组 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其和 ≥ target 的长度最小的 连续子数组 [numsl, numsl1, ..., numsr-1, numsr] ，并返回其长度**。**如果不存在符合条件…...

编程日记 2024/9/25 10:24:12

uniApp 解决uniapp三方地图获取位置接口的请求次数限制问题,分别提供 Android 和 iOS 的实现方法(原生插件获取)

以下是使用 UniApp 编写获取位置信息的原生插件步骤，这里分别提供 Android 和 iOS 的实现方法。 一、Android 端实现 创建原生插件模块 在 UniApp 项目目录下创建一个目录，比如 nativeplugins/android/locationPlugin。使用 Android Studio 创建一个 An…...

编程日记 2024/9/25 10:20:07

Zabbix Agent 监控 MySQL 进程状态

1. 使用 Zabbix Agent 监控 MySQL 进程状态 这是最简单的方式，通过 Zabbix Agent 监控 MySQL 进程是否在运行。具体步骤如下： 步骤1: 确认 MySQL 进程的名称 在你的 CentOS 服务器上，运行以下命令来确认 MySQL 进程的名称： ps aux | grep mysql通常，MySQL 服务的进程名…...

编程日记 2024/9/25 10:15:02

【模型】感知器

感知器是最早的人工神经网络之一，也是现代深度学习的基础之一。 1. 感知器（Perceptron） 1.1 定义与功能 感知器是一种线性二分类模型，旨在模拟生物神经元的基本功能。它通过对输入特征进行加权求和，并应用激活函数来…...

编程日记 2024/9/25 10:13:00

HtmlCss 基础总结（基础好了才是最能打的）五

Html&Css 基础学习回顾总结 Html&Css 基础总结（基础好了才是最能打的）一 Html&Css 基础总结（基础好了才是最能打的）二 Html&Css 基础总结（基础好了才是最能打的）三 Html&Css 基础总结…...

编程日记 2024/9/25 10:11:58

图神经网络实战——分层自注意力网络

图神经网络实战——分层自注意力网络 0. 前言1. 分层自注意力网络1.1 模型架构1.2 节点级注意力1.3 语义级注意力1.4 预测模块 2. 构建分层自注意力网络相关链接 0. 前言 在异构图数据集上，异构图注意力网络的测试准确率为 78.39%，比之同构版本有了较大…...

编程日记 2024/9/25 10:10:57

基于深度学习的数字识别系统的设计与实现（python、yolov、PyQt5）

💗博主介绍💗：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示：文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…...

编程日记 2024/9/25 10:09:55

ChatGPT 提取文档内容，高效制作PPT、论文

随着人工智能生成内容（AIGC）的快速发展，利用先进的技术工具如 ChatGPT 的 RAG（Retrieval-Augmented Generation，检索增强生成）模式，可以显著提升文档内容提取和内容创作的效率。以下将详细介绍如…...

编程日记 2024/9/25 10:08:54

3、等保1.0 与 2.0 的区别

数据来源：3.等保1.0和2.0的区别_哔哩哔哩_bilibili 等保1.0时代VS等保2.0时代五个规定动作：定级、备案、建设整改、等级测评、监督检查工作内容维持5个规定动作，增加风险评估、安全监测、通报预警、事件调查、数据防护自主可控、供应链安全、…...

编程日记 2024/9/25 10:07:53

Angular面试题九

一、在Angular中，你如何管理全局状态或跨组件共享数据？有哪些常见的实现方式？ 在Angular中，管理全局状态或跨组件共享数据是应用开发中的一个重要方面。这有助于保持数据的一致性和可维护性，特别是在复杂的应用中。以下…...

编程日记 2024/9/25 10:05:50

（转载）智能指针shared_ptr从C++11到C++20

shared_ptr和动态数组 - apocelipes - 博客园 (cnblogs.com) template<typename T> std::shared_ptr<T> make_shared_array(size_t size) { return std::shared_ptr<T>(new T[size],std::default_delete<T[]>()); } std::shar…...

编程日记 2024/9/25 10:04:49

Ubuntu 上安装 Miniconda

一、下载 Miniconda 打开终端。访问 Anaconda 官方仓库下载页面https://repo.anaconda.com/miniconda/选择Miniconda3-py310_24.7.1-0-Linux-x86_64.sh&#xff0c;进行下载。文件名当中的py310_24.7.1表示&#xff0c;在 conda 的默认的 base 环境中的 Python 版本是3.10&…...

编程日记 2024/9/25 10:03:48

【Vue系列五】—Vue学习历程的知识分享！

前言 本篇文章讲述前端工程化从模块化到如今的脚手架的发展&#xff0c;以及Webpack、Vue脚手架的详解&#xff01; 一、模块化 模块化就是把单独的功能封装到模块&#xff08;文件&#xff09;中&#xff0c;模块之间相互隔离&#xff0c;但可以通过特定的接口公开内部成员…...

编程日记 2024/9/25 10:01:45

CaLM 因果推理评测体系：如何让大模型更贴近人类认知水平？

CaLM 是什么 CaLM&#xff08;Causal Evaluation of Language Models&#xff0c;以下简称“CaLM”&#xff09;是上海人工智能实验室联合同济大学、上海交通大学、北京大学及商汤科技发布首个大模型因果推理开放评测体系及开放平台。首次从因果推理角度提出评估框架&#xff…...

编程日记 2024/9/25 10:00:42

深入探索卷积神经网络（CNN）

深入探索卷积神经网络&#xff08;CNN&#xff09; 前言图像的数字表示灰度图像RGB图像 卷积神经网络&#xff08;CNN&#xff09;的架构基本组件卷积操作填充&#xff08;Padding&#xff09;步幅&#xff08;Strides&#xff09; 多通道图像的卷积池化层全连接层 CNN与全连接…...

编程日记 2024/9/25 9:58:40

【C++篇】手撕 C++ string 类：从零实现到深入剖析的模拟之路

文章目录 C string 类的模拟实现&#xff1a;从构造到高级操作前言第一章&#xff1a;为什么要手写 C string 类&#xff1f;1.1 理由与价值 第二章&#xff1a;实现一个简单的 string 类2.1 基本构造与析构2.1.1 示例代码&#xff1a;基础的 string 类实现2.1.2 解读代码 2.2 …...

编程日记 2024/9/25 9:57:39

毕业设计选题：基于ssm+vue+uniapp的校园失物招领小程序

开发语言&#xff1a;Java框架&#xff1a;ssmuniappJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;M…...

编程日记 2024/9/25 9:53:33

[系统设计总结] - Proximity Service算法介绍

问题描述 Proximity Service广泛应用于各种地图相关的服务中比如外卖&#xff0c;大众点评&#xff0c;Uber打车&#xff0c;Google地图中&#xff0c;其中比较关键的是我们根据用户的位置来快速找到附近的餐厅&#xff0c;司机&#xff0c;外卖员也就是就近查询算法。 主流的…...

编程日记 2024/9/25 9:48:26

变压吸附制氧机的应用范围

变压吸附制氧机是一种利用变压吸附技术从空气中分离出氧气的设备。该技术通过吸附剂在不同压力下的吸附与解吸性能&#xff0c;实现了氧气的有效分离和纯化。 工业领域 在工业领域&#xff0c;变压吸附制氧机同样具有广泛的应用。首先&#xff0c;钢铁企业在生产过程中需要大量…...

编程日记 2024/9/25 9:47:24

MATLAB绘图基础8：双变量图形绘制

参考书&#xff1a;《 M A T L A B {\rm MATLAB} MATLAB与学术图表绘制》(关东升)。 8.双变量图形绘制 8.1 散点图 散点图用于显示两个变量间的关系&#xff0c;每个数据点在图上表示为一个点&#xff0c;一个变量在 X {\rm X} X轴&#xff0c;一个变量在 Y {\rm Y} Y轴&#…...

编程日记 2024/9/25 9:46:23