当前位置: 首页 > news >正文

为什么 Allow 配合 meta noindex 比使用Disallow好?

为什么 Allow 配合 meta noindex

1、Disallow 的问题

当你使用 Disallow: / 时:

  • 爬虫根本不会访问你的页面

  • 因此永远看不到你的 meta noindex 标签

  • 如果有其他网站链接到你的页面,Google 可能还是会将其编入索引(因为它无法确认你是否真的不想被索引)

robots.ts

// 这种方式不太理想
res.send(`User-agent: *
Disallow: /  # 爬虫被挡在门外,看不到 meta 标签
`
);

2、Allow 的优势

当你使用 Allow: / 时:

  • 爬虫可以访问你的页面

  • 可以看到并理解meta noindex 标签

  • Google 会明确知道你不想被索引,而不是猜测

  • 更容易从搜索结果中移除已经被索引的页面

// 这是推荐的方式
res.send(`User-agent: *
Allow: /  # 让爬虫进来,这样它能看到 meta noindex
`
);

比喻说明

可以把这个过程想象成:

  • Disallow 就像关上门不让客人进来

  • Allow + meta noindex 就像让客人进来,但明确告诉他们"请不要在外面宣传这个地方"

第二种方式更礼貌也更明确,搜索引擎更可能遵守你的请求。这就是为什么 Allow 配合 meta noindex 的效果反而更好!

相关文章:

为什么 Allow 配合 meta noindex 比使用Disallow好?

为什么 Allow 配合 meta noindex 1、Disallow 的问题 当你使用 Disallow: / 时: 爬虫根本不会访问你的页面 因此永远看不到你的 meta noindex 标签 如果有其他网站链接到你的页面,Google 可能还是会将其编入索引(因为它无法确认你是否真的…...

通讯学徒学习日记

本章内容为 长期更新模式,目前入职的第三天,学徒状态。 文章目录 前言开始接水晶头、接光纤水晶头接光纤 PON(GPON 、EPON)AON 和 PON 的详解AONPON 前言 编程虽然是爱好,但确实也想把这份爱好变成工作。但是对于目前刚…...

迪杰斯特拉算法

迪杰斯特拉算法 LeetCode 743. 网络延迟时间 https://blog.csdn.net/xiaoxi_hahaha/article/details/110257368 import sysdef dijkstra(graph, source):"""dijkstra算法:param graph: 邻接矩阵:param source: 出发点,源点:return:""&…...

IPsec传输模式与隧道模式的深度解析及应用实例

随着网络安全威胁的日益严峻,IPsec作为网络层安全协议,其传输模式与隧道模式的选择对确保通信安全至关重要。本文旨在深入探讨这两种模式的差异,并通过实际案例展示其应用。 一、传输模式和隧道模式的详细描述 传输模式: 应用场景…...

实现Vue3/Nuxt3 预览excel文件

安装必要的库 npm install xlsx 创建一个组件来处理文件上传和解析&#xff1a; 在src/components 目录下创建一个名为 ExcelPreview.vue 的文件 <template> <div> <input type"file" change"handleFileUpload" /> <table v-if"…...

【AI落地应用实战】HivisionIDPhotos AI证件照制作实践指南

最近在网上发现了一款轻量级的AI证件照制作的项目&#xff0c;名为HivisionIDPhotos。它利用AI模型实现对多种拍照场景的识别、抠图与证件照生成&#xff0c;支持轻量级抠图、多种标准证件照和排版照生成、纯离线或端云推理、美颜等功能。此外&#xff0c;项目还提供了Gradio D…...

php实现sl651水文规约解析

SL651-2014-《水文监测数据通信规约》 1、要素解析说明 39 23 00 00 03 45 0x39查标识符得知为:39H Z 瞬时河道水位、潮位,我们定义为水位 0x23 按照要素标识符的规定,高5bit,低3bit,00100 011 对应的转换为10进制为4与3,也就是水位数据占用4字节,小…...

【Linux】简易版shell

文章目录 shell的基本框架PrintCommandLineGetCommandLineParseCommandLineExecuteCommandInitEnvCheckAndExecBuildCommand代码总览运行效果总结 shell的基本框架 要写一个命令行我们首先要写出基本框架。 打印命令行获取用户输入的命令分析命令执行命令 基本框架的代码&am…...

宝塔Linux面板安装PHP扩展失败报wget: unable to resolve host address ‘download.bt.cn’

一、问题&#xff1a; 当使用宝塔面板安装PHP扩展失败出现如下错误时 Resolving download.bt.cn(download.bt.cn)...failed: Connection timed out. wget: unable toresolve host address download.bt.cn’ 二、解决&#xff1a; 第一步&#xff1a;如下命令执行拿到返回的I…...

问:Redis常见性能问题及解法?

Redis 作为一个高性能的键值存储系统&#xff0c;在实际应用中可能会遇到各种性能问题。本文将探讨 Redis 的常见性能问题&#xff0c;并提供相应的解决建议。主要针对五个关键问题进行讨论&#xff1a;Master 节点的持久化工作、Slave 节点的数据备份、主从复制的网络环境、主…...

Imperva 数据库与安全解决方案

Imperva是网络安全解决方案的专业提供商&#xff0c;能够在云端和本地对业务关键数据和应用程序提供保护。公司成立于 2002 年&#xff0c;拥有稳定的发展和成功历史并于 2014 年实现产值1.64亿美元&#xff0c;公司的3700多位客户及300个合作伙伴分布于全球各地的90多个国家。…...

【JavaScript】之文档对象模型(DOM)详解

JavaScript 的强大之处在于它能够与 HTML 和 CSS 交互&#xff0c;动态地修改网页内容和样式。而实现这一功能的核心就是 DOM&#xff08;文档对象模型&#xff09;。 一、什么是 DOM&#xff1f; DOM 是文档对象模型&#xff08;Document Object Model&#xff09;的缩写。它…...

速盾:cdn域名与ip区别

CDN&#xff08;内容分发网络&#xff09;是一种通过在全球多个服务器上缓存和分发静态资源的网络服务&#xff0c;可以提高网站的访问速度和性能。在使用CDN时&#xff0c;域名与IP地址是两个关键的概念。本文将介绍CDN域名与IP地址的区别和作用。 首先&#xff0c;CDN域名是…...

如何优雅的在页面上嵌入AI-Agent人工智能

前言 IDEA启动&#xff01;大模型的title想必不用我多说了&#xff0c;多少公司想要搭上时代前言技术的快车&#xff0c;感受科技的魅力。现在大模型作为降本增效的强大工具&#xff0c;基本上公司大多人都想要部署开发一把&#xff0c;更多的想要利用到这些模型放到生产中来提…...

如何对LabVIEW软件进行性能评估?

对LabVIEW软件进行性能评估&#xff0c;可以从以下几个方面着手&#xff0c;通过定量与定性分析&#xff0c;全面了解软件在实际应用中的表现。这些评估方法适用于确保LabVIEW程序的运行效率、稳定性和可维护性。 一、响应时间和执行效率 时间戳测量&#xff1a;使用LabVIEW的时…...

动态规划 —— dp问题-按摩师

1. 按摩师 题目链接&#xff1a; 面试题 17.16. 按摩师 - 力扣&#xff08;LeetCode&#xff09;https://leetcode.cn/problems/the-masseuse-lcci/description/ 2. 算法原理 状态表示&#xff1a;以某一个位置为结尾或者以某一个位置为起点 dp[i]表示&#xff1a;选择到i位置…...

SQL 语法学习

在当今数字化的时代&#xff0c;数据的管理和分析变得至关重要。而 SQL&#xff08;Structured Query Language&#xff09;&#xff0c;即结构化查询语言&#xff0c;作为一种用于管理关系型数据库的强大工具&#xff0c;掌握它对于从事数据相关工作的人来说是一项必备技能。在…...

MYSQL---TEST5(Trigger触发器Procedure存储过程综合练习)

触发器Trigger 数据库mydb16_trigger创建 表的创建 goods create table goods( gid char(8) primary key, #商品号 name varchar(10), #商品名 price decimal(8,2), #价格 num int&#xff1b;&#xff09; #数量orders create tabl…...

蓝桥杯 区间移位--二分、枚举

题目 代码 #include <stdio.h> #include <string.h> #include <vector> #include <algorithm> #include <iostream> using namespace std; struct node{ int a,b; }; vector<node> q; bool cmp(node x,node y){ return x.b <…...

Nginx 报错400 Request Header Or Cookie Too Large

错误的原因&#xff1a; 1、可能是你的网络DNS配置错误。 2、由request header过大所引起&#xff0c;request过大&#xff0c;通常是由于cookie中写入了较大的值所引起的。 3、访问太频繁&#xff0c;浏览器的缓存量太大&#xff0c;产生错误。 解决办法&#xff1a; 1、清…...

表单验证库终极对比:Yup、Zod与Joi哪个更适合OpenResume项目?

表单验证库终极对比&#xff1a;Yup、Zod与Joi哪个更适合OpenResume项目&#xff1f; 【免费下载链接】open-resume OpenResume is a powerful open-source resume builder and resume parser. https://open-resume.com/ 项目地址: https://gitcode.com/gh_mirrors/op/open-r…...

Kronos创新应用实战指南:从技术原理到跨行业落地

Kronos创新应用实战指南&#xff1a;从技术原理到跨行业落地 【免费下载链接】Kronos Kronos: A Foundation Model for the Language of Financial Markets 项目地址: https://gitcode.com/GitHub_Trending/kronos14/Kronos Kronos作为金融市场的"语言模型"&a…...

Laf云平台终极灾备指南:如何实现多区域部署与智能故障转移

Laf云平台终极灾备指南&#xff1a;如何实现多区域部署与智能故障转移 【免费下载链接】laf labring/laf: 是一个用于 PHP 的轻量级 AJAX 库&#xff0c;可以方便地在 PHP 应用中实现 AJAX 通信。适合对 PHP、AJAX 库和想要实现 PHP AJAX 通信的开发者。 项目地址: https://g…...

Cloudflare邮件路由的隐藏玩法:一个域名无限别名,管理不同网站注册,再也不怕信息泄露

Cloudflare邮件路由的隐私管理艺术&#xff1a;用无限别名打造数字身份防火墙 在个人信息如同裸奔的数字时代&#xff0c;每次网站注册都是一次隐私赌博。你是否经历过这样的困扰&#xff1f;某个小众论坛注册三个月后&#xff0c;主邮箱突然涌入大量赌博邮件&#xff1b;双十一…...

Python实战:从零掌握标准正态分布及其可视化

1. 什么是标准正态分布&#xff1f; 我第一次接触标准正态分布是在大学统计课上&#xff0c;当时教授画了一个完美的钟形曲线&#xff0c;说这是自然界最常见的分布。后来做数据分析才发现&#xff0c;这个看似简单的曲线真的无处不在——从人的身高体重到考试分数&#xff0c;…...

如何在Python中正确调用DeepSeek-Reasoner获取思考过程(附完整代码示例)

深度解析&#xff1a;Python调用DeepSeek-Reasoner获取思维链的工程实践 当开发者需要构建具备复杂推理能力的AI应用时&#xff0c;获取模型完整的思考过程&#xff08;Reasoning Content&#xff09;往往比最终答案更有价值。DeepSeek-Reasoner作为专为逻辑推理优化的模型&…...

霜儿-汉服-造相Z-Turbo惊艳作品展:AI复原历史人物经典汉服造型

霜儿-汉服-造相Z-Turbo惊艳作品展&#xff1a;AI复原历史人物经典汉服造型 最近&#xff0c;一个名为“霜儿-汉服-造相Z-Turbo”的AI模型在圈子里悄悄火了起来。它干的事儿挺有意思&#xff1a;不是凭空创造新形象&#xff0c;而是试图“复原”那些活在文字、画作和历史记忆里…...

企业级RAG系统构建:BGE-Reranker-v2-m3镜像部署最佳实践

企业级RAG系统构建&#xff1a;BGE-Reranker-v2-m3镜像部署最佳实践 1. 引言&#xff1a;为什么你的RAG系统总是“答非所问”&#xff1f; 如果你正在构建企业级的RAG&#xff08;检索增强生成&#xff09;系统&#xff0c;一定遇到过这样的尴尬场景&#xff1a;用户问“如何…...

OpenClaw定时任务:GLM-4.7-Flash实现自动化日报

OpenClaw定时任务&#xff1a;GLM-4.7-Flash实现自动化日报 1. 为什么需要自动化日报系统 每天下班前写日报这件事&#xff0c;我坚持了三年零四个月——直到上个月彻底放弃手工记录。不是因为懒&#xff0c;而是发现手工整理的日报存在三个致命问题&#xff1a; 第一是数据…...

SiameseUIE详细步骤:cd .. + cd nlp_structbert_siamese-uie_chinese-base执行逻辑

SiameseUIE详细步骤&#xff1a;cd .. cd nlp_structbert_siamese-uie_chinese-base执行逻辑 1. 为什么需要这个执行顺序 当你拿到一个已经部署好的AI模型镜像&#xff0c;第一件事就是找到正确的打开方式。cd .. 和 cd nlp_structbert_siamese-uie_chinese-base 这个看似简…...