PHP和phpSpider:如何应对网站变动导致的数据爬取失败?
php和phpspider:如何应对网站变动导致的数据爬取失败?
导语:
网络爬虫是一种自动化程序,用于从网站上获取数据并进行处理。PHP是一种广泛使用的编程语言,而phpSpider是一个基于PHP的开源网络爬虫框架。然而,面对网站的持续变动,原本可以正常运行的爬虫可能会失败。本文将介绍如何在PHP和phpSpider中应对网站变动导致的数据爬取失败,并提供一些示例代码供参考。
一、了解网站结构的变化
在应对网站变动导致的数据爬取失败之前,我们需要先了解网站结构的变化。有时,网站的HTML结构可能会发生变化,比如修改了标签名、删除了某些标签或者改变了标签的层级结构。此外,网站的URL格式也可能发生变化,可能会添加参数或者修改路径。因此,我们需要运行爬虫并观察错误信息,找出引起爬取失败的具体原因。
二、灵活处理HTML结构的变化
当发现网站的HTML结构发生变化时,我们可以通过修改爬虫的代码来适应这些变化。下面是一些可用的方法:
-
通过XPath或CSS选择器选择元素
XPath和CSS选择器是两种常用的选择元素的方法。当标签名发生变化时,可以使用XPath或CSS选择器来选择元素,而不是依赖于标签名。例如,原本使用以下代码选择某个标签:立即学习“PHP免费学习笔记(深入)”;
1
$node=$html->find('div.article', 0);若标签名变为
,可以使用XPath来选择该标签:1
$node=$html->xpath('//section[@class="article"]')[0]; -
处理元素不存在的情况
在网站变动时,有些元素可能被删除或者移动到其他位置。为了应对这种情况,我们可以先判断元素是否存在,然后再提取数据。例如,原本使用以下代码提取某个元素的文本内容:1
2
$element=$node->find('p', 0);$content=$element->text();若该元素可能不存在,可以使用如下代码:
1
2
3
4
5
if($element=$node->find('p', 0)) {$content=$element->text();}else{$content="";} -
使用正则表达式匹配
当HTML结构变动较大、无法通过常规方法选择元素时,可以使用正则表达式匹配所需数据。正则表达式是一种强大的模式匹配工具,可以根据特定的模式来匹配文本。例如,原本通过选择元素获取图片URL:1
$imageUrl=$node->find('img', 0)->src;若无法选择到图片元素,可以使用正则表达式从HTML中提取图片URL:
1
2
preg_match('/<img src="(.*?)"/',$html,$matches);$imageUrl=$matches[1];
三、处理URL变化
当网站的URL格式发生变化时,我们需要修改爬虫代码来适应新的URL格式。下面是一些可用的方法:
-
构建URL
如果新的URL格式是在原有URL的基础上添加了参数,我们可以使用PHP的URL构建函数来构建新的URL。例如,原本使用以下代码提取下一页的URL:1
$nextPageUrl=$html->find('a.next', 0)->href;若网站在URL后面添加了参数page,可以使用http_build_query函数构建新的URL:
1
$nextPageUrl=$baseUrl.'?'. http_build_query(array('page'=>$pageNum+ 1)); -
使用正则表达式匹配URL
当URL格式变化较为复杂时,我们可以使用正则表达式来匹配新的URL格式。例如,原本使用以下代码提取文章的URL:1
$articleUrl=$node->find('a', 0)->href;若新的URL格式不再使用标签,可以使用正则表达式来匹配URL:
1
2
<a>preg_match('/<a href="(.*?)"/',$html,$matches);$articleUrl=$matches[1];</a>
结语:
当网站的结构和URL发生变化时,我们需要灵活地调整爬虫代码以适应变动,确保数据爬取的准确性。以上介绍了在PHP和phpSpider中应对网站变动导致的数据爬取失败的方法,并提供了一些示例代码供参考。希望读者能够通过本文学习到对付网站变动的技巧,并能够顺利地完成数据爬取任务。
相关文章:
PHP和phpSpider:如何应对网站变动导致的数据爬取失败?
php和phpspider:如何应对网站变动导致的数据爬取失败? 导语: 网络爬虫是一种自动化程序,用于从网站上获取数据并进行处理。PHP是一种广泛使用的编程语言,而phpSpider是一个基于PHP的开源网络爬虫框架。然而࿰…...
聊聊etsy平台,一个年入百万的项目
聊聊etsy平台,一个年入百万的项目 什么是etsy,这是怎样一个平台,怎样盈利的?相信现在大家满脑子都是这些疑问。 这个平台也是无意间一个学员提到的,据说他朋友靠这个平台年赚好几百万。苦于门槛太高,他也做不了。今天…...
SyntaxError: Unexpected token ‘??=‘
前端运行报错: globalThis.GLOBAL_NX_VERSION ?? GLOBAL_NX_VERSION;^^^SyntaxError: Unexpected token ??解决: 检查node版本 node -v当前使用的是14.21.3的版本,切换到一个16.0.0以上的版本即可,推荐使用nvm管理node版本 …...
python如何输出list
直接输出list_a中的元素三种方法: list_a [1,2,3,313,1] 第一种 for i in range(len(list_a)):print(list_a[i]) 1 2 3 313 1 第二种 for i in list_a:print(i) 1 2 3 313 1 第三种,使用enumerate输出list_a方法: for i,j in enum…...
【面试系列】SQL 高频面试题
欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏: ⭐️ 全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题. ⭐️ AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、…...
【代码随想录训练营】【Day 66】【图论-3】| 卡码 101-104
【代码随想录训练营】【Day 66】【图论-3】| 卡码 101-104 需强化知识点 103,104 优化思路 题目 101. 孤岛的总面积 此处 area 多余 def dfs(grid, x, y, area):dirs [[0, 1], [0, -1], [1, 0], [-1, 0]]m, n len(grid), len(grid[0])area[0] 1grid[x][y] …...
【面试系列】C#高频面试题
欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏: ⭐️ 全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题. ⭐️ AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、…...
AI助力校园安全:EasyCVR视频智能技术在校园欺凌中的应用
一、背景分析 近年来,各地深入开展中小学生欺凌行为治理工作,但有的地方学生欺凌事件仍时有发生,严重损害学生身心健康,引发社会广泛关注。为此,教育部制定了《防范中小学生欺凌专项治理行动工作方案》进一步防范和遏…...
Yolov8可视化界面使用说明,含代码
⭐⭐ YOLOv8改进专栏|包含主干、模块、注意力机制、检测头等前沿创新 ⭐⭐ YOLOv8可视化界面如下 使用需要安装opencv-python、torch、numpy及PySide6(python版本>3.9) pip install PySide6 pip install numpy pip install opencv-python 使用说明 运行下方代码…...
怎么使用MarkDown画矩阵
本文首发于公众号“AntDream”,欢迎微信搜索“AntDream”或扫描文章底部二维码关注,和我一起每天进步一点点 今天写文章需要用到矩阵,记录一下 画矩阵需要用到特殊的语法 (1)画普通矩阵,不带括号的 $$be…...
Kafka入门-基础概念及参数
一、Kafka术语 1. Broker Kafka属于分布式的消息引擎系统,它的主要功能是提供一套完备的消息发布与订阅解决方案。可以为每个业务、每个应用甚至是每类数据都创建专属的主题。 Kafka的服务器端由被称为Broker的服务进程构成,即一个Kafka集群由多个Broke…...
Clickhouse 常见操作
数据查询 从json array string中解析字段 json array string 为json.dumps(array(dict)) select JSONExtractString(row,"Date") as Date from( select arrayJoin(JSONExtractArrayRaw(Remarks)) as row from table x )JSONExtractArrayRaw: 将JsonS…...
Docker使用daocloud镜像加速
之前给大家分享的阿里云的镜像加速,今天再给大家分享一个还可以使用的镜像加速地址daocloud。 经过测试速度还是比较快的。 [rootbogon ~]# cat /etc/docker/daemon.json {"registry-mirrors": ["https://docker.m.daocloud.io"] }[rootbogon…...
flink的窗口
目录 窗口分类 1.按照驱动类型分类 1. 时间窗口(Time window) 2.计数窗口(Count window) 2.按照窗口分配数据的规则分类 窗口API分类 API调用 窗口分配器器: 窗口函数 增量聚合函数: 全窗口函数…...
lodash.js 工具库
lodash 是什么? Lodash是一个流行的JavaScript实用工具库,提供了许多高效、高兼容性的工具函数,能够方便地处理集合、字符串、数值、函数等多种数据类型,大大提高工作效率。 lodash官网 文档参见:Lodash Documentation lodash 在Vue中怎么使用? 1、首先安装 lodash np…...
使用ElementUI组件库
引入ElementUI组件库 1.安装插件 npm i element-ui -S 2.引入组件库 import ElementUI from element-ui; 3.引入全部样式 import element-ui/lib/theme-chalk/index.css; 4.使用 Vue.use(ElementUI); 5.在官网寻找所需样式 饿了么组件官网 我这里以button为例 6.在组件中使用…...
【SkiaSharp绘图14】SKCanvas方法详解(三)URL注释、按顶点绘制、 是否裁切区域之外、旋转、缩放、倾斜、平移、保存/恢复画布
文章目录 SKCanvas方法DrawUrlAnnotation 绘制URL注释DrawVertices 按顶点绘制Flush 立即绘制QuickReject 判断区域是否在裁切区域之外ResetMatrix重置矩阵Restore、RestoreToCountRotateDegrees按角度旋转画布RotateRadians按弧度旋转画布SaveLayer保存并新建图层Scale 缩放画…...
WebDriver API (2)
本文将继续上文对WebDriver API的功能使用进行介绍。 一、浏览器操作 1. 浏览器前进forward与后退back 浏览器前进操作是指导航到前一个页面,在浏览器的历史记录中向前移动一页。 浏览器后退操作是指导航到前一个页面,在浏览器的历史记录中向后移动一…...
GCP FrontendConfig 详解:优化您的云负载均衡
目录 1. 什么是GCP FrontendConfig? 2. FrontendConfig的主要功能 2.1 协议选择 2.2 SSL/TLS配置 2.3 重定向配置 2.4 自定义响应头 3. 配置FrontendConfig 4. FrontendConfig的高级特性 4.1 智能路由 4.2 流量控制 4.3 日志和监控 5. FrontendConfig最佳实践 5.…...
TensorFlow代码逻辑 vs PyTorch代码逻辑
文章目录 一、TensorFlow(一)导入必要的库(二)加载MNIST数据集(三)数据预处理(四)构建神经网络模型(五)编译模型(六)训练模型…...
WaveTools鸣潮工具箱:深度技术解析与高级配置指南
WaveTools鸣潮工具箱:深度技术解析与高级配置指南 【免费下载链接】WaveTools 🧰鸣潮工具箱 项目地址: https://gitcode.com/gh_mirrors/wa/WaveTools 对于追求极致游戏体验的《鸣潮》玩家而言,WaveTools不仅仅是一个简单的辅助工具&a…...
使用Python运行VirtualLab Fusion光学仿真
摘要 VirtualLab Fusion允许Python外部访问其建模技术、求解器和结果。这个用例介绍了一种使用路径变量和Visual Studio代码将Python连接到VirtualLab Fusion的简单方法。在本示例中,我们将演示如何使用Python脚本运行光学仿真,以向用户简要概述这种跨…...
别再折腾环境变量了!WIN10下搞定Modelsim 10.5许可证的终极保姆级教程
WIN10下Modelsim 10.5许可证配置的终极解决方案 如果你正在为Modelsim 10.5在WIN10系统下的许可证问题而头疼,尝试了各种破解方法却依然无果,那么这篇文章就是为你准备的。作为一名长期与EDA工具打交道的工程师,我深知许可证配置不当带来的挫…...
如何高效提取与编辑Unity游戏资源?UABEA全功能解析与实践指南
如何高效提取与编辑Unity游戏资源?UABEA全功能解析与实践指南 【免费下载链接】UABEA UABEA: 这是一个用于新版本Unity的C# Asset Bundle Extractor(资源包提取器),用于提取游戏中的资源。 项目地址: https://gitcode.com/gh_mi…...
CentOS 6下OpenSSH从5.3升级到8.0的完整避坑指南(附Telnet备用方案)
CentOS 6环境下OpenSSH安全升级全流程:从风险规避到应急通道搭建 当一台运行CentOS 6的服务器在安全扫描中被标记出OpenSSH 5.3的高危漏洞时,任何有经验的运维工程师都会感到脊背发凉——这就像发现自家大门用的还是二十年前的挂锁。但更令人焦虑的是&am…...
Hi-C数据分析进阶:如何用dcHiC精准识别癌症样本中的区室转换事件?
Hi-C技术解密:从染色质区室动态到癌症表观遗传调控 染色质三维结构研究已成为癌症表观遗传学的前沿领域。随着Hi-C技术的普及,科学家们能够以前所未有的分辨率观察基因组在细胞核内的空间组织形式。本文将深入探讨染色质区室(A/B compartment…...
因果模型评估完全手册:Python指标与验证方法详解
因果模型评估完全手册:Python指标与验证方法详解 【免费下载链接】python-causality-handbook 项目地址: https://gitcode.com/gh_mirrors/py/python-causality-handbook 在数据分析和决策科学领域,因果推断模型的评估是确保模型可靠性与实用性的…...
VS2019调试配置报错解析:Designtime生成失败与IntelliSense不可用的深度排查指南
1. 问题现象与初步诊断 当你打开VS2019项目时突然弹出"配置Debug|Win32的Designtime生成失败,IntelliSense可能不可用"的红色错误提示,代码编辑窗口里的智能提示全部消失,连最基本的语法高亮都失效了——这种场景我遇到过不下20次。…...
ASPP模块的演进与优化:从DeepLab v2到v3+的多尺度语义分割实践
1. 多尺度语义分割的挑战与ASPP的诞生 想象一下你要给一张街景照片中的每个像素分类——哪些是道路、哪些是车辆、哪些是行人。最大的困难是什么?是远处的小车和近处的大卡车可能属于同一类别,但尺寸差异巨大。这就是语义分割中的多尺度问题,…...
dll修复工具绿色版免安装,2026年最新版实测与风险提示
正急着用电脑,突然弹窗“缺少dll文件”,游戏或软件打不开。第一反应就是赶紧找个工具修好它,但又不想在电脑上装一堆乱七八糟的软件,就想找个绿色版、免安装的,用完就能删,不留痕迹。但网上这种小工具满天飞…...
